搜索引擎與寶貝搜索不得不說的故事

1、搜索引擎與寶貝搜索不得不說的故事1認識淘寶寶貝搜索買個iphone5！送女朋友什么裙子好呢？手機大甩賣！連衣裙包郵！牛仔褲清倉買一送一！寶貝搜索2數(shù)據(jù)量大: 8億數(shù)據(jù)更新量大: 2億天查詢量大: 3-4億PV天查詢準確率要求高對買家負責，降低查找成本查詢召回率要求高對賣家負責，讓每個寶貝搜索可達業(yè)務邏輯復雜：屬性信息遠大于倒排信息寶貝搜索的特點3寶貝搜發(fā)展史數(shù)據(jù)量4寶貝搜發(fā)展史查詢量5淘寶網(wǎng) 2003年商城 2008年一淘網(wǎng) 2012年未來寶貝搜索發(fā)展史大事記C2C寶貝C2C寶貝B2C寶貝C2C寶貝B2C寶貝全網(wǎng)購物搜索一站式購物體驗發(fā)現(xiàn)比較優(yōu)惠券C2C寶貝B2C寶貝全網(wǎng)購物搜索一站式購物體驗

2、發(fā)現(xiàn)比較優(yōu)惠券個性化協(xié)同搜索6淘寶搜索架構(gòu)演變解決搜索功能解決容量速度業(yè)務邏輯分離業(yè)務引擎分離引擎平臺統(tǒng)一7不斷增長的搜索 復雜多變的業(yè)務數(shù)據(jù)量日益增長龐大的屬性信息頻繁地數(shù)據(jù)更新靈活的運帷平臺每年痛并快樂著的大促（1111/1212） 爆發(fā)式流量增長和更新量增長搜索引擎面臨的技術(shù)挑戰(zhàn)8關聯(lián)非引擎服務(UPS、QP、Forest etc.)多路數(shù)據(jù)混排(同構(gòu)數(shù)據(jù)、異構(gòu)數(shù)據(jù))搜索結(jié)果Rerank其他各種“異想天開”的業(yè)務邏輯統(tǒng)一服務入口解決之道數(shù)據(jù)聚合層(SP/Agg)9Build插件：允許對建索引的原始文檔進行加工分詞插件： 控制檢索粒度QRS插件：改寫Query定制業(yè)務邏輯、改寫結(jié)果滿足業(yè)務

3、需求屬性信息定制化：直接使用Attr(price)、簡單表達式(price+postage)、插件化(lib.so)Scorer插件：特殊的屬性信息定制化功能豐富的配置接口解決之道靈活的配置插件接口10高召回率、低響應延時 內(nèi)存引擎數(shù)據(jù)量的增長、屬性信息的增多帶來挑戰(zhàn)根據(jù)業(yè)務需求不斷對引擎進行瘦身倒排信息壓縮(P4Delta等)正排信息精確存儲(xBits, int8, int16, int32, )正排信息壓縮(GroupVariInt等)正排信息去重(偏移存儲)屬性信息編碼壓縮解決之道減肥是永恒的主題11神級性能優(yōu)化之道Cache奇跡般近乎無損的截斷深入理解業(yè)務對付頻繁更新帶來的性能衰減UPI(運維支撐)商品搜索性能殺手正排信息的訪問(L1/L2 Cache與RAM的博弈)業(yè)務發(fā)展永遠都是粗曠型的定期Review業(yè)務實現(xiàn)常常會有意想不到的收獲數(shù)據(jù)分層解決之道性能優(yōu)化12偉大的Admin集中式管理故障自動恢復多集群管理按需索引分發(fā)索引自動切換和更新集群拓撲動態(tài)發(fā)現(xiàn)解決之道一體化運維體系13解決中小商業(yè)搜索應用大量小應用運維Search as a service自助式使用搜索在線修改schema全流程索引自描述核心技術(shù)HBaseFree schemaRank formular解決之道OpenSearch14業(yè)務的發(fā)展讓一起問題回到原點：性能