搜狐公司王小川.ppt

搜狐公司 王小川 2008.04,網(wǎng)頁搜索效果評價,提 綱,問題 當前業(yè)界現(xiàn)狀與搜索引擎效果 效果評價方法 基于人工標注的評價和改進體系 衍生產(chǎn)物 各家搜索效果特點 再論元搜索,業(yè)界現(xiàn)狀,當前格局 百度、谷歌、搜狗、雅虎 有道、騰訊 愛問、中搜 百度 進入IM領(lǐng)域 百度知道對網(wǎng)頁搜索有巨大的支撐作用 李彥宏：元搜索沒有生命力 谷歌 手機、瀏覽器,業(yè)界現(xiàn)狀,搜狗 搜狗拼音輸入法高歌猛進 幫助搜狐實現(xiàn)矩陣資源的個性化、廣告投放 今年會有更多創(chuàng)新和新產(chǎn)品 雅虎 微軟并購案進行中 準備啟用Google Adsence 有道 基于java的分布式操作平臺,業(yè)界現(xiàn)狀,騰訊 搜索流量從攔截地址欄開始 準備建立3000人編輯團隊 三個問題 搜索效果還有改進空間么？ 人力和自動化的優(yōu)缺點是什么？ 元搜索是否可行？,效果評價方法,了解用戶的搜索目的 影響用戶滿意度的幾個主要方面 分析和對比我們的技術(shù)服務(wù)水平 如何將用戶的感受目標變成開發(fā)工作,效果評價方法,了解用戶的搜索目的 影響用戶滿意度的幾個主要方面 分析和對比我們的技術(shù)服務(wù)水平 如何將用戶的感受目標變成開發(fā)工作,效果評價方法,了解用戶的搜索目的 獲取用戶搜索詞樣本 每日大量的查詢詞收集 關(guān)注各類Top查詢詞 關(guān)注上升最快的熱點查詢詞 對查詢意圖進行分類 關(guān)鍵詞屬性：如電影、股票、人名、網(wǎng)站、視頻、學習、公司機構(gòu)、游戲、軟件、文學 用戶意圖：下載、在線、URL、圖片,效果評價方法,了解用戶的搜索目的 影響用戶滿意度的幾個主要方面 分析和對比我們的技術(shù)服務(wù)水平 如何將用戶的感受目標變成開發(fā)工作,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 導航是否命中 時效性 多樣性 權(quán)威性,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 逐條評價，考察每一條結(jié)果與用戶查詢相關(guān)的程度；評價為 極好（相關(guān)且完全滿足需求），5分 好（相關(guān)且滿足部分需求），4分 中（僅相關(guān)），2分 差（不相關(guān)）0分 導航是否命中 時效性 多樣性 權(quán)威性,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 導航是否命中 僅評價第一條結(jié)果，考察導航類查詢，以及品牌官網(wǎng)，公司主頁，名人官網(wǎng)/博客等的首條命中情況；評價為 命中，1分 未命中，0分 時效性 多樣性 權(quán)威性,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 導航是否命中 時效性 逐條評價，考察結(jié)果的時效性；按照網(wǎng)頁的最后更新時間，評價為 即時（3天內(nèi)），5分 新（4-7天），4分 中（7天-1月），3分 稍舊（1月-1年），1分 舊（一年以上），0分 多樣性 權(quán)威性,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 導航是否命中 時效性 多樣性 考察有多重含義的查詢詞是否滿足了各類需求；針對整體（前10條）進行評價，且需要結(jié)合查詢詞所屬的類別，評價為 好（各類需求兼顧，且主流需求突出，即查詢詞所代表的主要含義體現(xiàn)在第一條結(jié)果中且整體占3條以上）5分 中（各類需求兼顧，但主流需求不突出）3分 差（僅滿足了主流需求），2分 極差（沒有滿足主流需求），0分 權(quán)威性,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 4分的相關(guān)性 定義 滿足了用戶的部分需求 搜索結(jié)果內(nèi)容質(zhì)量中等 各類搜索詞意圖定義 URL意圖 圖片意圖 下載意圖 在線意圖 資料信息意圖 其他意圖,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 4分的相關(guān)性 在線意圖 定義 結(jié)果頁頁面的核心內(nèi)容區(qū)域中有完全滿足用戶需求的內(nèi)容，且結(jié)果能夠在線視聽，閱讀，游戲；此時，結(jié)果頁面或者為在線視聽頁本身，或者包含在線視聽、閱讀、游戲頁面鏈接，需要點擊1次才進入在線視聽、閱讀、游戲頁面。 子分類 當搜索詞未說明視頻/音頻劇集，音頻版本，小說段落、游戲版本時 當搜索詞說清楚了軟件版本，視頻劇集，音頻版本，小說段落，游戲版本時,效果評價方法,影響用戶滿意度的幾個主要方面 相關(guān)性 4分的相關(guān)性 在線意圖 當搜索詞未說明視頻/音頻劇集，音頻版本，小說段落、游戲版本時 a.結(jié)果頁面中是該視頻/音頻劇集，但是部分劇集鏈接，或是劇集的某一集，預(yù)告片等，相關(guān)性為4分。 b.果頁面中是該音頻，但音頻不是最熱版本/最被大眾認可版本時，相關(guān)性為4分。 c.結(jié)果頁面中是該小說段落，但是小說部分章節(jié)目錄，相關(guān)性為4分。 d.結(jié)果頁面中是該游戲，但游戲不是最熱版本/最被大眾認可版本時，相關(guān)性為4分,效果評價方法,了解用戶的搜索目的 影響用戶滿意度的幾個主要方面 分析和對比我們的技術(shù)服務(wù)水平 如何將用戶的感受目標變成開發(fā)工作,效果評價方法,分析和對比我們的技術(shù)服務(wù)水平 獲得如下的珍貴數(shù)據(jù) 模擬用戶真實查詢，我們與競爭對手的差別評估數(shù)據(jù) 我們目前做得不好的大量實例Case 競爭對手比我們做得好的實例Case,效果評價方法,分析和對比我們的技術(shù)服務(wù)水平,效果評價方法,分析和對比我們的技術(shù)服務(wù)水平,效果評價方法,分析和對比我們的技術(shù)服務(wù)水平,效果評價方法,了解用戶的搜索目的 影響用戶滿意度的幾個主要方面 分析和對比我們的技術(shù)服務(wù)水平 如何將用戶的感受目標變成開發(fā)工作,效果評價方法,如何將用戶的感受目標變成開發(fā)工作 產(chǎn)品人員用在第三步中得出的大量實例Case進行問題的定位與分類整理 以同類型Case作為樣本，抽樣提交給開發(fā)人員修復(fù) 在算法改進結(jié)束后，小規(guī)模的以同類型Case評估改進效果 上線前，產(chǎn)品人員按照實際Query分布比例，模擬用戶查詢對改進進行全面性評估，以保證改進過程中沒有影響到其他類型的查詢詞的效果,效果評價方法,附：以相關(guān)性為例，產(chǎn)品人員整理分析Query后，給出的搜索效果總結(jié)表,效果評價方法,附：開發(fā)對應(yīng)的問題分類與總結(jié),效果評價方法,附：評測詞的查詢分布(1),效果評價方法,附：評測詞的查詢分布(2),衍生產(chǎn)物,衍生產(chǎn)物,元搜索是否可行？ 產(chǎn)品形態(tài)滿足用戶使用習慣 能對各家搜索引擎的不對稱性有深入了