河南移動互聯(lián)網(wǎng)行為分析應(yīng)用案例

1、河南移動互聯(lián)網(wǎng)行為分析應(yīng)用案例總體說明1.1 背景目前河南wap網(wǎng)關(guān)中有大量用戶上網(wǎng)日志，此重要的信息沒有被很好地挖掘，無法形成有效的用戶知識，不能支撐對客戶的營銷工作，在此背景下，我們建設(shè)互聯(lián)網(wǎng)行為分析系統(tǒng)，一方面完善對用戶的認(rèn)知，一方面在此基礎(chǔ)上支撐對用戶的營銷1.2 目標(biāo)本期的建設(shè)目標(biāo)以平臺搭建為主，輔以業(yè)務(wù)應(yīng)用，具體目標(biāo)如下：1、搭建互聯(lián)網(wǎng)用戶行為分析平臺，重點建設(shè)用戶群提取，提升用戶群精確定位能力。2、支撐業(yè)務(wù)部門的關(guān)鍵詞檢索分析、網(wǎng)頁內(nèi)容解析業(yè)務(wù)。1.3 實施要求1、 系統(tǒng)遵循中國移動集中的4a規(guī)范，以及河南省移動公司的安全管理規(guī)范 2、 系統(tǒng)要從網(wǎng)絡(luò)層、主機層、中間件層、應(yīng)用層四

2、個層次進行保證可靠性3、 系統(tǒng)要保持可服務(wù)性4、 系統(tǒng)要有簡單的可擴展性功能介紹1.4 技術(shù)實現(xiàn)河南的互聯(lián)網(wǎng)分析主要涉及幾個方面：數(shù)據(jù)采集、數(shù)據(jù)清洗、網(wǎng)絡(luò)爬蟲、文本解析、索引創(chuàng)建、搜索查詢1.4.1 數(shù)據(jù)采集互聯(lián)網(wǎng)分析的數(shù)據(jù)采集主要來自wap日志，wap日志ftp服務(wù)器以文件的方式進行抽取到互聯(lián)網(wǎng)分析系統(tǒng)，并裝載到數(shù)據(jù)倉庫1.4.2 數(shù)據(jù)清洗數(shù)據(jù)清洗處理流程：1、 獲取wap日志，wap日志從wap網(wǎng)關(guān)分時段進行裝載入庫。2、 通過存儲過程剔除圖片和應(yīng)用網(wǎng)頁。3、 根據(jù)二八原則獲取有意義的日志群4、 格式化網(wǎng)址，對類似網(wǎng)頁進行格式化5、 根據(jù)知識庫的沉淀，剔除不需要爬取的網(wǎng)站6、 給url進行

3、增加id7、 數(shù)據(jù)剔重8、 形成可以爬取的url數(shù)據(jù)流程圖如下，以上過程全部通過數(shù)據(jù)庫進行。1.4.3 互聯(lián)網(wǎng)爬蟲一、服務(wù)器清單設(shè)備名稱服務(wù)器ip是否主節(jié)點備注爬蟲服務(wù)器60 是設(shè)備型號dl585爬蟲服務(wù)器61否設(shè)備型號dl585爬蟲服務(wù)器362否設(shè)備型號dl585爬蟲服務(wù)器463否設(shè)備型號dl585二、四臺服務(wù)器上部署的軟件設(shè)備名稱軟件類別軟件名稱版本占用空間(gb)爬蟲服務(wù)器操作系統(tǒng)linux redhat10以上5配套軟件tomcat5.51.5配套軟件jdk1.60.3應(yīng)用軟件hadoop10.3應(yīng)用軟

4、件爬蟲軟件10.7三、應(yīng)用說明：1. 系統(tǒng)把爬取數(shù)據(jù)形成爬取文件，通過ftp把爬蟲文件傳遞給爬蟲服務(wù)器。2. 爬蟲服務(wù)器接收到輸入的url文件和分塊大小，hadoop會自動將url切分成若干個url列表，作為map函數(shù)的輸入 3. map函數(shù)根據(jù)輸入url，爬取相應(yīng)網(wǎng)頁，輸出網(wǎng)頁源代碼 4. 各map函數(shù)之間的處理完全獨立。具體哪個爬蟲服務(wù)器爬取哪個url由hadoop自動調(diào)度分發(fā)。 5. 爬取結(jié)果通過ftp傳遞給分析服務(wù)器。1.4.4 互聯(lián)網(wǎng)分析一、服務(wù)器清單設(shè)備名稱服務(wù)器ip是否主節(jié)點備注分析服務(wù)器11是hp pc server分析服務(wù)器12否h

5、p pc server分析服務(wù)器313否hp pc server分析服務(wù)器414否hp pc server二、服務(wù)器部署的軟件設(shè)備名稱軟件類別軟件名稱版本占用空間(gb)分析服務(wù)器操作系統(tǒng)linux redhat10以上5配套軟件tomcat5.51.5配套軟件jdk1.60.3應(yīng)用軟件hadoop10.3應(yīng)用軟件分析軟件10.7三、應(yīng)用說明：1. 爬蟲服務(wù)器把爬取的網(wǎng)頁源代碼文件通過ftp傳送給分析服務(wù)器，作為分析服務(wù)器的輸入。2. 輸入網(wǎng)頁源代碼文件，hadoop會自動將文件切分成若干個份列表，作為map函數(shù)的輸入 3. map函數(shù)根據(jù)輸入源代碼，進

6、行頁面解析、分詞、分類等分析，輸出分析結(jié)果 4. 各map函數(shù)之間的處理完全獨立。具體哪個分析服務(wù)器分析哪個urlid由hadoop自動調(diào)度分發(fā)。 5. 分析服務(wù)器把分析結(jié)果進行入庫。1.4.5 互聯(lián)網(wǎng)全文檢索一、服務(wù)器清單：設(shè)備名稱服務(wù)器ip是否主節(jié)點備注搜索服務(wù)器15否hp pc server搜索服務(wù)器16是hp pc server搜索服務(wù)器386否hp pc server搜索服務(wù)器488否hp pc server搜索服務(wù)器519否hp pc server搜索服務(wù)器6

7、20否hp pc server二、服務(wù)器部署的軟件設(shè)備名稱軟件類別軟件名稱版本占用空間(gb)搜索服務(wù)器操作系統(tǒng)linux redhat10以上5配套軟件tomcat5.51.5配套軟件jdk1.60.3配套軟件oracle客戶端11g10應(yīng)用軟件active mq10.3應(yīng)用軟件全文檢索服務(wù)端10.2應(yīng)用軟件全文檢索客戶端10.1應(yīng)用軟件etl客戶端0.7三、 應(yīng)用說明：1、索引創(chuàng)建分為兩部分：a、 關(guān)鍵詞索引和黃頁索引按地區(qū)每日創(chuàng)建一個索引庫。b、網(wǎng)頁索引則每三小時執(zhí)行一次創(chuàng)建命令，如果執(zhí)行命令時已有待索引的網(wǎng)頁源文件則創(chuàng)建一個單獨的索引庫；2、關(guān)鍵詞查詢是實時掃描前臺的查詢信息，搜索到查

8、詢信息以后，以消息的形式發(fā)給active mq,由active mq進行任務(wù)分發(fā)給查詢服務(wù)器集群，示意如下：activemq可以維護很多不同的隊列，我們只要將每臺查詢服務(wù)器中設(shè)置不同的隊列，不同的客戶端使用的消息隊列與不同查詢服務(wù)器的隊列設(shè)置成一樣，這樣就可以將任務(wù)分配給不同的查詢服務(wù)器。 3、整個調(diào)度使用經(jīng)分的etl，通過etl的調(diào)度控制。 4、查詢結(jié)果通過ftp傳遞給ckm進行前臺展示。1.5 技術(shù)架構(gòu)1.6 模塊介紹1.6.1 url業(yè)務(wù)過濾目的對于抽取入庫后的wap日志數(shù)據(jù)，根據(jù)相關(guān)的業(yè)務(wù)過濾策略進行業(yè)務(wù)過濾，分解出需要分析的網(wǎng)頁，送入爬取服務(wù)器。功能列表功能名稱描述備注策略過濾根據(jù)業(yè)

9、務(wù)策略得到待分析任務(wù)。過濾策略包括：去重策略、網(wǎng)站策略和網(wǎng)站更新策略，前一天匯總策略； url任務(wù)分解對過濾后的日志，分解出待爬取的網(wǎng)頁url，需要url分類的url。處理1.6.2 網(wǎng)頁爬蟲目的根據(jù)wap日志文件爬取url的源文件功能列表功能名稱描述備注url任務(wù)控制傳爬取任務(wù)到爬蟲服務(wù)器并記錄最大處理量和待處理量到爬蟲監(jiān)控信息中網(wǎng)頁緩存根據(jù)設(shè)置文件傳回到服務(wù)器的ip及目錄，并根據(jù)url來確定網(wǎng)頁的分類，并解壓出網(wǎng)頁文件，并在緩存目錄下創(chuàng)建分類目錄，并把網(wǎng)頁文件放到相應(yīng)的分類目錄下爬取爬取url的源文件網(wǎng)頁文件傳回傳網(wǎng)頁文件到磁盤陳列上,并記錄爬取的成功和失敗量處理1.6.3 網(wǎng)頁分析目的對

10、爬取url的源文件進行分詞，分類，分關(guān)鍵詞,對過濾的url分類。功能列表功能名稱描述備注添加分類添加,更新，刪除分類，并為分類添加,更新，刪除訓(xùn)練集，并進行分類訓(xùn)練。分類訓(xùn)練對添加，更新，刪除的分類重新進行分類訓(xùn)練內(nèi)容分類根據(jù)詞庫對網(wǎng)頁文件分類, 把分類文件中分類結(jié)果保存到數(shù)據(jù)庫中分關(guān)鍵詞根據(jù)系統(tǒng)關(guān)鍵詞詞庫分關(guān)鍵詞, 把關(guān)鍵詞文件中分關(guān)鍵詞結(jié)果保存到數(shù)據(jù)庫中url分類按url默認(rèn)規(guī)則對url進行分類用戶行為分類根據(jù)wap用戶訪問日志和網(wǎng)頁分類對用戶行為進行分類用戶行為分關(guān)鍵詞根據(jù)wap用戶訪問日志和網(wǎng)頁關(guān)鍵詞對用戶行為進行關(guān)鍵詞處理1.6.4 前臺展現(xiàn)客戶群查詢目的 提供客戶群的查詢，業(yè)務(wù)人員

11、使用不同的條件查詢滿足條件的客戶群，可以查詢用戶分類偏好、用戶關(guān)鍵詞偏好和當(dāng)月用戶分類偏好、當(dāng)月用戶關(guān)鍵詞偏好。功能列表功能名稱描述備注查詢客戶群在主頁面提供簡單的查詢，簡單查詢只能使用分類名稱、分類訪問次數(shù)、關(guān)鍵詞名稱、關(guān)鍵詞訪問次數(shù)來查詢客戶群。還提供高級查詢功能，查詢分類偏好和關(guān)鍵詞模型，查詢條件有分類名稱、權(quán)重、訪問次數(shù)、關(guān)鍵詞名稱、權(quán)重、訪問次數(shù)支持條件關(guān)系和邏輯關(guān)心。處理視圖管理目的方便業(yè)務(wù)人員了解網(wǎng)站的訪問情況和客戶的行為。功能列表功能名稱描述備注用戶視圖通過用戶視圖可以了解到用戶的基本屬性、用戶的分類偏好、用戶的關(guān)鍵詞偏好，用戶訪問互聯(lián)網(wǎng)的情況用戶云圖通過云圖了解用戶點擊的關(guān)鍵

12、詞和訪問次數(shù)網(wǎng)站視圖通過網(wǎng)站視圖可以了解到網(wǎng)站的訪問量，網(wǎng)站的基本信息，網(wǎng)站所包含的url網(wǎng)站熱力圖熱力圖展示以刻度值來顯示網(wǎng)站分類熱度情況。處理 1.6.5 網(wǎng)站/url管理網(wǎng)站管理目的對網(wǎng)站的基本信息及策略（是否爬取，更新周期）,及網(wǎng)站對應(yīng)的url進行維護,依據(jù)這些策略來爬取或者不爬取網(wǎng)站下的url對url默認(rèn)分類管理,url分類根據(jù)設(shè)置來對url進行按后輟名或者包含的內(nèi)容進行分類。功能列表功能名稱描述備注網(wǎng)站維護根據(jù)url特定條件，對網(wǎng)站的網(wǎng)站信息、網(wǎng)站基準(zhǔn)url（即首頁的url，以該url為前綴的所有url都會被歸入該網(wǎng)站）、網(wǎng)站所含關(guān)鍵詞等信息進行修改，刪除等操作網(wǎng)站策略維護對于網(wǎng)站

13、策略的信息進行修改，刪除等操作處理1.6.6 url管理目的對url默認(rèn)分類及url過濾進行設(shè)置,為url分類及url過濾提供規(guī)則。功能列表功能名稱描述備注查看url默認(rèn)分類查看url默認(rèn)分類添加url默認(rèn)分類添加url默認(rèn)分類更新url默認(rèn)分類更新url默認(rèn)分類刪除url默認(rèn)分類刪除url默認(rèn)分類查看url過濾查看url過濾添加url過濾添加url過濾更新url過濾更新url過濾刪除url過濾刪除url過濾處理1.6.7 系統(tǒng)監(jiān)控及調(diào)度 核心組件監(jiān)控目的根據(jù)日志信息監(jiān)控網(wǎng)頁爬取和網(wǎng)頁分析的運行情況，對異常情況進行前臺頁面顯示，和系統(tǒng)重啟操作；功能列表 該核心監(jiān)控包括爬取任務(wù)進程監(jiān)控、網(wǎng)頁分析

14、進程監(jiān)控，詳見下表：功能名稱描述備注爬蟲服務(wù)器爬取網(wǎng)頁源文件任務(wù)進程狀態(tài)監(jiān)控etl調(diào)用shell命令，獲取執(zhí)行爬蟲服務(wù)的進程的運行狀態(tài)，并在前臺頁面顯示，如果得到爬蟲服務(wù)器爬取進程停止信息，則etl調(diào)用shell命令，重啟爬取進程每隔一定時間，進行監(jiān)控網(wǎng)頁分析任務(wù)進程狀態(tài)監(jiān)控etl調(diào)用shell命令，獲取網(wǎng)頁分析服務(wù)器分析進程的運行狀態(tài)，并在前臺頁面顯示，如果得到分析取進程停止信息，則etl調(diào)用shell命令，重啟分析進程每隔一定時間，進行監(jiān)控處理爬取進程系統(tǒng)監(jiān)控 網(wǎng)頁分析進程監(jiān)控 業(yè)務(wù)監(jiān)控 目的 etl對wap日志的獲取，過濾，url默認(rèn)分類，已知url分類，網(wǎng)頁爬取和網(wǎng)頁分析六個過程中的處

15、理量、成功量、失敗量和處理速度進行監(jiān)控，對于某個處理量達到該處理過程的上限閥值進行告警； 功能列表 業(yè)務(wù)監(jiān)控主要功能點包括：wap日志獲取監(jiān)控、wap日志url過濾監(jiān)控、url默認(rèn)分類監(jiān)控、對已知url分類過程監(jiān)控、網(wǎng)頁爬取過程監(jiān)控、網(wǎng)頁分析過程監(jiān)控；詳見下列表： 功能名稱描述備注wap日志獲取監(jiān)控對提供wap日志接口處理文件量進行監(jiān)控，如果達到wap接口處理量情況，進行告警，輸出到前臺監(jiān)控頁面，由系統(tǒng)維護人員進行維護主要監(jiān)控：url到達總量，待加載url總量，加載成功量，加載失敗量，處理速度wap日志url過濾監(jiān)控對從wap日志中抽取url后進行過濾操作進行監(jiān)控，并對異常情況進行告警，輸出到

16、前臺監(jiān)控頁面，由系統(tǒng)維護人員進行維護主要監(jiān)控：抽取url總量，待過濾url量，過濾通過量，過濾去掉量，處理速度url默認(rèn)分類監(jiān)控對按url策略分類操作的過程監(jiān)控，并對異常情況進行告警，輸出到前臺監(jiān)控頁面，由系統(tǒng)維護人員進行維護主要監(jiān)控：按url策略分類總量，待url策略分類的量，按url策略分類成功量，按url策略分類失敗量，處理速度網(wǎng)頁爬取過程監(jiān)控對爬取服務(wù)器爬取文件操作的監(jiān)控，并對分析過程中文件量過大，超過處理閥值等異常情況進行告警，輸出到前臺監(jiān)控頁面，由系統(tǒng)維護人員進行維護主要監(jiān)控：送入爬蟲服務(wù)器url總量，待爬取url的量，爬取url成功的量，爬取url失敗的量，處理速度網(wǎng)頁分析過程監(jiān)

17、控對網(wǎng)頁分析服務(wù)器分析網(wǎng)頁操作進行監(jiān)控，對分析文件過大，超過閥值等情況進行告警，輸出到前臺監(jiān)控頁面，由系統(tǒng)維護人員進行維護主要監(jiān)控：網(wǎng)頁分析文件到達總量，待分析網(wǎng)頁的文件量，網(wǎng)頁分析成功的文件量，網(wǎng)頁分析失敗的文件量，處理速度 處理 系統(tǒng)調(diào)度 目的 系統(tǒng)調(diào)度是為了使互聯(lián)網(wǎng)行為分析的各個流程模塊，能夠很好的相互連接，順序進行，快速準(zhǔn)確的輸出分析結(jié)果； 功能列表系統(tǒng)調(diào)度模塊包括：url過濾調(diào)度、網(wǎng)頁爬取調(diào)度、網(wǎng)頁分析調(diào)度、網(wǎng)頁文件回傳調(diào)度、網(wǎng)頁緩存調(diào)度，具體見下表：功能名稱描述備注url業(yè)務(wù)過濾調(diào)度當(dāng)wap日志抽取之后生成有效url列表，etl執(zhí)行url業(yè)務(wù)過濾調(diào)度，執(zhí)行業(yè)務(wù)過濾操作，每隔一定時間

18、，執(zhí)行調(diào)度網(wǎng)頁爬取調(diào)度如果數(shù)據(jù)庫中有待爬取的任務(wù)生成時，執(zhí)行爬取調(diào)度操作，將需要爬取的url文件，ftp到爬蟲服務(wù)器，執(zhí)行爬取操作每隔一定時間，執(zhí)行調(diào)度網(wǎng)頁分析調(diào)度如果磁盤陣列上有爬取文件生成，則執(zhí)行分析調(diào)度操作，將爬取文件ftp到分析服務(wù)器上，執(zhí)行分析操作每隔一定時間，執(zhí)行調(diào)度網(wǎng)頁回傳調(diào)度當(dāng)爬蟲服務(wù)器有爬取結(jié)果生成時，執(zhí)行網(wǎng)頁回傳調(diào)度，將本地的結(jié)果ftp到磁盤陣列上，等待網(wǎng)頁分析調(diào)度每隔一定時間，執(zhí)行調(diào)度網(wǎng)頁緩存調(diào)度當(dāng)系統(tǒng)執(zhí)行網(wǎng)頁分析調(diào)度時，首先執(zhí)行網(wǎng)頁緩存調(diào)度，將待分析的爬取文件，緩存到臨時數(shù)據(jù)庫，當(dāng)有分析結(jié)果生成時，手動刪除臨時表信息每隔一定時間，執(zhí)行調(diào)度 處理1.6.8 搜索任務(wù)管理目

19、的管理搜索任務(wù)及查看任務(wù)的統(tǒng)計信息及用戶清單。功能列表功能名稱描述備注前臺展示顯示用戶定義的搜索任務(wù)及查看任務(wù)的的信息(任務(wù)id,查詢條件，搜索類型，查看用戶群信息,刪除操作)也就是搜索任務(wù)查看搜索任務(wù)創(chuàng)建鏈節(jié)到搜索頁面搜索任務(wù)刪除刪除當(dāng)前自己的搜索任務(wù),如果當(dāng)前任務(wù)超期，則刪除對應(yīng)的清單。數(shù)據(jù)處理搜索任務(wù)展示目的顯示用戶定義的搜索任務(wù)及查看相關(guān)的數(shù)據(jù)處理關(guān)鍵詞刪除目的 刪除當(dāng)前自己的搜索任務(wù),如果當(dāng)前任務(wù)超期，則刪除對應(yīng)的清單。數(shù)據(jù)處理1.6.9 搜索服務(wù)與管理目的 調(diào)用搜索服務(wù)接口來搜索關(guān)鍵詞,并生成離線任務(wù)，并顯示完成的任務(wù)的搜索清單。功能列表功能名稱描述備注關(guān)鍵詞搜索頁面搜索用戶關(guān)心的

20、包含關(guān)鍵詞的網(wǎng)頁, 根據(jù)用戶輸入的條件生成搜索任務(wù)，以便離線查詢關(guān)鍵詞，訪問次數(shù)及搜索類型(全部，網(wǎng)頁，關(guān)鍵詞)關(guān)鍵詞搜索結(jié)果顯示根據(jù)任務(wù)來顯示相應(yīng)任務(wù)的搜索清單(用戶id,關(guān)鍵詞，詞頻，訪問次數(shù))數(shù)據(jù)處理關(guān)鍵詞搜索頁面目的根據(jù)用戶的輸入條件，調(diào)用搜索服務(wù)，生成搜索服務(wù)。數(shù)據(jù)處理關(guān)鍵詞搜索結(jié)果顯示目的顯示搜索關(guān)鍵詞的結(jié)果,以便查看搜索結(jié)果。功能列表功能名稱描述備注關(guān)鍵詞搜索結(jié)果顯示顯示搜索關(guān)鍵詞的結(jié)果,以便查看搜索結(jié)果數(shù)據(jù)處理1.6.10 搜索服務(wù)目的為ckm等其它系統(tǒng)提供用戶清單搜索的服務(wù)。功能列表功能名稱描述備注搜索服務(wù) 搜索界面，結(jié)果顯示，搜索服務(wù)建立索引針對wap日志由lucene自動建立網(wǎng)頁全文索引，關(guān)鍵詞全文索引刪除索引 刪除超期的全文索引查詢索引 定時調(diào)度，根據(jù)關(guān)鍵詞,索引庫類型查詢，導(dǎo)出查詢結(jié)果數(shù)據(jù)處理1.6.11 用戶搜索結(jié)果后臺匯總目的根據(jù)網(wǎng)頁搜索結(jié)果結(jié)合用戶訪問清單、搜索任務(wù)信息匯總滿足搜索條件的用戶清單及用戶匯總信息，提供給前臺展示及ckm應(yīng)用。功能列表功能名稱描述備注關(guān)鍵詞用戶清單匯總網(wǎng)頁搜索結(jié)果表和帶id用戶訪問日志清單表通過url_id關(guān)聯(lián)獲取用戶id，匯總出關(guān)鍵詞用戶清單信息關(guān)鍵詞用戶匯總信息匯總關(guān)鍵詞用戶清單信息根據(jù)用戶id、關(guān)鍵詞匯總，得到訪問次數(shù)、總詞頻信息。關(guān)鍵詞用戶匯總信息轉(zhuǎn)橫表關(guān)鍵詞用戶匯總信息結(jié)合搜索任務(wù)信息表的關(guān)鍵詞列表，動態(tài)構(gòu)