大數(shù)據(jù)分析市場(chǎng)行業(yè)分布

1、大數(shù)據(jù)機(jī)大數(shù)據(jù)機(jī)大數(shù)據(jù)分析市場(chǎng)行業(yè)分布 2012年大數(shù)據(jù)分析需求行業(yè)分布 政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。 結(jié)論：各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用的需求，潛在市場(chǎng)空間非?？捎^。云展大數(shù)據(jù)機(jī)大數(shù)據(jù)采集大數(shù)據(jù)存儲(chǔ)大數(shù)據(jù)處理大數(shù)據(jù)可視化收集網(wǎng)站日志,交易數(shù)據(jù),音頻視頻數(shù)據(jù),即時(shí)信息可擴(kuò)展數(shù)據(jù)采集框架數(shù)據(jù)導(dǎo)入元數(shù)據(jù)管理分布式大數(shù)據(jù)存儲(chǔ)確立分析目標(biāo)編寫(xiě)分析程序大數(shù)據(jù)并行處理引擎為分析目標(biāo)生成報(bào)表,趨勢(shì)圖等圖表生成工具大數(shù)據(jù)分析應(yīng)用大數(shù)據(jù)分析應(yīng)用大數(shù)據(jù)分析平臺(tái)大數(shù)據(jù)分析平臺(tái)云展大數(shù)據(jù)機(jī)軟件架構(gòu)數(shù)據(jù)收集框架基于分布式文件系統(tǒng)的數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)管理E3大數(shù)據(jù)并行處理框架SQL接

2、口E3編程接口MapReduce接口可視化工具大數(shù)據(jù)知識(shí)庫(kù)文本分析工具結(jié)構(gòu)化數(shù)據(jù)分析工具云展大數(shù)據(jù)機(jī)硬件架構(gòu) 標(biāo)準(zhǔn)機(jī)架式設(shè)計(jì) 每個(gè)機(jī)架可容納40臺(tái)節(jié)點(diǎn)機(jī) 節(jié)點(diǎn)機(jī)通過(guò)千兆以太網(wǎng)連接 節(jié)點(diǎn)機(jī)采用標(biāo)準(zhǔn)PC服務(wù)器 可擴(kuò)展到20個(gè)機(jī)架 原型機(jī)：awan（2個(gè)機(jī)架，76臺(tái)節(jié)點(diǎn)機(jī)）云展關(guān)鍵技術(shù)E3引擎E3將數(shù)據(jù)處理過(guò)程描述為一個(gè)線性工作流，工作流中每一個(gè)節(jié)點(diǎn)稱為一個(gè)階段，每階段包含若干處理單元，每個(gè)處理單元對(duì)數(shù)據(jù)進(jìn)行部分處理。E3按照工作流的順序，并行地調(diào)度處理單元在計(jì)算節(jié)點(diǎn)上運(yùn)行，自動(dòng)在處理單元之間傳遞中間運(yùn)算結(jié)果，最終完成整個(gè)數(shù)據(jù)處理過(guò)程。pu1pu1pu1pu1pu2pu2pu3pu4pu4pu5pu

3、5pu5云數(shù)據(jù) 存儲(chǔ)服務(wù)云 數(shù)據(jù)存儲(chǔ)服務(wù)PU processing unit （處理單元）E3與阿帕奇Hadoop的性能比較 Grep任務(wù)：每個(gè)節(jié)點(diǎn)535M Select任務(wù)：每個(gè)節(jié)點(diǎn)1GGrep任務(wù)Select任務(wù)混合式數(shù)據(jù)分析工具 同時(shí)支持非結(jié)構(gòu)化的文本分析和結(jié)構(gòu)化的數(shù)據(jù)庫(kù)分析 建立在統(tǒng)一的E3引擎之上，能夠進(jìn)行交互和聯(lián)合分析 支持對(duì)海量數(shù)據(jù)的快速分析，發(fā)現(xiàn)其中隱藏的知識(shí)、行為模式等 提供描述語(yǔ)言，支持用戶進(jìn)行自定義的數(shù)據(jù)分析文本分析工具結(jié)構(gòu)化數(shù)據(jù)分析工具非機(jī)構(gòu)化分析工具分布式存儲(chǔ)和處理模型 無(wú)需定義表結(jié)構(gòu) 數(shù)據(jù)直接存儲(chǔ)與分布式文件系統(tǒng)中 自動(dòng)錯(cuò)誤處理和恢復(fù)基本的數(shù)據(jù)訪問(wèn)接口 put/ge

4、t: 隨機(jī)的文檔數(shù)據(jù)讀取 scan: 批量數(shù)據(jù)掃描 tokenize: 將文檔組織成單詞組以提供給上層分析處理分析數(shù)據(jù)接口 Extract operator : 提供基于正則表達(dá)式和字典的匹配操作 Select operator : 提供基于用戶選擇條件的過(guò)濾操作 Join operator : 將來(lái)自多個(gè)數(shù)據(jù)源的文檔/文字流進(jìn)行合并 Consolidate operator : 去重操作提供類(lèi)似于SQL的文本處理分析語(yǔ)言: EPQL非結(jié)構(gòu)化處理流程 每一個(gè)EPQL將對(duì)特定集合的文檔進(jìn)行處理 每個(gè)文檔將通過(guò)4個(gè)操作的處理，然后中間結(jié)果傳給連接操作和去重操作 結(jié)果將是符合用戶要求的文檔或統(tǒng)計(jì)內(nèi)容

5、，比如： 查找所有包含關(guān)鍵詞：Cloud Computing，在2012年產(chǎn)生的網(wǎng)頁(yè) 統(tǒng)計(jì)近一個(gè)月內(nèi)，出現(xiàn)包含釣魚(yú)島的文檔與包含日本車(chē)銷(xiāo)量?jī)?nèi)容的文檔的關(guān)聯(lián)度文本分析示例：用戶反饋信息分析 在電子商務(wù)網(wǎng)站，如京東等，用戶購(gòu)買(mǎi)結(jié)束后，會(huì)對(duì)產(chǎn)品購(gòu)買(mǎi)過(guò)程及產(chǎn)品本身進(jìn)行評(píng)價(jià)，通過(guò)分析用戶的反饋信息，可以發(fā)現(xiàn)其中的問(wèn)題關(guān)鍵問(wèn)題：發(fā)貨速度慢，關(guān)鍵問(wèn)題：發(fā)貨速度慢，需要更換物流公司需要更換物流公司結(jié)構(gòu)化數(shù)據(jù)分析 結(jié)構(gòu)化數(shù)據(jù)分析通過(guò)維護(hù)并定期更新data cube的方式來(lái)提供高效的分析查詢結(jié)果 根據(jù)時(shí)間戳來(lái)實(shí)現(xiàn)同時(shí)支持實(shí)時(shí)事務(wù)處理和分析查詢數(shù)據(jù)分片分布式索引技術(shù)在結(jié)構(gòu)化分析工具中，系統(tǒng)建立多維的分布式索引以支持

6、高效的并行查找分布式索引技術(shù)建立分布式二級(jí)索引支持并發(fā)地在多節(jié)點(diǎn)上同時(shí)查詢可以和本地?cái)?shù)據(jù)庫(kù)索引連接例如：分布式B樹(shù)索引結(jié)構(gòu)，可視化工具 將分析結(jié)果以報(bào)表的形式展現(xiàn)給用戶 支持線圖、餅圖、柱裝圖、趨勢(shì)圖等常用的圖表格式 標(biāo)簽云以及數(shù)據(jù)關(guān)聯(lián)挖掘云展大數(shù)據(jù)機(jī)與其他大數(shù)據(jù)分析平臺(tái)的比較云展大數(shù)據(jù)機(jī)Greenplum HDIBM BigInsights是否一體機(jī)是是否硬件架構(gòu)標(biāo)準(zhǔn)標(biāo)準(zhǔn)N.A.大數(shù)據(jù)收集框架式設(shè)計(jì)手工手工元數(shù)據(jù)管理支持不支持不支持大數(shù)據(jù)存儲(chǔ)HDFSHDFSHDFS大數(shù)據(jù)處理引擎E3HadoopHadoop大數(shù)據(jù)處理接口E3，MapReduce，SQLMapReduce，HiveQLMapR

7、educe，Jaql大數(shù)據(jù)可視化支持不支持不支持如何處理分析結(jié)果Elephant DB，支持檢索、外部應(yīng)用訪問(wèn)接口需要倒入Greenplum Database數(shù)據(jù)倉(cāng)庫(kù)文件存儲(chǔ)，無(wú)外部應(yīng)用訪問(wèn)接口分析案例：95598客服服務(wù) 主要功能包括客戶檔案查詢、電量電費(fèi)查詢、業(yè)務(wù)辦理進(jìn)度查詢，以及業(yè)務(wù)受理、故障報(bào)修、咨詢受理、投訴舉報(bào)、消息訂閱 主要業(yè)務(wù)流程客戶電話記錄語(yǔ)音記錄用戶電話客戶電話記錄 由客服人員手工錄入，包括： 電話起止時(shí)間 客戶身份信息 原因（歸類(lèi)為:電費(fèi)查詢、投訴、保修等幾大類(lèi)） 簡(jiǎn)單內(nèi)容概述（不完整，客戶人員匆匆記錄） 當(dāng)前的處理方式簡(jiǎn)單的統(tǒng)計(jì)信息： 平均電話時(shí)常 客戶分布信息 每種電

8、話的統(tǒng)計(jì)百分比 缺乏深度的分析 用戶因?yàn)槭裁炊对V，這種投訴是否是普遍存在的 每個(gè)用戶是否通過(guò)撥打955598電話完成了他的請(qǐng)求 語(yǔ)音記錄 用戶和客服之間的對(duì)話會(huì)被完整記錄為語(yǔ)音文件 語(yǔ)音文件包含了豐富的信息： 用戶打電話的主要原因 客服的服務(wù)態(tài)度 客服的服務(wù)能力 用戶的滿意度 因?yàn)槿鄙傧嚓P(guān)工具，當(dāng)前采用人員采樣收聽(tīng)的策略，效率低，覆蓋率低針對(duì)客服信息的大數(shù)據(jù)分析用戶數(shù)據(jù)云展數(shù)據(jù)倉(cāng)庫(kù)導(dǎo)入混合數(shù)據(jù)分析改進(jìn)業(yè)務(wù)流程產(chǎn)生新的數(shù)據(jù)關(guān)聯(lián)翻譯關(guān)鍵技術(shù)非結(jié)構(gòu)化語(yǔ)音分析客服信息用戶信息語(yǔ)音語(yǔ)調(diào)分析，看是否按照規(guī)定的態(tài)度服務(wù)記錄了用戶的投訴內(nèi)容和對(duì)服務(wù)的滿意度內(nèi)容分割：按照音色音域分析結(jié)果用戶滿意度 用戶撥打客

9、服電話都是有一定的目的，目的達(dá)到與否則表示了客服的成功率 通過(guò)對(duì)用戶的語(yǔ)義、情緒分析，符合下列模型的，分析認(rèn)為是正確滿足用戶需求的不滿憤怒疑問(wèn)稱贊感謝釋疑平靜分析結(jié)果客服質(zhì)量 客服質(zhì)量定義為：?jiǎn)挝粫r(shí)間內(nèi)滿足的用戶數(shù)量 對(duì)某一特定客服人員：總服務(wù)時(shí)間滿意的用戶數(shù)服務(wù)效率 總用戶數(shù)滿意的用戶數(shù)服務(wù)質(zhì)量 服務(wù)質(zhì)量統(tǒng)計(jì)服務(wù)質(zhì)量統(tǒng)計(jì)分析結(jié)果熱點(diǎn)分析 通過(guò)整理分析用戶通話內(nèi)容得到用戶投訴的主要目的 使用數(shù)據(jù)挖掘和數(shù)據(jù)可視化來(lái)統(tǒng)計(jì)關(guān)鍵問(wèn)題 支持海量數(shù)據(jù)的快速處理 分析客戶通話內(nèi)容,按照詞頻構(gòu)造標(biāo)簽云：關(guān)鍵技術(shù)分結(jié)構(gòu)化數(shù)據(jù)分析 系統(tǒng)支持按照關(guān)鍵詞（一個(gè)或多個(gè)）將錄音電話切片分類(lèi) 比如，要查找關(guān)于“電費(fèi)”相關(guān)的

10、記錄中主要的投訴內(nèi)容 通過(guò)索引和分布式處理機(jī)制，可以快速的生成新的統(tǒng)計(jì)數(shù)據(jù)（類(lèi)似于在數(shù)據(jù)倉(cāng)庫(kù)中做切片操作）： 關(guān)鍵技術(shù)結(jié)構(gòu)化/分結(jié)構(gòu)化混合分析 客服內(nèi)容由兩部分：關(guān)于電話基本信息的關(guān)系數(shù)據(jù)，具體的語(yǔ)音信息 關(guān)聯(lián)分析將兩者結(jié)合起來(lái)進(jìn)行深度分析： 電話耗時(shí)10分鐘以下和10分鐘以上的用戶滿意度統(tǒng)計(jì) 分布在不同區(qū)域的用戶滿意度統(tǒng)計(jì) 收入在不同范圍的用戶關(guān)心的主要問(wèn)題 客服填寫(xiě)的簡(jiǎn)要信息是否和用戶錄音記錄一致 客戶電話主要集中來(lái)電時(shí)間分布，以及和滿意度的關(guān)聯(lián)度 客服的效率和時(shí)間的關(guān)系其他案例 網(wǎng)易私有云平臺(tái)網(wǎng)易私有云平臺(tái) 推進(jìn)企業(yè)內(nèi)數(shù)據(jù)共享、全局信息挖掘與商業(yè)智能虛擬化虛擬機(jī)、網(wǎng)絡(luò)、云硬盤(pán)數(shù)據(jù)管理DDB、對(duì)象存儲(chǔ)、文件中心、關(guān)系數(shù)據(jù)存儲(chǔ)、全文檢索、并行分析、Timeline、NewSQL、緩存服務(wù)應(yīng)用架構(gòu)負(fù)載均