企業(yè)大數(shù)據(jù)定制集成解決方案

1、企業(yè)大數(shù)據(jù)定制集成解決方案大數(shù)據(jù)3聯(lián)想大數(shù)據(jù)解決方案2當(dāng)今挑戰(zhàn)1技術(shù)發(fā)展趨勢大數(shù)據(jù)服務(wù)類收入包括大數(shù)據(jù)在線應(yīng)用、專業(yè)咨詢服務(wù)、技術(shù)支持服務(wù)等。服務(wù)類收入在大數(shù)據(jù)市場中占比約44%。全球市場規(guī)模Services 7,393 40%Hardwre 7，14940%Software4,11722%大數(shù)據(jù)相關(guān)的軟件和硬件產(chǎn)品仍是大數(shù)據(jù)市場主要收入構(gòu)成，其中軟件收入占比22%，硬件收入占比38%。2013年全球大數(shù)據(jù)市場總體規(guī)模為186億美元，2014年285億美元，2015年將達(dá)到384億美元,（數(shù)據(jù)來源：Wikibon 口徑：含大數(shù)據(jù)專門硬件、軟件和云服務(wù)）大數(shù)據(jù)產(chǎn)業(yè)生態(tài)體系商業(yè)智能服務(wù)類廣告/媒體

2、服務(wù)類大數(shù)據(jù)處理服務(wù)提供商數(shù)據(jù)交易服務(wù)類分析和可視化服務(wù)類日志數(shù)據(jù)服務(wù)類通用在線分析工具類技術(shù)服務(wù)、運(yùn)維支持應(yīng)用軟件大數(shù)據(jù)解決方案提供商數(shù)據(jù)庫、數(shù)據(jù)儲(chǔ)存硬件基礎(chǔ)軟件數(shù)據(jù)庫大數(shù)據(jù)分析軟件數(shù)據(jù)交易市場公共數(shù)據(jù)市場免費(fèi)數(shù)據(jù)平臺(tái)盈利數(shù)據(jù)市場數(shù)據(jù)交易市場尚處萌芽期，市場規(guī)模仍然很小。熱點(diǎn)大數(shù)據(jù)應(yīng)用在各行各業(yè)的發(fā)展呈現(xiàn)“階梯式”格局: 互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)應(yīng)用的領(lǐng)跑者，金融、零售、電信、公共管理、醫(yī)療衛(wèi)生等領(lǐng)域嘗試當(dāng)中電商 實(shí)時(shí)競價(jià)廣告DSP & 精準(zhǔn)營銷 . 提高服務(wù) 金融 互聯(lián)網(wǎng)金融 & 行為預(yù)測, 風(fēng)控, 實(shí)時(shí)授信, 信貸政府 政府監(jiān)管 & 征信 稅務(wù) 統(tǒng)計(jì) 輿情 犯罪預(yù)防 交警卡口 聯(lián)想內(nèi)部使用大數(shù)

3、據(jù)分析做產(chǎn)品設(shè)計(jì)的決策支持 三個(gè)行業(yè)& 三個(gè)熱點(diǎn) Plus: 研究類熱點(diǎn) 硬件演進(jìn),使機(jī)器學(xué)習(xí)(ML)重獲生機(jī), 反饋給現(xiàn)在的業(yè)務(wù)端,用于不可枚舉型的分析查詢ML級(jí)別的集群: Google(Google Brain), Facebook(DeepFace 2014) , Baidu(image, face- 百度識(shí)圖) ，Tecent (Mariana語音,翻譯- 微信, Ali (天池, 快的打車, )難點(diǎn):算法收斂節(jié)點(diǎn)數(shù)量AI大數(shù)據(jù)應(yīng)用在各行各業(yè)的發(fā)展呈現(xiàn)“階梯式”格局: 互聯(lián)網(wǎng)行業(yè)是大數(shù)據(jù)應(yīng)用的領(lǐng)跑者，金融、零售、電信、公共管理、醫(yī)療衛(wèi)生等領(lǐng)域嘗試當(dāng)中電商 實(shí)時(shí)競價(jià)廣告DSP & 精準(zhǔn)營

4、銷 . 提高服務(wù) 金融 互聯(lián)網(wǎng)金融 & 行為預(yù)測, 風(fēng)控, 實(shí)時(shí)授信, 信貸政府 政府監(jiān)管 & 征信 稅務(wù) 統(tǒng)計(jì) 輿情 犯罪預(yù)防 交警卡口技術(shù)趨勢 混合架構(gòu)逐漸消失向 Hadoop架構(gòu)統(tǒng)一(5TB) Hadoop: 調(diào)度與計(jì)算框架分離, 流計(jì)算與批處理走向統(tǒng)一SQL on Hadoop 多container集群快速部署 ( Hadoop as service )云計(jì)算與大數(shù)據(jù)的融合 固態(tài)盤替代內(nèi)存做為緩存, 取代In-memory computingOn SDD Computing 優(yōu)化的深度學(xué)習(xí)能力探索與發(fā)現(xiàn) 綁定, 付費(fèi), 且無法廣泛兼容, 現(xiàn)有一體機(jī)設(shè)計(jì)多為僅做了簡單的加法與既有平臺(tái)的兼

5、容和優(yōu)化 ( ETL , 特征提取) 節(jié)點(diǎn)數(shù)龐大時(shí)算法無法收斂且難以優(yōu)化,忽略從硬件角度優(yōu)化與云結(jié)合, Docker 多container集群快速部署 ( Hadoop as service )2挑戰(zhàn)- 熱點(diǎn)背后的疑點(diǎn)/盲點(diǎn)基礎(chǔ)設(shè)施對(duì)大數(shù)據(jù)的關(guān)鍵性被忽略部署工具無法按需選擇不同廠商計(jì)算框架 被忽略的節(jié)點(diǎn)設(shè)計(jì)與 硬件接口優(yōu)化 最后一公里的集成與優(yōu)化的落地機(jī)器學(xué)習(xí)實(shí)踐意義的與云計(jì)算的結(jié)合1建設(shè)主張: 應(yīng)用導(dǎo)向的定制化統(tǒng)一集成銷售財(cái)務(wù)運(yùn)營人力資源風(fēng)控欺詐調(diào)查數(shù)據(jù)資產(chǎn)治理解決方案行業(yè)ISV解決方案策略和分析服務(wù)咨詢服務(wù)垂直行業(yè)方案平臺(tái)分析與展現(xiàn)平臺(tái)Hadoop軟件平臺(tái)硬件平臺(tái)大數(shù)據(jù)與分析基本設(shè)施Dec

6、isionManagement智慧分析平臺(tái)商業(yè)智能和分析預(yù)測ContentAnalyticsPerformance ManagementDiscovery &ExplorationData Mgmt & Warehouse數(shù)據(jù)整合平臺(tái)信息整合與治理StreamComputingHadoopSystemContentManagement提供了明顯的差別發(fā)現(xiàn)新的見解實(shí)時(shí)操作商業(yè)應(yīng)用加速達(dá)到商業(yè)價(jià)值洞察商業(yè)問題的背景可靠的基礎(chǔ)設(shè)施與智能優(yōu)化部署高可用可擴(kuò)展易運(yùn)維了解業(yè)務(wù)需求與目標(biāo)大數(shù)據(jù)需要一個(gè)新的模式 : 應(yīng)用導(dǎo)向的定制化統(tǒng)一集成 我學(xué)到了么，什么是最好的選擇?認(rèn)識(shí)過程發(fā)生了什么?發(fā)現(xiàn)與探索為什么會(huì)

7、發(fā)生這樣的事?報(bào)告和分析我應(yīng)該采取什么行動(dòng)?決策管理會(huì)發(fā)生什么事?預(yù)測分析與建模實(shí)時(shí)數(shù)據(jù)處理與分析Real-time Data Processing & Analytics操作數(shù)據(jù)區(qū)Operational data zone著陸，勘探和歸檔數(shù)據(jù)區(qū)Landing, Exploration and Archive data zone深入分析數(shù)據(jù)區(qū)Deep Analytics data zone企業(yè)級(jí)數(shù)據(jù)倉庫和數(shù)據(jù)集市區(qū)EDW and data mart zone信息集成與管配Information Integration & Governance系統(tǒng)安全存儲(chǔ)自有的, 云化, 當(dāng)作服務(wù)所有數(shù)據(jù)新版/

8、增強(qiáng)版 應(yīng)用BigData Platform BigData Foundation BigData FoundationApplianceManagement NodeNameNodeResourceManagerHMasterData NodeData Node大數(shù)據(jù)優(yōu)化部署方案 易用的硬件部署自動(dòng)部署OS ready for Hadoop 多元化的基礎(chǔ)平臺(tái)軟件選擇 貼合應(yīng)用場景的優(yōu)化管理節(jié)點(diǎn)的配置和數(shù)量是系統(tǒng)性能，可管理性和可用性的關(guān)鍵邊緣節(jié)點(diǎn)定義影響整體系統(tǒng)的性能和數(shù)據(jù)輸入如果不考慮這些因素可能會(huì)導(dǎo)致主要瓶頸和長期增長潛在的問題架構(gòu)必須考慮到不同的要求:計(jì)算界限分析, 計(jì)算密集型分析（例

9、如., 數(shù)據(jù)分類，文本挖掘，或先進(jìn)的運(yùn)算法則）I/O界限分析, I/O密集度分析（例如., 索引、搜索、數(shù)據(jù)排序）數(shù)據(jù)攝入的要求節(jié)點(diǎn)設(shè)計(jì)平衡性能/成本優(yōu)化后的工作量：處理器：時(shí)鐘速率和核數(shù)內(nèi)存： 對(duì)于內(nèi)存限制工作型，并為內(nèi)存密集型管理節(jié)點(diǎn)硬盤 ：數(shù)目和種類 (SAS 或 SATA)核對(duì)硬盤比：工作負(fù)載的I/O密集程度對(duì)于深度學(xué)習(xí)算法的收斂問題的解決來說, 比起優(yōu)化算法, 優(yōu)化硬件架構(gòu)是更簡單的解決方式, 舉例來講, 降低網(wǎng)絡(luò)開銷就可以節(jié)點(diǎn)設(shè)計(jì)方案 所有的大數(shù)據(jù)問題都不一樣# Figures from Intel E5-2400/#5-2600 Processor specifications參考架構(gòu)的數(shù)據(jù)節(jié)點(diǎn)設(shè)計(jì)要考慮計(jì)算或I/ O綁定的工作負(fù)載數(shù)量核數(shù)時(shí)鐘速率節(jié)點(diǎn)內(nèi)存數(shù)據(jù)節(jié)點(diǎn)硬盤6 or 8Up to 2.4GHz3-6 GB /核 2TB, 3TB 4TB, 6TB NL SAS or SATA聯(lián)想如何與其它品牌不同?領(lǐng)導(dǎo)品牌，質(zhì)量，服務(wù)易于部署，管理和服務(wù)開放式體