大數(shù)據(jù)解決方案介紹ppt課件

1、1. 項(xiàng)目背景理解,IBM 大數(shù)據(jù)平臺(tái)解決方案,當(dāng)前業(yè)務(wù)面臨的挑戰(zhàn),數(shù)據(jù)問(wèn)題,慢,缺,重,散,繁,差,企業(yè)內(nèi)數(shù)據(jù)定義缺失；數(shù)據(jù)項(xiàng)缺失；數(shù)據(jù)屬性不完整； 企業(yè)外部數(shù)據(jù)無(wú)暇顧及,數(shù)據(jù)在多個(gè)系統(tǒng)中重復(fù)采集、重復(fù)存儲(chǔ),系統(tǒng)數(shù)據(jù)無(wú)法關(guān)聯(lián)、共享，數(shù)據(jù)整合困難；系統(tǒng)林立，數(shù)出多門,數(shù)據(jù)時(shí)效性差，使用者無(wú)法及時(shí)獲得所需信息,數(shù)據(jù)使用不方便，方法繁瑣；手工報(bào)表多,數(shù)據(jù)質(zhì)量差，數(shù)據(jù)不完整，數(shù)據(jù)不一致,沒有準(zhǔn)確數(shù)據(jù)支撐 難以進(jìn)行深度分析 決策缺乏可靠依據(jù),IT如何推動(dòng)公司運(yùn)營(yíng)變革,2、服務(wù)管控模式逐步完善 夯實(shí)基礎(chǔ)管理 管控思路由簡(jiǎn)單支撐向精細(xì)服務(wù)轉(zhuǎn)型 全面優(yōu)化信息化服務(wù)流程實(shí)現(xiàn)分級(jí)服務(wù),保險(xiǎn)行業(yè)經(jīng)過(guò)多年的發(fā)展，整

2、個(gè)行業(yè)的變革越來(lái)越快，市場(chǎng)競(jìng)爭(zhēng)環(huán)境也日益激烈。保險(xiǎn)公司想要在殘酷的競(jìng)爭(zhēng)中占得先機(jī)，就必須考慮產(chǎn)業(yè)的融合，并在價(jià)值鏈中占得有利的位置,1、由被動(dòng)的IT支撐向主動(dòng)的以數(shù)據(jù)為核心的IT服務(wù)轉(zhuǎn)型 以大數(shù)據(jù)為核心組織IT服務(wù)能力 持續(xù)完善基礎(chǔ)支撐能力 擁抱互聯(lián)網(wǎng) 架構(gòu)體系全面云化,大數(shù)據(jù)思考,根據(jù)Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了3V的內(nèi)容： 數(shù)據(jù)量龐大（Volume）：從PB擴(kuò)展到ZB；IT系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等每天都在產(chǎn)生大量新生數(shù)據(jù)，過(guò)去的兩年間產(chǎn)生的數(shù)據(jù)占到了所有數(shù)據(jù)的90% 數(shù)據(jù)變化快 (Velocity)：數(shù)據(jù)變化與處理的頻度由天加速到秒/毫秒；訂單、支付、欺詐、微博、監(jiān)控視頻、傳

3、感器、信令每時(shí)每刻都在不停的產(chǎn)生數(shù)據(jù) 數(shù)據(jù)多樣（Variety)：數(shù)據(jù)種類繁多：數(shù)據(jù)庫(kù)表，格式文本，自然語(yǔ)言文本，電子表格，聲音，圖片，視頻,大數(shù)據(jù)應(yīng)用價(jià)值可以從公司側(cè)和客戶側(cè)體現(xiàn),客戶： 精準(zhǔn)服務(wù) 及時(shí)響應(yīng) 智能應(yīng)用,透明管控,圍繞大數(shù)據(jù)應(yīng)用，促使公司實(shí)現(xiàn)科學(xué)運(yùn)營(yíng)、價(jià)值創(chuàng)造以及透明管控，一方面能使得公司側(cè)感知到大數(shù)據(jù)帶來(lái)的管理、決策、運(yùn)營(yíng)效率和質(zhì)量的提升；另一方面，能夠使客戶感知到大數(shù)據(jù)帶來(lái)業(yè)務(wù)開發(fā)的智能、服務(wù)及時(shí)以及與需求匹配的精準(zhǔn),科學(xué)運(yùn)營(yíng),價(jià)值創(chuàng)造,企業(yè)： 開發(fā)便捷 分析及時(shí) 決策支持 數(shù)據(jù)準(zhǔn)確,客戶,2. 大數(shù)據(jù)平臺(tái)需求理解,IBM 大數(shù)據(jù)平臺(tái)解決方案,大數(shù)據(jù)平臺(tái)的關(guān)鍵需求,角色,流

4、程,數(shù)據(jù)應(yīng)用,數(shù)據(jù)分類,結(jié)構(gòu)化了企業(yè)架構(gòu)中四大架構(gòu)的關(guān)鍵要素，以及要素間的承接關(guān)系，形成了一套規(guī)范、清晰的定義，從而為大數(shù)據(jù)平臺(tái)的方案設(shè)計(jì)建立了更明確的指導(dǎo)依據(jù)和驗(yàn)證方法,柔性架構(gòu)的大數(shù)據(jù)平臺(tái) 企業(yè)架構(gòu)方法論和云計(jì)算技術(shù)讓建立柔性架構(gòu)成為可能，基于企業(yè)架構(gòu)元模型，建立柔性的架構(gòu)需要實(shí)現(xiàn)業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、技術(shù)四個(gè)架構(gòu)層面的解耦。 業(yè)務(wù)應(yīng)用/數(shù)據(jù)：業(yè)務(wù)活動(dòng)在業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)(大數(shù)據(jù)平臺(tái))間具有承上啟下的作用，可從業(yè)務(wù)類型和業(yè)務(wù)活動(dòng)類型兩個(gè)維度劃分，前者體現(xiàn)業(yè)務(wù)差異，后者更多體現(xiàn)數(shù)據(jù)平臺(tái)能力要求，且可以穩(wěn)定地分為決策類、管理類、執(zhí)行類和分析類四種，因此業(yè)務(wù)與IT的解耦可從四類業(yè)務(wù)活動(dòng)支撐實(shí)現(xiàn)。 應(yīng)

5、用數(shù)據(jù)：應(yīng)用和數(shù)據(jù)共同承接了業(yè)務(wù)，數(shù)據(jù)實(shí)體也承接了應(yīng)用交互，因此二者解耦的核心是數(shù)據(jù)實(shí)體。這可以通過(guò)建立穩(wěn)定的、彈性的企業(yè)企業(yè)級(jí)大數(shù)據(jù)模型、數(shù)據(jù)整合與存儲(chǔ)區(qū)域，保證未來(lái)應(yīng)用對(duì)數(shù)據(jù)操作的可擴(kuò)展，以及屏蔽了應(yīng)用對(duì)底層數(shù)據(jù)直接訪問(wèn)的數(shù)據(jù)服務(wù)加以實(shí)現(xiàn)。 應(yīng)用/數(shù)據(jù)技術(shù)：系統(tǒng)組件承接了應(yīng)用和數(shù)據(jù)，因此要實(shí)現(xiàn)該層面的解耦，需要解決系統(tǒng)組件對(duì)應(yīng)用的依賴，可通過(guò)建立應(yīng)用開發(fā)平臺(tái)、數(shù)據(jù)交換平臺(tái)和數(shù)據(jù)管控平臺(tái)來(lái)實(shí)現(xiàn)。同時(shí)基于云計(jì)算的彈性擴(kuò)展和虛擬化技術(shù)實(shí)現(xiàn)系統(tǒng)組件與基礎(chǔ)設(shè)施的解耦,大數(shù)據(jù)平臺(tái)能力需求分析決策類業(yè)務(wù)活動(dòng),決策就是為達(dá)到某一目標(biāo)而在若干個(gè)可行方案經(jīng)過(guò)分析、比較、判斷，從中選擇并賦予實(shí)施的過(guò)程據(jù)諾賓斯泰

6、（Robenstein）將決策過(guò)程定義為五個(gè)步驟 大數(shù)據(jù)平臺(tái)的核心是數(shù)據(jù)，從數(shù)據(jù)生命周期看，大數(shù)據(jù)的生成、獲取、整合、服務(wù)、應(yīng)用、歸檔各個(gè)步驟分別有著不同的目標(biāo)，并面臨不同的問(wèn)題 從決策類活動(dòng)過(guò)程和數(shù)據(jù)生命周期兩個(gè)維度，對(duì)大數(shù)據(jù)平臺(tái)的決策類活動(dòng)的支撐能力需求進(jìn)行分析,通過(guò)優(yōu)化技術(shù)選擇滿足約束條件的最優(yōu)方案,4V,產(chǎn)生,應(yīng)用,獲取,整合,服務(wù),歸檔,應(yīng)用,通過(guò)仿真技術(shù)進(jìn)行各種方案的預(yù)演與細(xì)化,整合,案例類、規(guī)則類知識(shí)支撐 規(guī)則制度信息查詢,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲 客戶行為捕獲 企業(yè)/用戶互聯(lián)網(wǎng)數(shù)據(jù)捕獲,應(yīng)用,服務(wù),獲取,整合,大數(shù)據(jù)的存儲(chǔ)和管理 海量數(shù)據(jù)的快速分析,海量數(shù)據(jù)的快速獲取,歸檔,整合,

7、服務(wù),應(yīng)用,歸檔,獲取,整合,服務(wù),應(yīng)用,歸檔,獲取,服務(wù),歸檔,實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲 互聯(lián)網(wǎng)數(shù)據(jù)捕獲,冷數(shù)據(jù)的近線訪問(wèn),快速的數(shù)據(jù)服務(wù)執(zhí)行 簡(jiǎn)便的數(shù)據(jù)服務(wù)使用,非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析,快速的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔,高可用的數(shù)據(jù)支撐,建立柔性的架構(gòu)支撐 個(gè)性化應(yīng)用開發(fā)支撐,最終用戶自定制的數(shù)據(jù)服務(wù),與生產(chǎn)系統(tǒng)在功能和數(shù)據(jù)分工上清晰合理,與生產(chǎn)系統(tǒng)的及時(shí)交互 決策執(zhí)行業(yè)務(wù)活動(dòng)中的數(shù)據(jù)支撐,大數(shù)據(jù)平臺(tái)能力需求分析分析類業(yè)務(wù)活動(dòng),分析類活動(dòng)是通過(guò)對(duì)數(shù)據(jù)的深入分析，力求取得更深刻業(yè)務(wù)洞察的過(guò)程，參考DM-CRISP數(shù)據(jù)挖掘方法論，包括業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模、模型評(píng)估和模型部署六個(gè)步驟,4V,

8、產(chǎn)生,應(yīng)用,獲取,整合,服務(wù),歸檔,應(yīng)用,整合,應(yīng)用,服務(wù),獲取,整合,歸檔,整合,服務(wù),應(yīng)用,歸檔,獲取,整合,服務(wù),應(yīng)用,歸檔,獲取,服務(wù),歸檔,模型評(píng)估,應(yīng)用,整合,獲取,服務(wù),歸檔,歷史數(shù)據(jù)探查和分析,海量數(shù)據(jù)的快速獲取 方便準(zhǔn)確的數(shù)據(jù)抽樣能力,探索數(shù)據(jù)可方便歸檔和恢復(fù),非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)的獲取 海量數(shù)據(jù)的獲取,非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合 流數(shù)據(jù)概要數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)的整合 海量數(shù)據(jù)的處理能力,非結(jié)構(gòu)化數(shù)據(jù)分析能力 海量數(shù)據(jù)分析能力,支撐不同分析的數(shù)據(jù)寬表,寬表數(shù)據(jù)歸檔,豐富的數(shù)據(jù)挖掘算法 建模過(guò)程中的模擬仿真 仿真結(jié)果的優(yōu)化計(jì)算 調(diào)用API進(jìn)行模型訓(xùn)練能力,豐富的數(shù)據(jù)計(jì)算和可視

9、化,分析模型能夠?qū)С鰹榭芍苯邮褂玫脑u(píng)分條件，如SQL,評(píng)估數(shù)據(jù)能夠嵌入到模型評(píng)估中，通過(guò)外部調(diào)用發(fā)現(xiàn)已經(jīng)退化的模型,模型分析結(jié)果的快速回寫,模型評(píng)估數(shù)據(jù)集的提取,模型分析結(jié)果嵌入到生產(chǎn)系統(tǒng)中,模型分析源數(shù)據(jù)的預(yù)處理與獲取,大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求應(yīng)用開發(fā)與運(yùn)行,當(dāng)前總部BI系統(tǒng)的數(shù)據(jù)應(yīng)用需求包括業(yè)務(wù)部門的計(jì)劃性業(yè)務(wù)支撐需求和大量的臨時(shí)性支撐需求，以及IT部門自身規(guī)劃中的計(jì)劃性支撐需求； 省公司經(jīng)分系統(tǒng)也需要支撐來(lái)自業(yè)務(wù)部門和IT部門的大量支撐需求，同時(shí)要完成集團(tuán)下發(fā)的IT規(guī)范要求 未來(lái)省公司數(shù)據(jù)集中后，大數(shù)據(jù)平臺(tái)將必須承擔(dān)省分公司和總部的全部數(shù)據(jù)應(yīng)用服務(wù)需求,數(shù)據(jù)應(yīng)用需求急速增長(zhǎng),總公司IT增長(zhǎng)

10、緩慢,省公司IT投入有限,平臺(tái)開發(fā)方面：如何支撐急速增長(zhǎng)的數(shù)據(jù)應(yīng)用需求 平臺(tái)執(zhí)行方面：如何保障海量大并發(fā)的數(shù)據(jù)訪問(wèn)需求和海量數(shù)據(jù)處理的性能要求,大數(shù)據(jù)平臺(tái)將面臨兩大挑戰(zhàn),IT人力緊張 IT系統(tǒng)擴(kuò)容難 IT投入效益難保障,大數(shù)據(jù)平臺(tái)關(guān)鍵能力需求更直接的決策支持,未來(lái)大數(shù)據(jù)平臺(tái),當(dāng)前BI系統(tǒng),結(jié)構(gòu)化決策：庫(kù)存控制 半結(jié)構(gòu)化決策：套餐設(shè)計(jì) 非結(jié)構(gòu)化決策：產(chǎn)品外觀設(shè)計(jì),知識(shí)庫(kù)(事實(shí)知識(shí)、規(guī)則知識(shí)、案例知識(shí),模型的建立基于預(yù)先假設(shè) 模型所需數(shù)據(jù)事先確定已知 模型是靜態(tài)的 模型的數(shù)學(xué)形式很完善，但往往不能符合實(shí)際業(yè)務(wù)情況,DWD,DWA,ODS,DM,DM,DM,非結(jié)構(gòu)化數(shù)據(jù),3. 大數(shù)據(jù)平臺(tái)定位分析,I

11、BM 大數(shù)據(jù)平臺(tái)解決方案,前期初步確立的大數(shù)據(jù)平臺(tái)目標(biāo)技術(shù)架構(gòu),目標(biāo)架構(gòu)： 擁抱互聯(lián)網(wǎng)、運(yùn)用云計(jì)算技術(shù)，建立開放的基于SOA架構(gòu)的中國(guó)企業(yè)集中化云數(shù)據(jù)服務(wù)支撐平臺(tái)，面向全國(guó)各級(jí)經(jīng)營(yíng)主體和總部集中平臺(tái)提供大數(shù)據(jù)、分布式、實(shí)時(shí)智能數(shù)據(jù)服務(wù)支撐與客戶響應(yīng)，并注重公共數(shù)據(jù)、公共能力的一點(diǎn)沉淀與全網(wǎng)共享，實(shí)現(xiàn)基于特定對(duì)象、特定需求的個(gè)性化自主定制、靈活組件組裝，高效實(shí)現(xiàn)一級(jí)系統(tǒng)多維應(yīng)用多級(jí)支撐,圍繞三個(gè)維度：透明管控、科學(xué)運(yùn)營(yíng)、價(jià)值創(chuàng)造 強(qiáng)調(diào)開放靈活：基于開放業(yè)務(wù)組件、應(yīng)用開發(fā)平臺(tái)、公共應(yīng)用模型等構(gòu)建，靈活支撐個(gè)性化應(yīng)用開發(fā)、部署和推廣 實(shí)施五項(xiàng)管控：數(shù)據(jù)模型與標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)生命

12、周期 推行五個(gè)一點(diǎn)：一點(diǎn)源頭采集、一點(diǎn)加工轉(zhuǎn)換、一點(diǎn)存儲(chǔ)、一點(diǎn)分析挖掘、一點(diǎn)服務(wù)提供,數(shù)據(jù)模型 標(biāo)準(zhǔn)管控,基于技術(shù)架構(gòu)目標(biāo)，加入大數(shù)據(jù)平臺(tái)建設(shè)的驅(qū)動(dòng)力,分析類系統(tǒng)應(yīng)該建立多少數(shù)據(jù)庫(kù)，多少種數(shù)據(jù)庫(kù),保證數(shù)據(jù)從省分及時(shí)向集團(tuán)提供準(zhǔn)確唯一數(shù)據(jù),現(xiàn)存問(wèn)題,在一個(gè)框架下有效支持5級(jí)體系的個(gè)性化開發(fā)和共性開發(fā),提供多種形式數(shù)據(jù)服務(wù)提供方式，并有效執(zhí)行,數(shù)據(jù)應(yīng)用,數(shù)據(jù)服務(wù),數(shù)據(jù)交換采集,數(shù)據(jù)整合,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)管控,新興技術(shù),流數(shù)據(jù)處理架構(gòu)和體系,桌面云管理技術(shù),IaaS 、PaaS，SaaS，DaaS等云管理技術(shù),內(nèi)容數(shù)據(jù)處理架構(gòu)和體系,提供多廠商、多系統(tǒng)的統(tǒng)一開發(fā)平臺(tái),大數(shù)據(jù)平臺(tái)應(yīng)具備的技術(shù)支撐能力,1

13、0,9,6,2,數(shù)據(jù)捕獲,數(shù)據(jù)服務(wù),大數(shù)據(jù)產(chǎn)生,知識(shí)沉淀,數(shù)據(jù)消亡,清晰的整合層次和加工時(shí)效 海量數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)等多樣化的存儲(chǔ)與管理 Gartner于2012年7月提出大數(shù)據(jù)管理中：“列式存儲(chǔ)數(shù)據(jù)庫(kù)、云計(jì)算和內(nèi)存數(shù)據(jù)庫(kù)在未來(lái)5年內(nèi)將是3個(gè)最重要的技術(shù),數(shù)據(jù)價(jià)值,1,0,4,數(shù)據(jù)整合,3,數(shù)據(jù)處理,14,業(yè)務(wù)信息,8,系統(tǒng)支撐,5,數(shù)據(jù)分析,11,數(shù)據(jù)冷卻,13,數(shù)據(jù)歸檔,示意,12,近線存儲(chǔ),7,數(shù)據(jù)展示,大數(shù)據(jù)生命周期,時(shí)間,大數(shù)據(jù)平臺(tái)將借助云計(jì)算的快速可擴(kuò)展性、標(biāo)準(zhǔn)化服務(wù)、自助服務(wù)等特征，強(qiáng)化大數(shù)據(jù)的獲取、處理、整合、分析、服務(wù)等技術(shù)支撐能力，促進(jìn)敏捷化、個(gè)性化的數(shù)據(jù)應(yīng)用開

14、發(fā)，最終助力IT對(duì)業(yè)務(wù)轉(zhuǎn)型的推動(dòng),海量數(shù)據(jù)的識(shí)別和快速裝入 數(shù)據(jù)分布流轉(zhuǎn) 互聯(lián)網(wǎng)數(shù)據(jù)和客戶行為捕獲 實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)捕獲,大量數(shù)據(jù)服務(wù)需求的快速開發(fā)支撐 快速數(shù)據(jù)服務(wù)執(zhí)行 簡(jiǎn)便的數(shù)據(jù)服務(wù)使用 清晰的數(shù)據(jù)服務(wù)目錄 數(shù)據(jù)服務(wù)使用記錄,針對(duì)海量數(shù)據(jù)的高性能數(shù)據(jù)分析 實(shí)時(shí)數(shù)據(jù)的即時(shí)分析 非結(jié)構(gòu)化數(shù)據(jù)的智能分析（如網(wǎng)頁(yè)的標(biāo)引、結(jié)構(gòu)化解析，視頻、圖片的模式識(shí)別等） 高級(jí)分析算法,海量冷數(shù)據(jù)（包括實(shí)時(shí)、非結(jié)構(gòu)化、結(jié)構(gòu)化）的存儲(chǔ)和管理策略 冷數(shù)據(jù)的透明訪問(wèn) 冷數(shù)據(jù)與熱數(shù)據(jù)的統(tǒng)一支撐 操作型和分析型數(shù)據(jù)的統(tǒng)一歸檔 快速的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔,數(shù)據(jù)的展現(xiàn)策略 個(gè)性化應(yīng)用開發(fā)支撐 共享應(yīng)用快速部署 對(duì)外部系統(tǒng)的支撐 信息

15、提煉以及對(duì)業(yè)務(wù)的支撐 知識(shí)的組織、沉淀、管理和應(yīng)用,3V,大數(shù)據(jù)平臺(tái)與周邊系統(tǒng)的關(guān)系,大數(shù)據(jù)平臺(tái)與省分系統(tǒng)和總部系統(tǒng)的關(guān)系主要體現(xiàn)在功能分工協(xié)作和數(shù)據(jù)交換兩大方面，此處將大數(shù)據(jù)平臺(tái)作為一個(gè)黑盒子，重點(diǎn)關(guān)注數(shù)據(jù)平臺(tái)與外部系統(tǒng)的關(guān)系,大數(shù)據(jù)平臺(tái),總部系統(tǒng),省分系統(tǒng),功能分工與協(xié)作 生產(chǎn)系統(tǒng)只保留與生產(chǎn)直接相關(guān)的、數(shù)據(jù)稽核（比對(duì)）相關(guān)的統(tǒng)計(jì)報(bào)表，其它全部整合到分析平臺(tái)上。直接相關(guān)可以從流程和數(shù)據(jù)兩方面考察，一系列連續(xù)業(yè)務(wù)活動(dòng)，使用相同數(shù)據(jù)的應(yīng)用功能直接相關(guān)（耦合度高），如結(jié)算中的話單數(shù)、成本查詢，需要放在結(jié)算系統(tǒng)。 不直接相關(guān)的統(tǒng)計(jì)、分析類應(yīng)用，由大數(shù)據(jù)平臺(tái)通過(guò)數(shù)據(jù)服務(wù)，并在D域中統(tǒng)一建立應(yīng)用進(jìn)行支

16、撐。 數(shù)據(jù)交換 一般情況下，D域中的分析類應(yīng)用系統(tǒng)中不單獨(dú)存儲(chǔ)數(shù)據(jù)，系統(tǒng)所需的和系統(tǒng)產(chǎn)生的數(shù)據(jù)都存放在數(shù)據(jù)平臺(tái)的數(shù)據(jù)集市中。其中如果系統(tǒng)使用的數(shù)據(jù)較少，可以部門/省分?jǐn)?shù)據(jù)集市；但如果系統(tǒng)涉及的數(shù)據(jù)很多，則需存放在應(yīng)用集市中 生產(chǎn)系統(tǒng)使用的數(shù)據(jù)全部存放在生產(chǎn)系統(tǒng)中，當(dāng)需要與大數(shù)據(jù)平臺(tái)發(fā)生共享數(shù)據(jù)時(shí)，則通過(guò)數(shù)據(jù)交換進(jìn)行。具體交換周期模式可以是實(shí)時(shí)、準(zhǔn)實(shí)時(shí)和分批交換 大數(shù)據(jù)平臺(tái)的數(shù)據(jù)整合策略是根據(jù)業(yè)務(wù)需求，按照數(shù)據(jù)模型定義和數(shù)據(jù)存儲(chǔ)周期的要求，集成生產(chǎn)系統(tǒng)中所需的部分私有數(shù)據(jù)和共享數(shù)據(jù)，而不是全部獲取和集成 生產(chǎn)系統(tǒng)的共享數(shù)據(jù)集（SID）盡管是數(shù)據(jù)中心業(yè)務(wù)職能管轄范圍，但SID不屬于大數(shù)據(jù)平臺(tái)的管轄

17、范圍，只是大數(shù)據(jù)平臺(tái)中的一個(gè)數(shù)據(jù)源，且SID與大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換是雙向的,數(shù)據(jù)讀取,數(shù)據(jù) 交換,數(shù)據(jù) 交換,大數(shù)據(jù)平臺(tái)在Cloud的位置,大數(shù)據(jù)平臺(tái): 外圍關(guān)系：數(shù)據(jù)來(lái)源與生產(chǎn)系統(tǒng)的ADB，SID等； 服務(wù)對(duì)象：數(shù)據(jù)應(yīng)用、反饋生產(chǎn)系統(tǒng)； 核心內(nèi)容：數(shù)據(jù)管理、數(shù)據(jù)組織、數(shù)據(jù)管控、數(shù)據(jù)服務(wù)； 承載關(guān)系： IaaS統(tǒng)一承載構(gòu)架； PaaS數(shù)據(jù)集與SID和ADB并列； PaaS技術(shù)服務(wù)集：互為補(bǔ)充； PaaS業(yè)務(wù)服務(wù)集：?jiǎn)为?dú)形成面向分析業(yè)務(wù)服務(wù)集,大數(shù)據(jù)平臺(tái)針對(duì)異常復(fù)雜的大數(shù)據(jù)管理，而云計(jì)算為大數(shù)據(jù)管理提供了堅(jiān)實(shí)的技術(shù)支撐。 Cloud以數(shù)據(jù)為核心向上提供標(biāo)準(zhǔn)的封裝服務(wù)，以業(yè)務(wù)(流程)解耦為前提支撐

18、生產(chǎn)經(jīng)營(yíng)、數(shù)據(jù)加工分析等應(yīng)用。概括的說(shuō)，Cloud 是大數(shù)據(jù)平臺(tái)的載體，為其提供了基礎(chǔ)運(yùn)行環(huán)境,4. 大數(shù)據(jù)平臺(tái)總體架構(gòu)設(shè)計(jì),IBM 大數(shù)據(jù)平臺(tái)解決方案,總體邏輯架構(gòu)圖,總部系統(tǒng),基于企業(yè)大數(shù)據(jù)平臺(tái)生態(tài)系統(tǒng)框架，總體架構(gòu)可分為系統(tǒng)平臺(tái)和參與人兩大部分，其中系統(tǒng)平臺(tái)可分為大數(shù)據(jù)平臺(tái)、總部IT系統(tǒng)和省分IT系統(tǒng)，參與人可分為企業(yè)內(nèi)部用戶、外部用戶、系統(tǒng)建設(shè)廠商,省分系統(tǒng),圖例,邏輯庫(kù),物理庫(kù),數(shù)據(jù)流,控制流,數(shù)據(jù)整合與存儲(chǔ),DW/DM,ODS,Cloud-i（資源,統(tǒng)一 IaaS服務(wù)接口,數(shù)據(jù)服務(wù),數(shù)據(jù)管控,數(shù)據(jù)應(yīng)用 開發(fā)平臺(tái),標(biāo)準(zhǔn)化API,分析 模型,SDK,工具 軟件,數(shù)據(jù)獲取,非結(jié)構(gòu)化數(shù)據(jù),

19、總體邏輯架構(gòu)圖,數(shù)據(jù)應(yīng)用,應(yīng)用開發(fā)平臺(tái),數(shù)據(jù)整合與存儲(chǔ),數(shù)據(jù)獲取,大數(shù)據(jù)平臺(tái),生產(chǎn)系統(tǒng),數(shù)據(jù)服務(wù),應(yīng)用集市,總部系統(tǒng),備份 文件,備份 文件,備份 文件,備份 文件,省分系統(tǒng),備份 文件,備份 文件,備份 文件,備份 文件,數(shù)據(jù)管控,數(shù)據(jù)歸檔,近線區(qū),歸檔區(qū),明細(xì)類數(shù)據(jù),快照類數(shù)據(jù),日志類數(shù)據(jù),元數(shù)據(jù),快照類數(shù)據(jù),日志類數(shù)據(jù),參數(shù)類數(shù)據(jù),元數(shù)據(jù),明細(xì)類數(shù)據(jù),參數(shù)類數(shù)據(jù),前置機(jī),前置機(jī),圖例,邏輯庫(kù),物理庫(kù),部門集市,ODS,EDSB,部門集市,應(yīng)用集市,EASB,接入適配,數(shù)據(jù)交換層,數(shù)據(jù)處理層,傳輸路由,標(biāo)準(zhǔn)策略管理,交換管理,平臺(tái)管理,監(jiān)控告警,作業(yè)管理,處理邏輯定義,獲取管理層,非結(jié)構(gòu)化

20、數(shù)據(jù),流數(shù)據(jù),數(shù)據(jù)抽取,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)裝載,省分集市,省分集市,省分集市,知識(shí)庫(kù),DWA,DWD,部門集市,透?jìng)魍ǖ?ADB,SID,ADB,SID,總體物理架構(gòu)圖,IaaS,SaaS,PaaS,物理資源,實(shí)時(shí)流/批量ETL,海量分析平臺(tái),歸檔區(qū)資源池,虛擬化,中低端存儲(chǔ),高端存儲(chǔ),小型機(jī),X86服務(wù)器,提供能夠滿足用戶需求的各類應(yīng)用程序,關(guān)注軟件架構(gòu)與服務(wù)，提供應(yīng)用在基礎(chǔ)設(shè)施中進(jìn)行計(jì)算所需要的各類服務(wù),提供系統(tǒng)運(yùn)行所需的計(jì)算與存儲(chǔ)資源,SMP+MPP+Hadoop,小型機(jī)/X86 SMP集群,數(shù)據(jù)庫(kù)資源池,網(wǎng)絡(luò)設(shè)備,Compute Intensive Applications,Platfor

21、m Management Console,Platform Enterprise Reporting Framework,Resource Orchestrator,Low-latency Service-oriented Application Middleware,Service Instance Manager (SIM,Enhanced MapReduce Processing Framework,DATA INTENSIVE,Platform Symphony Core,大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論,高可用 數(shù)據(jù)提供,數(shù)據(jù)全面性 數(shù)據(jù)質(zhì)量 數(shù)據(jù)快速提供與分發(fā),數(shù)據(jù)整合 分區(qū)與

22、定位,應(yīng)該如何給大數(shù)據(jù)平臺(tái)劃分?jǐn)?shù)據(jù)區(qū)，每個(gè)區(qū)的數(shù)據(jù)目標(biāo)是什么 應(yīng)該分為哪些類數(shù)據(jù)整合區(qū)，有多少個(gè)數(shù)據(jù)庫(kù)，每個(gè)數(shù)據(jù)庫(kù)的定位是什么，必要性如何,數(shù)據(jù)存儲(chǔ) 成本與性能,海量、多樣性、實(shí)時(shí)數(shù)據(jù)的高性價(jià)比的數(shù)據(jù)管理 在線、近線、離線數(shù)據(jù)的管理策略 易擴(kuò)展的數(shù)據(jù)存儲(chǔ)架構(gòu),支撐大數(shù)據(jù)業(yè)務(wù)戰(zhàn)略的應(yīng)用框架,自頂向下：五個(gè)一點(diǎn)要承接 自底向上：從大數(shù)據(jù)4V特性，如何進(jìn)行創(chuàng)新，真正實(shí)現(xiàn)IT對(duì)業(yè)務(wù)的推動(dòng),IBM 行業(yè)模型 eTom與SID IBM 數(shù)據(jù)治理方法論,DW2.0方法論 企業(yè)信息工廠方法論 維度建模方法論 IBM BI方法論,維度建模方法論 IBM BI方法論 Hadoop實(shí)施方案,IBM 企業(yè)架構(gòu)(EA)

23、方法論 IBM CBM業(yè)務(wù)組件模型,關(guān)鍵點(diǎn),方法論,關(guān)鍵點(diǎn)描述,自助式 應(yīng)用開發(fā),支持開發(fā)人員的敏捷化開發(fā) 支持最終用戶的自助式的查詢、分析和挖掘,IBM BI方法論 工行數(shù)據(jù)大集中經(jīng)驗(yàn),5. 分項(xiàng)專題關(guān)設(shè)計(jì)思想及注點(diǎn),IBM 大數(shù)據(jù)平臺(tái)解決方案,數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn),采集周期,數(shù)據(jù)傳輸,采集范圍,數(shù)據(jù)模型,采集技術(shù),采集方式,采集方式,聯(lián)動(dòng)機(jī)制,傳輸技術(shù),選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐， 確立企業(yè)級(jí)邏輯數(shù)據(jù)模型 結(jié)合逐步實(shí)現(xiàn)一點(diǎn)源頭采集、 覆蓋MBO全域全景數(shù)據(jù)，滿足橫縱向、內(nèi)外部眾多數(shù)據(jù)源需要,根據(jù)系統(tǒng)中不同數(shù)據(jù)類型的時(shí)間串口（實(shí)時(shí)/準(zhǔn)實(shí)時(shí)/日月）確定合理的

24、數(shù)據(jù)采集周期 根據(jù)管理要求，確定數(shù)據(jù)的采集周期要求，并執(zhí)行,保證采集與源系統(tǒng)聯(lián)動(dòng)，避免源系統(tǒng)變化影響 根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)時(shí)效等特性選擇合適的傳輸技術(shù)和策略,確定數(shù)據(jù)采集和傳輸過(guò)程中的關(guān)鍵問(wèn)題點(diǎn)，監(jiān)控采集可能出現(xiàn)的問(wèn)題。 數(shù)據(jù)采集問(wèn)題的排錯(cuò)機(jī)制和容錯(cuò)機(jī)制,系統(tǒng)現(xiàn)狀,管理需求現(xiàn)狀,系統(tǒng)時(shí)間窗口,采集管控,采集監(jiān)控,問(wèn)題處置,選擇合適的采集技術(shù)，保證數(shù)據(jù)原生態(tài)、時(shí)效要求 針對(duì)結(jié)構(gòu)化/非結(jié)構(gòu)化、海量數(shù)據(jù)并發(fā)處理、實(shí)時(shí)數(shù)據(jù)處理等要求，確定統(tǒng)一的和標(biāo)準(zhǔn)的數(shù)據(jù)采集方式,數(shù)據(jù) 分類,數(shù)據(jù)分布傳輸,數(shù)據(jù)整合與存儲(chǔ)方案設(shè)計(jì)思想和關(guān)注點(diǎn),數(shù)據(jù)整合,基于業(yè)界近期研究進(jìn)展，討論數(shù)據(jù)整合區(qū)域的基本劃分層次 明確整

25、合數(shù)據(jù)區(qū)中應(yīng)該有多少個(gè)邏輯/物理數(shù)據(jù)庫(kù)，具體定位 SA、ODS、DWD、DWA、DM數(shù)據(jù)集進(jìn)一步細(xì)分的策略，實(shí)時(shí)中的建模策略、參照方法論等建設(shè)方法 操作型/分析型數(shù)據(jù)數(shù)據(jù)、結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)/非實(shí)時(shí)數(shù)據(jù)等不同數(shù)據(jù)類型的功能劃分和整合策略 各個(gè)數(shù)據(jù)集/庫(kù)中應(yīng)該存放哪些數(shù)據(jù)，包括數(shù)據(jù)類分布和數(shù)據(jù)生命周期分布策略；數(shù)據(jù)在不同數(shù)據(jù)集間的復(fù)制策略，如數(shù)據(jù)集市是否全量保存DWD中的CDR,數(shù)據(jù)存儲(chǔ),大數(shù)據(jù)的3V特征，對(duì)數(shù)據(jù)存儲(chǔ)與處理的要求，滿足9621的支撐要求 結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的特征分析，相應(yīng)的存儲(chǔ)管理策略，不同類型數(shù)據(jù)的共用機(jī)制 非結(jié)構(gòu)化數(shù)據(jù)的分類、標(biāo)引等結(jié)構(gòu)化信息的提取方法 內(nèi)存數(shù)據(jù)

26、管理技術(shù)在實(shí)時(shí)流數(shù)據(jù)處理中的具體應(yīng)用策略 結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、實(shí)時(shí)/非實(shí)時(shí)數(shù)據(jù)等不同類型數(shù)據(jù)應(yīng)該使用哪些軟硬件平臺(tái)，包括DBMS管理和處理能力要求，計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)平臺(tái) 不同數(shù)據(jù)生命周期的數(shù)據(jù)清理機(jī)制、數(shù)據(jù)存儲(chǔ)管理策略，數(shù)據(jù)在在線區(qū)、近線區(qū)、歸檔區(qū)的自動(dòng)歸檔與自動(dòng)恢復(fù)機(jī)制,數(shù)據(jù)模型,明確應(yīng)該存在幾套數(shù)據(jù)模型，每類數(shù)據(jù)模型的定位和承接關(guān)系,統(tǒng)一模型和個(gè)性化模型之間的關(guān)系，如何滿足省分5級(jí)/7級(jí)要求 選擇企業(yè)現(xiàn)有數(shù)據(jù)模型+IBM行業(yè)數(shù)據(jù)模型+其它優(yōu)秀實(shí)踐， 確立企業(yè)級(jí)邏輯數(shù)據(jù)模型的主題域、數(shù)據(jù)分類和數(shù)據(jù)子類,數(shù)據(jù)模型,數(shù)據(jù)服務(wù)方案設(shè)計(jì)思想和關(guān)注點(diǎn),方案設(shè)計(jì),數(shù)據(jù)服務(wù)理解,數(shù)據(jù)服務(wù)內(nèi)涵,必要性,可

27、行性,服務(wù)層次,指對(duì)大數(shù)據(jù)平臺(tái)中的各種數(shù)據(jù)進(jìn)行封裝，通過(guò)各種服務(wù)方式向不同應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，以滿足用戶的多樣性數(shù)據(jù)請(qǐng)求,將數(shù)據(jù)服務(wù)劃分為3個(gè)層次，中層服務(wù)、底層服務(wù)開放給內(nèi)部應(yīng)用系統(tǒng)使用，高層服務(wù)向所有用戶開放； 數(shù)據(jù)應(yīng)用基于數(shù)據(jù)服務(wù)，通過(guò)EAB取得數(shù)據(jù)，數(shù)據(jù)服務(wù)可復(fù)用部分?jǐn)?shù)據(jù)交互進(jìn)程，并依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)提供服務(wù)； 建立簡(jiǎn)單、易用的數(shù)據(jù)封裝、服務(wù)開發(fā)向?qū)В軌蚩旖莸膶?duì)數(shù)據(jù)進(jìn)行封裝，發(fā)布新服務(wù)； 兩層服務(wù)接入安全管理，以及對(duì)服務(wù)請(qǐng)求優(yōu)先級(jí)管理，控制服務(wù)執(zhí)行的數(shù)量，保障系統(tǒng)安全平穩(wěn)的運(yùn)行； 高層服務(wù)請(qǐng)求需要進(jìn)行語(yǔ)義轉(zhuǎn)換，然后執(zhí)行服務(wù)，中層、底層服務(wù)不需要語(yǔ)義轉(zhuǎn)換，直接執(zhí)行服務(wù),服務(wù)運(yùn)行方式,數(shù)據(jù)服務(wù)目標(biāo),建立應(yīng)用和數(shù)據(jù)之間標(biāo)準(zhǔn)化的訪問(wèn)接口，能夠快速響應(yīng)用戶的各種數(shù)據(jù)請(qǐng)求，提升與外部系統(tǒng)實(shí)時(shí)的互動(dòng)與信息共享能力； 將數(shù)據(jù)與應(yīng)用隔離開來(lái)，實(shí)現(xiàn)系統(tǒng)間的松耦合性，依托大數(shù)據(jù)平臺(tái)能力，對(duì)各種數(shù)據(jù)請(qǐng)求作出快速響應(yīng)，實(shí)現(xiàn)實(shí)時(shí)的信息共享； 將各種接口技術(shù)及響應(yīng)模式組合成多種服務(wù)方式，快速響應(yīng)各種服務(wù)請(qǐng)求，用戶可根據(jù)實(shí)際情況選擇適合自己的服務(wù)方式,與其它模塊協(xié)作,服務(wù)功能劃分,數(shù)據(jù)應(yīng)用方案設(shè)計(jì)思想和關(guān)注點(diǎn),應(yīng)用技術(shù)架構(gòu),應(yīng)用開發(fā)環(huán)境,應(yīng)用管理平臺(tái),應(yīng)用框架,細(xì)化補(bǔ)充,開放化,標(biāo)準(zhǔn)化,靈活性,集成開發(fā)環(huán)境,個(gè)性化支持,多廠商支持,應(yīng)用推廣能力,應(yīng)用生命