大數(shù)據(jù)整合平臺(tái)建設(shè)方案

1、大數(shù)據(jù)整合平臺(tái)建設(shè)方案目錄：什么是大數(shù)據(jù)大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)平臺(tái)架構(gòu)平臺(tái)建設(shè)費(fèi)用大數(shù)據(jù)“就像望遠(yuǎn)鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測(cè)微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式”。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展，誰也無法否認(rèn)，我們已經(jīng)切實(shí)地迎來了一個(gè)海量數(shù)據(jù)的時(shí)代，數(shù)據(jù)調(diào)查公司IDC預(yù)計(jì)2014年的數(shù)據(jù)總量將達(dá)到3.7萬億GB，對(duì)這些海量數(shù)據(jù)的分析已經(jīng)成為一個(gè)非常重要且緊迫的需求。作為一家互聯(lián)網(wǎng)數(shù)據(jù)資源整合公司，我們?cè)诤Ａ繑?shù)據(jù)的整合分析領(lǐng)域是被“逼上梁山”。十年來在嚴(yán)苛的業(yè)務(wù)需求和數(shù)據(jù)壓力下，我們幾乎嘗試了所有可能的大數(shù)據(jù)整合與分析方法，最終落地于大數(shù)據(jù)平臺(tái)之上。大數(shù)據(jù)平

2、臺(tái)在可伸縮性、健壯性、計(jì)算性能和成本上具有無可替代的優(yōu)勢(shì)，事實(shí)上已成為當(dāng)前互聯(lián)網(wǎng)企業(yè)主流的大數(shù)據(jù)分析平臺(tái)。大數(shù)據(jù)平臺(tái)介紹大數(shù)據(jù)系統(tǒng)主要來源于廣州啟飛信息技術(shù)有限公司（/oa）與佛山華訊的短信平臺(tái)十年的個(gè)人信息與企業(yè)資源沉積的系統(tǒng)結(jié)果。由于過去在不同平臺(tái)、投資力度及計(jì)算能力等因素的限制， 這些系統(tǒng)形成了今天大數(shù)據(jù)信息系統(tǒng)橫向多條塊業(yè)務(wù)難以溝通，縱向多層次系統(tǒng)難以集成的復(fù)雜局面。因此，我們感覺到，內(nèi)部各系統(tǒng)的信息需要有效共享、相互協(xié)作、關(guān)鍵數(shù)據(jù)需要能夠被多業(yè)務(wù)所復(fù)用、形成統(tǒng)一的全局?jǐn)?shù)據(jù)視圖，對(duì)現(xiàn)有的數(shù)據(jù)能夠進(jìn)一步分析加工，從而優(yōu)化管理。 信息資源整合平臺(tái)，就是針對(duì)這一需求的解決方案，我們構(gòu)思利用I

3、BM 數(shù)據(jù)管理領(lǐng)域的產(chǎn)品IBM Information Integrator建立一個(gè)信息集束訪問接口，建立一個(gè)邏輯上集中、物理上分布各平臺(tái)的統(tǒng)一信息資源整合，用來透明地管理當(dāng)今兩大平臺(tái)各類系統(tǒng)中龐雜的數(shù)據(jù)。通過信息資源整合平臺(tái)，營(yíng)銷部門（悅商圈、微信e、物業(yè)管理平臺(tái)、精準(zhǔn)短信群發(fā)系統(tǒng)）可以得到以下收益： 關(guān)鍵業(yè)務(wù)信息的集中管理。 跨異構(gòu)平臺(tái)的統(tǒng)一的信息查詢?cè)L問。 避免不同平臺(tái)、指標(biāo)、賬務(wù)等的信息在不同職能部門需要重復(fù)錄入。 基礎(chǔ)數(shù)據(jù)（如基礎(chǔ)代碼數(shù)據(jù)等）、共享信息（如企業(yè)資源等）的在應(yīng)用系統(tǒng)之間的同步，保持?jǐn)?shù)據(jù)的一致性。 在信息整合的基礎(chǔ)上，開展跨業(yè)務(wù)部門、跨應(yīng)用系統(tǒng)的綜合信息分析和報(bào)表服務(wù)。

4、信息整合平臺(tái)的基礎(chǔ)架構(gòu)如下圖所示。在省、市、區(qū)縣各企業(yè)、個(gè)人信息整合的過程中，根據(jù)信息整合后的不同屬性特點(diǎn)，可以分為四個(gè)階段。 第一階段的主要任務(wù)為構(gòu)建信息整合平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的邏輯集中、本級(jí)微信二次開發(fā)平臺(tái)的應(yīng)用推廣的數(shù)據(jù)共享，而從物理上看，數(shù)據(jù)集結(jié) HYPERLINK / o 存儲(chǔ) t _blank 存儲(chǔ)在各原有的數(shù)據(jù)庫中提取，本級(jí)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)邏輯集中成為一個(gè)統(tǒng)一的視圖。 第二階段，結(jié)合數(shù)據(jù)整合層的各項(xiàng)功能，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范化，提高共享的質(zhì)量和數(shù)據(jù)復(fù)用，并為數(shù)據(jù)交換做準(zhǔn)備。這兩個(gè)階段是信息整合所不可或缺的必要環(huán)節(jié)。規(guī)范一旦設(shè)計(jì)完成，其推廣可分“轉(zhuǎn)換”和“統(tǒng)一”兩個(gè)階段，漸進(jìn)式的實(shí)施?！?/p>

5、轉(zhuǎn)換”，則業(yè)務(wù)系統(tǒng)和歷史數(shù)據(jù)都不改動(dòng)，將各地、各級(jí)數(shù)據(jù)的“方言”解釋為“普通話”，再共享或交換。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，則意味業(yè)務(wù)系統(tǒng)的更改或更替，需要對(duì)歷史數(shù)據(jù)清洗、轉(zhuǎn)換和存儲(chǔ)?？梢园凑丈鲜鲛D(zhuǎn)換方法，同時(shí)結(jié)合數(shù)據(jù)復(fù)制技術(shù)，整理歷史數(shù)據(jù)。 第三階段，將部分被頻繁使用、訪問、且實(shí)時(shí)性要求有限的數(shù)據(jù)物理集中，提高數(shù)據(jù)查詢的質(zhì)量，便于決策分析等業(yè)務(wù)應(yīng)用。這一階段的任務(wù)在于優(yōu)化查詢?cè)L問的效率，關(guān)鍵技術(shù)在于數(shù)據(jù)復(fù)制，支持準(zhǔn)實(shí)時(shí)的秒級(jí)數(shù)據(jù)同步，可以根據(jù)業(yè)務(wù)數(shù)據(jù)對(duì)實(shí)時(shí)性的要求和系統(tǒng)負(fù)載情況配置復(fù)制間隔。 第四階段，在第二階段數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化的基礎(chǔ)上，旨在利用數(shù)據(jù)映射層，實(shí)現(xiàn)本系統(tǒng)各平臺(tái)之間，上下級(jí)權(quán)限之間的數(shù)據(jù)交換。這

6、些交換以本級(jí)數(shù)據(jù)庫為中心形成星形或樹狀的結(jié)構(gòu)。整個(gè)數(shù)據(jù)共享和交換的底層實(shí)現(xiàn)和存儲(chǔ)機(jī)制對(duì)各應(yīng)用節(jié)點(diǎn)是透明的。該結(jié)構(gòu)屬于松耦合，如同星形網(wǎng)絡(luò)一樣，很容易進(jìn)行層次化的結(jié)構(gòu)擴(kuò)展。數(shù)據(jù)交換采用的關(guān)鍵技術(shù)是復(fù)制。以WebSphere II為基礎(chǔ)平臺(tái)，實(shí)施數(shù)據(jù)交換的主要工作可集中在與個(gè)人手機(jī)號(hào)段相關(guān)的交換標(biāo)準(zhǔn)定義、交換雙方的映射關(guān)系定義和交換流程規(guī)劃上。數(shù)據(jù)交換中的交換流程可分為單向和雙向兩種模式。這兩個(gè)階段可根據(jù)實(shí)際業(yè)務(wù)需求取舍，也可更換先后次序。 各類數(shù)據(jù)通過快速、高效、低成本地搭建統(tǒng)一信息資源平臺(tái)，將內(nèi)部各系統(tǒng)的信息資源實(shí)現(xiàn)有效共享、相互協(xié)作，使關(guān)鍵數(shù)據(jù)能夠被多業(yè)務(wù)系統(tǒng)平臺(tái)所復(fù)用。同時(shí)，滿足各業(yè)務(wù)模塊

7、之間、各部門與大數(shù)據(jù)平臺(tái)進(jìn)行交換數(shù)據(jù)。大數(shù)據(jù)平臺(tái)統(tǒng)一信息資源，整合平臺(tái)的技術(shù)特點(diǎn)是：跨越各業(yè)務(wù)系統(tǒng)平臺(tái)的實(shí)時(shí)數(shù)據(jù)處理 建立大數(shù)據(jù)系統(tǒng)全局、統(tǒng)一的客戶視圖 實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)復(fù)制 廣域網(wǎng)環(huán)境中基于消息隊(duì)列的數(shù)據(jù)復(fù)制實(shí)現(xiàn)系統(tǒng)間高效的批量數(shù)據(jù)交換 提供企業(yè)級(jí)的信息搜索 事件數(shù)據(jù)的獲取和發(fā)布 非關(guān)系型數(shù)據(jù)的集成（包括MQ、XML、Web Service等） 此外，信息資源整合平臺(tái)可以，通過對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)一步加工和整合，在提升全面的信息服務(wù)能力的同時(shí)，大數(shù)據(jù)系統(tǒng)的發(fā)展構(gòu)建長(zhǎng)遠(yuǎn)的信息框架。大數(shù)據(jù)平臺(tái)架構(gòu)大數(shù)據(jù)平臺(tái)對(duì)業(yè)務(wù)的針對(duì)性較強(qiáng)，為了明確它是否符合我們的業(yè)務(wù)，現(xiàn)粗略地從幾個(gè)角度將大數(shù)據(jù)分析的業(yè)務(wù)需

8、求分類，針對(duì)不同的具體需求，采用不同的數(shù)據(jù)分析架構(gòu)。圖1 用于實(shí)時(shí)分析的MongoDB架構(gòu)數(shù)據(jù)分析的算法復(fù)雜度根據(jù)不同的業(yè)務(wù)需求，數(shù)據(jù)分析的算法也差異巨大，而數(shù)據(jù)分析的算法復(fù)雜度和架構(gòu)是緊密關(guān)聯(lián)的。舉個(gè)例子，Redis是一個(gè)性能非常高的內(nèi)存Key-Value NoSQL，它支持List和Set、SortedSet等簡(jiǎn)單集合，如果你的數(shù)據(jù)分析需求簡(jiǎn)單地通過排序，鏈表就可以解決，同時(shí)總的數(shù)據(jù)量不大于內(nèi)存（準(zhǔn)確地說是內(nèi)存加上虛擬內(nèi)存再除以2），那么無疑使用Redis會(huì)達(dá)到非常驚人的分析性能。還有很多易并行問題（Embarrassingly Parallel），計(jì)算可以分解成完全獨(dú)立的部分，或者很簡(jiǎn)單

9、地就能改造出分布式算法，比如大規(guī)模臉部識(shí)別、圖形渲染等，這樣的問題自然是使用并行處理集群比較適合。而大多數(shù)統(tǒng)計(jì)分析，機(jī)器學(xué)習(xí)問題可以用MapReduce算法改寫。MapReduce目前最擅長(zhǎng)的計(jì)算領(lǐng)域有流量統(tǒng)計(jì)、推薦引擎、趨勢(shì)分析、用戶行為分析、數(shù)據(jù)挖掘分類器、分布式索引等。圖2 RCFile的行列混合存大數(shù)據(jù)的4V特征-來源大數(shù)據(jù)平臺(tái)的“大數(shù)據(jù)”隨著公司業(yè)務(wù)的增長(zhǎng)，大量和流程、規(guī)則相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)也爆發(fā)式增長(zhǎng)。體系架構(gòu)核心設(shè)計(jì)大數(shù)據(jù)的技術(shù)領(lǐng)域大數(shù)據(jù)平臺(tái)與業(yè)務(wù)平臺(tái)的關(guān)系公司大數(shù)據(jù)平臺(tái)架構(gòu)圖應(yīng)用一數(shù)據(jù)分析應(yīng)用二視頻存儲(chǔ)應(yīng)用三離線日志分析應(yīng)用五在線數(shù)據(jù)分析平臺(tái)UI風(fēng)格（附表）微商薈數(shù)據(jù)綜合平臺(tái)集

10、束開發(fā)建設(shè)成本明細(xì)（附表）數(shù)據(jù)綜合集束平臺(tái) 系統(tǒng)模塊工期價(jià)格(元)預(yù)算UI設(shè)計(jì) = 1 * GB3 首頁風(fēng)格設(shè)計(jì)與FLASH制作 = 2 * GB3 系統(tǒng)中心整體風(fēng)格設(shè)計(jì) = 3 * GB3 數(shù)據(jù)中心、數(shù)據(jù)分類、呈現(xiàn)風(fēng)格設(shè)計(jì) = 4 * GB3 整體平臺(tái)形象宣傳頁面、登錄、注冊(cè)、充值頁面 = 5 * GB3 內(nèi)鑲與外掛微信平臺(tái)風(fēng)格一致的設(shè)計(jì)與FLASH制作 = 6 * GB3 廣告招商、廣告模塊、后臺(tái)管理頁面32后臺(tái)入口 = 1 * GB3 數(shù)據(jù)統(tǒng)計(jì)系統(tǒng) 數(shù)據(jù)分析模塊 = 2 * GB3 最新產(chǎn)品發(fā)布 專員業(yè)績(jī)統(tǒng)計(jì) = 3 * GB3 短信通道模塊設(shè)計(jì)與制作（雙通道-首選與備選） = 4 *

11、GB3 充值通道、產(chǎn)品分類與管理、數(shù)據(jù)定點(diǎn)修復(fù)維護(hù) = 5 * GB3 活躍數(shù)據(jù)與沉疴數(shù)據(jù)的整理、修改、刪除以及統(tǒng)計(jì) = 6 * GB3 項(xiàng)目設(shè)置與通知模塊 = 7 * GB3 文字信息發(fā)布、訂制與管理 = 8 * GB3 圖文發(fā)布、訂制與管理 = 9 * GB3 售前、售后反饋與管疑系統(tǒng) = 10 * GB3 （區(qū)域）代理商權(quán)限專項(xiàng)管理系統(tǒng)a.用戶權(quán)限專項(xiàng)管理系統(tǒng)b.內(nèi)部員工權(quán)限專項(xiàng)管理系統(tǒng)c.客服權(quán)限管理系統(tǒng)45前臺(tái)入口 = 1 * GB3 用戶注冊(cè)以及登錄 前臺(tái)權(quán)限管理 = 2 * GB3 我的客戶資源數(shù)據(jù) 信息發(fā)布消費(fèi)記錄 = 3 * GB3 內(nèi)部短信息通知 收藏夾 = 4 * GB3 產(chǎn)品中心 充值流程 = 5 * GB3 商家登錄 商家操作流程22支撐系統(tǒng) = 1 * GB3 微信二次開發(fā)品牌內(nèi)鑲與外掛構(gòu)建系統(tǒng) = 2 * GB3 號(hào)百Dg114、114wap、短信、協(xié)成WIFI客戶資源系統(tǒng) = 3 * GB3 客戶資源整理批量導(dǎo)入、導(dǎo)出分解與集束體系 = 4 * GB3 支付（充值、消費(fèi)）系統(tǒng) = 5 * GB3 交易操作指南12交易平臺(tái) = 1 * G