三大IT支撐系統(tǒng)大數(shù)據(jù)融合建設(shè)模式研究

1、三大IT支撐系統(tǒng)大數(shù)據(jù)融合建設(shè)模式研究1 引言近幾年，某運(yùn)營商一直以B域（即業(yè)務(wù)支撐域，簡稱B域;）的經(jīng)分系統(tǒng)為基礎(chǔ)建設(shè)大數(shù)據(jù)平臺，盡量減少系統(tǒng)數(shù)量，充分利用現(xiàn)有資源，減少系統(tǒng)間數(shù)據(jù)的復(fù)雜度，同時結(jié)合公司運(yùn)營中的重點(diǎn)、難點(diǎn)問題，逐步進(jìn)行了一些基于大數(shù)據(jù)分析的應(yīng)用開發(fā)和系統(tǒng)建設(shè)。本文基于此將總結(jié)運(yùn)營商在規(guī)劃建設(shè)中的經(jīng)驗(yàn)和教訓(xùn)，給出相關(guān)建議，并提出三大IT支撐系統(tǒng)大數(shù)據(jù)融合的建設(shè)模式。2 某運(yùn)營商跨域融合建設(shè)情況該運(yùn)營商在大數(shù)據(jù)方面的建設(shè)從業(yè)務(wù)、基礎(chǔ)能力架構(gòu)、組織架構(gòu)三方面分別進(jìn)行闡述。2.1 業(yè)務(wù)流量經(jīng)營戰(zhàn)略地圖是將流量經(jīng)營的關(guān)鍵要素進(jìn)行圖形化分解的一種全息化經(jīng)營視圖，依據(jù)空間地域掌控營銷范圍，

2、實(shí)現(xiàn)精確微區(qū)域營銷。場景以戰(zhàn)略地圖為顯微鏡;，深入透視微區(qū)域問題，排查問題尋找解決措施，通過跨域分析促進(jìn)精細(xì)化工作的落地執(zhí)行，實(shí)現(xiàn)流量經(jīng)營關(guān)鍵要素的可視化、網(wǎng)格化，有效推動流量經(jīng)營的持續(xù)發(fā)展?；ヂ?lián)網(wǎng)業(yè)務(wù)分析基于經(jīng)分系統(tǒng)，通過打通B域、O域（網(wǎng)管支撐域，簡稱O域;）接口，通過采集網(wǎng)絡(luò)信令并通過爬蟲獲取客戶上網(wǎng)信息，并結(jié)合用戶開銷戶和業(yè)務(wù)訂購信息進(jìn)行統(tǒng)計分析、流量監(jiān)控，更新客戶上網(wǎng)策略，目前系統(tǒng)在建設(shè)中。事件營銷基于經(jīng)分系統(tǒng)，通過打通B域、O域接口，獲取網(wǎng)絡(luò)側(cè)實(shí)時信令消息，分析用戶行為變化，及時向用戶推薦相應(yīng)產(chǎn)品，實(shí)現(xiàn)營銷的及時推送，建設(shè)基于事件的營銷分析，目前正在進(jìn)行試點(diǎn)工作。業(yè)財融合涉及到B域

3、、M域（管理信息域，簡稱M域;）之間多個系統(tǒng)的協(xié)作，通過引入M域成本數(shù)據(jù)，實(shí)現(xiàn)產(chǎn)品和客戶的成本精細(xì)分?jǐn)?，為解決市場運(yùn)營成本短板提供數(shù)據(jù)支撐。通過對業(yè)務(wù)線和財務(wù)線的業(yè)務(wù)流程分析，關(guān)聯(lián)兩條線的統(tǒng)一分析指標(biāo)，加強(qiáng)分析的針對性和有效性；并通過鉆取和挖掘等技術(shù)手段，對差異進(jìn)行定位和監(jiān)控，形成管理閉環(huán)，貫通業(yè)務(wù)流程，以達(dá)成降本增效、提升效率、規(guī)避風(fēng)險的目標(biāo)。2.2 基礎(chǔ)能力架構(gòu)某運(yùn)營商在近兩年建設(shè)中不斷優(yōu)化系統(tǒng)基礎(chǔ)能力架構(gòu)，為新型大數(shù)據(jù)分析工作提供保障。從基礎(chǔ)資源層面、應(yīng)用層面、管理層面統(tǒng)一協(xié)同考慮對B、O、M三域大數(shù)據(jù)融合建設(shè)，積極協(xié)同建設(shè)三域資源池，不斷提升X86化比例、統(tǒng)一分布式數(shù)據(jù)庫、虛擬化軟件的

4、選型，并進(jìn)行三域跨域數(shù)據(jù)的統(tǒng)一采集和去重處理等。建設(shè)基于X86架構(gòu)的經(jīng)分歷史數(shù)據(jù)庫，通過降低建設(shè)成本延長歷史數(shù)據(jù)保留時間，有效提升歷史數(shù)據(jù)的使用價值，并為數(shù)據(jù)倉庫提供安全保障。2.3 組織架構(gòu)某運(yùn)營商已經(jīng)建立了跨部門的虛擬組織架構(gòu)，通過明確各部門的分工，協(xié)同制定企業(yè)IT運(yùn)營系統(tǒng)集中化總體目標(biāo)及演進(jìn)策略；部署企業(yè)IT運(yùn)營系統(tǒng)集中化工作；統(tǒng)籌協(xié)調(diào)企業(yè)IT運(yùn)營系統(tǒng)集中化所需資源；決策企業(yè)IT運(yùn)營系統(tǒng)集中化中的重大事項(xiàng)。3 以往建設(shè)中的問題與難點(diǎn)某運(yùn)營商在以往的系統(tǒng)建設(shè)中曾經(jīng)出現(xiàn)過問題，通過剖析，分析出類似建設(shè)中的問題以及大數(shù)據(jù)建設(shè)過程中的困難所在。3.1 以往建設(shè)問題前期O域某系統(tǒng)的建設(shè)與大數(shù)據(jù)平臺

5、的建設(shè)存在很多類似的特點(diǎn)，某系統(tǒng)在近幾年的建設(shè)過程中，出現(xiàn)的問題值得借鑒：（1）規(guī)劃考慮不全面：某系統(tǒng)定位為支撐全業(yè)務(wù)運(yùn)營，實(shí)現(xiàn)網(wǎng)絡(luò)資源數(shù)據(jù)的全生命周期管理，但沒有與業(yè)務(wù)支撐、計劃工程管理領(lǐng)域的相關(guān)系統(tǒng)統(tǒng)一規(guī)劃，建設(shè)過程中業(yè)務(wù)開通的長流程難以貫通。（2）演進(jìn)思路不清晰：某系統(tǒng)的建設(shè)目標(biāo)是替代專業(yè)網(wǎng)管的資源管理功能，但其與專業(yè)網(wǎng)管的分工原則一直不清晰，長期以來專業(yè)網(wǎng)管仍承擔(dān)較多的資源管理方面的建設(shè)要求，建設(shè)過程中專業(yè)網(wǎng)管與某系統(tǒng)的接口難協(xié)調(diào)，接口規(guī)范不標(biāo)準(zhǔn)。（3）技術(shù)架構(gòu)不先進(jìn)：某系統(tǒng)數(shù)據(jù)源大部分為手工錄入，目前從專業(yè)網(wǎng)管同步資源數(shù)據(jù)后做資源比對，由于統(tǒng)一采集層方案一直以來未明確和建設(shè)，造成資源

6、數(shù)據(jù)采集自動化程度低、人工維護(hù)工作量巨大及數(shù)據(jù)質(zhì)量長期存在不及時、不完整、不準(zhǔn)確的問題，難以支撐實(shí)際生產(chǎn)管理的需要。3.2 大數(shù)據(jù)融合建設(shè)難點(diǎn)大數(shù)據(jù)融合建設(shè)的難度體現(xiàn)在：（1）存在數(shù)據(jù)整合困難、準(zhǔn)確性提升需要系統(tǒng)和管理雙重保障的特點(diǎn)。（2）大數(shù)據(jù)分析應(yīng)用范圍又涉及多域應(yīng)用，范圍極廣，必須有專業(yè)化的團(tuán)隊支撐服務(wù)。4 三域大數(shù)據(jù)融合發(fā)展思路根據(jù)前文所述的建設(shè)經(jīng)驗(yàn)，某運(yùn)營商在大數(shù)據(jù)方面建設(shè)已經(jīng)逐步滲透到各個環(huán)節(jié)，并在相關(guān)方面取得了一定的建設(shè)成果：（1）系統(tǒng)建設(shè)方面：由統(tǒng)一門戶向開放式平臺演進(jìn)；由建單的數(shù)據(jù)封裝向統(tǒng)一數(shù)據(jù)服務(wù)平臺演進(jìn)；由分散的基礎(chǔ)平臺向統(tǒng)一的管理平臺演進(jìn)；由小型機(jī)逐步向X86化演進(jìn)；由

7、結(jié)構(gòu)化處理能力向非結(jié)構(gòu)化處理能力演進(jìn)。（2）業(yè)務(wù)應(yīng)用方面：開展了流量經(jīng)營戰(zhàn)略地圖、互聯(lián)網(wǎng)分析、事件營銷、業(yè)財融合、歷史庫等跨域融合類業(yè)務(wù)。（3）資源整合方面：協(xié)調(diào)多個部門，融合B、O、M三域數(shù)據(jù)，整合基礎(chǔ)大數(shù)據(jù)資源；建立大數(shù)據(jù)資源管理部門，明確各部門職責(zé)和分工。根據(jù)前文所述的建設(shè)中遇到的問題，建議在大數(shù)據(jù)建設(shè)過程中統(tǒng)籌考慮，避免重蹈O域某系統(tǒng)建設(shè)的覆轍：（1）加強(qiáng)數(shù)據(jù)的標(biāo)準(zhǔn)化、歸一化、集中化管理。上百個系統(tǒng)的管理分布在不同的部門和專業(yè)，數(shù)據(jù)規(guī)范制作沒有統(tǒng)一標(biāo)準(zhǔn)，因此只有不斷建立有效的把控手段，才能從源頭上保證數(shù)據(jù)的可用性。（2）強(qiáng)化專業(yè)服務(wù)。一定要由專業(yè)人員或組織來做（避免兼職和非專業(yè)）。也許

8、采用專業(yè)部門和第三方專業(yè)咨詢相結(jié)合的方式是一種更好的選擇，但第三方專業(yè)咨詢一定要考慮長期戰(zhàn)略合作與個性化合作相結(jié)合。（3）加強(qiáng)三域分析平臺的統(tǒng)一規(guī)劃。O域的綜合分析系統(tǒng)、M域的財務(wù)主數(shù)據(jù)平臺、B域的經(jīng)分系統(tǒng)，在建設(shè)規(guī)劃過程中要綜合考慮。依據(jù)業(yè)界的建設(shè)經(jīng)驗(yàn)，大數(shù)據(jù)建設(shè)大致可以從兩個方向進(jìn)行：一是從上到下，由應(yīng)用帶動數(shù)據(jù)；二是自下而上，由數(shù)據(jù)帶動應(yīng)用。本文提出了采用應(yīng)用與數(shù)據(jù)互驅(qū)的方式進(jìn)行三大IT支撐系統(tǒng)大數(shù)據(jù)融合建設(shè)。4.1 應(yīng)用帶動數(shù)據(jù)結(jié)合公司運(yùn)營中的重點(diǎn)難點(diǎn)，梳理分析應(yīng)用需求，梳理相關(guān)數(shù)據(jù)需求，進(jìn)而推動數(shù)據(jù)的標(biāo)準(zhǔn)化、自動獲取和集中管控，以及相關(guān)基礎(chǔ)軟硬件能力的建設(shè)。這也是目前大數(shù)據(jù)平臺建設(shè)的

9、主要思路。4.2 數(shù)據(jù)帶動應(yīng)用加強(qiáng)數(shù)據(jù)的標(biāo)準(zhǔn)化管理。大數(shù)據(jù)分析的基礎(chǔ)是數(shù)據(jù)獲取，因此各種基礎(chǔ)數(shù)據(jù)的歸一化、標(biāo)準(zhǔn)化管理至關(guān)重要，但為了避免先建設(shè)后改造所帶來的重復(fù)投資和時間限制，要不斷加強(qiáng)入網(wǎng)數(shù)據(jù)的準(zhǔn)入管理，通過對數(shù)據(jù)準(zhǔn)入管理的把控，提升數(shù)據(jù)的標(biāo)準(zhǔn)化和集中化管理。逐步建立公司級的數(shù)據(jù)分布地圖。在標(biāo)準(zhǔn)化的基礎(chǔ)上，逐步建立起公司的標(biāo)準(zhǔn)化數(shù)據(jù)分布地圖，即哪些系統(tǒng)存放著哪些數(shù)據(jù)，哪些數(shù)據(jù)是標(biāo)準(zhǔn)化和非標(biāo)準(zhǔn)化的，以及數(shù)據(jù)的重要性權(quán)重，通過建立數(shù)據(jù)分布地圖，實(shí)現(xiàn)數(shù)據(jù)的分層級管理體系。加強(qiáng)數(shù)據(jù)節(jié)點(diǎn)的定位。從管理角度要考慮真正有效的數(shù)據(jù)節(jié)點(diǎn)所處的位置或環(huán)節(jié)（系統(tǒng)運(yùn)營、職責(zé)分配、工作運(yùn)營、決策支撐各環(huán)節(jié)的數(shù)據(jù)生成節(jié)

10、點(diǎn)等，以及與現(xiàn)有的數(shù)據(jù)生成節(jié)點(diǎn)的關(guān)系）。在數(shù)據(jù)分布地圖的基礎(chǔ)上進(jìn)一步建立數(shù)據(jù)需求地圖，數(shù)據(jù)需求地圖除了包含數(shù)據(jù)分布地圖的部分內(nèi)容外，還應(yīng)該包括公司主要管理流程中產(chǎn)生的數(shù)據(jù)，而這些管理流程可能在實(shí)施過程中并沒有進(jìn)行信息化處理，但這些潛在的數(shù)據(jù)會對公司的運(yùn)營決策產(chǎn)生重要影響，因此通過明晰數(shù)據(jù)需求地圖，不斷加強(qiáng)此類流程數(shù)據(jù)的IT化、可管理化和可使用化能力，豐富數(shù)據(jù)地圖的范圍。4.3 應(yīng)用與數(shù)據(jù)互驅(qū)鑒于以上的分析，總體發(fā)展思路是應(yīng)用與數(shù)據(jù)互驅(qū)演進(jìn)：以跨域分析應(yīng)用的梳理為突破，帶動B、O、M三域數(shù)據(jù)的集中管理；以三域數(shù)據(jù)的歸一化梳理和集中，為更多的分析應(yīng)用奠定基礎(chǔ)。根據(jù)某運(yùn)營商規(guī)劃，將以資源整合，數(shù)據(jù)集

11、中，應(yīng)用整合;原則為指導(dǎo)，打造三域融合的一體化支撐能力，資源池重點(diǎn)關(guān)注資源整合層面，而大數(shù)據(jù)平臺對應(yīng)數(shù)據(jù)集中和應(yīng)用整合層面。IT支撐系統(tǒng)云資源池將分階段分維度整合三域內(nèi)及域間的IT基礎(chǔ)資源，后續(xù)大數(shù)據(jù)平臺所需的IT基礎(chǔ)資源將由融合后的IT支撐系統(tǒng)云資源池統(tǒng)一提供，三大IT支撐系統(tǒng)私有云資源池規(guī)劃演進(jìn)階段和方式視具體情況而不同。圖1所列的是其中一種典型情況，即O、M兩域先融合，然后三域再統(tǒng)一融合，其他情況不再贅述。IT支撐系統(tǒng)私有云資源池是大數(shù)據(jù)平臺的物理支撐平臺，在規(guī)劃建設(shè)中考慮適當(dāng)?shù)膹椥匀哂?。大?shù)據(jù)平臺定位為建設(shè)統(tǒng)一的企業(yè)運(yùn)營數(shù)據(jù)中心，以提供統(tǒng)一、標(biāo)準(zhǔn)、開放、可共享、可控制的數(shù)據(jù)服務(wù)為目標(biāo)，

12、前期重點(diǎn)建設(shè)非結(jié)構(gòu)化數(shù)據(jù)處理能力，完成數(shù)據(jù)處理框架搭建，后期以諸如流量經(jīng)營、業(yè)財融合等成熟的應(yīng)用專題為切入點(diǎn)，逐漸豐富數(shù)據(jù)應(yīng)用。某運(yùn)營商大數(shù)據(jù)平臺架構(gòu)：面向互聯(lián)網(wǎng)化的轉(zhuǎn)型需求，結(jié)合去IOE（即以IBM小型機(jī)、Oracle數(shù)據(jù)庫、EMC存儲陣列為代表的傳統(tǒng)IT軟硬件架構(gòu)模式）化進(jìn)程，進(jìn)行系統(tǒng)架構(gòu)升級改造，開展大數(shù)據(jù)平臺轉(zhuǎn)型建設(shè)。構(gòu)建信息整合、數(shù)據(jù)資產(chǎn)、應(yīng)用和運(yùn)維管控等扁平化中心，實(shí)現(xiàn)應(yīng)用與數(shù)據(jù)深度解耦，數(shù)據(jù)處理多樣化，硬件和數(shù)據(jù)資源池化。針對大數(shù)據(jù)的目標(biāo)架構(gòu)和特點(diǎn)，在近兩期的建設(shè)中充分考慮了新技術(shù)的引入和應(yīng)用，主要的關(guān)鍵技術(shù)體現(xiàn)在小型機(jī)的X86化進(jìn)程中以及部分新功能模塊建設(shè)中所運(yùn)用的數(shù)據(jù)庫相關(guān)技

13、術(shù)、MPP關(guān)系型數(shù)據(jù)庫（如深度分析庫、歷史庫等）以及Hadoop（如互聯(lián)網(wǎng)分析、云化ETL、爬蟲等），通過分析研究，對兩種技術(shù)的特點(diǎn)和應(yīng)用場景進(jìn)行了對比，如表1所示：通過對以上兩種主流技術(shù)的深入對比研究，總結(jié)如下：（1）兩種技術(shù)根據(jù)各自的特點(diǎn)，具有各自的應(yīng)用場景：鑒于MPP合理的分布鍵設(shè)計（MPP按行Hash分布，不同于Hadoop按塊隨機(jī)分布）、庫內(nèi)分析支持與分布式存儲及計算相結(jié)合等方面的特性，支持?jǐn)?shù)據(jù)量大、響應(yīng)速度要求高、并發(fā)用戶多的交互式數(shù)據(jù)分析，可以有效支撐PB級別的結(jié)構(gòu)化數(shù)據(jù)分析，如：中等規(guī)模日志存儲處理、經(jīng)分?jǐn)?shù)據(jù)倉庫等。Hadoop則適用于響應(yīng)時間要求不高、并發(fā)任務(wù)少的數(shù)據(jù)初步、加

14、工提煉以及批量處理等場景，如大規(guī)?；ヂ?lián)網(wǎng)社交網(wǎng)絡(luò)、Blog、微博、在線詳單查詢、大規(guī)模日志存儲處理、信令系統(tǒng)XDR數(shù)據(jù)存儲和分析預(yù)處理、經(jīng)分ETL等。此外，Hadoop能勝任傳統(tǒng)關(guān)系型數(shù)據(jù)庫較難處理的數(shù)據(jù)和場景，例如針對非結(jié)構(gòu)化數(shù)據(jù)的存儲和計算等，目前最為典型的應(yīng)用場景就是通過擴(kuò)展和封裝Hadoop來實(shí)現(xiàn)對互聯(lián)網(wǎng)大數(shù)據(jù)存儲、分析的支撐；對于非結(jié)構(gòu)、半結(jié)構(gòu)化數(shù)據(jù)處理、復(fù)雜的ETL流程、復(fù)雜的數(shù)據(jù)挖掘和計算模型，也是Hadoop平臺擅長之處。（2）基于列存儲+MPP架構(gòu)的新型數(shù)據(jù)庫在核心技術(shù)上跟傳統(tǒng)數(shù)據(jù)庫有巨大差別，是為面向結(jié)構(gòu)化數(shù)據(jù)分析設(shè)計開發(fā)的，能夠有效處理PB級別的數(shù)據(jù)量。在技術(shù)上為很多行業(yè)

15、用戶解決了數(shù)據(jù)處理性能問題。（3）新型數(shù)據(jù)庫是運(yùn)行在X86服務(wù)器之上的，相比傳統(tǒng)小型機(jī)部署方式可以大大降低數(shù)據(jù)處理的成本（1個數(shù)量級）。（4）新型數(shù)據(jù)庫將逐步與Hadoop生態(tài)系統(tǒng)結(jié)合混搭使用，用MPP處理PB級別的、高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)，同時為應(yīng)用提供豐富的SQL和事務(wù)支持能力；用Hadoop實(shí)現(xiàn)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理，這樣可同時滿足結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理需求。三大IT支撐系統(tǒng)大數(shù)據(jù)融合架構(gòu)如圖2所示。在三大IT支撐系統(tǒng)大數(shù)據(jù)融合建設(shè)進(jìn)程中，要加強(qiáng)各類大數(shù)據(jù)應(yīng)用的有效性和時效性管理，建立應(yīng)用的全生命周期管理手段，避免無效的應(yīng)用長期占用系統(tǒng)資源甚至是運(yùn)維資金。與此同時，建立公司級的數(shù)據(jù)運(yùn)營團(tuán)隊十分必要，通過專業(yè)的運(yùn)營團(tuán)隊，分析數(shù)據(jù)中隱含的決策支撐信息，建立分析的各種模型，定期形成分析結(jié)果的預(yù)評估，將經(jīng)過預(yù)評估的模型通過軟件開發(fā)進(jìn)行落地實(shí)施，并在實(shí)施的過程中不斷完善和修正，力爭實(shí)現(xiàn)運(yùn)營效果對基礎(chǔ)數(shù)據(jù)管理能力的閉環(huán)反饋。5 結(jié)論三大IT支撐系統(tǒng)大數(shù)據(jù)融合旨在數(shù)據(jù)資產(chǎn)規(guī)范化、顯性化的基礎(chǔ)上，逐步由內(nèi)而外發(fā)掘數(shù)據(jù)價值，并支