SMARTBI-廣東聯(lián)通數(shù)據(jù)中心-方案交流V

金倉思邁特商業(yè)智能平臺

廣東省聯(lián)通數(shù)據(jù)中心交流聯(lián)系我們:

support@S

公司簡介產(chǎn)品功能模塊介紹數(shù)據(jù)中心建設(shè)方案相關(guān)項目經(jīng)驗介紹我們的優(yōu)勢2主題思邁特簡介3中國電子科技集團(tuán)（CETC）成員公司公司背景公司定位BI產(chǎn)商，國內(nèi)商業(yè)智能產(chǎn)品領(lǐng)域的開拓者和領(lǐng)導(dǎo)者技術(shù)力量團(tuán)隊核心成員在BI產(chǎn)品研發(fā)領(lǐng)域具有5-10年經(jīng)歷，具備豐富的BI平臺產(chǎn)品研發(fā)經(jīng)驗代理商分布公司總部及研發(fā)中心在廣州，在華北、華中、華東均有合作伙伴與代理商Smartbi，十年打造4菲奈特軟件東南融通思邁特軟件1997年之前銀行/證券/保險核心系統(tǒng)1999年BI.OfficeV1.0BI項目實施服務(wù)2008-2011年10月FreeQuery查詢平臺（J2EE技術(shù)）BI.OfficeV5-V6（J2EE技術(shù)）獲得BI金融行業(yè)壟斷地位廣泛應(yīng)用于政府、企業(yè)等1997年BI理論研究2000年BI.OfficeV2.0

（COM技術(shù)）

BI項目實施服務(wù)2001年~2007年BI.OfficeV3.X-4.0（COM+J2EE技術(shù)）BI項目實施服務(wù)BI產(chǎn)品OEM服務(wù)2011年11月-2012年SmartbiV2.0SmartbiMobileV2.0專注行業(yè)：軍隊、政府、集團(tuán)公司BI平臺產(chǎn)品發(fā)展里程碑始終一個團(tuán)隊10+年12+行業(yè)100+BI客戶200+BI項目銀行26保險/證券10企業(yè)30稅務(wù)13政府/事業(yè)單位19電信/移動9合計100+典型客戶5

典型客戶6

政府、公共事業(yè)金融企業(yè)合作伙伴北京人大金倉信息技術(shù)股份有限公司文思創(chuàng)新軟件技術(shù)有限公司軟通動力信息技術(shù)（集團(tuán)）有限公司神州數(shù)碼融信軟件有限公司東華軟件股份有限公司博彥網(wǎng)鼎信息技術(shù)有限公司內(nèi)蒙古縱橫偉業(yè)軟件技術(shù)與服務(wù)有限公司北京科藍(lán)軟件系統(tǒng)有限公司北京能博文科技發(fā)展有限公司北京平步科技有限公司7廈門融通信息技術(shù)有限公司廈門同步天成軟件有限公司廈門市美亞柏科信息股份有限公司廣東省信息工程有限公司廣州從興電子開發(fā)有限公司廣州市網(wǎng)迅信息技術(shù)有限公司廣州市都享信息科技有限公司廣州畢盛軟件有限公司廣州科韻信息股份有限公司上海泓智信息科技有限公司湖南省慧祥科技開發(fā)有限公司公司簡介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項目經(jīng)驗介紹我們的優(yōu)勢8主題應(yīng)用現(xiàn)狀系統(tǒng)目標(biāo)整體架構(gòu)規(guī)劃技術(shù)架構(gòu)規(guī)劃應(yīng)用框架規(guī)劃數(shù)據(jù)架構(gòu)及建模數(shù)據(jù)管控建設(shè)路線圖政企客戶部企業(yè)戰(zhàn)略部人力資源部財務(wù)部客戶服務(wù)部技術(shù)部網(wǎng)絡(luò)發(fā)展部市場部審計部采購事業(yè)部下屬機(jī)構(gòu)其他部可能面臨的問題數(shù)據(jù)口徑不統(tǒng)一,可信度低管理決策數(shù)據(jù)過于分散,數(shù)據(jù)來源多樣化數(shù)據(jù)缺乏標(biāo)準(zhǔn),難以整合缺乏數(shù)據(jù)管控體系,數(shù)據(jù)質(zhì)量難以保證總公司二級機(jī)構(gòu)一級機(jī)構(gòu)決策層手工數(shù)據(jù)采集數(shù)據(jù)整合的價值政企客戶部企業(yè)戰(zhàn)略部人力資源部財務(wù)部客戶服務(wù)部技術(shù)部網(wǎng)絡(luò)發(fā)展部市場部審計部采購事業(yè)部下屬機(jī)構(gòu)其他部決策層數(shù)據(jù)中心（ODS&EDW）專題數(shù)據(jù)集市專題數(shù)據(jù)集市專題數(shù)據(jù)集市管理決策所需數(shù)據(jù)集中管理，來源唯一形成業(yè)務(wù)單一視圖，數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)管控體系健全,數(shù)據(jù)質(zhì)量得以保證

數(shù)據(jù)整合后信息流簡化共享數(shù)據(jù)利用率提高數(shù)據(jù)中心定位與目標(biāo)現(xiàn)實需要清理和解決基礎(chǔ)數(shù)據(jù)不一致問題，改進(jìn)數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)的可信度；整合基礎(chǔ)數(shù)據(jù)，形成管理決策所需的“單一數(shù)據(jù)源”，加強(qiáng)信息共享，提高決策效率；減少重復(fù)勞動，降低整體信息獲取成本（人工和IT）；促使已有IT設(shè)施發(fā)揮更大作用。未來價值支持精細(xì)化管理；支持績效考核，提高內(nèi)部管理能力；提供數(shù)據(jù)挖掘以獲得對全局狀況的洞察力，持續(xù)支持科學(xué)、量化的管理決策。企業(yè)級數(shù)據(jù)整合是一種增強(qiáng)全行商業(yè)智能的解決方案和戰(zhàn)略管理工具，它支持有遠(yuǎn)見的決策系統(tǒng)目標(biāo)以數(shù)據(jù)為基礎(chǔ)、以模型為支撐、以應(yīng)用為驅(qū)動、全面管理信息資產(chǎn)統(tǒng)一咨詢實施方法統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一數(shù)據(jù)模型統(tǒng)一數(shù)據(jù)整合平臺統(tǒng)一數(shù)據(jù)存儲平臺統(tǒng)一數(shù)據(jù)應(yīng)用平臺統(tǒng)一數(shù)據(jù)管控平臺規(guī)范系統(tǒng)服務(wù)流程及標(biāo)準(zhǔn)高效信息資源獲取渠道快速業(yè)務(wù)應(yīng)用響應(yīng)平臺運營監(jiān)控及決策支撐績效管理支撐資產(chǎn)管理及運營中心總體目標(biāo)可落地咨詢規(guī)劃服務(wù)真正為客戶創(chuàng)造價值企業(yè)愿景可落地咨詢規(guī)劃實施執(zhí)行一般咨詢規(guī)劃咨詢與實施脫節(jié)企業(yè)愿景無法落地咨詢與實施掛鉤企業(yè)愿景順利實施業(yè)務(wù)系統(tǒng)系統(tǒng)整體架構(gòu)ETL平臺前端展現(xiàn)工具及應(yīng)用發(fā)布平臺（SmartBI）數(shù)據(jù)庫財務(wù)預(yù)算OA數(shù)據(jù)補(bǔ)錄工具數(shù)據(jù)管控（數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理）ETL調(diào)度和監(jiān)控平臺高效、準(zhǔn)確的數(shù)據(jù)抽取、標(biāo)準(zhǔn)化和裝載全局?jǐn)?shù)據(jù)模型、數(shù)據(jù)倉庫靈活、直觀、豐富的圖表數(shù)據(jù)展現(xiàn)應(yīng)用集成、界面集成、LDAP集成、單點登錄成熟的技術(shù)方案及專業(yè)實施團(tuán)隊統(tǒng)計分析報表管理運營監(jiān)控風(fēng)險評估績效監(jiān)控數(shù)據(jù)挖掘資產(chǎn)管理審計監(jiān)控商業(yè)智能系統(tǒng)&戰(zhàn)略績效管理數(shù)據(jù)標(biāo)準(zhǔn)管理成熟的行業(yè)解決方案及分析模板數(shù)據(jù)標(biāo)準(zhǔn)咨詢方法論實施方法論數(shù)據(jù)整合及管理服務(wù)區(qū)準(zhǔn)實時應(yīng)用支撐統(tǒng)一口徑支撐ETL服務(wù)支撐代碼標(biāo)準(zhǔn)化支撐數(shù)據(jù)質(zhì)量服務(wù)支撐基礎(chǔ)數(shù)據(jù)支撐增量數(shù)據(jù)支撐系統(tǒng)技術(shù)架構(gòu)偏分析型數(shù)據(jù)區(qū)DATAMART數(shù)據(jù)源HR計劃基礎(chǔ)數(shù)據(jù)模型應(yīng)用數(shù)據(jù)服務(wù)支撐報表應(yīng)用支撐查詢應(yīng)用支撐挖掘應(yīng)用支撐應(yīng)用分析型應(yīng)用決策應(yīng)用支撐增量監(jiān)控分析應(yīng)用支撐管理平臺數(shù)據(jù)服務(wù)平臺調(diào)度/監(jiān)控管理數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)化管理ETL全流程監(jiān)控系統(tǒng)級監(jiān)控應(yīng)用級監(jiān)控數(shù)據(jù)質(zhì)量優(yōu)化流程管理數(shù)據(jù)分析報告規(guī)則庫維護(hù)代碼標(biāo)準(zhǔn)化口徑標(biāo)準(zhǔn)化代碼標(biāo)準(zhǔn)映射抽取組件轉(zhuǎn)換組件加載組件代碼轉(zhuǎn)換組件映射組件代碼生成系統(tǒng)調(diào)度數(shù)據(jù)分發(fā)………….財務(wù)預(yù)算裝備配發(fā)T+1近實時實時管理型應(yīng)用專題數(shù)據(jù)服務(wù)類應(yīng)用實時交易數(shù)據(jù)服務(wù)原始交易數(shù)據(jù)服務(wù)法定信息披露流程支撐STG/ODS/DW采購指揮調(diào)度外部補(bǔ)錄工具商業(yè)智能集成展現(xiàn)框架應(yīng)用規(guī)劃總賬財務(wù)會計報表固定資產(chǎn)成本管理現(xiàn)金管理應(yīng)收管理應(yīng)付管理產(chǎn)品管理客戶管理渠道管理營銷管理預(yù)算管理管理會計數(shù)據(jù)倉庫（DW）運營管理系統(tǒng)關(guān)鍵指標(biāo)管理績效風(fēng)險預(yù)警KPI指標(biāo)客戶發(fā)展與收益增值業(yè)務(wù)主題分析績效管理主題分析營銷服務(wù)主題分析產(chǎn)品管理主題分析渠道運營主體分析決策支持系統(tǒng)數(shù)據(jù)倉庫管理駕駛艙運營監(jiān)控管理工具績效考核評估體系語音業(yè)務(wù)主題分析整體的數(shù)據(jù)模型，而不是為報表而報表17統(tǒng)一的數(shù)據(jù)倉庫模型

長期的成功不同的數(shù)據(jù)模型對于整體數(shù)據(jù)倉庫的挑戰(zhàn)財務(wù)系統(tǒng)裝備配置系統(tǒng)統(tǒng)一的企業(yè)級數(shù)據(jù)倉庫模型?其他系統(tǒng)每一個運營系統(tǒng)擁有自己的數(shù)據(jù)模型不統(tǒng)一的數(shù)據(jù)倉庫模型導(dǎo)致：

孤立的數(shù)據(jù)孤島?數(shù)據(jù)建模：數(shù)據(jù)建模方法論邏輯模型業(yè)務(wù)主題域業(yè)務(wù)范圍業(yè)務(wù)邏輯化業(yè)務(wù)抽象對象分析主題規(guī)劃主題目標(biāo)域內(nèi)容概念模型原子層物理模型應(yīng)用模型注：在模型設(shè)計以及構(gòu)建的過程的同時，針對系統(tǒng)的開發(fā)標(biāo)準(zhǔn)、模型的構(gòu)建標(biāo)準(zhǔn)、使用標(biāo)準(zhǔn)、擴(kuò)展規(guī)范、應(yīng)用設(shè)計規(guī)范、命名規(guī)則、使用規(guī)約等一系列的標(biāo)準(zhǔn)規(guī)范及規(guī)約并行定制，并逐步的完善。主題域邏輯模型基礎(chǔ)數(shù)據(jù)模型（原子層）基礎(chǔ)數(shù)據(jù)模型（匯總層）對象原子化共享對象唯一化原子對象物理化物理對象存儲化存儲對象來源化關(guān)鍵模型業(yè)務(wù)化原子模型分子化數(shù)據(jù)粒度匯總化應(yīng)用需求模型化應(yīng)用模型技術(shù)化多維模型關(guān)系化星型模型共享化共享模型來源化應(yīng)用模型數(shù)據(jù)模型建設(shè)19我們的數(shù)據(jù)模型建設(shè)方案：1.模式選擇：星型模型與3NF模型有機(jī)結(jié)合星型模型：解決主題分析、KPI等應(yīng)用；3NF模型：解決Ad-Hoc等應(yīng)用；2.建設(shè)方式：采用需求驅(qū)動方法進(jìn)行建設(shè)。星型模型+范式模型業(yè)務(wù)需求驅(qū)動方法有效管理+優(yōu)秀團(tuán)隊企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)模型建設(shè)20邏輯數(shù)據(jù)模型建設(shè)完備性和方法，決定數(shù)據(jù)模型適應(yīng)業(yè)務(wù)變化的能力范式邏輯數(shù)據(jù)模型建設(shè)：21數(shù)據(jù)模型建設(shè)邏輯數(shù)據(jù)模型建設(shè)完備性和方法，決定數(shù)據(jù)模型適應(yīng)業(yè)務(wù)變化的能力范式邏輯數(shù)據(jù)模型建設(shè)：22數(shù)據(jù)模型建設(shè)保持維度的一致性、完整性、靈活性是維度模型建設(shè)成功的關(guān)鍵維度數(shù)據(jù)模型建設(shè)：集團(tuán)業(yè)務(wù)范圍產(chǎn)品類別部門客戶區(qū)域渠道業(yè)務(wù)類型客戶屬性供應(yīng)商…維度總線時間產(chǎn)品貢獻(xiàn)分析事實表渠道貢獻(xiàn)分析事實表資產(chǎn)負(fù)債分析事實表代理分析事實表風(fēng)險分析事實表客戶貢獻(xiàn)分析事實表產(chǎn)品分析事實表市場競爭分析事實表利潤分析事實表市場細(xì)分分析事實表銷售分析事實表財務(wù)分析事實表供應(yīng)商分析事實表渠道分析事實表以事實表為基礎(chǔ)的數(shù)據(jù)集市插件…安全控制日志控制指標(biāo)目錄采集控制任務(wù)流程EnterpriseDataWarehouseSystemControlInformation控制表群以維度為尋址總線數(shù)據(jù)管控應(yīng)用框架項目實施工藝項目實施步驟咨詢實施公司簡介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項目經(jīng)驗介紹我們的優(yōu)勢26主題專業(yè)查詢、自助查詢中國式報表及平衡校驗多維分析及分析報告儀表盤移動應(yīng)用后臺管理（任務(wù)調(diào)度、分發(fā)、元數(shù)據(jù)）二次開發(fā)和集成公司簡介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項目經(jīng)驗介紹我們的優(yōu)勢27主題銀行ODS系統(tǒng)案例企業(yè)經(jīng)營分析平臺項目案例企業(yè)業(yè)務(wù)數(shù)據(jù)中心案例28中國電信EDW-增值業(yè)務(wù)運營數(shù)據(jù)中心建設(shè)方案目錄平臺可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實施方案和平臺發(fā)展方向7建設(shè)目標(biāo)與重點129

公司研發(fā)實力形成了成熟的研發(fā)體系，具備快速反應(yīng)及持續(xù)開發(fā)的能力在電信業(yè)務(wù)技術(shù)規(guī)范研究領(lǐng)域處于國內(nèi)領(lǐng)先地位，編制標(biāo)準(zhǔn)與規(guī)范近15項國家專利2項，軟件產(chǎn)品登記數(shù)13個，計算機(jī)軟件著作權(quán)登記數(shù)9個，自主研發(fā)產(chǎn)品獲多項國家級，省、市級和中國電信級獎項30規(guī)范管理專業(yè)實驗室3G實驗室增值業(yè)務(wù)實驗室數(shù)據(jù)多媒體實驗室軟件評測實驗室產(chǎn)品與中國電信廣東研究院戰(zhàn)略合作公司人才、技術(shù)優(yōu)勢開發(fā)知識庫公共組件庫技術(shù)規(guī)范質(zhì)量控制業(yè)務(wù)優(yōu)化UI設(shè)計以RUP指導(dǎo)項目管理、軟件開發(fā)過程通過CMMI3級評估核心業(yè)務(wù)管理支撐系統(tǒng)(MSS）業(yè)務(wù)支撐系統(tǒng)(BSS）運營管理系統(tǒng)(OSS)業(yè)務(wù)交互平臺行業(yè)應(yīng)用產(chǎn)品質(zhì)量控制

公司產(chǎn)品與服務(wù)31IP移動固定網(wǎng)絡(luò)MSSOSS系統(tǒng)集成BSSEDA主機(jī)集成網(wǎng)絡(luò)集成SAP二次開發(fā)計費帳務(wù)與結(jié)算IBSS/CRM余額管理平臺寬帶后臺統(tǒng)一充值VC服務(wù)開通iSPPUMCCTMASODS增值業(yè)務(wù)平臺轉(zhuǎn)型業(yè)務(wù)平臺統(tǒng)一支付移動支付DACS統(tǒng)一認(rèn)證商企平臺號百平臺114搜索導(dǎo)航全球眼(手機(jī)全球眼)平安城市商務(wù)領(lǐng)航行業(yè)應(yīng)用商務(wù)領(lǐng)航平臺應(yīng)用商務(wù)領(lǐng)航咨詢服務(wù)視頻監(jiān)控自助建站數(shù)字校園IT監(jiān)控金視通協(xié)同辦公系統(tǒng)SAP實施咨詢ICT業(yè)務(wù)與產(chǎn)品3G移動應(yīng)用號百定制終端校園定制終端政企定制終端任翼行院線通演出票火車票生活搜訂酒店框架桌面火訊影視音樂游戲詞典QQ天氣預(yù)報動漫圖鈴郵箱瀏覽器企業(yè)總機(jī)手機(jī)搜索189郵箱業(yè)務(wù)交互平臺MBOSS本期項目建設(shè)目標(biāo)本系統(tǒng)關(guān)注中國電信所有全國級增值業(yè)務(wù)的運營分析，實現(xiàn)原始業(yè)務(wù)運營平臺系統(tǒng)的數(shù)據(jù)采集、數(shù)據(jù)整合和聚合。提供對用戶消費行為、業(yè)務(wù)推廣情況、SP/CP分析監(jiān)控方面的應(yīng)用，并實現(xiàn)跨業(yè)務(wù)、跨平臺的融合分析，為增值業(yè)務(wù)的深度運營提供支撐。32本期項目建設(shè)重點技術(shù)方面信息組裝與個性配數(shù)據(jù)質(zhì)量的全程把控知識庫的構(gòu)建系統(tǒng)間互動加強(qiáng)流程的穿越數(shù)據(jù)運營的理念滲透到系統(tǒng)的技術(shù)實現(xiàn)中多維分析跨業(yè)務(wù)、跨平臺融合業(yè)務(wù)分析對于業(yè)務(wù)運營全方位的支撐逐步增強(qiáng)構(gòu)建基于云計算的數(shù)據(jù)平臺實現(xiàn)增值業(yè)務(wù)統(tǒng)一數(shù)據(jù)視圖技術(shù)方面數(shù)據(jù)質(zhì)量的全程把控業(yè)務(wù)方面KPI、綜合查詢、報表分析33目錄建設(shè)目標(biāo)與重點1總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實施方案和平臺發(fā)展方向7平臺可移植性23435平臺可移植性說明層次產(chǎn)品名稱適應(yīng)軟件平臺適應(yīng)硬件平臺開發(fā)語言備注數(shù)據(jù)獲取Informaticawindows/linux/unix等HP/IBM/DELL等JAVA第三方ETL產(chǎn)品數(shù)據(jù)存儲EDW與平臺無關(guān)與平臺無關(guān)JAVA\PROC第三方產(chǎn)品DM與平臺無關(guān)與平臺無關(guān)JAVA\PROC第三方產(chǎn)品ORACLEwindows/linux/unix等HP/IBM/DELL等JAVA第三方產(chǎn)品[注:ORACLE和IBMDB2二者選一]IBMDB2windows/linux/unix等HP/IBM/DELL等JAVA第三方產(chǎn)品[][注:ORACLE和IBMDB2二者選一]數(shù)據(jù)應(yīng)用BIwindows/linux/unix等HP/IBM/DELL等JAVA第三方BI產(chǎn)品IDAPwindows/linux/unix等HP/IBM/DELL等JAVA自主研發(fā)產(chǎn)品(自助取數(shù))Tomcatwindows/linux/unix等HP/IBM/DELL等JAVA開源平臺數(shù)據(jù)展現(xiàn)Portalwindows/linux/unix等HP/IBM/DELL等JAVA自主研發(fā)產(chǎn)品1)第三方軟件（Informatica、Oracle、DB2、BI等）不直接依賴于具體的硬件平臺、操作系統(tǒng)和特定的數(shù)據(jù)庫；2)自研產(chǎn)品（Portal、IDAP、EDW、DM）是基于JAVA開發(fā)的，具有跨平臺性；目錄建設(shè)目標(biāo)與重點1平臺可移植性2關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實施方案和平臺發(fā)展方向7總體方案介紹336數(shù)據(jù)采集：從NMSC、集團(tuán)IT系統(tǒng)、全國接入及管理網(wǎng)管系統(tǒng)及全國和各省增值業(yè)務(wù)平臺采集相關(guān)數(shù)據(jù)。

數(shù)據(jù)存儲：對以上各數(shù)據(jù)源的數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換，按照各數(shù)據(jù)域主題組織、存儲，成為決策分析應(yīng)用的基礎(chǔ)。數(shù)據(jù)應(yīng)用：從業(yè)務(wù)運營全流程的各個環(huán)節(jié)提供相關(guān)應(yīng)用分析，為增值業(yè)務(wù)的深度運營提供全面的數(shù)據(jù)支撐。數(shù)據(jù)展現(xiàn)：為使用人員提供統(tǒng)一門戶，通過報表、圖形等形式簡便、快捷地訪問系統(tǒng)中的各種數(shù)據(jù)并進(jìn)行各種分析預(yù)測操作?？傮w方案介紹-總體架構(gòu)3738總體方案介紹-功能架構(gòu)總體方案介紹-設(shè)備邏輯架構(gòu)VAS-ODMS基于PC云解決方案云內(nèi)云外靈活部署、安全且易于擴(kuò)展；采用數(shù)據(jù)按需服務(wù)思想，原始文件進(jìn)去，分析報告出來；UNIX小型機(jī)按處理能力分成2個硬件分區(qū)，分別部署數(shù)據(jù)庫和接口服務(wù)器，兩臺構(gòu)成集群環(huán)境；多個PC服務(wù)器構(gòu)成云計算環(huán)境，提供ETL數(shù)據(jù)整合服務(wù)和應(yīng)用分析展現(xiàn)服務(wù)。總體方案介紹-設(shè)備邏輯架構(gòu)-云計算PC云邏輯架構(gòu)VMWARE虛擬化物理PC，構(gòu)造多虛擬節(jié)點群，建議按1:2虛擬化；虛擬節(jié)點部署ETL、OLAP、REPORT、應(yīng)用平臺程序；配置ETL和應(yīng)用平臺軟件，構(gòu)成集群和高可用性能力；根據(jù)數(shù)據(jù)處理規(guī)模，配置8個虛擬節(jié)點構(gòu)成計算云，4個集群，4個高可用性；根據(jù)系統(tǒng)用戶和應(yīng)用規(guī)模，配置6個節(jié)點構(gòu)成應(yīng)用云，實現(xiàn)負(fù)載均衡；可選用一臺未作虛擬化PC，作為云計算管控平臺及部署其它管控平臺。41總體方案介紹-應(yīng)用分布式架構(gòu)LoadBalancingRedundantCluster作為應(yīng)用集群請求指派，并根據(jù)應(yīng)用節(jié)點訪問壓力的大小進(jìn)行負(fù)載均衡；LoadBalancing分為主從兩個實例，以備在運行的實例出現(xiàn)問題是可由后備實例接管；ApplicationServers包括Web應(yīng)用、報表服務(wù)、OLAP服務(wù)等，都以冗余的方式進(jìn)行分布式部署；DatabaseRedundantCluster冗余部署數(shù)據(jù)庫。42總體方案介紹-設(shè)備部署架構(gòu)分項設(shè)備型號配置要求數(shù)量數(shù)據(jù)庫/接口服務(wù)器HPRX8640同檔分區(qū)一：16c64G（100萬tpmc）分區(qū)二：4c16G（20萬tpmc）2應(yīng)用服務(wù)器HPBL685c同檔每臺刀片服務(wù)器配置:4CPU(4Core)/64G內(nèi)存/2*146G硬盤(其中4臺刀片安裝RedHat企業(yè)版5.3操作系統(tǒng),另外4臺安裝windows2008server系統(tǒng))8SAN交換機(jī)HP8/24SANSwitch同檔24口光纖交換機(jī)2磁盤陣列HPEVA6400同檔25T容量1磁帶庫HPMSL8096同檔5個LOT4驅(qū)動器，55T容量,MSBF:200萬次MTBF:100,000小時1防火墻華為1000E-U2同檔每臺配置4個多模GE光口2核心交換機(jī)華為9303同檔每臺8個多模GE光口，24GE電口2PC臺式機(jī)普通PCIntel酷睿2代1.86GHz或以上，雙核處理器，2MB緩存或以上；4GB或以上；320GB高速硬盤；19”LCD；32速DVDCOMBO；10/100/1000MB自適應(yīng)以太網(wǎng)網(wǎng)卡2數(shù)據(jù)庫ORACLE10g或DB2數(shù)據(jù)庫(2cpulicenses)forRAC1Windows操作系統(tǒng)WinSvrEnt2008R2CHNSOLPNLwindows操作系統(tǒng),25個CAL（連接許可License）6Linux操作系統(tǒng)RedHat企業(yè)版5.3Linux操作系統(tǒng)(4cpulicenses)4OLAPServerSQLSvrStd2008R2CHNSOLPNL1ProcOLAPServer,提供多維存儲和OLAP操作底層支持1報表工具biV6.0OLTP和OLAP的前端報表應(yīng)用和分析展示工具及門戶平臺1ETL工具InformaticaPowerCenter8.6ETL工具,數(shù)據(jù)集中整合、轉(zhuǎn)換、清洗和裝載1虛擬化軟件Vmware虛擬化軟件1備份軟件HeartsOneBackupEnterpriseEditionV8.0備份軟件1殺毒軟件McAfee防病毒軟件6WEB中間件Tomcat6.0Web應(yīng)用平臺（免費）1目錄建設(shè)目標(biāo)與重點1平臺可移植性2總體方案介紹3成功案例介紹5數(shù)據(jù)分析支撐工作方案6實施方案和平臺發(fā)展方向7關(guān)鍵技術(shù)介紹443關(guān)鍵技術(shù)介紹-數(shù)據(jù)模型44數(shù)據(jù)模型采用分層架構(gòu)，分為緩存層、整合層、匯總層、視圖層、應(yīng)用層，元數(shù)據(jù)層對整個數(shù)據(jù)生命周期進(jìn)行管控。關(guān)鍵技術(shù)介紹-Informatica(體系架構(gòu))RepositoryServicesGlobalRepositoryLocalRepositoryMetadataDirectoryEngineVisualizationServerPowerCenterRepositoryClientToolsDesignViewManageXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeInformaticaDataIntegrationPlatformProviderXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangePortals,Dashboards,

andReportsConsumerIntegrationServiceUNIX(AIX,HPUX,Solaris,Linux)WindowsNT4.0,2000,2003DesignerNavigatorMetadataDiscoveryCollaborationToolsWorkflowMonitorDashboardsMetadataReporterVisualizationToolsRepositoryManagerMetadataAnalysisAdministrationConsoleWorkflowManagerPowerExchangePowerCenterConnectsSAPBWServiceWebServiceHub45關(guān)鍵技術(shù)介紹-Informatica(接口采集)抽取預(yù)處理加載NMSC網(wǎng)管WAP平臺189平臺工作流集中調(diào)度46關(guān)鍵技術(shù)介紹-Informatica(ETL工作流)47關(guān)鍵技術(shù)介紹-Informatica（網(wǎng)格）48關(guān)鍵技術(shù)介紹-Informatica（網(wǎng)格）通過ETL集群向?qū)?，對虛擬化出的四臺ETL服務(wù)器進(jìn)行網(wǎng)格化，設(shè)計集群服務(wù)。49關(guān)鍵技術(shù)介紹-Informatica(分區(qū)并向)50目錄建設(shè)目標(biāo)與重點1平臺可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4數(shù)據(jù)分析支撐工作方案6實施方案和平臺發(fā)展方向7成功案例介紹55152成功案例介紹－廣東電信省ODS－總體介紹數(shù)據(jù)質(zhì)量CRM系統(tǒng)計費系統(tǒng)結(jié)算系統(tǒng)ETL匯總數(shù)據(jù)域臨時緩存域數(shù)據(jù)共享和數(shù)據(jù)訪問域ODS核心層源系統(tǒng)映射層DM層(C網(wǎng)集市、各中心數(shù)據(jù)集市)EDW營銷分析(整合TMAS和CMMS的統(tǒng)計功能)專題分析主題分析KPI統(tǒng)計報表渠道分析智能取數(shù)數(shù)據(jù)門戶接入……ODSEDW用戶資料數(shù)據(jù)量：支持全省5000萬用戶（含C網(wǎng)）；數(shù)據(jù)存儲量：ODS15T左右；EDW40T左右；數(shù)據(jù)處理量：每天處理18000萬條左右記錄數(shù)，以提供管理層每日快報、關(guān)鍵業(yè)務(wù)日監(jiān)測表等應(yīng)用每月處理數(shù)據(jù)量：5億條左右記錄，在用功能點超千種：每月8日12點前提供管理層運營分析會材料－信息月報（白皮書共326張，其中業(yè)務(wù)量白皮書：193張，收入白皮書：133張）每月5日12點前完成全業(yè)務(wù)指標(biāo)體系統(tǒng)計（統(tǒng)計指標(biāo)：361299個，其中移動：111701個，固網(wǎng)：249598個）每月5日12點前整合全省BSS核心系統(tǒng)業(yè)務(wù)數(shù)據(jù)，為業(yè)務(wù)部門提供全省統(tǒng)一口徑的固定報表及動態(tài)報表展示，提供全省統(tǒng)一報表658張，其中電定報表131張；多維分析主題共102個，其中移動：38個，固網(wǎng)：64個實用情況：每日點擊率達(dá)到2萬以上；報表日均訪問次數(shù)：850次，高峰期報表日訪問1713次，日均多維點擊500人次；接口：對外系統(tǒng)接口有30個左右；成功案例介紹－廣東電信省ODS－每日快報5354成功案例介紹－廣東電信省ODS－管理層看數(shù)55成功案例介紹－廣東電信省ODS－多維分析56成功案例介紹－廣東電信省ODS－關(guān)聯(lián)鉆透分析57成功案例介紹－廣東電信省ODS－多維分析58成功案例介紹－廣東電信省ODS－元數(shù)據(jù)搜索59

客戶關(guān)懷客戶維系客戶挽留數(shù)據(jù)倉庫／客戶集市閉環(huán)流程效果評估目標(biāo)篩選方案審批營銷執(zhí)行策劃執(zhí)行客戶理解數(shù)據(jù)集中方案設(shè)計腳本設(shè)計模型應(yīng)用定義問題數(shù)據(jù)準(zhǔn)備模型構(gòu)建成功案例介紹－針對性營銷及維系挽留系統(tǒng)－閉環(huán)流程根本上解決了分析決策與市場營銷不暢的問題，業(yè)務(wù)分析/人工挖掘的有價值知識，能直達(dá)渠道一線，形成營銷/維系具體工單，并跟蹤評估，持續(xù)完善，實現(xiàn)“精準(zhǔn)營銷”。截至目前已完成移動/寬帶客戶細(xì)分、流失預(yù)警、欠費提醒、交叉銷售、價值提升等多個模型，并在廣東全省推廣，均取得較好效果。60成功案例介紹－針對性營銷及維系挽留系統(tǒng)－功能架構(gòu)省維挽系統(tǒng)由客戶挖掘、營銷策劃、工單流轉(zhuǎn)和營銷評估四個功能域組成客戶挖掘和營銷評估功能域由EDW系統(tǒng)實現(xiàn)營銷策劃、工單流轉(zhuǎn)、客戶管理、工作支持、營銷共享池在省維挽系統(tǒng)實現(xiàn)在EDW系統(tǒng)上實現(xiàn)的功能，界面最終集成到省維挽系統(tǒng)，保證客戶經(jīng)理的使用感知61成功案例介紹－針對性營銷及維系挽留系統(tǒng)－工作界面管理人員首頁重點展示：團(tuán)隊任務(wù)、團(tuán)隊績效指標(biāo)VIP客戶經(jīng)理首頁重點展示：待辦工單、客戶分布、個人績效指標(biāo)62成功案例介紹－針對性營銷及維系挽留系統(tǒng)－價值提升模型我們面臨的價值問題客戶價值象限？客戶潛在價值如何？如何提升客戶價值？有哪些手段？能否提供高潛在價值客戶名單和提升建議？能否提供當(dāng)前高價值客戶名單和關(guān)懷建議？價值提升模型能做什么模型分析報告會給出當(dāng)前客戶當(dāng)前價值、客戶潛在價值，客戶價值象限分布；提供高潛在價值客戶名單，并給出價值提升建議；提供高價值客戶名單，并給出延長高價值建議；模型必備條件價值業(yè)務(wù)理解，給出當(dāng)前價值、潛在價值業(yè)務(wù)定義；客戶價值相關(guān)數(shù)據(jù)：基本資料、業(yè)務(wù)使用、客戶出賬、行為活躍趨勢；63成功案例介紹－針對性營銷及維系挽留系統(tǒng)－價值提升模型模型關(guān)鍵變量基礎(chǔ)變量（輸入）在網(wǎng)時長城鄉(xiāng)標(biāo)識服務(wù)分群會員級別服務(wù)等級行業(yè)分類套餐檔次是否融合套餐余額積分衍生變量（輸入）消費水平語音ARPU均值、趨勢增值A(chǔ)RPU均值、趨勢上網(wǎng)時長均值、趨勢電信產(chǎn)品種類電信產(chǎn)品個數(shù)新業(yè)務(wù)接受度客服咨詢次數(shù)異網(wǎng)ARPU均值、趨勢短信發(fā)送次數(shù)、趨勢彩信發(fā)送次數(shù)、趨勢特征變量（輸出）價值象限價值敏感度特征描述提升建議＋＝常用算法

Kohonen、Kmeans、時間序列64成功案例介紹－針對性營銷及維系挽留系統(tǒng)－價值提升模型惠州政企客戶價值提升模型根據(jù)“物以類聚，人以群分”的思想對惠州政企客戶進(jìn)行聚類；對客戶價值象限進(jìn)行分區(qū)，結(jié)合每象限客戶使用業(yè)務(wù)的排名進(jìn)行業(yè)務(wù)推送；政企客戶經(jīng)理根據(jù)目標(biāo)客戶名單和推薦列表展開提升工作；產(chǎn)品名稱推薦群數(shù)推薦客戶數(shù)互聯(lián)星空371643企業(yè)信息上網(wǎng)服務(wù)321581查詢轉(zhuǎn)接301414CENTREX群組411400企業(yè)郵箱＋網(wǎng)絡(luò)硬盤套餐261307企業(yè)總機(jī)311247工商電子黃頁會員221224寬樂通信16779商務(wù)領(lǐng)航產(chǎn)品系列7531模型應(yīng)用應(yīng)用效果客戶維系后，成功推薦產(chǎn)品的比例達(dá)到45％，大大提升營銷效果客戶價值平均ARPU上升了28％，效果明顯；65成功案例介紹－東莞電信云CRM－總體介紹關(guān)鍵創(chuàng)新點1.云端服務(wù)提供模式，用戶無需服務(wù)器，實現(xiàn)SaaS(軟件即服務(wù))，用戶只需簡單操作即可開戶使用2.云計算可租賃服務(wù)模式，虛擬化資源，實現(xiàn)按需使用，資源合理分配3.可容納百萬級以上用戶數(shù)據(jù)，具備高可擴(kuò)展性、可用性及容災(zāi)性4.瘦客戶端，用戶可以通過普通廉價PC接入使用，同時提供手機(jī)終端應(yīng)用，實現(xiàn)移動辦公。66成功案例介紹－東莞電信云CRM－邏輯架構(gòu)

為中小商企提供更好的服務(wù)提高用戶粘性體現(xiàn)并發(fā)揮固定電話、寬帶、手機(jī)移動終端三者結(jié)合的優(yōu)勢，提高競爭力合理營運模式下可直接增加營收通過增值服務(wù)增值為完善物聯(lián)網(wǎng)提供補(bǔ)充，并從中獲得更大價值67成功案例介紹－東莞電信云CRM－關(guān)鍵技術(shù)分布式文件系統(tǒng)TOMCAT集群數(shù)據(jù)庫集群68成功案例介紹－東莞電信云CRM－示例目錄建設(shè)目標(biāo)與重點1平臺可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5實施方案和平臺發(fā)展方向7數(shù)據(jù)分析支撐工作方案669數(shù)據(jù)分析支撐工作方案專題分析支撐臨時取數(shù)支撐臨時報表臨時數(shù)據(jù)提取臨時數(shù)據(jù)統(tǒng)計分析完善數(shù)據(jù)模型完善數(shù)據(jù)源完善分析主題數(shù)據(jù)挖掘支撐運營分析支撐WAP業(yè)務(wù)分析聲訊業(yè)務(wù)分析政企客戶分析融合套餐推薦客戶細(xì)分業(yè)務(wù)流失分析業(yè)務(wù)異動分析為客戶提供從臨時取數(shù)到數(shù)據(jù)挖掘的全方位現(xiàn)場支撐70目錄建設(shè)目標(biāo)與重點1平臺可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4數(shù)據(jù)分析支撐工作方案6實成功案例介紹5實施方案和平臺發(fā)展方向771實施方案和平臺發(fā)展方向－項目維護(hù)支撐保障最終用戶現(xiàn)場支持研發(fā)工程師安裝調(diào)試備件替換現(xiàn)場技術(shù)支持遠(yuǎn)程技術(shù)支持項目技術(shù)文檔設(shè)計遠(yuǎn)程登錄解決故障遠(yuǎn)程系統(tǒng)性能評測支持工程師現(xiàn)場工程師72實施方案和平臺發(fā)展方向－平臺發(fā)展演進(jìn)73

搭建基于云計算的數(shù)據(jù)平臺;形成增值業(yè)務(wù)統(tǒng)一數(shù)據(jù)視圖;提供對用戶消費行為、業(yè)務(wù)推廣情況、SP/CP分析監(jiān)控方面的應(yīng)用;實現(xiàn)跨業(yè)務(wù)、跨平臺的融合分析。2010VAS-ODMS1.02011提升數(shù)據(jù)質(zhì)量豐富業(yè)務(wù)功能引入數(shù)據(jù)集市建立數(shù)據(jù)倉庫信息門戶VAS-ODMS2.02012使用人員將逐漸從領(lǐng)導(dǎo)層擴(kuò)展到關(guān)鍵營銷人員和一線營銷人員;通過客戶分析及運營的建設(shè)，提升精確化營銷能力；將信息沉淀為知識，強(qiáng)化知識庫建設(shè)；實現(xiàn)深入的數(shù)據(jù)挖掘和全面分析應(yīng)用，并最終實現(xiàn)對企業(yè)戰(zhàn)略、商業(yè)策略、運營管理的全面支撐。全程精確化營銷

進(jìn)一步豐富數(shù)據(jù)源，奠定企業(yè)級數(shù)據(jù)倉庫基礎(chǔ);建立信息門戶，實現(xiàn)與OA門戶對接，擴(kuò)展系統(tǒng)使用范圍;深化數(shù)據(jù)集市應(yīng)用，提升專項業(yè)務(wù)應(yīng)用能力;完善經(jīng)營分析數(shù)據(jù)質(zhì)量管理系統(tǒng)，提升數(shù)據(jù)管理能力;建立系統(tǒng)調(diào)優(yōu)機(jī)制，優(yōu)化系統(tǒng)性能.基礎(chǔ)框架架構(gòu)數(shù)據(jù)倉庫專業(yè)數(shù)據(jù)集市信息門戶數(shù)據(jù)質(zhì)量深入業(yè)務(wù)流程強(qiáng)化知識建設(shè)VAS-ODMS1.574華夏銀行ODS系統(tǒng)Agenda四、

ETL總體設(shè)計二、系統(tǒng)總體架構(gòu)設(shè)計三、數(shù)據(jù)模型設(shè)計系統(tǒng)調(diào)研目標(biāo)系統(tǒng)建設(shè)現(xiàn)狀系統(tǒng)調(diào)研成果一、系統(tǒng)信息調(diào)研系統(tǒng)調(diào)研工作目標(biāo)總體目標(biāo)：通過對華夏銀行現(xiàn)有IT數(shù)據(jù)環(huán)境的各方面的調(diào)研工作，充分理解項目需要實現(xiàn)的各項業(yè)務(wù)需求；掌握核心、信貸等關(guān)鍵系統(tǒng)的建設(shè)現(xiàn)狀，數(shù)據(jù)流向與系統(tǒng)間的關(guān)聯(lián)關(guān)系；對樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量探查分析，了解各系統(tǒng)的數(shù)據(jù)質(zhì)量情況。信息調(diào)研數(shù)據(jù)抽取平臺作為本項目的主要數(shù)據(jù)源，調(diào)研了解數(shù)據(jù)抽取平臺的總體建設(shè)情況數(shù)據(jù)抽取平臺中已經(jīng)完成了部分客戶信息的整合，需要對其進(jìn)行詳細(xì)的調(diào)研和理解調(diào)研各個業(yè)務(wù)系統(tǒng)的建設(shè)情況，了解業(yè)務(wù)系統(tǒng)的架構(gòu)、功能、模型、數(shù)據(jù)字典，特別是涉及到客戶信息的系統(tǒng)，作為重點調(diào)研對象數(shù)據(jù)質(zhì)量調(diào)研針對業(yè)務(wù)系統(tǒng)中的關(guān)鍵表、客戶的相關(guān)表進(jìn)行。其它表的數(shù)據(jù)質(zhì)量不作為本項目數(shù)據(jù)質(zhì)量調(diào)研的重點通過對數(shù)據(jù)質(zhì)量的數(shù)據(jù)的完整性、一致性、合法性、唯一性等多方面進(jìn)行探查，了解源系統(tǒng)各表的數(shù)據(jù)質(zhì)量情況，并為后續(xù)ODS模型設(shè)計提供依據(jù)數(shù)據(jù)抽取平臺現(xiàn)狀數(shù)據(jù)抽取平臺現(xiàn)有應(yīng)用軟件體系總體數(shù)據(jù)分布情況當(dāng)事人賬戶產(chǎn)品事件協(xié)議黃金系統(tǒng)基金系統(tǒng)電子國債系統(tǒng)TPOS系統(tǒng)支付寶系統(tǒng)三方存管系統(tǒng)理財系統(tǒng)銀保通系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)bancslink系統(tǒng)對公客戶核心系統(tǒng)個貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)TPOS系統(tǒng)理財系統(tǒng)銀保通系統(tǒng)核心系統(tǒng)電子國債系統(tǒng)資金業(yè)務(wù)系統(tǒng)三方存管系統(tǒng)個貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)電子國債系統(tǒng)TPOS系統(tǒng)電話銀行系統(tǒng)金融IC卡系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)資金業(yè)務(wù)系統(tǒng)金融IC卡系統(tǒng)信貸管理系統(tǒng)電子國債系統(tǒng)資產(chǎn)負(fù)債管理系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財系統(tǒng)銀保通系統(tǒng)個貸核算和公積金系統(tǒng)核心系統(tǒng)擔(dān)保資產(chǎn)信息資金業(yè)務(wù)系統(tǒng)信貸管理系統(tǒng)貸款產(chǎn)品信貸管理系統(tǒng)核心系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)渠道核心系統(tǒng)VIP系統(tǒng)財富系統(tǒng)電話銀行系統(tǒng)個人征信系統(tǒng)企業(yè)征信系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)資金業(yè)務(wù)系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財系統(tǒng)銀保通系統(tǒng)個人征信系統(tǒng)企業(yè)征信系統(tǒng)個貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)員工中間業(yè)務(wù)機(jī)構(gòu)存款產(chǎn)品貸款事件賬戶個人客戶個人貸款合同卡事件理財協(xié)議簽約協(xié)議對公貸款合同投資類產(chǎn)品信用卡渠道資金事件總賬系統(tǒng)總賬資源調(diào)研工作成果-數(shù)據(jù)質(zhì)量調(diào)研數(shù)據(jù)合法性問題系統(tǒng)調(diào)研過程中，發(fā)現(xiàn)現(xiàn)有部分系統(tǒng)的表間關(guān)聯(lián)關(guān)系一致性，無法直接關(guān)聯(lián)保持一致，需通過復(fù)雜的處理，例如：基金系統(tǒng)的基金客戶信息表(FUND_ACCT_CUST)的銀行賬號(DEPOSITACCT)，與核心系統(tǒng)賬號的關(guān)聯(lián)關(guān)系一致性檢核數(shù)據(jù)一致性問題系統(tǒng)調(diào)研過程中，發(fā)現(xiàn)現(xiàn)有系統(tǒng)中存在疑似無用或者已廢棄的數(shù)據(jù)。這些數(shù)據(jù)并沒有做清理，導(dǎo)致我們在查詢分析時很難判定數(shù)據(jù)的正確性，例如：黃金系統(tǒng)的客戶信息(GOLD_CUSTOMINFO)的銀行賬號(BANK_ACC)數(shù)據(jù)有效性問題相同業(yè)務(wù)屬性在不同系統(tǒng)中對應(yīng)的碼值和編碼規(guī)則存在不一致的現(xiàn)象；此種現(xiàn)狀的存在，導(dǎo)致業(yè)務(wù)口徑不統(tǒng)一，即相同含義的業(yè)務(wù)屬性在不同系統(tǒng)中的代碼不一致。例如：客戶的“證件類型”屬性代碼質(zhì)量問題調(diào)研工作成果-信息調(diào)研示例示例示例示例示例調(diào)研工作成果-元數(shù)據(jù)梳理數(shù)據(jù)字典整理及加工規(guī)則Agenda四、

ETL總體設(shè)計二、系統(tǒng)總體架構(gòu)設(shè)計三、數(shù)據(jù)模型設(shè)計系統(tǒng)總體架構(gòu)系統(tǒng)數(shù)據(jù)架構(gòu)系統(tǒng)數(shù)據(jù)存儲架構(gòu)系統(tǒng)物理架構(gòu)系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D系統(tǒng)運維體系一、系統(tǒng)信息調(diào)研總體架構(gòu)規(guī)劃-目標(biāo)架構(gòu)源系統(tǒng)數(shù)據(jù)交換數(shù)據(jù)平臺數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一調(diào)度監(jiān)控任務(wù)調(diào)度任務(wù)監(jiān)控公共應(yīng)用服務(wù)訪問控制層ODSDLA數(shù)據(jù)裝載區(qū)應(yīng)用集成訪問控制統(tǒng)一認(rèn)證多維分析用戶數(shù)據(jù)挖掘用戶固定報表用戶靈活查詢用戶臨時文件區(qū)數(shù)據(jù)訪問SDM標(biāo)準(zhǔn)增量區(qū)FDM基礎(chǔ)模型區(qū)GDM公共匯總區(qū)EDWDLA數(shù)據(jù)裝載區(qū)FDM主題模型區(qū)GDM公共匯總區(qū)GMM公共集市區(qū)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)接口數(shù)據(jù)交換平臺ETL管理應(yīng)用集市分析類應(yīng)用風(fēng)險管理類靈活查詢固定報表數(shù)據(jù)挖掘Dashboard多維分析客戶分析類監(jiān)管報送類準(zhǔn)實時類應(yīng)用風(fēng)險監(jiān)控KPI監(jiān)控歷史數(shù)據(jù)歸檔準(zhǔn)實時數(shù)據(jù)處理批量數(shù)據(jù)處理核心系統(tǒng)外圍系統(tǒng)管理信息系統(tǒng)MDM系統(tǒng)（ECIF）操作類應(yīng)用數(shù)據(jù)下發(fā)歷史查詢稽核|審計總體架構(gòu)規(guī)劃-數(shù)據(jù)交換數(shù)據(jù)交換模塊主要實現(xiàn)數(shù)據(jù)平臺的數(shù)據(jù)抽取功能數(shù)據(jù)抽取的方式包括主動抽取與被動提供2種方式數(shù)據(jù)的主動抽取通過數(shù)據(jù)服務(wù)平臺連接業(yè)務(wù)系統(tǒng)主機(jī)/備機(jī)，進(jìn)行數(shù)據(jù)的獲取數(shù)據(jù)的被動提供，是源系統(tǒng)將數(shù)據(jù)按照統(tǒng)一的接口規(guī)范生成后，將數(shù)據(jù)提供到數(shù)據(jù)獲取層臨時文件區(qū)總體架構(gòu)規(guī)劃-數(shù)據(jù)平臺數(shù)據(jù)平臺模塊包括ODS、EDW、數(shù)據(jù)服務(wù)3個子模塊ODS主要負(fù)責(zé)數(shù)據(jù)的增量剝離，數(shù)據(jù)的清洗與轉(zhuǎn)換，對公共匯總數(shù)據(jù)進(jìn)行輕度的加工，保留最新數(shù)據(jù)EDW主要負(fù)責(zé)數(shù)據(jù)的整合，對公共匯總數(shù)據(jù)的復(fù)雜加工與深度匯總，范式化存儲，保留長期的數(shù)據(jù)數(shù)據(jù)服務(wù)包括來自O(shè)DS、EDW的公共服務(wù)接口；提供歷史數(shù)據(jù)的歸檔；并提供數(shù)據(jù)的分發(fā)服務(wù)總體架構(gòu)規(guī)劃-數(shù)據(jù)應(yīng)用基于數(shù)據(jù)平臺能夠提供公共應(yīng)用服務(wù)，包括靈活查詢、固定報表等分析類應(yīng)用模塊包括應(yīng)用集市、準(zhǔn)實時類應(yīng)用及原始交易類應(yīng)用操作類應(yīng)用服務(wù)包括總、分行的數(shù)據(jù)下發(fā)服務(wù)和外部監(jiān)管數(shù)據(jù)提供服務(wù)應(yīng)用的數(shù)據(jù)訪問可以來自自身集市，也可以來自數(shù)據(jù)服務(wù)接口總體架構(gòu)規(guī)劃-其它層次訪問控制層，對各類應(yīng)用集市進(jìn)行集成，對用戶的角色和權(quán)限進(jìn)行統(tǒng)一的控制，并實現(xiàn)統(tǒng)一的認(rèn)證系統(tǒng)內(nèi)包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的管理，結(jié)合行內(nèi)數(shù)據(jù)治理的需求，進(jìn)行規(guī)范和處理系統(tǒng)內(nèi)采用統(tǒng)一的調(diào)度監(jiān)控平臺，對整個平臺以及應(yīng)用集市系統(tǒng)中的任務(wù)進(jìn)行統(tǒng)一的調(diào)度，統(tǒng)一的管理和統(tǒng)一的監(jiān)控系統(tǒng)總體架構(gòu)-過渡架構(gòu)源系統(tǒng)數(shù)據(jù)交換數(shù)據(jù)平臺數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一調(diào)度監(jiān)控任務(wù)調(diào)度任務(wù)監(jiān)控公共應(yīng)用服務(wù)訪問控制層ODSDLA數(shù)據(jù)裝載區(qū)應(yīng)用集成訪問控制統(tǒng)一認(rèn)證多維分析用戶數(shù)據(jù)挖掘用戶固定報表用戶靈活查詢用戶臨時文件區(qū)數(shù)據(jù)訪問SDM標(biāo)準(zhǔn)增量區(qū)FDM基礎(chǔ)模型區(qū)GDM公共匯總區(qū)EDWDLA數(shù)據(jù)裝載區(qū)FDM主題模型區(qū)GDM公共匯總區(qū)GMM公共集市區(qū)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)接口數(shù)據(jù)交換平臺ETL管理應(yīng)用集市分析類應(yīng)用風(fēng)險管理類固定報表數(shù)據(jù)挖掘Dashboard多維分析客戶分析類監(jiān)管報送類準(zhǔn)實時類應(yīng)用風(fēng)險監(jiān)控KPI監(jiān)控歷史數(shù)據(jù)歸檔準(zhǔn)實時數(shù)據(jù)處理批量數(shù)據(jù)處理核心系統(tǒng)外圍系統(tǒng)管理信息系統(tǒng)MDM系統(tǒng)（ECIF）操作類應(yīng)用數(shù)據(jù)下發(fā)歷史查詢稽核|審計數(shù)據(jù)抽取平臺靈活查詢數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)架構(gòu)-過渡架構(gòu)數(shù)據(jù)源ODS數(shù)據(jù)裝載區(qū)（DLA）核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀……國際結(jié)算信用卡……數(shù)據(jù)交換平臺應(yīng)用集市對公CRM應(yīng)用集市核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀黃金……基金標(biāo)準(zhǔn)增量區(qū)（SDM）核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀黃金……基金基礎(chǔ)模型區(qū)（FDM）貸款存款中間業(yè)務(wù)總賬客戶渠道交易銀行卡公共公共匯總區(qū)（GDM）客戶主題賬戶主題機(jī)構(gòu)主題數(shù)據(jù)服務(wù)接口（DSI）對公CRM數(shù)據(jù)服務(wù)接口數(shù)據(jù)抽取平臺數(shù)據(jù)備份區(qū)文件預(yù)處理區(qū)（PRE）數(shù)據(jù)存儲集市應(yīng)用層系統(tǒng)數(shù)據(jù)存儲架構(gòu)源系統(tǒng)核心系統(tǒng)數(shù)據(jù)交換文件預(yù)處理ODS數(shù)據(jù)裝載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)CRM風(fēng)險應(yīng)用集市其它應(yīng)用集市信貸系統(tǒng)總賬系統(tǒng)FlatFile,XML,xls數(shù)據(jù)存儲以數(shù)據(jù)庫為主數(shù)據(jù)保留時間與源系統(tǒng)應(yīng)用相關(guān)數(shù)據(jù)交換以文本形式存儲從源系統(tǒng)獲取的文件建議保留15天文件預(yù)處理層的文件建議保留15天數(shù)據(jù)裝載區(qū)以數(shù)據(jù)庫形式存儲，按數(shù)據(jù)日期建表，數(shù)據(jù)暫存，保留15天標(biāo)準(zhǔn)增量區(qū)以數(shù)據(jù)庫形式存儲，數(shù)據(jù)暫存，保留1天基礎(chǔ)模型區(qū)以數(shù)據(jù)庫形式存儲，建議保留31天公共匯總區(qū)以數(shù)據(jù)庫形式存儲，建議根據(jù)應(yīng)用需求，保留1-3年數(shù)據(jù)分發(fā)區(qū)以文本形式存儲，建議保留15天數(shù)據(jù)分發(fā)區(qū)數(shù)據(jù)庫形式存儲數(shù)據(jù)保留時間與應(yīng)用相關(guān)數(shù)據(jù)抽取平臺系統(tǒng)技術(shù)架構(gòu)系統(tǒng)物理架構(gòu)外匯卡…其他數(shù)據(jù)文件數(shù)據(jù)文件數(shù)據(jù)文件ODS數(shù)據(jù)庫服務(wù)器基礎(chǔ)、匯總區(qū)ODSFDMGDMSDMDLAETL服務(wù)器ETL

調(diào)度服務(wù)器預(yù)處理區(qū)(PRE)備份數(shù)據(jù)區(qū)存儲周期（15天）存儲周期（1年）數(shù)據(jù)抽取平臺接口文件落地區(qū)存儲周期（15天）DSI數(shù)據(jù)交換平臺系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D直連光纖網(wǎng)絡(luò)管理終端HAETL服務(wù)器調(diào)度服務(wù)器備機(jī)路由器&防火墻生產(chǎn)網(wǎng)段系統(tǒng)監(jiān)控注：

1.由于服務(wù)平臺涉及到大量的數(shù)據(jù)傳輸，系統(tǒng)內(nèi)部服務(wù)器聯(lián)接建議光纖直連；磁盤陣列RACDB服務(wù)器DB服務(wù)器備機(jī)系統(tǒng)運維體系系統(tǒng)監(jiān)控管理系統(tǒng)維護(hù)管理備份恢復(fù)管理故障切換管理性能容量規(guī)劃運維安全管理Agenda數(shù)據(jù)模型層次關(guān)系模型主題劃分客戶主題模型設(shè)計客戶視角360度視圖四、

ETL總體設(shè)計二、系統(tǒng)總體架構(gòu)設(shè)計三、數(shù)據(jù)模型設(shè)計一、系統(tǒng)信息調(diào)研數(shù)據(jù)模型-數(shù)據(jù)模型層次ODS公共匯總區(qū)基礎(chǔ)模型區(qū)標(biāo)準(zhǔn)增量區(qū)賬戶客戶公共匯總區(qū)共享的，面向匯總的針對各種應(yīng)用常見的匯總需求進(jìn)行總結(jié)提煉以基礎(chǔ)模型區(qū)數(shù)據(jù)加工匯總而成通常針對賬戶、客戶、機(jī)構(gòu)的視角進(jìn)行匯總，是冗余的基礎(chǔ)模型區(qū)共享的，面向主題不為支持某個特定的、預(yù)先定義的應(yīng)用設(shè)計是ODS的基礎(chǔ)數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)與源系統(tǒng)基本保持一致，適當(dāng)增加屬性進(jìn)行擴(kuò)展保留系統(tǒng)最新的數(shù)據(jù)，并根據(jù)應(yīng)用需要存儲一定時間段的數(shù)據(jù)，部分冗余機(jī)構(gòu)模型主題劃分原則模型主題劃分原則六、各模型層次的主題可根據(jù)實際情況劃分二級主題五、基礎(chǔ)數(shù)據(jù)層主題劃分為：存款、貸

款、銀行卡、客戶、總帳、中間業(yè)務(wù)、渠道、交易、公共。四、不同的數(shù)據(jù)層次，由于其業(yè)務(wù)關(guān)注視角不同，其主題劃分的結(jié)果可以不同。一、根據(jù)關(guān)鍵業(yè)務(wù)要素或業(yè)務(wù)關(guān)注視角及他們之間關(guān)系劃分。二、通過抽象銀行業(yè)經(jīng)營活動中的要素及要素之間關(guān)系的形式劃分。三、公共匯總數(shù)據(jù)層的主題劃分則是基于業(yè)務(wù)共性需求?；A(chǔ)模型主題劃分客戶主題模型設(shè)計客戶主題模型設(shè)計-個人客戶公共匯總層模型設(shè)計-客戶360度視圖客戶主題覆蓋數(shù)據(jù)范圍客戶基本信息主要包括客戶基本屬性信息及擴(kuò)展信息?；緦傩孕畔⒑w的數(shù)據(jù)范圍有客戶名稱、客戶編號、客戶歸屬機(jī)構(gòu)、客戶證件類型等信息客戶-產(chǎn)品信息主要包括客戶持有產(chǎn)品情況，涵蓋的產(chǎn)品數(shù)據(jù)范圍有存款、貸款、基金等信息客戶-渠道信息主要包括客戶與銀行發(fā)生業(yè)務(wù)交易的渠道信息，涵蓋的渠道數(shù)據(jù)范圍有網(wǎng)上銀行、電話銀行、B2B等信息客戶主題覆蓋數(shù)據(jù)范圍劃分客戶基本信息匯總客戶-產(chǎn)品匯總客戶-渠道匯總主要匯總對公、對私客戶基本屬性信息及擴(kuò)展信息主要匯總客戶持有產(chǎn)品情況信息主要匯總客戶與銀行發(fā)生業(yè)務(wù)的各種交易渠道信息Agenda四、ETL總體設(shè)計二、系統(tǒng)總體架構(gòu)設(shè)計三、數(shù)據(jù)模型設(shè)計一、系統(tǒng)信息調(diào)研ETL架構(gòu)設(shè)計ETL數(shù)據(jù)處理ETL調(diào)度監(jiān)控ETL數(shù)據(jù)質(zhì)量控制ETL接口設(shè)計ETL備份恢復(fù)策略ETL總體設(shè)計-邏輯架構(gòu)ETL過程描述ETL1本層實現(xiàn)數(shù)據(jù)抽取加載功能，支持?jǐn)?shù)據(jù)庫直連抽取和源系統(tǒng)提供文本文件加載方式，文件接口遵循統(tǒng)一規(guī)范，同時會根據(jù)實際處理己知的其他文件規(guī)范。ETL2本層實現(xiàn)對需要增量處理的數(shù)據(jù)增量駁離，并對增量/全量數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和代碼轉(zhuǎn)換操作。ETL3針對不同類型的數(shù)據(jù)采用不同數(shù)據(jù)加載方式，包括：全表全量加載、按日期全量加載、增量更新加載、歷史拉鏈加載以及邏輯處理加載五種方式。ETL4對各大業(yè)務(wù)主題的數(shù)據(jù)根據(jù)匯總層的要求，實現(xiàn)數(shù)據(jù)的關(guān)聯(lián)、拆分、篩選、匯總處理。ETL5建立統(tǒng)一接口，根據(jù)需要以視圖方式開放數(shù)據(jù)訪問權(quán)限給其他系統(tǒng)訪問。ETL過程數(shù)據(jù)加載數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換ETL設(shè)計-增量剝離數(shù)據(jù)加載增量剝離數(shù)據(jù)存儲判斷增量數(shù)據(jù)的方法：源系統(tǒng)定義一個數(shù)據(jù)被更改的標(biāo)識（時間戳）整表比較加載表與歷史全量表來判斷增量數(shù)據(jù)通過分析源系統(tǒng)數(shù)據(jù)庫的日志來判斷增量數(shù)據(jù)對源系統(tǒng)提供的增量/全量數(shù)據(jù)文件進(jìn)行加載識別增量數(shù)據(jù)并保持15天數(shù)據(jù)獲取區(qū)數(shù)據(jù)加載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)ETL設(shè)計-數(shù)據(jù)清洗與轉(zhuǎn)換符合清洗和轉(zhuǎn)換規(guī)則的數(shù)據(jù)加載到輔助數(shù)據(jù)表中，無法進(jìn)行清洗時，程序記錄出錯詳細(xì)信息將數(shù)據(jù)源字段根據(jù)數(shù)據(jù)映像表的轉(zhuǎn)換規(guī)則，即代碼進(jìn)行轉(zhuǎn)換，并對空字段賦予適當(dāng)?shù)娜笔≈担纬梢?guī)整的數(shù)據(jù)結(jié)構(gòu)。ETL數(shù)據(jù)處理矩陣

表類型分類縮寫PREDLASDMFDMGDM處理方式全量加載方式S-★-★-清空目標(biāo)表，全表導(dǎo)入加載；按日期增量加載方式H-★-★-按時間戳清除再加載增量，在MAPPING中需要注明主鍵字段；目標(biāo)表按日期字段進(jìn)行清除處理時間上的數(shù)據(jù)，再進(jìn)行插入數(shù)據(jù)；增量更新方式M-★★★-對于源提供增量接口數(shù)據(jù)，通過比較出變化的數(shù)據(jù)，進(jìn)行目標(biāo)表更新處理，對于源提供全量接口數(shù)據(jù)通過對全量數(shù)據(jù)進(jìn)行比對，得到新增、修改的信息并對目標(biāo)表進(jìn)行相應(yīng)處理；拉鏈加載方式L-★★★-該類型的數(shù)據(jù)表的特點是在原業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)上增加2個字段（begindate,enddate）,begindate,enddate之間的日期表示該數(shù)據(jù)的有效期。邏輯處理加載方式D---★★該類型的特點是需要對一張或多張原表進(jìn)行拆分、合并、分區(qū)等邏輯處理，無法固定加載方式，需要根據(jù)時間業(yè)務(wù)需要靈活設(shè)計。注：

★：表示該類數(shù)據(jù)在此層處理，

-：表示該類數(shù)據(jù)在此層不處理ETL任務(wù)劃分原則以數(shù)據(jù)層次、源系統(tǒng)、表作為作業(yè)劃分的最小粒度預(yù)處理PREP02文本加載作業(yè)P01預(yù)處理作業(yè)數(shù)據(jù)加載DLAD01數(shù)據(jù)抽取作業(yè)D02數(shù)據(jù)卸載作業(yè)標(biāo)準(zhǔn)增量SDMS01增量剝離+清洗轉(zhuǎn)換作業(yè)S02清洗轉(zhuǎn)換作業(yè)基礎(chǔ)模型FDMF01全表全量加載作業(yè)F02按日期全量加載作業(yè)F03增量更新加載作業(yè)F04歷史拉鏈加載作業(yè)F05邏輯處理加載作業(yè)公共匯總GDMG01邏輯處理加載作業(yè)其他作業(yè)OTHERO01控制作業(yè)O02備份作業(yè)G02更新接口作業(yè)ETL作業(yè)翻牌策略作業(yè)流分為抽取類、基礎(chǔ)類、匯總類；抽取類作業(yè)流以為數(shù)據(jù)或文件為依賴，事件觸發(fā)調(diào)度，獨立翻牌；基礎(chǔ)類作業(yè)流以源系統(tǒng)為單位，進(jìn)行小翻牌，各源系統(tǒng)相對獨立，降低關(guān)聯(lián)影響；基礎(chǔ)類作業(yè)每個處理過程包括PRE、DLA、SDM、FDM（視具體情況，各處理層不是全部必選）匯總類作業(yè)流存在一些數(shù)據(jù)整合、轉(zhuǎn)換、關(guān)聯(lián)的處理，會依賴FDM層多張數(shù)據(jù)表加載，單獨一個作業(yè)流處理，根據(jù)FDM層數(shù)據(jù)準(zhǔn)備和前一天的處理情況，進(jìn)行大翻牌抽取類翻牌表1表2表3表4…基礎(chǔ)類翻牌核心系統(tǒng)日期信貸系統(tǒng)日期總賬系統(tǒng)日期理財系統(tǒng)日期其他系統(tǒng)日期匯總類翻牌匯總層日期表5ETL監(jiān)控ETL數(shù)據(jù)質(zhì)量檢查策略數(shù)據(jù)加載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)ODS確保ODS在數(shù)據(jù)處理的各環(huán)節(jié)保證數(shù)據(jù)的一致性、準(zhǔn)確性、完整性數(shù)據(jù)匯總

準(zhǔn)確性：數(shù)據(jù)核對，確保指標(biāo)計算的準(zhǔn)確性檢核；數(shù)據(jù)整合

一致性：通過對貨幣/核算碼/統(tǒng)計代碼等檢核，確保數(shù)據(jù)轉(zhuǎn)化后的一致性；

完整性：設(shè)置主/外鍵等約束，確保數(shù)據(jù)完整；準(zhǔn)確性：設(shè)定不同的增量識別規(guī)則，相互校驗，確增量保識別準(zhǔn)確；

文本加載

完整性：數(shù)據(jù)記錄數(shù)、字段數(shù)統(tǒng)計，檢查數(shù)據(jù)是否完全加載；有效性：重要信息項設(shè)定檢核規(guī)則（如：身份證號碼15或18位），

確保數(shù)據(jù)有效性；數(shù)據(jù)獲取區(qū)

文本預(yù)處理

文件級：檢查數(shù)據(jù)文本名稱、內(nèi)容格式等是否符合標(biāo)準(zhǔn)規(guī)范要求；

記錄級：檢查數(shù)據(jù)文本記錄的信息量是否與接口需求一致；ETL接口設(shè)計ODS數(shù)據(jù)獲取->裝載->整合->匯總數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)應(yīng)用CRM-監(jiān)管報送-風(fēng)險管理-數(shù)據(jù)服務(wù)數(shù)據(jù)源數(shù)據(jù)抽取平臺<-各業(yè)務(wù)系統(tǒng)①②③④統(tǒng)一調(diào)度監(jiān)控⑤接口設(shè)計遵循易理解、易使用、易交流、方便擴(kuò)展的原則;在ODS接口方案中，支持：文件型、依賴型、功能調(diào)用型以及虛擬接口四種類型;ETL備份與恢復(fù)策略

數(shù)據(jù)庫日常備份采用每月在線全量備份的方式，結(jié)合文件的備份，便于出現(xiàn)問題時能及時恢復(fù)；每周對文本數(shù)據(jù)進(jìn)行備份，保留1年，數(shù)據(jù)文本在線保留15天；在線源數(shù)據(jù)（數(shù)據(jù)獲取區(qū)）在線保留15天；標(biāo)準(zhǔn)增量區(qū)在線保留1天；每月對程序進(jìn)行全量備份，保留1年；備份策略：當(dāng)前前一周前二周前三周前四周文件備份在線源數(shù)據(jù)數(shù)據(jù)庫備份月備份周備份在線存儲周備份周備份周備份ETL腳本備份月備份數(shù)據(jù)備份程序備份114中糧集團(tuán)經(jīng)營分析平臺項目115

中糧生化能源事業(yè)部（以下簡稱事業(yè)部）是根據(jù)中糧集團(tuán)“成為生物質(zhì)能源的主要提供者、領(lǐng)導(dǎo)者，糧食生物化工的主要領(lǐng)導(dǎo)企業(yè)”的戰(zhàn)略定位而相應(yīng)設(shè)立的，是中糧集團(tuán)核心業(yè)務(wù)單元之一,中國糧油(香港上市公司,代碼HK0606)的重要組成部分之一。目前事業(yè)部下屬及管理企業(yè)主要包括黑龍江、吉林、河北、天津、上海、安徽、廣西等省份的九家工廠和一家集中銷售公司，未來還將不斷上線或并購若干新的項目。為了更好的利用信息化這個先進(jìn)的手段，業(yè)務(wù)分析、統(tǒng)計、查詢、報表、告警的需求迫切需要一種先進(jìn)的數(shù)據(jù)倉庫技術(shù)來整合事業(yè)部各個業(yè)務(wù)系統(tǒng)，例如財務(wù)系統(tǒng)、人力系統(tǒng)、生產(chǎn)系統(tǒng)、銷售系統(tǒng)和報表系統(tǒng)等，通過抽取、轉(zhuǎn)換、清洗、加載技術(shù)進(jìn)行數(shù)據(jù)的梳理、口徑的統(tǒng)一、編碼的統(tǒng)一、標(biāo)準(zhǔn)化的建立來建設(shè)數(shù)據(jù)中心，從而為數(shù)據(jù)應(yīng)用如分析、統(tǒng)計、查詢、報表、告警甚至今后的數(shù)據(jù)挖掘提供強(qiáng)大的科學(xué)、可靠、準(zhǔn)確的數(shù)據(jù)支撐。

項目背景EDW系統(tǒng)建設(shè)遠(yuǎn)景

基礎(chǔ)設(shè)施

以數(shù)據(jù)為中心

以應(yīng)用為中心

以服務(wù)為中心整體規(guī)劃分布實施重點實施務(wù)求實效精細(xì)化管理數(shù)字管理文化業(yè)務(wù)創(chuàng)新管理及變革的促進(jìn)信息資產(chǎn)EDW企業(yè)級數(shù)據(jù)倉庫實施策略能力發(fā)展管理能力運營能力自我認(rèn)識與發(fā)現(xiàn)的能力業(yè)務(wù)洞查管理變革持續(xù)管理提升敏捷成熟完備可計劃可預(yù)測決策管理運營數(shù)據(jù)治理運營服務(wù)EDW整體技術(shù)藍(lán)圖實施方法論BI工具平臺EDW技術(shù)平臺EDW數(shù)據(jù)模型企業(yè)戰(zhàn)略績效管理(BSC)成本控制運營管理財務(wù)監(jiān)控人力資源分析物流分析產(chǎn)品分析生產(chǎn)分析庫存分析6S分析供應(yīng)鏈分析財務(wù)分析銷售分析業(yè)務(wù)策略量化應(yīng)用標(biāo)桿管理（PDCA)經(jīng)營分析平臺總體實施內(nèi)容數(shù)據(jù)倉庫數(shù)據(jù)集市Decision-PanelFreeQuery數(shù)據(jù)上報工具SMARTBIETLMSDTSOracle9iMSAnalysisServices前端展示平臺系統(tǒng)資源管理、系統(tǒng)配置數(shù)據(jù)管理、系統(tǒng)權(quán)限管理、系統(tǒng)界面布局高級管理層決策儀表盤多維分析業(yè)務(wù)管理層業(yè)務(wù)操作層綜合查詢企業(yè)報表數(shù)量統(tǒng)計經(jīng)濟(jì)分析模型監(jiān)控及預(yù)警數(shù)據(jù)挖掘EXCEL導(dǎo)入ETL技術(shù)數(shù)據(jù)倉庫技術(shù)J2EE架構(gòu)元數(shù)據(jù)管理技術(shù)SOA架構(gòu)XML\WEBServices數(shù)據(jù)倉庫方法論數(shù)據(jù)治理方法論數(shù)據(jù)存儲技術(shù)PORTAL技術(shù)經(jīng)分功能框架經(jīng)分技術(shù)架構(gòu)經(jīng)分應(yīng)用框架財務(wù)銷售庫存生產(chǎn)物流人力資源經(jīng)營分析平臺總體技術(shù)架構(gòu)源系統(tǒng)層ETL層ODS+DWETL層數(shù)據(jù)集市層應(yīng)用層展現(xiàn)層外部數(shù)據(jù)清洗合并轉(zhuǎn)換..轉(zhuǎn)換MESEXCEL……用友U8用友NCReportMartQuerytMartdecisionMartalarmMartminingMart……企業(yè)報表信息門戶應(yīng)用發(fā)布電子地圖監(jiān)控預(yù)警數(shù)量統(tǒng)計經(jīng)濟(jì)分析數(shù)據(jù)挖掘虛擬雇員發(fā)布及展現(xiàn)&領(lǐng)導(dǎo)決策平臺DWODS業(yè)務(wù)系統(tǒng)直接抽取

系統(tǒng)管理平臺數(shù)據(jù)源元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)商業(yè)元數(shù)據(jù)管理運維管理平臺應(yīng)用安全管理系統(tǒng)監(jiān)控管理ETL技術(shù)數(shù)據(jù)倉庫技術(shù)J2EE架構(gòu)元數(shù)據(jù)管理技術(shù)SOA架構(gòu)XML\WEBServices數(shù)據(jù)倉庫方法論數(shù)據(jù)治理方法論數(shù)據(jù)存儲技術(shù)PORTAL技術(shù)數(shù)據(jù)管理區(qū)應(yīng)用服務(wù)區(qū)系統(tǒng)管理區(qū)數(shù)據(jù)倉庫服務(wù)器OLAP/ETL服務(wù)器應(yīng)用服務(wù)器元數(shù)據(jù)管理工作站磁盤陣列業(yè)務(wù)主機(jī)決策領(lǐng)導(dǎo)層管理人員中心交換機(jī)路由器&防火墻(內(nèi)部網(wǎng))各分廠用戶ETL過程事業(yè)用戶數(shù)據(jù)上傳用戶管理人員管理應(yīng)用層VPN/InternetIntranet/Internet經(jīng)營分析平臺系統(tǒng)物理構(gòu)架移動用戶建立事業(yè)部與利潤點的信息專亨通道分廠或外部數(shù)據(jù)上傳用戶肇東數(shù)據(jù)上傳前置機(jī)配置目錄FTPServer榆樹公主嶺廣西……數(shù)據(jù)上傳用戶管理人員數(shù)據(jù)導(dǎo)出打包文件數(shù)據(jù)加密文件上傳安全認(rèn)證文件安全性驗證數(shù)據(jù)完整性驗證目錄管理打包文件命名規(guī)范文件打包規(guī)范文件目錄規(guī)范數(shù)據(jù)加密規(guī)范數(shù)據(jù)上傳規(guī)范安全及認(rèn)證管理VPN/InternetETL綜合分析系統(tǒng)數(shù)據(jù)處理服務(wù)器文件還原解密各分廠及其它遠(yuǎn)程數(shù)據(jù)上報單位生化能源事業(yè)部本部FTPEDW