SMARTBI-廣東聯(lián)通數(shù)據(jù)中心-方案交流V

金倉思邁特商業(yè)智能平臺(tái)

廣東省聯(lián)通數(shù)據(jù)中心交流聯(lián)系我們:

support@S

公司簡介產(chǎn)品功能模塊介紹數(shù)據(jù)中心建設(shè)方案相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢2主題思邁特簡介3中國電子科技集團(tuán)（CETC）成員公司公司背景公司定位BI產(chǎn)商，國內(nèi)商業(yè)智能產(chǎn)品領(lǐng)域的開拓者和領(lǐng)導(dǎo)者技術(shù)力量團(tuán)隊(duì)核心成員在BI產(chǎn)品研發(fā)領(lǐng)域具有5-10年經(jīng)歷，具備豐富的BI平臺(tái)產(chǎn)品研發(fā)經(jīng)驗(yàn)代理商分布公司總部及研發(fā)中心在廣州，在華北、華中、華東均有合作伙伴與代理商Smartbi，十年打造4菲奈特軟件東南融通思邁特軟件1997年之前銀行/證券/保險(xiǎn)核心系統(tǒng)1999年BI.OfficeV1.0BI項(xiàng)目實(shí)施服務(wù)2008-2011年10月FreeQuery查詢平臺(tái)（J2EE技術(shù)）BI.OfficeV5-V6（J2EE技術(shù)）獲得BI金融行業(yè)壟斷地位廣泛應(yīng)用于政府、企業(yè)等1997年BI理論研究2000年BI.OfficeV2.0

（COM技術(shù)）

BI項(xiàng)目實(shí)施服務(wù)2001年~2007年BI.OfficeV3.X-4.0（COM+J2EE技術(shù)）BI項(xiàng)目實(shí)施服務(wù)BI產(chǎn)品OEM服務(wù)2011年11月-2012年SmartbiV2.0SmartbiMobileV2.0專注行業(yè)：軍隊(duì)、政府、集團(tuán)公司BI平臺(tái)產(chǎn)品發(fā)展里程碑始終一個(gè)團(tuán)隊(duì)10+年12+行業(yè)100+BI客戶200+BI項(xiàng)目銀行26保險(xiǎn)/證券10企業(yè)30稅務(wù)13政府/事業(yè)單位19電信/移動(dòng)9合計(jì)100+典型客戶5

典型客戶6

政府、公共事業(yè)金融企業(yè)合作伙伴北京人大金倉信息技術(shù)股份有限公司文思創(chuàng)新軟件技術(shù)有限公司軟通動(dòng)力信息技術(shù)（集團(tuán)）有限公司神州數(shù)碼融信軟件有限公司東華軟件股份有限公司博彥網(wǎng)鼎信息技術(shù)有限公司內(nèi)蒙古縱橫偉業(yè)軟件技術(shù)與服務(wù)有限公司北京科藍(lán)軟件系統(tǒng)有限公司北京能博文科技發(fā)展有限公司北京平步科技有限公司7廈門融通信息技術(shù)有限公司廈門同步天成軟件有限公司廈門市美亞柏科信息股份有限公司廣東省信息工程有限公司廣州從興電子開發(fā)有限公司廣州市網(wǎng)迅信息技術(shù)有限公司廣州市都享信息科技有限公司廣州畢盛軟件有限公司廣州科韻信息股份有限公司上海泓智信息科技有限公司湖南省慧祥科技開發(fā)有限公司公司簡介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢8主題應(yīng)用現(xiàn)狀系統(tǒng)目標(biāo)整體架構(gòu)規(guī)劃技術(shù)架構(gòu)規(guī)劃應(yīng)用框架規(guī)劃數(shù)據(jù)架構(gòu)及建模數(shù)據(jù)管控建設(shè)路線圖政企客戶部企業(yè)戰(zhàn)略部人力資源部財(cái)務(wù)部客戶服務(wù)部技術(shù)部網(wǎng)絡(luò)發(fā)展部市場部審計(jì)部采購事業(yè)部下屬機(jī)構(gòu)其他部可能面臨的問題數(shù)據(jù)口徑不統(tǒng)一,可信度低管理決策數(shù)據(jù)過于分散,數(shù)據(jù)來源多樣化數(shù)據(jù)缺乏標(biāo)準(zhǔn),難以整合缺乏數(shù)據(jù)管控體系,數(shù)據(jù)質(zhì)量難以保證總公司二級(jí)機(jī)構(gòu)一級(jí)機(jī)構(gòu)決策層手工數(shù)據(jù)采集數(shù)據(jù)整合的價(jià)值政企客戶部企業(yè)戰(zhàn)略部人力資源部財(cái)務(wù)部客戶服務(wù)部技術(shù)部網(wǎng)絡(luò)發(fā)展部市場部審計(jì)部采購事業(yè)部下屬機(jī)構(gòu)其他部決策層數(shù)據(jù)中心（ODS&EDW）專題數(shù)據(jù)集市專題數(shù)據(jù)集市專題數(shù)據(jù)集市管理決策所需數(shù)據(jù)集中管理，來源唯一形成業(yè)務(wù)單一視圖，數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)管控體系健全,數(shù)據(jù)質(zhì)量得以保證

數(shù)據(jù)整合后信息流簡化共享數(shù)據(jù)利用率提高數(shù)據(jù)中心定位與目標(biāo)現(xiàn)實(shí)需要清理和解決基礎(chǔ)數(shù)據(jù)不一致問題，改進(jìn)數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)的可信度；整合基礎(chǔ)數(shù)據(jù)，形成管理決策所需的“單一數(shù)據(jù)源”，加強(qiáng)信息共享，提高決策效率；減少重復(fù)勞動(dòng)，降低整體信息獲取成本（人工和IT）；促使已有IT設(shè)施發(fā)揮更大作用。未來價(jià)值支持精細(xì)化管理；支持績效考核，提高內(nèi)部管理能力；提供數(shù)據(jù)挖掘以獲得對全局狀況的洞察力，持續(xù)支持科學(xué)、量化的管理決策。企業(yè)級(jí)數(shù)據(jù)整合是一種增強(qiáng)全行商業(yè)智能的解決方案和戰(zhàn)略管理工具，它支持有遠(yuǎn)見的決策系統(tǒng)目標(biāo)以數(shù)據(jù)為基礎(chǔ)、以模型為支撐、以應(yīng)用為驅(qū)動(dòng)、全面管理信息資產(chǎn)統(tǒng)一咨詢實(shí)施方法統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一數(shù)據(jù)模型統(tǒng)一數(shù)據(jù)整合平臺(tái)統(tǒng)一數(shù)據(jù)存儲(chǔ)平臺(tái)統(tǒng)一數(shù)據(jù)應(yīng)用平臺(tái)統(tǒng)一數(shù)據(jù)管控平臺(tái)規(guī)范系統(tǒng)服務(wù)流程及標(biāo)準(zhǔn)高效信息資源獲取渠道快速業(yè)務(wù)應(yīng)用響應(yīng)平臺(tái)運(yùn)營監(jiān)控及決策支撐績效管理支撐資產(chǎn)管理及運(yùn)營中心總體目標(biāo)可落地咨詢規(guī)劃服務(wù)真正為客戶創(chuàng)造價(jià)值企業(yè)愿景可落地咨詢規(guī)劃實(shí)施執(zhí)行一般咨詢規(guī)劃咨詢與實(shí)施脫節(jié)企業(yè)愿景無法落地咨詢與實(shí)施掛鉤企業(yè)愿景順利實(shí)施業(yè)務(wù)系統(tǒng)系統(tǒng)整體架構(gòu)ETL平臺(tái)前端展現(xiàn)工具及應(yīng)用發(fā)布平臺(tái)（SmartBI）數(shù)據(jù)庫財(cái)務(wù)預(yù)算OA數(shù)據(jù)補(bǔ)錄工具數(shù)據(jù)管控（數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理）ETL調(diào)度和監(jiān)控平臺(tái)高效、準(zhǔn)確的數(shù)據(jù)抽取、標(biāo)準(zhǔn)化和裝載全局?jǐn)?shù)據(jù)模型、數(shù)據(jù)倉庫靈活、直觀、豐富的圖表數(shù)據(jù)展現(xiàn)應(yīng)用集成、界面集成、LDAP集成、單點(diǎn)登錄成熟的技術(shù)方案及專業(yè)實(shí)施團(tuán)隊(duì)統(tǒng)計(jì)分析報(bào)表管理運(yùn)營監(jiān)控風(fēng)險(xiǎn)評估績效監(jiān)控?cái)?shù)據(jù)挖掘資產(chǎn)管理審計(jì)監(jiān)控商業(yè)智能系統(tǒng)&戰(zhàn)略績效管理數(shù)據(jù)標(biāo)準(zhǔn)管理成熟的行業(yè)解決方案及分析模板數(shù)據(jù)標(biāo)準(zhǔn)咨詢方法論實(shí)施方法論數(shù)據(jù)整合及管理服務(wù)區(qū)準(zhǔn)實(shí)時(shí)應(yīng)用支撐統(tǒng)一口徑支撐ETL服務(wù)支撐代碼標(biāo)準(zhǔn)化支撐數(shù)據(jù)質(zhì)量服務(wù)支撐基礎(chǔ)數(shù)據(jù)支撐增量數(shù)據(jù)支撐系統(tǒng)技術(shù)架構(gòu)偏分析型數(shù)據(jù)區(qū)DATAMART數(shù)據(jù)源HR計(jì)劃基礎(chǔ)數(shù)據(jù)模型應(yīng)用數(shù)據(jù)服務(wù)支撐報(bào)表應(yīng)用支撐查詢應(yīng)用支撐挖掘應(yīng)用支撐應(yīng)用分析型應(yīng)用決策應(yīng)用支撐增量監(jiān)控分析應(yīng)用支撐管理平臺(tái)數(shù)據(jù)服務(wù)平臺(tái)調(diào)度/監(jiān)控管理數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)化管理ETL全流程監(jiān)控系統(tǒng)級(jí)監(jiān)控應(yīng)用級(jí)監(jiān)控?cái)?shù)據(jù)質(zhì)量優(yōu)化流程管理數(shù)據(jù)分析報(bào)告規(guī)則庫維護(hù)代碼標(biāo)準(zhǔn)化口徑標(biāo)準(zhǔn)化代碼標(biāo)準(zhǔn)映射抽取組件轉(zhuǎn)換組件加載組件代碼轉(zhuǎn)換組件映射組件代碼生成系統(tǒng)調(diào)度數(shù)據(jù)分發(fā)………….財(cái)務(wù)預(yù)算裝備配發(fā)T+1近實(shí)時(shí)實(shí)時(shí)管理型應(yīng)用專題數(shù)據(jù)服務(wù)類應(yīng)用實(shí)時(shí)交易數(shù)據(jù)服務(wù)原始交易數(shù)據(jù)服務(wù)法定信息披露流程支撐STG/ODS/DW采購指揮調(diào)度外部補(bǔ)錄工具商業(yè)智能集成展現(xiàn)框架應(yīng)用規(guī)劃總賬財(cái)務(wù)會(huì)計(jì)報(bào)表固定資產(chǎn)成本管理現(xiàn)金管理應(yīng)收管理應(yīng)付管理產(chǎn)品管理客戶管理渠道管理營銷管理預(yù)算管理管理會(huì)計(jì)數(shù)據(jù)倉庫（DW）運(yùn)營管理系統(tǒng)關(guān)鍵指標(biāo)管理績效風(fēng)險(xiǎn)預(yù)警KPI指標(biāo)客戶發(fā)展與收益增值業(yè)務(wù)主題分析績效管理主題分析營銷服務(wù)主題分析產(chǎn)品管理主題分析渠道運(yùn)營主體分析決策支持系統(tǒng)數(shù)據(jù)倉庫管理駕駛艙運(yùn)營監(jiān)控管理工具績效考核評估體系語音業(yè)務(wù)主題分析整體的數(shù)據(jù)模型，而不是為報(bào)表而報(bào)表17統(tǒng)一的數(shù)據(jù)倉庫模型

長期的成功不同的數(shù)據(jù)模型對于整體數(shù)據(jù)倉庫的挑戰(zhàn)財(cái)務(wù)系統(tǒng)裝備配置系統(tǒng)統(tǒng)一的企業(yè)級(jí)數(shù)據(jù)倉庫模型?其他系統(tǒng)每一個(gè)運(yùn)營系統(tǒng)擁有自己的數(shù)據(jù)模型不統(tǒng)一的數(shù)據(jù)倉庫模型導(dǎo)致：

孤立的數(shù)據(jù)孤島?數(shù)據(jù)建模：數(shù)據(jù)建模方法論邏輯模型業(yè)務(wù)主題域業(yè)務(wù)范圍業(yè)務(wù)邏輯化業(yè)務(wù)抽象對象分析主題規(guī)劃主題目標(biāo)域內(nèi)容概念模型原子層物理模型應(yīng)用模型注：在模型設(shè)計(jì)以及構(gòu)建的過程的同時(shí)，針對系統(tǒng)的開發(fā)標(biāo)準(zhǔn)、模型的構(gòu)建標(biāo)準(zhǔn)、使用標(biāo)準(zhǔn)、擴(kuò)展規(guī)范、應(yīng)用設(shè)計(jì)規(guī)范、命名規(guī)則、使用規(guī)約等一系列的標(biāo)準(zhǔn)規(guī)范及規(guī)約并行定制，并逐步的完善。主題域邏輯模型基礎(chǔ)數(shù)據(jù)模型（原子層）基礎(chǔ)數(shù)據(jù)模型（匯總層）對象原子化共享對象唯一化原子對象物理化物理對象存儲(chǔ)化存儲(chǔ)對象來源化關(guān)鍵模型業(yè)務(wù)化原子模型分子化數(shù)據(jù)粒度匯總化應(yīng)用需求模型化應(yīng)用模型技術(shù)化多維模型關(guān)系化星型模型共享化共享模型來源化應(yīng)用模型數(shù)據(jù)模型建設(shè)19我們的數(shù)據(jù)模型建設(shè)方案：1.模式選擇：星型模型與3NF模型有機(jī)結(jié)合星型模型：解決主題分析、KPI等應(yīng)用；3NF模型：解決Ad-Hoc等應(yīng)用；2.建設(shè)方式：采用需求驅(qū)動(dòng)方法進(jìn)行建設(shè)。星型模型+范式模型業(yè)務(wù)需求驅(qū)動(dòng)方法有效管理+優(yōu)秀團(tuán)隊(duì)企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)模型建設(shè)20邏輯數(shù)據(jù)模型建設(shè)完備性和方法，決定數(shù)據(jù)模型適應(yīng)業(yè)務(wù)變化的能力范式邏輯數(shù)據(jù)模型建設(shè)：21數(shù)據(jù)模型建設(shè)邏輯數(shù)據(jù)模型建設(shè)完備性和方法，決定數(shù)據(jù)模型適應(yīng)業(yè)務(wù)變化的能力范式邏輯數(shù)據(jù)模型建設(shè)：22數(shù)據(jù)模型建設(shè)保持維度的一致性、完整性、靈活性是維度模型建設(shè)成功的關(guān)鍵維度數(shù)據(jù)模型建設(shè)：集團(tuán)業(yè)務(wù)范圍產(chǎn)品類別部門客戶區(qū)域渠道業(yè)務(wù)類型客戶屬性供應(yīng)商…維度總線時(shí)間產(chǎn)品貢獻(xiàn)分析事實(shí)表渠道貢獻(xiàn)分析事實(shí)表資產(chǎn)負(fù)債分析事實(shí)表代理分析事實(shí)表風(fēng)險(xiǎn)分析事實(shí)表客戶貢獻(xiàn)分析事實(shí)表產(chǎn)品分析事實(shí)表市場競爭分析事實(shí)表利潤分析事實(shí)表市場細(xì)分分析事實(shí)表銷售分析事實(shí)表財(cái)務(wù)分析事實(shí)表供應(yīng)商分析事實(shí)表渠道分析事實(shí)表以事實(shí)表為基礎(chǔ)的數(shù)據(jù)集市插件…安全控制日志控制指標(biāo)目錄采集控制任務(wù)流程EnterpriseDataWarehouseSystemControlInformation控制表群以維度為尋址總線數(shù)據(jù)管控應(yīng)用框架項(xiàng)目實(shí)施工藝項(xiàng)目實(shí)施步驟咨詢實(shí)施公司簡介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢26主題專業(yè)查詢、自助查詢中國式報(bào)表及平衡校驗(yàn)多維分析及分析報(bào)告儀表盤移動(dòng)應(yīng)用后臺(tái)管理（任務(wù)調(diào)度、分發(fā)、元數(shù)據(jù)）二次開發(fā)和集成公司簡介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢27主題銀行ODS系統(tǒng)案例企業(yè)經(jīng)營分析平臺(tái)項(xiàng)目案例企業(yè)業(yè)務(wù)數(shù)據(jù)中心案例28中國電信EDW-增值業(yè)務(wù)運(yùn)營數(shù)據(jù)中心建設(shè)方案目錄平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7建設(shè)目標(biāo)與重點(diǎn)129

公司研發(fā)實(shí)力形成了成熟的研發(fā)體系，具備快速反應(yīng)及持續(xù)開發(fā)的能力在電信業(yè)務(wù)技術(shù)規(guī)范研究領(lǐng)域處于國內(nèi)領(lǐng)先地位，編制標(biāo)準(zhǔn)與規(guī)范近15項(xiàng)國家專利2項(xiàng)，軟件產(chǎn)品登記數(shù)13個(gè)，計(jì)算機(jī)軟件著作權(quán)登記數(shù)9個(gè)，自主研發(fā)產(chǎn)品獲多項(xiàng)國家級(jí)，省、市級(jí)和中國電信級(jí)獎(jiǎng)項(xiàng)30規(guī)范管理專業(yè)實(shí)驗(yàn)室3G實(shí)驗(yàn)室增值業(yè)務(wù)實(shí)驗(yàn)室數(shù)據(jù)多媒體實(shí)驗(yàn)室軟件評測實(shí)驗(yàn)室產(chǎn)品與中國電信廣東研究院戰(zhàn)略合作公司人才、技術(shù)優(yōu)勢開發(fā)知識(shí)庫公共組件庫技術(shù)規(guī)范質(zhì)量控制業(yè)務(wù)優(yōu)化UI設(shè)計(jì)以RUP指導(dǎo)項(xiàng)目管理、軟件開發(fā)過程通過CMMI3級(jí)評估核心業(yè)務(wù)管理支撐系統(tǒng)(MSS）業(yè)務(wù)支撐系統(tǒng)(BSS）運(yùn)營管理系統(tǒng)(OSS)業(yè)務(wù)交互平臺(tái)行業(yè)應(yīng)用產(chǎn)品質(zhì)量控制

公司產(chǎn)品與服務(wù)31IP移動(dòng)固定網(wǎng)絡(luò)MSSOSS系統(tǒng)集成BSSEDA主機(jī)集成網(wǎng)絡(luò)集成SAP二次開發(fā)計(jì)費(fèi)帳務(wù)與結(jié)算IBSS/CRM余額管理平臺(tái)寬帶后臺(tái)統(tǒng)一充值VC服務(wù)開通iSPPUMCCTMASODS增值業(yè)務(wù)平臺(tái)轉(zhuǎn)型業(yè)務(wù)平臺(tái)統(tǒng)一支付移動(dòng)支付DACS統(tǒng)一認(rèn)證商企平臺(tái)號(hào)百平臺(tái)114搜索導(dǎo)航全球眼(手機(jī)全球眼)平安城市商務(wù)領(lǐng)航行業(yè)應(yīng)用商務(wù)領(lǐng)航平臺(tái)應(yīng)用商務(wù)領(lǐng)航咨詢服務(wù)視頻監(jiān)控自助建站數(shù)字校園IT監(jiān)控金視通協(xié)同辦公系統(tǒng)SAP實(shí)施咨詢ICT業(yè)務(wù)與產(chǎn)品3G移動(dòng)應(yīng)用號(hào)百定制終端校園定制終端政企定制終端任翼行院線通演出票火車票生活搜訂酒店框架桌面火訊影視音樂游戲詞典QQ天氣預(yù)報(bào)動(dòng)漫圖鈴郵箱瀏覽器企業(yè)總機(jī)手機(jī)搜索189郵箱業(yè)務(wù)交互平臺(tái)MBOSS本期項(xiàng)目建設(shè)目標(biāo)本系統(tǒng)關(guān)注中國電信所有全國級(jí)增值業(yè)務(wù)的運(yùn)營分析，實(shí)現(xiàn)原始業(yè)務(wù)運(yùn)營平臺(tái)系統(tǒng)的數(shù)據(jù)采集、數(shù)據(jù)整合和聚合。提供對用戶消費(fèi)行為、業(yè)務(wù)推廣情況、SP/CP分析監(jiān)控方面的應(yīng)用，并實(shí)現(xiàn)跨業(yè)務(wù)、跨平臺(tái)的融合分析，為增值業(yè)務(wù)的深度運(yùn)營提供支撐。32本期項(xiàng)目建設(shè)重點(diǎn)技術(shù)方面信息組裝與個(gè)性配數(shù)據(jù)質(zhì)量的全程把控知識(shí)庫的構(gòu)建系統(tǒng)間互動(dòng)加強(qiáng)流程的穿越數(shù)據(jù)運(yùn)營的理念滲透到系統(tǒng)的技術(shù)實(shí)現(xiàn)中多維分析跨業(yè)務(wù)、跨平臺(tái)融合業(yè)務(wù)分析對于業(yè)務(wù)運(yùn)營全方位的支撐逐步增強(qiáng)構(gòu)建基于云計(jì)算的數(shù)據(jù)平臺(tái)實(shí)現(xiàn)增值業(yè)務(wù)統(tǒng)一數(shù)據(jù)視圖技術(shù)方面數(shù)據(jù)質(zhì)量的全程把控業(yè)務(wù)方面KPI、綜合查詢、報(bào)表分析33目錄建設(shè)目標(biāo)與重點(diǎn)1總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7平臺(tái)可移植性23435平臺(tái)可移植性說明層次產(chǎn)品名稱適應(yīng)軟件平臺(tái)適應(yīng)硬件平臺(tái)開發(fā)語言備注數(shù)據(jù)獲取Informaticawindows/linux/unix等HP/IBM/DELL等JAVA第三方ETL產(chǎn)品數(shù)據(jù)存儲(chǔ)EDW與平臺(tái)無關(guān)與平臺(tái)無關(guān)JAVA\PROC第三方產(chǎn)品DM與平臺(tái)無關(guān)與平臺(tái)無關(guān)JAVA\PROC第三方產(chǎn)品ORACLEwindows/linux/unix等HP/IBM/DELL等JAVA第三方產(chǎn)品[注:ORACLE和IBMDB2二者選一]IBMDB2windows/linux/unix等HP/IBM/DELL等JAVA第三方產(chǎn)品[][注:ORACLE和IBMDB2二者選一]數(shù)據(jù)應(yīng)用BIwindows/linux/unix等HP/IBM/DELL等JAVA第三方BI產(chǎn)品IDAPwindows/linux/unix等HP/IBM/DELL等JAVA自主研發(fā)產(chǎn)品(自助取數(shù))Tomcatwindows/linux/unix等HP/IBM/DELL等JAVA開源平臺(tái)數(shù)據(jù)展現(xiàn)Portalwindows/linux/unix等HP/IBM/DELL等JAVA自主研發(fā)產(chǎn)品1)第三方軟件（Informatica、Oracle、DB2、BI等）不直接依賴于具體的硬件平臺(tái)、操作系統(tǒng)和特定的數(shù)據(jù)庫；2)自研產(chǎn)品（Portal、IDAP、EDW、DM）是基于JAVA開發(fā)的，具有跨平臺(tái)性；目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7總體方案介紹336數(shù)據(jù)采集：從NMSC、集團(tuán)IT系統(tǒng)、全國接入及管理網(wǎng)管系統(tǒng)及全國和各省增值業(yè)務(wù)平臺(tái)采集相關(guān)數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)：對以上各數(shù)據(jù)源的數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換，按照各數(shù)據(jù)域主題組織、存儲(chǔ)，成為決策分析應(yīng)用的基礎(chǔ)。數(shù)據(jù)應(yīng)用：從業(yè)務(wù)運(yùn)營全流程的各個(gè)環(huán)節(jié)提供相關(guān)應(yīng)用分析，為增值業(yè)務(wù)的深度運(yùn)營提供全面的數(shù)據(jù)支撐。數(shù)據(jù)展現(xiàn)：為使用人員提供統(tǒng)一門戶，通過報(bào)表、圖形等形式簡便、快捷地訪問系統(tǒng)中的各種數(shù)據(jù)并進(jìn)行各種分析預(yù)測操作?？傮w方案介紹-總體架構(gòu)3738總體方案介紹-功能架構(gòu)總體方案介紹-設(shè)備邏輯架構(gòu)VAS-ODMS基于PC云解決方案云內(nèi)云外靈活部署、安全且易于擴(kuò)展；采用數(shù)據(jù)按需服務(wù)思想，原始文件進(jìn)去，分析報(bào)告出來；UNIX小型機(jī)按處理能力分成2個(gè)硬件分區(qū)，分別部署數(shù)據(jù)庫和接口服務(wù)器，兩臺(tái)構(gòu)成集群環(huán)境；多個(gè)PC服務(wù)器構(gòu)成云計(jì)算環(huán)境，提供ETL數(shù)據(jù)整合服務(wù)和應(yīng)用分析展現(xiàn)服務(wù)?？傮w方案介紹-設(shè)備邏輯架構(gòu)-云計(jì)算PC云邏輯架構(gòu)VMWARE虛擬化物理PC，構(gòu)造多虛擬節(jié)點(diǎn)群，建議按1:2虛擬化；虛擬節(jié)點(diǎn)部署ETL、OLAP、REPORT、應(yīng)用平臺(tái)程序；配置ETL和應(yīng)用平臺(tái)軟件，構(gòu)成集群和高可用性能力；根據(jù)數(shù)據(jù)處理規(guī)模，配置8個(gè)虛擬節(jié)點(diǎn)構(gòu)成計(jì)算云，4個(gè)集群，4個(gè)高可用性；根據(jù)系統(tǒng)用戶和應(yīng)用規(guī)模，配置6個(gè)節(jié)點(diǎn)構(gòu)成應(yīng)用云，實(shí)現(xiàn)負(fù)載均衡；可選用一臺(tái)未作虛擬化PC，作為云計(jì)算管控平臺(tái)及部署其它管控平臺(tái)。41總體方案介紹-應(yīng)用分布式架構(gòu)LoadBalancingRedundantCluster作為應(yīng)用集群請求指派，并根據(jù)應(yīng)用節(jié)點(diǎn)訪問壓力的大小進(jìn)行負(fù)載均衡；LoadBalancing分為主從兩個(gè)實(shí)例，以備在運(yùn)行的實(shí)例出現(xiàn)問題是可由后備實(shí)例接管；ApplicationServers包括Web應(yīng)用、報(bào)表服務(wù)、OLAP服務(wù)等，都以冗余的方式進(jìn)行分布式部署；DatabaseRedundantCluster冗余部署數(shù)據(jù)庫。42總體方案介紹-設(shè)備部署架構(gòu)分項(xiàng)設(shè)備型號(hào)配置要求數(shù)量數(shù)據(jù)庫/接口服務(wù)器HPRX8640同檔分區(qū)一：16c64G（100萬tpmc）分區(qū)二：4c16G（20萬tpmc）2應(yīng)用服務(wù)器HPBL685c同檔每臺(tái)刀片服務(wù)器配置:4CPU(4Core)/64G內(nèi)存/2*146G硬盤(其中4臺(tái)刀片安裝RedHat企業(yè)版5.3操作系統(tǒng),另外4臺(tái)安裝windows2008server系統(tǒng))8SAN交換機(jī)HP8/24SANSwitch同檔24口光纖交換機(jī)2磁盤陣列HPEVA6400同檔25T容量1磁帶庫HPMSL8096同檔5個(gè)LOT4驅(qū)動(dòng)器，55T容量,MSBF:200萬次MTBF:100,000小時(shí)1防火墻華為1000E-U2同檔每臺(tái)配置4個(gè)多模GE光口2核心交換機(jī)華為9303同檔每臺(tái)8個(gè)多模GE光口，24GE電口2PC臺(tái)式機(jī)普通PCIntel酷睿2代1.86GHz或以上，雙核處理器，2MB緩存或以上；4GB或以上；320GB高速硬盤；19”LCD；32速DVDCOMBO；10/100/1000MB自適應(yīng)以太網(wǎng)網(wǎng)卡2數(shù)據(jù)庫ORACLE10g或DB2數(shù)據(jù)庫(2cpulicenses)forRAC1Windows操作系統(tǒng)WinSvrEnt2008R2CHNSOLPNLwindows操作系統(tǒng),25個(gè)CAL（連接許可License）6Linux操作系統(tǒng)RedHat企業(yè)版5.3Linux操作系統(tǒng)(4cpulicenses)4OLAPServerSQLSvrStd2008R2CHNSOLPNL1ProcOLAPServer,提供多維存儲(chǔ)和OLAP操作底層支持1報(bào)表工具biV6.0OLTP和OLAP的前端報(bào)表應(yīng)用和分析展示工具及門戶平臺(tái)1ETL工具InformaticaPowerCenter8.6ETL工具,數(shù)據(jù)集中整合、轉(zhuǎn)換、清洗和裝載1虛擬化軟件Vmware虛擬化軟件1備份軟件HeartsOneBackupEnterpriseEditionV8.0備份軟件1殺毒軟件McAfee防病毒軟件6WEB中間件Tomcat6.0Web應(yīng)用平臺(tái)（免費(fèi)）1目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7關(guān)鍵技術(shù)介紹443關(guān)鍵技術(shù)介紹-數(shù)據(jù)模型44數(shù)據(jù)模型采用分層架構(gòu)，分為緩存層、整合層、匯總層、視圖層、應(yīng)用層，元數(shù)據(jù)層對整個(gè)數(shù)據(jù)生命周期進(jìn)行管控。關(guān)鍵技術(shù)介紹-Informatica(體系架構(gòu))RepositoryServicesGlobalRepositoryLocalRepositoryMetadataDirectoryEngineVisualizationServerPowerCenterRepositoryClientToolsDesignViewManageXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeInformaticaDataIntegrationPlatformProviderXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangePortals,Dashboards,

andReportsConsumerIntegrationServiceUNIX(AIX,HPUX,Solaris,Linux)WindowsNT4.0,2000,2003DesignerNavigatorMetadataDiscoveryCollaborationToolsWorkflowMonitorDashboardsMetadataReporterVisualizationToolsRepositoryManagerMetadataAnalysisAdministrationConsoleWorkflowManagerPowerExchangePowerCenterConnectsSAPBWServiceWebServiceHub45關(guān)鍵技術(shù)介紹-Informatica(接口采集)抽取預(yù)處理加載NMSC網(wǎng)管WAP平臺(tái)189平臺(tái)工作流集中調(diào)度46關(guān)鍵技術(shù)介紹-Informatica(ETL工作流)47關(guān)鍵技術(shù)介紹-Informatica（網(wǎng)格）48關(guān)鍵技術(shù)介紹-Informatica（網(wǎng)格）通過ETL集群向?qū)?，對虛擬化出的四臺(tái)ETL服務(wù)器進(jìn)行網(wǎng)格化，設(shè)計(jì)集群服務(wù)。49關(guān)鍵技術(shù)介紹-Informatica(分區(qū)并向)50目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7成功案例介紹55152成功案例介紹－廣東電信省ODS－總體介紹數(shù)據(jù)質(zhì)量CRM系統(tǒng)計(jì)費(fèi)系統(tǒng)結(jié)算系統(tǒng)ETL匯總數(shù)據(jù)域臨時(shí)緩存域數(shù)據(jù)共享和數(shù)據(jù)訪問域ODS核心層源系統(tǒng)映射層DM層(C網(wǎng)集市、各中心數(shù)據(jù)集市)EDW營銷分析(整合TMAS和CMMS的統(tǒng)計(jì)功能)專題分析主題分析KPI統(tǒng)計(jì)報(bào)表渠道分析智能取數(shù)數(shù)據(jù)門戶接入……ODSEDW用戶資料數(shù)據(jù)量：支持全省5000萬用戶（含C網(wǎng)）；數(shù)據(jù)存儲(chǔ)量：ODS15T左右；EDW40T左右；數(shù)據(jù)處理量：每天處理18000萬條左右記錄數(shù)，以提供管理層每日快報(bào)、關(guān)鍵業(yè)務(wù)日監(jiān)測表等應(yīng)用每月處理數(shù)據(jù)量：5億條左右記錄，在用功能點(diǎn)超千種：每月8日12點(diǎn)前提供管理層運(yùn)營分析會(huì)材料－信息月報(bào)（白皮書共326張，其中業(yè)務(wù)量白皮書：193張，收入白皮書：133張）每月5日12點(diǎn)前完成全業(yè)務(wù)指標(biāo)體系統(tǒng)計(jì)（統(tǒng)計(jì)指標(biāo)：361299個(gè)，其中移動(dòng)：111701個(gè)，固網(wǎng)：249598個(gè)）每月5日12點(diǎn)前整合全省BSS核心系統(tǒng)業(yè)務(wù)數(shù)據(jù)，為業(yè)務(wù)部門提供全省統(tǒng)一口徑的固定報(bào)表及動(dòng)態(tài)報(bào)表展示，提供全省統(tǒng)一報(bào)表658張，其中電定報(bào)表131張；多維分析主題共102個(gè)，其中移動(dòng)：38個(gè)，固網(wǎng)：64個(gè)實(shí)用情況：每日點(diǎn)擊率達(dá)到2萬以上；報(bào)表日均訪問次數(shù)：850次，高峰期報(bào)表日訪問1713次，日均多維點(diǎn)擊500人次；接口：對外系統(tǒng)接口有30個(gè)左右；成功案例介紹－廣東電信省ODS－每日快報(bào)5354成功案例介紹－廣東電信省ODS－管理層看數(shù)55成功案例介紹－廣東電信省ODS－多維分析56成功案例介紹－廣東電信省ODS－關(guān)聯(lián)鉆透分析57成功案例介紹－廣東電信省ODS－多維分析58成功案例介紹－廣東電信省ODS－元數(shù)據(jù)搜索59

客戶關(guān)懷客戶維系客戶挽留數(shù)據(jù)倉庫／客戶集市閉環(huán)流程效果評估目標(biāo)篩選方案審批營銷執(zhí)行策劃執(zhí)行客戶理解數(shù)據(jù)集中方案設(shè)計(jì)腳本設(shè)計(jì)模型應(yīng)用定義問題數(shù)據(jù)準(zhǔn)備模型構(gòu)建成功案例介紹－針對性營銷及維系挽留系統(tǒng)－閉環(huán)流程根本上解決了分析決策與市場營銷不暢的問題，業(yè)務(wù)分析/人工挖掘的有價(jià)值知識(shí)，能直達(dá)渠道一線，形成營銷/維系具體工單，并跟蹤評估，持續(xù)完善，實(shí)現(xiàn)“精準(zhǔn)營銷”。截至目前已完成移動(dòng)/寬帶客戶細(xì)分、流失預(yù)警、欠費(fèi)提醒、交叉銷售、價(jià)值提升等多個(gè)模型，并在廣東全省推廣，均取得較好效果。60成功案例介紹－針對性營銷及維系挽留系統(tǒng)－功能架構(gòu)省維挽系統(tǒng)由客戶挖掘、營銷策劃、工單流轉(zhuǎn)和營銷評估四個(gè)功能域組成客戶挖掘和營銷評估功能域由EDW系統(tǒng)實(shí)現(xiàn)營銷策劃、工單流轉(zhuǎn)、客戶管理、工作支持、營銷共享池在省維挽系統(tǒng)實(shí)現(xiàn)在EDW系統(tǒng)上實(shí)現(xiàn)的功能，界面最終集成到省維挽系統(tǒng)，保證客戶經(jīng)理的使用感知61成功案例介紹－針對性營銷及維系挽留系統(tǒng)－工作界面管理人員首頁重點(diǎn)展示：團(tuán)隊(duì)任務(wù)、團(tuán)隊(duì)績效指標(biāo)VIP客戶經(jīng)理首頁重點(diǎn)展示：待辦工單、客戶分布、個(gè)人績效指標(biāo)62成功案例介紹－針對性營銷及維系挽留系統(tǒng)－價(jià)值提升模型我們面臨的價(jià)值問題客戶價(jià)值象限？客戶潛在價(jià)值如何？如何提升客戶價(jià)值？有哪些手段？能否提供高潛在價(jià)值客戶名單和提升建議？能否提供當(dāng)前高價(jià)值客戶名單和關(guān)懷建議？價(jià)值提升模型能做什么模型分析報(bào)告會(huì)給出當(dāng)前客戶當(dāng)前價(jià)值、客戶潛在價(jià)值，客戶價(jià)值象限分布；提供高潛在價(jià)值客戶名單，并給出價(jià)值提升建議；提供高價(jià)值客戶名單，并給出延長高價(jià)值建議；模型必備條件價(jià)值業(yè)務(wù)理解，給出當(dāng)前價(jià)值、潛在價(jià)值業(yè)務(wù)定義；客戶價(jià)值相關(guān)數(shù)據(jù)：基本資料、業(yè)務(wù)使用、客戶出賬、行為活躍趨勢；63成功案例介紹－針對性營銷及維系挽留系統(tǒng)－價(jià)值提升模型模型關(guān)鍵變量基礎(chǔ)變量（輸入）在網(wǎng)時(shí)長城鄉(xiāng)標(biāo)識(shí)服務(wù)分群會(huì)員級(jí)別服務(wù)等級(jí)行業(yè)分類套餐檔次是否融合套餐余額積分衍生變量（輸入）消費(fèi)水平語音ARPU均值、趨勢增值A(chǔ)RPU均值、趨勢上網(wǎng)時(shí)長均值、趨勢電信產(chǎn)品種類電信產(chǎn)品個(gè)數(shù)新業(yè)務(wù)接受度客服咨詢次數(shù)異網(wǎng)ARPU均值、趨勢短信發(fā)送次數(shù)、趨勢彩信發(fā)送次數(shù)、趨勢特征變量（輸出）價(jià)值象限價(jià)值敏感度特征描述提升建議＋＝常用算法

Kohonen、Kmeans、時(shí)間序列64成功案例介紹－針對性營銷及維系挽留系統(tǒng)－價(jià)值提升模型惠州政企客戶價(jià)值提升模型根據(jù)“物以類聚，人以群分”的思想對惠州政企客戶進(jìn)行聚類；對客戶價(jià)值象限進(jìn)行分區(qū)，結(jié)合每象限客戶使用業(yè)務(wù)的排名進(jìn)行業(yè)務(wù)推送；政企客戶經(jīng)理根據(jù)目標(biāo)客戶名單和推薦列表展開提升工作；產(chǎn)品名稱推薦群數(shù)推薦客戶數(shù)互聯(lián)星空371643企業(yè)信息上網(wǎng)服務(wù)321581查詢轉(zhuǎn)接301414CENTREX群組411400企業(yè)郵箱＋網(wǎng)絡(luò)硬盤套餐261307企業(yè)總機(jī)311247工商電子黃頁會(huì)員221224寬樂通信16779商務(wù)領(lǐng)航產(chǎn)品系列7531模型應(yīng)用應(yīng)用效果客戶維系后，成功推薦產(chǎn)品的比例達(dá)到45％，大大提升營銷效果客戶價(jià)值平均ARPU上升了28％，效果明顯；65成功案例介紹－東莞電信云CRM－總體介紹關(guān)鍵創(chuàng)新點(diǎn)1.云端服務(wù)提供模式，用戶無需服務(wù)器，實(shí)現(xiàn)SaaS(軟件即服務(wù))，用戶只需簡單操作即可開戶使用2.云計(jì)算可租賃服務(wù)模式，虛擬化資源，實(shí)現(xiàn)按需使用，資源合理分配3.可容納百萬級(jí)以上用戶數(shù)據(jù)，具備高可擴(kuò)展性、可用性及容災(zāi)性4.瘦客戶端，用戶可以通過普通廉價(jià)PC接入使用，同時(shí)提供手機(jī)終端應(yīng)用，實(shí)現(xiàn)移動(dòng)辦公。66成功案例介紹－東莞電信云CRM－邏輯架構(gòu)

為中小商企提供更好的服務(wù)提高用戶粘性體現(xiàn)并發(fā)揮固定電話、寬帶、手機(jī)移動(dòng)終端三者結(jié)合的優(yōu)勢，提高競爭力合理營運(yùn)模式下可直接增加營收通過增值服務(wù)增值為完善物聯(lián)網(wǎng)提供補(bǔ)充，并從中獲得更大價(jià)值67成功案例介紹－東莞電信云CRM－關(guān)鍵技術(shù)分布式文件系統(tǒng)TOMCAT集群數(shù)據(jù)庫集群68成功案例介紹－東莞電信云CRM－示例目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5實(shí)施方案和平臺(tái)發(fā)展方向7數(shù)據(jù)分析支撐工作方案669數(shù)據(jù)分析支撐工作方案專題分析支撐臨時(shí)取數(shù)支撐臨時(shí)報(bào)表臨時(shí)數(shù)據(jù)提取臨時(shí)數(shù)據(jù)統(tǒng)計(jì)分析完善數(shù)據(jù)模型完善數(shù)據(jù)源完善分析主題數(shù)據(jù)挖掘支撐運(yùn)營分析支撐WAP業(yè)務(wù)分析聲訊業(yè)務(wù)分析政企客戶分析融合套餐推薦客戶細(xì)分業(yè)務(wù)流失分析業(yè)務(wù)異動(dòng)分析為客戶提供從臨時(shí)取數(shù)到數(shù)據(jù)挖掘的全方位現(xiàn)場支撐70目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4數(shù)據(jù)分析支撐工作方案6實(shí)成功案例介紹5實(shí)施方案和平臺(tái)發(fā)展方向771實(shí)施方案和平臺(tái)發(fā)展方向－項(xiàng)目維護(hù)支撐保障最終用戶現(xiàn)場支持研發(fā)工程師安裝調(diào)試備件替換現(xiàn)場技術(shù)支持遠(yuǎn)程技術(shù)支持項(xiàng)目技術(shù)文檔設(shè)計(jì)遠(yuǎn)程登錄解決故障遠(yuǎn)程系統(tǒng)性能評測支持工程師現(xiàn)場工程師72實(shí)施方案和平臺(tái)發(fā)展方向－平臺(tái)發(fā)展演進(jìn)73

搭建基于云計(jì)算的數(shù)據(jù)平臺(tái);形成增值業(yè)務(wù)統(tǒng)一數(shù)據(jù)視圖;提供對用戶消費(fèi)行為、業(yè)務(wù)推廣情況、SP/CP分析監(jiān)控方面的應(yīng)用;實(shí)現(xiàn)跨業(yè)務(wù)、跨平臺(tái)的融合分析。2010VAS-ODMS1.02011提升數(shù)據(jù)質(zhì)量豐富業(yè)務(wù)功能引入數(shù)據(jù)集市建立數(shù)據(jù)倉庫信息門戶VAS-ODMS2.02012使用人員將逐漸從領(lǐng)導(dǎo)層擴(kuò)展到關(guān)鍵營銷人員和一線營銷人員;通過客戶分析及運(yùn)營的建設(shè)，提升精確化營銷能力；將信息沉淀為知識(shí)，強(qiáng)化知識(shí)庫建設(shè)；實(shí)現(xiàn)深入的數(shù)據(jù)挖掘和全面分析應(yīng)用，并最終實(shí)現(xiàn)對企業(yè)戰(zhàn)略、商業(yè)策略、運(yùn)營管理的全面支撐。全程精確化營銷

進(jìn)一步豐富數(shù)據(jù)源，奠定企業(yè)級(jí)數(shù)據(jù)倉庫基礎(chǔ);建立信息門戶，實(shí)現(xiàn)與OA門戶對接，擴(kuò)展系統(tǒng)使用范圍;深化數(shù)據(jù)集市應(yīng)用，提升專項(xiàng)業(yè)務(wù)應(yīng)用能力;完善經(jīng)營分析數(shù)據(jù)質(zhì)量管理系統(tǒng)，提升數(shù)據(jù)管理能力;建立系統(tǒng)調(diào)優(yōu)機(jī)制，優(yōu)化系統(tǒng)性能.基礎(chǔ)框架架構(gòu)數(shù)據(jù)倉庫專業(yè)數(shù)據(jù)集市信息門戶數(shù)據(jù)質(zhì)量深入業(yè)務(wù)流程強(qiáng)化知識(shí)建設(shè)VAS-ODMS1.574華夏銀行ODS系統(tǒng)Agenda四、

ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)系統(tǒng)調(diào)研目標(biāo)系統(tǒng)建設(shè)現(xiàn)狀系統(tǒng)調(diào)研成果一、系統(tǒng)信息調(diào)研系統(tǒng)調(diào)研工作目標(biāo)總體目標(biāo)：通過對華夏銀行現(xiàn)有IT數(shù)據(jù)環(huán)境的各方面的調(diào)研工作，充分理解項(xiàng)目需要實(shí)現(xiàn)的各項(xiàng)業(yè)務(wù)需求；掌握核心、信貸等關(guān)鍵系統(tǒng)的建設(shè)現(xiàn)狀，數(shù)據(jù)流向與系統(tǒng)間的關(guān)聯(lián)關(guān)系；對樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量探查分析，了解各系統(tǒng)的數(shù)據(jù)質(zhì)量情況。信息調(diào)研數(shù)據(jù)抽取平臺(tái)作為本項(xiàng)目的主要數(shù)據(jù)源，調(diào)研了解數(shù)據(jù)抽取平臺(tái)的總體建設(shè)情況數(shù)據(jù)抽取平臺(tái)中已經(jīng)完成了部分客戶信息的整合，需要對其進(jìn)行詳細(xì)的調(diào)研和理解調(diào)研各個(gè)業(yè)務(wù)系統(tǒng)的建設(shè)情況，了解業(yè)務(wù)系統(tǒng)的架構(gòu)、功能、模型、數(shù)據(jù)字典，特別是涉及到客戶信息的系統(tǒng)，作為重點(diǎn)調(diào)研對象數(shù)據(jù)質(zhì)量調(diào)研針對業(yè)務(wù)系統(tǒng)中的關(guān)鍵表、客戶的相關(guān)表進(jìn)行。其它表的數(shù)據(jù)質(zhì)量不作為本項(xiàng)目數(shù)據(jù)質(zhì)量調(diào)研的重點(diǎn)通過對數(shù)據(jù)質(zhì)量的數(shù)據(jù)的完整性、一致性、合法性、唯一性等多方面進(jìn)行探查，了解源系統(tǒng)各表的數(shù)據(jù)質(zhì)量情況，并為后續(xù)ODS模型設(shè)計(jì)提供依據(jù)數(shù)據(jù)抽取平臺(tái)現(xiàn)狀數(shù)據(jù)抽取平臺(tái)現(xiàn)有應(yīng)用軟件體系總體數(shù)據(jù)分布情況當(dāng)事人賬戶產(chǎn)品事件協(xié)議黃金系統(tǒng)基金系統(tǒng)電子國債系統(tǒng)TPOS系統(tǒng)支付寶系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)bancslink系統(tǒng)對公客戶核心系統(tǒng)個(gè)貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)TPOS系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)核心系統(tǒng)電子國債系統(tǒng)資金業(yè)務(wù)系統(tǒng)三方存管系統(tǒng)個(gè)貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)電子國債系統(tǒng)TPOS系統(tǒng)電話銀行系統(tǒng)金融IC卡系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)資金業(yè)務(wù)系統(tǒng)金融IC卡系統(tǒng)信貸管理系統(tǒng)電子國債系統(tǒng)資產(chǎn)負(fù)債管理系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)個(gè)貸核算和公積金系統(tǒng)核心系統(tǒng)擔(dān)保資產(chǎn)信息資金業(yè)務(wù)系統(tǒng)信貸管理系統(tǒng)貸款產(chǎn)品信貸管理系統(tǒng)核心系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)渠道核心系統(tǒng)VIP系統(tǒng)財(cái)富系統(tǒng)電話銀行系統(tǒng)個(gè)人征信系統(tǒng)企業(yè)征信系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)資金業(yè)務(wù)系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)個(gè)人征信系統(tǒng)企業(yè)征信系統(tǒng)個(gè)貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)員工中間業(yè)務(wù)機(jī)構(gòu)存款產(chǎn)品貸款事件賬戶個(gè)人客戶個(gè)人貸款合同卡事件理財(cái)協(xié)議簽約協(xié)議對公貸款合同投資類產(chǎn)品信用卡渠道資金事件總賬系統(tǒng)總賬資源調(diào)研工作成果-數(shù)據(jù)質(zhì)量調(diào)研數(shù)據(jù)合法性問題系統(tǒng)調(diào)研過程中，發(fā)現(xiàn)現(xiàn)有部分系統(tǒng)的表間關(guān)聯(lián)關(guān)系一致性，無法直接關(guān)聯(lián)保持一致，需通過復(fù)雜的處理，例如：基金系統(tǒng)的基金客戶信息表(FUND_ACCT_CUST)的銀行賬號(hào)(DEPOSITACCT)，與核心系統(tǒng)賬號(hào)的關(guān)聯(lián)關(guān)系一致性檢核數(shù)據(jù)一致性問題系統(tǒng)調(diào)研過程中，發(fā)現(xiàn)現(xiàn)有系統(tǒng)中存在疑似無用或者已廢棄的數(shù)據(jù)。這些數(shù)據(jù)并沒有做清理，導(dǎo)致我們在查詢分析時(shí)很難判定數(shù)據(jù)的正確性，例如：黃金系統(tǒng)的客戶信息(GOLD_CUSTOMINFO)的銀行賬號(hào)(BANK_ACC)數(shù)據(jù)有效性問題相同業(yè)務(wù)屬性在不同系統(tǒng)中對應(yīng)的碼值和編碼規(guī)則存在不一致的現(xiàn)象；此種現(xiàn)狀的存在，導(dǎo)致業(yè)務(wù)口徑不統(tǒng)一，即相同含義的業(yè)務(wù)屬性在不同系統(tǒng)中的代碼不一致。例如：客戶的“證件類型”屬性代碼質(zhì)量問題調(diào)研工作成果-信息調(diào)研示例示例示例示例示例調(diào)研工作成果-元數(shù)據(jù)梳理數(shù)據(jù)字典整理及加工規(guī)則Agenda四、

ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)系統(tǒng)總體架構(gòu)系統(tǒng)數(shù)據(jù)架構(gòu)系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)系統(tǒng)物理架構(gòu)系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D系統(tǒng)運(yùn)維體系一、系統(tǒng)信息調(diào)研總體架構(gòu)規(guī)劃-目標(biāo)架構(gòu)源系統(tǒng)數(shù)據(jù)交換數(shù)據(jù)平臺(tái)數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一調(diào)度監(jiān)控任務(wù)調(diào)度任務(wù)監(jiān)控公共應(yīng)用服務(wù)訪問控制層ODSDLA數(shù)據(jù)裝載區(qū)應(yīng)用集成訪問控制統(tǒng)一認(rèn)證多維分析用戶數(shù)據(jù)挖掘用戶固定報(bào)表用戶靈活查詢用戶臨時(shí)文件區(qū)數(shù)據(jù)訪問SDM標(biāo)準(zhǔn)增量區(qū)FDM基礎(chǔ)模型區(qū)GDM公共匯總區(qū)EDWDLA數(shù)據(jù)裝載區(qū)FDM主題模型區(qū)GDM公共匯總區(qū)GMM公共集市區(qū)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)接口數(shù)據(jù)交換平臺(tái)ETL管理應(yīng)用集市分析類應(yīng)用風(fēng)險(xiǎn)管理類靈活查詢固定報(bào)表數(shù)據(jù)挖掘Dashboard多維分析客戶分析類監(jiān)管報(bào)送類準(zhǔn)實(shí)時(shí)類應(yīng)用風(fēng)險(xiǎn)監(jiān)控KPI監(jiān)控歷史數(shù)據(jù)歸檔準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理批量數(shù)據(jù)處理核心系統(tǒng)外圍系統(tǒng)管理信息系統(tǒng)MDM系統(tǒng)（ECIF）操作類應(yīng)用數(shù)據(jù)下發(fā)歷史查詢稽核|審計(jì)總體架構(gòu)規(guī)劃-數(shù)據(jù)交換數(shù)據(jù)交換模塊主要實(shí)現(xiàn)數(shù)據(jù)平臺(tái)的數(shù)據(jù)抽取功能數(shù)據(jù)抽取的方式包括主動(dòng)抽取與被動(dòng)提供2種方式數(shù)據(jù)的主動(dòng)抽取通過數(shù)據(jù)服務(wù)平臺(tái)連接業(yè)務(wù)系統(tǒng)主機(jī)/備機(jī)，進(jìn)行數(shù)據(jù)的獲取數(shù)據(jù)的被動(dòng)提供，是源系統(tǒng)將數(shù)據(jù)按照統(tǒng)一的接口規(guī)范生成后，將數(shù)據(jù)提供到數(shù)據(jù)獲取層臨時(shí)文件區(qū)總體架構(gòu)規(guī)劃-數(shù)據(jù)平臺(tái)數(shù)據(jù)平臺(tái)模塊包括ODS、EDW、數(shù)據(jù)服務(wù)3個(gè)子模塊ODS主要負(fù)責(zé)數(shù)據(jù)的增量剝離，數(shù)據(jù)的清洗與轉(zhuǎn)換，對公共匯總數(shù)據(jù)進(jìn)行輕度的加工，保留最新數(shù)據(jù)EDW主要負(fù)責(zé)數(shù)據(jù)的整合，對公共匯總數(shù)據(jù)的復(fù)雜加工與深度匯總，范式化存儲(chǔ)，保留長期的數(shù)據(jù)數(shù)據(jù)服務(wù)包括來自O(shè)DS、EDW的公共服務(wù)接口；提供歷史數(shù)據(jù)的歸檔；并提供數(shù)據(jù)的分發(fā)服務(wù)總體架構(gòu)規(guī)劃-數(shù)據(jù)應(yīng)用基于數(shù)據(jù)平臺(tái)能夠提供公共應(yīng)用服務(wù)，包括靈活查詢、固定報(bào)表等分析類應(yīng)用模塊包括應(yīng)用集市、準(zhǔn)實(shí)時(shí)類應(yīng)用及原始交易類應(yīng)用操作類應(yīng)用服務(wù)包括總、分行的數(shù)據(jù)下發(fā)服務(wù)和外部監(jiān)管數(shù)據(jù)提供服務(wù)應(yīng)用的數(shù)據(jù)訪問可以來自自身集市，也可以來自數(shù)據(jù)服務(wù)接口總體架構(gòu)規(guī)劃-其它層次訪問控制層，對各類應(yīng)用集市進(jìn)行集成，對用戶的角色和權(quán)限進(jìn)行統(tǒng)一的控制，并實(shí)現(xiàn)統(tǒng)一的認(rèn)證系統(tǒng)內(nèi)包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的管理，結(jié)合行內(nèi)數(shù)據(jù)治理的需求，進(jìn)行規(guī)范和處理系統(tǒng)內(nèi)采用統(tǒng)一的調(diào)度監(jiān)控平臺(tái)，對整個(gè)平臺(tái)以及應(yīng)用集市系統(tǒng)中的任務(wù)進(jìn)行統(tǒng)一的調(diào)度，統(tǒng)一的管理和統(tǒng)一的監(jiān)控系統(tǒng)總體架構(gòu)-過渡架構(gòu)源系統(tǒng)數(shù)據(jù)交換數(shù)據(jù)平臺(tái)數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一調(diào)度監(jiān)控任務(wù)調(diào)度任務(wù)監(jiān)控公共應(yīng)用服務(wù)訪問控制層ODSDLA數(shù)據(jù)裝載區(qū)應(yīng)用集成訪問控制統(tǒng)一認(rèn)證多維分析用戶數(shù)據(jù)挖掘用戶固定報(bào)表用戶靈活查詢用戶臨時(shí)文件區(qū)數(shù)據(jù)訪問SDM標(biāo)準(zhǔn)增量區(qū)FDM基礎(chǔ)模型區(qū)GDM公共匯總區(qū)EDWDLA數(shù)據(jù)裝載區(qū)FDM主題模型區(qū)GDM公共匯總區(qū)GMM公共集市區(qū)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)接口數(shù)據(jù)交換平臺(tái)ETL管理應(yīng)用集市分析類應(yīng)用風(fēng)險(xiǎn)管理類固定報(bào)表數(shù)據(jù)挖掘Dashboard多維分析客戶分析類監(jiān)管報(bào)送類準(zhǔn)實(shí)時(shí)類應(yīng)用風(fēng)險(xiǎn)監(jiān)控KPI監(jiān)控歷史數(shù)據(jù)歸檔準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理批量數(shù)據(jù)處理核心系統(tǒng)外圍系統(tǒng)管理信息系統(tǒng)MDM系統(tǒng)（ECIF）操作類應(yīng)用數(shù)據(jù)下發(fā)歷史查詢稽核|審計(jì)數(shù)據(jù)抽取平臺(tái)靈活查詢數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)架構(gòu)-過渡架構(gòu)數(shù)據(jù)源ODS數(shù)據(jù)裝載區(qū)（DLA）核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀……國際結(jié)算信用卡……數(shù)據(jù)交換平臺(tái)應(yīng)用集市對公CRM應(yīng)用集市核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀黃金……基金標(biāo)準(zhǔn)增量區(qū)（SDM）核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀黃金……基金基礎(chǔ)模型區(qū)（FDM）貸款存款中間業(yè)務(wù)總賬客戶渠道交易銀行卡公共公共匯總區(qū)（GDM）客戶主題賬戶主題機(jī)構(gòu)主題數(shù)據(jù)服務(wù)接口（DSI）對公CRM數(shù)據(jù)服務(wù)接口數(shù)據(jù)抽取平臺(tái)數(shù)據(jù)備份區(qū)文件預(yù)處理區(qū)（PRE）數(shù)據(jù)存儲(chǔ)集市應(yīng)用層系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)源系統(tǒng)核心系統(tǒng)數(shù)據(jù)交換文件預(yù)處理ODS數(shù)據(jù)裝載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)CRM風(fēng)險(xiǎn)應(yīng)用集市其它應(yīng)用集市信貸系統(tǒng)總賬系統(tǒng)FlatFile,XML,xls數(shù)據(jù)存儲(chǔ)以數(shù)據(jù)庫為主數(shù)據(jù)保留時(shí)間與源系統(tǒng)應(yīng)用相關(guān)數(shù)據(jù)交換以文本形式存儲(chǔ)從源系統(tǒng)獲取的文件建議保留15天文件預(yù)處理層的文件建議保留15天數(shù)據(jù)裝載區(qū)以數(shù)據(jù)庫形式存儲(chǔ)，按數(shù)據(jù)日期建表，數(shù)據(jù)暫存，保留15天標(biāo)準(zhǔn)增量區(qū)以數(shù)據(jù)庫形式存儲(chǔ)，數(shù)據(jù)暫存，保留1天基礎(chǔ)模型區(qū)以數(shù)據(jù)庫形式存儲(chǔ)，建議保留31天公共匯總區(qū)以數(shù)據(jù)庫形式存儲(chǔ)，建議根據(jù)應(yīng)用需求，保留1-3年數(shù)據(jù)分發(fā)區(qū)以文本形式存儲(chǔ)，建議保留15天數(shù)據(jù)分發(fā)區(qū)數(shù)據(jù)庫形式存儲(chǔ)數(shù)據(jù)保留時(shí)間與應(yīng)用相關(guān)數(shù)據(jù)抽取平臺(tái)系統(tǒng)技術(shù)架構(gòu)系統(tǒng)物理架構(gòu)外匯卡…其他數(shù)據(jù)文件數(shù)據(jù)文件數(shù)據(jù)文件ODS數(shù)據(jù)庫服務(wù)器基礎(chǔ)、匯總區(qū)ODSFDMGDMSDMDLAETL服務(wù)器ETL

調(diào)度服務(wù)器預(yù)處理區(qū)(PRE)備份數(shù)據(jù)區(qū)存儲(chǔ)周期（15天）存儲(chǔ)周期（1年）數(shù)據(jù)抽取平臺(tái)接口文件落地區(qū)存儲(chǔ)周期（15天）DSI數(shù)據(jù)交換平臺(tái)系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D直連光纖網(wǎng)絡(luò)管理終端HAETL服務(wù)器調(diào)度服務(wù)器備機(jī)路由器&防火墻生產(chǎn)網(wǎng)段系統(tǒng)監(jiān)控注：

1.由于服務(wù)平臺(tái)涉及到大量的數(shù)據(jù)傳輸，系統(tǒng)內(nèi)部服務(wù)器聯(lián)接建議光纖直連；磁盤陣列RACDB服務(wù)器DB服務(wù)器備機(jī)系統(tǒng)運(yùn)維體系系統(tǒng)監(jiān)控管理系統(tǒng)維護(hù)管理備份恢復(fù)管理故障切換管理性能容量規(guī)劃運(yùn)維安全管理Agenda數(shù)據(jù)模型層次關(guān)系模型主題劃分客戶主題模型設(shè)計(jì)客戶視角360度視圖四、

ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)一、系統(tǒng)信息調(diào)研數(shù)據(jù)模型-數(shù)據(jù)模型層次ODS公共匯總區(qū)基礎(chǔ)模型區(qū)標(biāo)準(zhǔn)增量區(qū)賬戶客戶公共匯總區(qū)共享的，面向匯總的針對各種應(yīng)用常見的匯總需求進(jìn)行總結(jié)提煉以基礎(chǔ)模型區(qū)數(shù)據(jù)加工匯總而成通常針對賬戶、客戶、機(jī)構(gòu)的視角進(jìn)行匯總，是冗余的基礎(chǔ)模型區(qū)共享的，面向主題不為支持某個(gè)特定的、預(yù)先定義的應(yīng)用設(shè)計(jì)是ODS的基礎(chǔ)數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)與源系統(tǒng)基本保持一致，適當(dāng)增加屬性進(jìn)行擴(kuò)展保留系統(tǒng)最新的數(shù)據(jù)，并根據(jù)應(yīng)用需要存儲(chǔ)一定時(shí)間段的數(shù)據(jù)，部分冗余機(jī)構(gòu)模型主題劃分原則模型主題劃分原則六、各模型層次的主題可根據(jù)實(shí)際情況劃分二級(jí)主題五、基礎(chǔ)數(shù)據(jù)層主題劃分為：存款、貸

款、銀行卡、客戶、總帳、中間業(yè)務(wù)、渠道、交易、公共。四、不同的數(shù)據(jù)層次，由于其業(yè)務(wù)關(guān)注視角不同，其主題劃分的結(jié)果可以不同。一、根據(jù)關(guān)鍵業(yè)務(wù)要素或業(yè)務(wù)關(guān)注視角及他們之間關(guān)系劃分。二、通過抽象銀行業(yè)經(jīng)營活動(dòng)中的要素及要素之間關(guān)系的形式劃分。三、公共匯總數(shù)據(jù)層的主題劃分則是基于業(yè)務(wù)共性需求?；A(chǔ)模型主題劃分客戶主題模型設(shè)計(jì)客戶主題模型設(shè)計(jì)-個(gè)人客戶公共匯總層模型設(shè)計(jì)-客戶360度視圖客戶主題覆蓋數(shù)據(jù)范圍客戶基本信息主要包括客戶基本屬性信息及擴(kuò)展信息?；緦傩孕畔⒑w的數(shù)據(jù)范圍有客戶名稱、客戶編號(hào)、客戶歸屬機(jī)構(gòu)、客戶證件類型等信息客戶-產(chǎn)品信息主要包括客戶持有產(chǎn)品情況，涵蓋的產(chǎn)品數(shù)據(jù)范圍有存款、貸款、基金等信息客戶-渠道信息主要包括客戶與銀行發(fā)生業(yè)務(wù)交易的渠道信息，涵蓋的渠道數(shù)據(jù)范圍有網(wǎng)上銀行、電話銀行、B2B等信息客戶主題覆蓋數(shù)據(jù)范圍劃分客戶基本信息匯總客戶-產(chǎn)品匯總客戶-渠道匯總主要匯總對公、對私客戶基本屬性信息及擴(kuò)展信息主要匯總客戶持有產(chǎn)品情況信息主要匯總客戶與銀行發(fā)生業(yè)務(wù)的各種交易渠道信息Agenda四、ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)一、系統(tǒng)信息調(diào)研ETL架構(gòu)設(shè)計(jì)ETL數(shù)據(jù)處理ETL調(diào)度監(jiān)控ETL數(shù)據(jù)質(zhì)量控制ETL接口設(shè)計(jì)ETL備份恢復(fù)策略ETL總體設(shè)計(jì)-邏輯架構(gòu)ETL過程描述ETL1本層實(shí)現(xiàn)數(shù)據(jù)抽取加載功能，支持?jǐn)?shù)據(jù)庫直連抽取和源系統(tǒng)提供文本文件加載方式，文件接口遵循統(tǒng)一規(guī)范，同時(shí)會(huì)根據(jù)實(shí)際處理己知的其他文件規(guī)范。ETL2本層實(shí)現(xiàn)對需要增量處理的數(shù)據(jù)增量駁離，并對增量/全量數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和代碼轉(zhuǎn)換操作。ETL3針對不同類型的數(shù)據(jù)采用不同數(shù)據(jù)加載方式，包括：全表全量加載、按日期全量加載、增量更新加載、歷史拉鏈加載以及邏輯處理加載五種方式。ETL4對各大業(yè)務(wù)主題的數(shù)據(jù)根據(jù)匯總層的要求，實(shí)現(xiàn)數(shù)據(jù)的關(guān)聯(lián)、拆分、篩選、匯總處理。ETL5建立統(tǒng)一接口，根據(jù)需要以視圖方式開放數(shù)據(jù)訪問權(quán)限給其他系統(tǒng)訪問。ETL過程數(shù)據(jù)加載數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換ETL設(shè)計(jì)-增量剝離數(shù)據(jù)加載增量剝離數(shù)據(jù)存儲(chǔ)判斷增量數(shù)據(jù)的方法：源系統(tǒng)定義一個(gè)數(shù)據(jù)被更改的標(biāo)識(shí)（時(shí)間戳）整表比較加載表與歷史全量表來判斷增量數(shù)據(jù)通過分析源系統(tǒng)數(shù)據(jù)庫的日志來判斷增量數(shù)據(jù)對源系統(tǒng)提供的增量/全量數(shù)據(jù)文件進(jìn)行加載識(shí)別增量數(shù)據(jù)并保持15天數(shù)據(jù)獲取區(qū)數(shù)據(jù)加載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)ETL設(shè)計(jì)-數(shù)據(jù)清洗與轉(zhuǎn)換符合清洗和轉(zhuǎn)換規(guī)則的數(shù)據(jù)加載到輔助數(shù)據(jù)表中，無法進(jìn)行清洗時(shí)，程序記錄出錯(cuò)詳細(xì)信息將數(shù)據(jù)源字段根據(jù)數(shù)據(jù)映像表的轉(zhuǎn)換規(guī)則，即代碼進(jìn)行轉(zhuǎn)換，并對空字段賦予適當(dāng)?shù)娜笔≈?，形成?guī)整的數(shù)據(jù)結(jié)構(gòu)。ETL數(shù)據(jù)處理矩陣

表類型分類縮寫PREDLASDMFDMGDM處理方式全量加載方式S-★-★-清空目標(biāo)表，全表導(dǎo)入加載；按日期增量加載方式H-★-★-按時(shí)間戳清除再加載增量，在MAPPING中需要注明主鍵字段；目標(biāo)表按日期字段進(jìn)行清除處理時(shí)間上的數(shù)據(jù)，再進(jìn)行插入數(shù)據(jù)；增量更新方式M-★★★-對于源提供增量接口數(shù)據(jù)，通過比較出變化的數(shù)據(jù)，進(jìn)行目標(biāo)表更新處理，對于源提供全量接口數(shù)據(jù)通過對全量數(shù)據(jù)進(jìn)行比對，得到新增、修改的信息并對目標(biāo)表進(jìn)行相應(yīng)處理；拉鏈加載方式L-★★★-該類型的數(shù)據(jù)表的特點(diǎn)是在原業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)上增加2個(gè)字段（begindate,enddate）,begindate,enddate之間的日期表示該數(shù)據(jù)的有效期。邏輯處理加載方式D---★★該類型的特點(diǎn)是需要對一張或多張?jiān)磉M(jìn)行拆分、合并、分區(qū)等邏輯處理，無法固定加載方式，需要根據(jù)時(shí)間業(yè)務(wù)需要靈活設(shè)計(jì)。注：

★：表示該類數(shù)據(jù)在此層處理，

-：表示該類數(shù)據(jù)在此層不處理ETL任務(wù)劃分原則以數(shù)據(jù)層次、源系統(tǒng)、表作為作業(yè)劃分的最小粒度預(yù)處理PREP02文本加載作業(yè)P01預(yù)處理作業(yè)數(shù)據(jù)加載DLAD01數(shù)據(jù)抽取作業(yè)D02數(shù)據(jù)卸載作業(yè)標(biāo)準(zhǔn)增量SDMS01增量剝離+清洗轉(zhuǎn)換作業(yè)S02清洗轉(zhuǎn)換作業(yè)基礎(chǔ)模型FDMF01全表全量加載作業(yè)F02按日期全量加載作業(yè)F03增量更新加載作業(yè)F04歷史拉鏈加載作業(yè)F05邏輯處理加載作業(yè)公共匯總GDMG01邏輯處理加載作業(yè)其他作業(yè)OTHERO01控制作業(yè)O02備份作業(yè)G02更新接口作業(yè)ETL作業(yè)翻牌策略作業(yè)流分為抽取類、基礎(chǔ)類、匯總類；抽取類作業(yè)流以為數(shù)據(jù)或文件為依賴，事件觸發(fā)調(diào)度，獨(dú)立翻牌；基礎(chǔ)類作業(yè)流以源系統(tǒng)為單位，進(jìn)行小翻牌，各源系統(tǒng)相對獨(dú)立，降低關(guān)聯(lián)影響；基礎(chǔ)類作業(yè)每個(gè)處理過程包括PRE、DLA、SDM、FDM（視具體情況，各處理層不是全部必選）匯總類作業(yè)流存在一些數(shù)據(jù)整合、轉(zhuǎn)換、關(guān)聯(lián)的處理，會(huì)依賴FDM層多張數(shù)據(jù)表加載，單獨(dú)一個(gè)作業(yè)流處理，根據(jù)FDM層數(shù)據(jù)準(zhǔn)備和前一天的處理情況，進(jìn)行大翻牌抽取類翻牌表1表2表3表4…基礎(chǔ)類翻牌核心系統(tǒng)日期信貸系統(tǒng)日期總賬系統(tǒng)日期理財(cái)系統(tǒng)日期其他系統(tǒng)日期匯總類翻牌匯總層日期表5ETL監(jiān)控ETL數(shù)據(jù)質(zhì)量檢查策略數(shù)據(jù)加載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)ODS確保ODS在數(shù)據(jù)處理的各環(huán)節(jié)保證數(shù)據(jù)的一致性、準(zhǔn)確性、完整性數(shù)據(jù)匯總

準(zhǔn)確性：數(shù)據(jù)核對，確保指標(biāo)計(jì)算的準(zhǔn)確性檢核；數(shù)據(jù)整合

一致性：通過對貨幣/核算碼/統(tǒng)計(jì)代碼等檢核，確保數(shù)據(jù)轉(zhuǎn)化后的一致性；

完整性：設(shè)置主/外鍵等約束，確保數(shù)據(jù)完整；準(zhǔn)確性：設(shè)定不同的增量識(shí)別規(guī)則，相互校驗(yàn)，確增量保識(shí)別準(zhǔn)確；

文本加載

完整性：數(shù)據(jù)記錄數(shù)、字段數(shù)統(tǒng)計(jì)，檢查數(shù)據(jù)是否完全加載；有效性：重要信息項(xiàng)設(shè)定檢核規(guī)則（如：身份證號(hào)碼15或18位），

確保數(shù)據(jù)有效性；數(shù)據(jù)獲取區(qū)

文本預(yù)處理

文件級(jí)：檢查數(shù)據(jù)文本名稱、內(nèi)容格式等是否符合標(biāo)準(zhǔn)規(guī)范要求；

記錄級(jí)：檢查數(shù)據(jù)文本記錄的信息量是否與接口需求一致；ETL接口設(shè)計(jì)ODS數(shù)據(jù)獲取->裝載->整合->匯總數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)應(yīng)用CRM-監(jiān)管報(bào)送-風(fēng)險(xiǎn)管理-數(shù)據(jù)服務(wù)數(shù)據(jù)源數(shù)據(jù)抽取平臺(tái)<-各業(yè)務(wù)系統(tǒng)①②③④統(tǒng)一調(diào)度監(jiān)控⑤接口設(shè)計(jì)遵循易理解、易使用、易交流、方便擴(kuò)展的原則;在ODS接口方案中，支持：文件型、依賴型、功能調(diào)用型以及虛擬接口四種類型;ETL備份與恢復(fù)策略

數(shù)據(jù)庫日常備份采用每月在線全量備份的方式，結(jié)合文件的備份，便于出現(xiàn)問題時(shí)能及時(shí)恢復(fù)；每周對文本數(shù)據(jù)進(jìn)行備份，保留1年，數(shù)據(jù)文本在線保留15天；在線源數(shù)據(jù)（數(shù)據(jù)獲取區(qū)）在線保留15天；標(biāo)準(zhǔn)增量區(qū)在線保留1天；每月對程序進(jìn)行全量備份，保留1年；備份策略：當(dāng)前前一周前二周前三周前四周文件備份在線源數(shù)據(jù)數(shù)據(jù)庫備份月備份周備份在線存儲(chǔ)周備份周備份周備份ETL腳本備份月備份數(shù)據(jù)備份程序備份114中糧集團(tuán)經(jīng)營分析平臺(tái)項(xiàng)目115

中糧生化能源事業(yè)部（以下簡稱事業(yè)部）是根據(jù)中糧集團(tuán)“成為生物質(zhì)能源的主要提供者、領(lǐng)導(dǎo)者，糧食生物化工的主要領(lǐng)導(dǎo)企業(yè)”的戰(zhàn)略定位而相應(yīng)設(shè)立的，是中糧集團(tuán)核心業(yè)務(wù)單元之一,中國糧油(香港上市公司,代碼HK0606)的重要組成部分之一。目前事業(yè)部下屬及管理企業(yè)主要包括黑龍江、吉林、河北、天津、上海、安徽、廣西等省份的九家工廠和一家集中銷售公司，未來還將不斷上線或并購若干新的項(xiàng)目。為了更好的利用信息化這個(gè)先進(jìn)的手段，業(yè)務(wù)分析、統(tǒng)計(jì)、查詢、報(bào)表、告警的需求迫切需要一種先進(jìn)的數(shù)據(jù)倉庫技術(shù)來整合事業(yè)部各個(gè)業(yè)務(wù)系統(tǒng)，例如財(cái)務(wù)系統(tǒng)、人力系統(tǒng)、生產(chǎn)系統(tǒng)、銷售系統(tǒng)和報(bào)表系統(tǒng)等，通過抽取、轉(zhuǎn)換、清洗、加載技術(shù)進(jìn)行數(shù)據(jù)的梳理、口徑的統(tǒng)一、編碼的統(tǒng)一、標(biāo)準(zhǔn)化的建立來建設(shè)數(shù)據(jù)中心，從而為數(shù)據(jù)應(yīng)用如分析、統(tǒng)計(jì)、查詢、報(bào)表、告警甚至今后的數(shù)據(jù)挖掘提供強(qiáng)大的科學(xué)、可靠、準(zhǔn)確的數(shù)據(jù)支撐。

項(xiàng)目背景EDW系統(tǒng)建設(shè)遠(yuǎn)景

基礎(chǔ)設(shè)施

以數(shù)據(jù)為中心

以應(yīng)用為中心

以服務(wù)為中心整體規(guī)劃分布實(shí)施重點(diǎn)實(shí)施務(wù)求實(shí)效精細(xì)化管理數(shù)字管理文化業(yè)務(wù)創(chuàng)新管理及變革的促進(jìn)信息資產(chǎn)EDW企業(yè)級(jí)數(shù)據(jù)倉庫實(shí)施策略能力發(fā)展管理能力運(yùn)營能力自我認(rèn)識(shí)與發(fā)現(xiàn)的能力業(yè)務(wù)洞查管理變革持續(xù)管理提升敏捷成熟完備可計(jì)劃可預(yù)測決策管理運(yùn)營數(shù)據(jù)治理運(yùn)營服務(wù)EDW整體技術(shù)藍(lán)圖實(shí)施方法論BI工具平臺(tái)EDW技術(shù)平臺(tái)EDW數(shù)據(jù)模型企業(yè)戰(zhàn)略績效管理(BSC)成本控制運(yùn)營管理財(cái)務(wù)監(jiān)控人力資源分析物流分析產(chǎn)品分析生產(chǎn)分析庫存分析6S分析供應(yīng)鏈分析財(cái)務(wù)分析銷售分析業(yè)務(wù)策略量化應(yīng)用標(biāo)桿管理（PDCA)經(jīng)營分析平臺(tái)總體實(shí)施內(nèi)容數(shù)據(jù)倉庫數(shù)據(jù)集市Decision-PanelFreeQuery數(shù)據(jù)上報(bào)工具SMARTBIETLMSDTSOracle9iMSAnalysisServices前端展示平臺(tái)系統(tǒng)資源管理、系統(tǒng)配置數(shù)據(jù)管理、系統(tǒng)權(quán)限管理、系統(tǒng)界面布局高級(jí)管理層決策儀表盤多維分析業(yè)務(wù)管理層業(yè)務(wù)操作層綜合查詢企業(yè)報(bào)表數(shù)量統(tǒng)計(jì)經(jīng)濟(jì)分析模型監(jiān)控及預(yù)警數(shù)據(jù)挖掘EXCEL導(dǎo)入ETL技術(shù)數(shù)據(jù)倉庫技術(shù)J2EE架構(gòu)元數(shù)據(jù)管理技術(shù)SOA架構(gòu)XML\WEBServices數(shù)據(jù)倉庫方法論數(shù)據(jù)治理方法論數(shù)據(jù)存儲(chǔ)技術(shù)PORTAL技術(shù)經(jīng)分功能框架經(jīng)分技術(shù)架構(gòu)經(jīng)分應(yīng)用框架財(cái)務(wù)銷售庫存生產(chǎn)物流人力資源經(jīng)營分析平臺(tái)總體技術(shù)架構(gòu)源系統(tǒng)層ETL層ODS+DWETL層數(shù)據(jù)集市層應(yīng)用層展現(xiàn)層外部數(shù)據(jù)清洗合并轉(zhuǎn)換..轉(zhuǎn)換MESEXCEL……用友U8用友NCReportMartQuerytMartdecisionMartalarmMartminingMart……企業(yè)報(bào)表信息門戶應(yīng)用發(fā)布電子地圖監(jiān)控預(yù)警數(shù)量統(tǒng)計(jì)經(jīng)濟(jì)分析數(shù)據(jù)挖掘虛擬雇員發(fā)布及展現(xiàn)&領(lǐng)導(dǎo)決策平臺(tái)DWODS業(yè)務(wù)系統(tǒng)直接抽取

系統(tǒng)管理平臺(tái)數(shù)據(jù)源元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)商業(yè)元數(shù)據(jù)管理運(yùn)維管理平臺(tái)應(yīng)用安全管理系統(tǒng)監(jiān)控管理ETL技術(shù)數(shù)據(jù)倉庫技術(shù)J2EE架構(gòu)元數(shù)據(jù)管理技術(shù)SOA架構(gòu)XML\WEBServices數(shù)據(jù)倉庫方法論數(shù)據(jù)治理方法論數(shù)據(jù)存儲(chǔ)技術(shù)PORTAL技術(shù)數(shù)據(jù)管理區(qū)應(yīng)用服務(wù)區(qū)系統(tǒng)管理區(qū)數(shù)據(jù)倉庫服務(wù)器OLAP/ETL服務(wù)器應(yīng)用服務(wù)器元數(shù)據(jù)管理工作站磁盤陣列業(yè)務(wù)主機(jī)決策領(lǐng)導(dǎo)層管理人員中心交換機(jī)路由器&防火墻(內(nèi)部網(wǎng))各分廠用戶ETL過程事業(yè)用戶數(shù)據(jù)上傳用戶管理人員管理應(yīng)用層VPN/InternetIntranet/Internet經(jīng)營分析平臺(tái)系統(tǒng)物理構(gòu)架移動(dòng)用戶建立事業(yè)部與利潤點(diǎn)的信息專亨通道分廠或外部數(shù)據(jù)上傳用戶肇東數(shù)據(jù)上傳前置機(jī)配置目錄FTPServer榆樹公主嶺廣西……數(shù)據(jù)上傳用戶管理人員數(shù)據(jù)導(dǎo)出打包文件數(shù)據(jù)加密文件上傳安全認(rèn)證文件安全性驗(yàn)證數(shù)據(jù)完整性驗(yàn)證目錄管理打包文件命名規(guī)范文件打包規(guī)范文件目錄規(guī)范數(shù)據(jù)加密規(guī)范數(shù)據(jù)上傳規(guī)范安全及認(rèn)證管理VPN/InternetETL綜合分析系統(tǒng)數(shù)據(jù)處理服務(wù)器文件還原解密各分廠及其它遠(yuǎn)程數(shù)據(jù)上報(bào)單位生化能源事業(yè)部本部FTPEDW