數(shù)據(jù)管理知識體系學(xué)習(xí)教案

1、會計學(xué)1數(shù)據(jù)管理知識數(shù)據(jù)管理知識(zh shi)體系體系第一頁，共19頁。無數(shù)據(jù)管理意識無數(shù)據(jù)管理意識 被動作出反應(yīng)被動作出反應(yīng)主動防范風(fēng)險主動防范風(fēng)險 預(yù)知問題預(yù)知問題1、企業(yè)能確定取得的成果。2、數(shù)據(jù)質(zhì)量成為所有業(yè)務(wù)流程的組成部分3、數(shù)據(jù)質(zhì)量成為整個企業(yè)的基礎(chǔ)。4、完全自動化的流程。5、重點關(guān)注防范數(shù)據(jù)缺陷6、數(shù)據(jù)管理成為業(yè)務(wù)流程、而非技術(shù)工具7、制定更全面的、涉及企業(yè)范圍內(nèi)的計劃。8、整個企業(yè)內(nèi)部文化發(fā)生重大轉(zhuǎn)變1、可以防范風(fēng)險，降低不確定性2、數(shù)據(jù)管理在組織內(nèi)部開始發(fā)揮關(guān)鍵作用，數(shù)據(jù)不會再被低估，而被視作可以有效幫助企業(yè)做出更優(yōu)決策的資產(chǎn)。3、一致、準(zhǔn)確、可靠的數(shù)據(jù)為企業(yè)帶來更多可見的

2、實際價值4、擁有相應(yīng)的支持高級別數(shù)據(jù)檢視和更正的必要技術(shù)5、開始批準(zhǔn)數(shù)據(jù)管理項目1、理解、意識到數(shù)據(jù)問題對企業(yè)成功至關(guān)重要。2、當(dāng)出現(xiàn)重大問題和項目偏差時才做出反應(yīng)3、非集成的、無關(guān)聯(lián)的點狀解決問題1、各部門間很少針對數(shù)據(jù)問題合作2、信息不共享、數(shù)據(jù)多頭管理3、各部門數(shù)據(jù)質(zhì)量參差不齊4、沒有規(guī)范的數(shù)據(jù)管理制度和策略.。風(fēng)險回報：風(fēng)險回報：風(fēng)險非常高，因為數(shù)據(jù)風(fēng)險非常高，因為數(shù)據(jù)問題會導(dǎo)致客戶流失（問題會導(dǎo)致客戶流失（因為錯誤理解客戶價值因為錯誤理解客戶價值）或不合理的業(yè)務(wù)流程）或不合理的業(yè)務(wù)流程；雖然沒有制定相關(guān)的；雖然沒有制定相關(guān)的流程來分析孰是孰非，流程來分析孰是孰非，但還是有一些人成為替

3、但還是有一些人成為替罪羊，從而受到指責(zé)；罪羊，從而受到指責(zé)；回報低，除了個別員工回報低，除了個別員工或部門或部門(bmn)(bmn)獲得成功獲得成功之外，企業(yè)幾乎沒有從之外，企業(yè)幾乎沒有從數(shù)據(jù)管理中獲得任何收數(shù)據(jù)管理中獲得任何收益益風(fēng)險回報：風(fēng)險高，缺少數(shù)據(jù)整合，整個(zhngg)公司范圍內(nèi)數(shù)據(jù)的整體準(zhǔn)確性不佳；偶爾會進行數(shù)據(jù)分析和更正，但涉及跨職能時仍然會發(fā)生一些數(shù)據(jù)錯誤；回報有限，大多數(shù)都不確切；多數(shù)投資回報都是通過個體流程或員工個體取得的；公司層面幾乎沒有意識到數(shù)據(jù)管理的好處風(fēng)險回報風(fēng)險回報：風(fēng)險中等到較低風(fēng)險中等到較低；通過提供更優(yōu)信息提高了決策的可靠性，從而降低了風(fēng)險；回回報中等到高

4、報中等到高；數(shù)據(jù)質(zhì)量的改進通常只局限于某個職能領(lǐng)域，然后隨著更多員工加入其中，質(zhì)量改進會拓展到更寬泛的領(lǐng)域風(fēng)險回報：風(fēng)險回報：風(fēng)險低風(fēng)險低；數(shù)據(jù)完全統(tǒng)一，并被嚴(yán)格控制，幫助企業(yè)維護有關(guān)客戶、前景、庫存、產(chǎn)品的高質(zhì)量信息；回報高回報高；在全公司范圍內(nèi)執(zhí)行數(shù)據(jù)管理，有助于更好地理解企業(yè)當(dāng)前的業(yè)務(wù)概況，幫助管理層提高在根據(jù)數(shù)據(jù)做決策時的信心第1頁/共19頁第二頁，共19頁。數(shù)數(shù)據(jù)據(jù)管管理理現(xiàn)現(xiàn)狀狀沒有獨立的數(shù)據(jù)沒有獨立的數(shù)據(jù)管理組織管理組織數(shù)據(jù)生命周期數(shù)據(jù)生命周期管理不完整管理不完整缺少數(shù)據(jù)缺少數(shù)據(jù)活動管理活動管理無企業(yè)級架構(gòu)無企業(yè)級架構(gòu)各部門用戶各部門用戶對數(shù)據(jù)架構(gòu)對數(shù)據(jù)架構(gòu)沒有共識沒有共識缺乏數(shù)

5、據(jù)質(zhì)量缺乏數(shù)據(jù)質(zhì)量管理體系管理體系缺乏數(shù)據(jù)標(biāo)準(zhǔn)缺乏數(shù)據(jù)標(biāo)準(zhǔn)缺少主數(shù)據(jù)管理缺少主數(shù)據(jù)管理數(shù)據(jù)安全數(shù)據(jù)安全認(rèn)識不全認(rèn)識不全無元數(shù)據(jù)管理無元數(shù)據(jù)管理第2頁/共19頁第三頁，共19頁。第3頁/共19頁第四頁，共19頁。External External worldworldERPInternetInternetEnterpriseEnterprisetransactionstransactions Data acquisitionData acquisitionReference DataReference DataApplicationsApplicationsERP(tx)Integration/

6、Integration/transformation transformation layerlayerODSPrimary storage managementPrimary storage managementHistoricalHistoricalReference Reference DataDataA l t e r n a t i v estorageData worehouseData deliveryData deliveryExplorationwarehouseData miningwarehouseStatisticalStatisticalAnalysisAnalysi

7、seCommCRMERP(rpt)Bus IntDSSDSSapplicationsapplicationsfinancefinancesalessalesMarketingMarketingAccountingAccountingDataDatamartsmartsRaw detailed dataRaw detailed dataExternal dataOperational Operational reportsreports第4頁/共19頁第五頁，共19頁。CIFCIF體系結(jié)構(gòu)體系結(jié)構(gòu) MDMD體系結(jié)構(gòu)體系結(jié)構(gòu)準(zhǔn)備(zhnbi)數(shù)據(jù)倉（ODS）DWDMDMDM。E/R模型。主題域。事

8、務(wù)級細節(jié)。斜線以上(yshng)限制終端用戶存取。多維設(shè)計和其他設(shè)計。根據(jù)業(yè)務(wù)功能的數(shù)據(jù)集市設(shè)計。匯總與細節(jié)級數(shù)據(jù)。在一個數(shù)據(jù)庫實例中可能有多個數(shù)據(jù)集市準(zhǔn)備數(shù)據(jù)區(qū)數(shù)據(jù)倉庫總線數(shù)據(jù)倉庫總線原子DM原子DM聚集DM聚集DM個人DM。多維的。事務(wù)和匯總數(shù)據(jù)。數(shù)據(jù)集市單主題域（即事實表）。在一個數(shù)據(jù)庫實例中可能有多個數(shù)據(jù)集市。E/R設(shè)計或平面文件。斜線以上禁止終端用戶存取用戶存取事務(wù)第5頁/共19頁第六頁，共19頁。蒱獲編輯調(diào)入應(yīng)用程序在線訪問與其他應(yīng)用程序集成（企業(yè)數(shù)據(jù)）調(diào)入數(shù)據(jù)倉庫使用頻率下載近線數(shù)據(jù)存儲存檔存儲數(shù)據(jù)生命周期EDW數(shù)據(jù)倉庫&其他系統(tǒng)映射映射(yn(yngshgsh) )第6頁/共1

9、9頁第七頁，共19頁。軟件接口標(biāo)準(zhǔn)數(shù)據(jù)接口SQL ServerOracleDB2XML 其他應(yīng)用接口SOAPWeb ServiceCOM/DCOMJ2EE架構(gòu)基礎(chǔ)數(shù)據(jù)元標(biāo)準(zhǔn)元數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)定義標(biāo)準(zhǔn)數(shù)據(jù)交換格式標(biāo)準(zhǔn)數(shù)據(jù)交換代碼格式規(guī)范服務(wù)請求標(biāo)準(zhǔn)服務(wù)請求應(yīng)答格式規(guī)范會話協(xié)議標(biāo)準(zhǔn)文檔交換格式標(biāo)準(zhǔn)電子政務(wù)業(yè)務(wù)流程設(shè)計防范通用指南XML業(yè)務(wù)表示規(guī)范電子公文交換處理規(guī)范電子公文存檔管理規(guī)范電子公文處理流程規(guī)范電子政務(wù)業(yè)務(wù)生成的通用技術(shù)要求信息分類編碼標(biāo)準(zhǔn)GB/T 2260GB/T 4750GB/T 6565GB/T 7027GB/T 7635共享數(shù)據(jù)集標(biāo)準(zhǔn)認(rèn)證、授權(quán)和訪問控制標(biāo)準(zhǔn)訪問控制及認(rèn)證技術(shù)標(biāo)準(zhǔn)資源

10、訪問控制的標(biāo)準(zhǔn)化安全技術(shù)標(biāo)準(zhǔn)加密算法、數(shù)字簽名及PKI標(biāo)準(zhǔn)安全體系結(jié)構(gòu)標(biāo)準(zhǔn)安全等級評估標(biāo)準(zhǔn)分布式系統(tǒng)的安全系統(tǒng)管理規(guī)范第7頁/共19頁第八頁，共19頁。業(yè)務(wù)建模領(lǐng)域概念建模邏輯建模物理建模模型模型(mxng)(mxng)設(shè)計階段設(shè)計階段模型模型(mxng)(mxng)建設(shè)方法建設(shè)方法維度建模法維度建模法范式范式(fn sh)(fn sh)建模法建模法 數(shù)據(jù)倉庫n財務(wù)賬戶n活動n理賠n事件n收付費處n理n資金供應(yīng)n角色n實物n地理位置n協(xié)議n產(chǎn)品實體建模法實體建模法實體事件實體說明第8頁/共19頁第九頁，共19頁。 SOA基本(jbn)結(jié)構(gòu)SOA服務(wù)(fw)協(xié)作服務(wù)代理服務(wù)提供者服務(wù)消費者服務(wù)描

11、述服務(wù)描述服務(wù)發(fā)現(xiàn)發(fā)布綁定、調(diào)用企業(yè)數(shù)據(jù)服務(wù)總線企業(yè)數(shù)據(jù)服務(wù)總線服務(wù)管理其他服務(wù)協(xié)作服務(wù)應(yīng)用服務(wù)訪問服務(wù)表示服務(wù)流程服務(wù)信息服務(wù)公共服務(wù)第9頁/共19頁第十頁，共19頁。數(shù)據(jù)交換服務(wù)(fw)1應(yīng)用應(yīng)用(yngyng)(yngyng)功能功能數(shù)據(jù)交換服務(wù)2數(shù)據(jù)交換服務(wù)3數(shù)據(jù)交換服務(wù)4數(shù)據(jù)交換服務(wù)企業(yè)數(shù)據(jù)服務(wù)總線企業(yè)數(shù)據(jù)服務(wù)總線 元數(shù)據(jù)管理安全管理平臺監(jiān)控 數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)采集任務(wù)調(diào)度數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制ETLETL工具工具全量復(fù)制增量復(fù)制全量抽取增量抽取數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)裝載數(shù)據(jù)存儲專用數(shù)據(jù)采集接口第10頁/共19頁第十一頁，共19頁。一級數(shù)據(jù)交換平臺一級數(shù)據(jù)交換平臺(pngti)一級業(yè)務(wù)(y

12、w)系統(tǒng)一級業(yè)務(wù)系統(tǒng)二級業(yè)務(wù)系統(tǒng)二級業(yè)務(wù)系統(tǒng)二級數(shù)據(jù)交換平臺二級數(shù)據(jù)交換平臺三級業(yè)務(wù)系統(tǒng)三級業(yè)務(wù)系統(tǒng)三級數(shù)據(jù)交換平臺三級數(shù)據(jù)交換平臺一級ODS/DW二級ODS/DW橫向交換橫向交換橫向交換橫向交換橫向交換橫向交換縱縱向向交交換換第11頁/共19頁第十二頁，共19頁。元數(shù)據(jù)管理平臺元數(shù)據(jù)管理平臺(pngti)(pngti)系統(tǒng)管理數(shù)據(jù)規(guī)則(guz)管理變化管理業(yè)務(wù)邏輯管理數(shù)據(jù)展現(xiàn)管理 外部數(shù)據(jù)靈活查詢多維分析報表數(shù)據(jù)挖掘數(shù)據(jù)利用數(shù)據(jù)利用業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫ODSEDWDM第12頁/共19頁第十三頁，共19頁。原始數(shù)據(jù)數(shù)據(jù)(shj)集目標(biāo)(mbio)數(shù)據(jù)預(yù)處理數(shù)據(jù)(shj)模式知識發(fā)現(xiàn)發(fā)現(xiàn)集成集成

13、選擇選擇預(yù)處預(yù)處理理數(shù)據(jù)數(shù)據(jù)挖掘挖掘解釋解釋評價評價運運用用數(shù)據(jù)準(zhǔn)備階段數(shù)據(jù)準(zhǔn)備階段數(shù)據(jù)挖數(shù)據(jù)挖掘階段掘階段分析評分析評價階段價階段 數(shù)據(jù)挖掘類型預(yù)測型分類回歸分析時序分析描述型關(guān)聯(lián)分析聚類分析基本步驟基本步驟挖掘類型挖掘類型 挖掘算法挖掘算法關(guān)聯(lián)算法娶類算法決策樹算法Nave Bayes算法神經(jīng)網(wǎng)絡(luò)算法順序分析和聚類分析算法時序算法線性回歸算法邏輯回歸算法第13頁/共19頁第十四頁，共19頁。P8.建立內(nèi)容管理系統(tǒng) P10.建立企業(yè)數(shù)據(jù)模型 P11. 優(yōu)化整合企業(yè)物理模型P12.定義企業(yè)數(shù)據(jù)架構(gòu) P13.建立企業(yè)級數(shù)據(jù)交換平臺 數(shù)據(jù)管控參考數(shù)據(jù)和主數(shù)據(jù)數(shù)據(jù)服務(wù)管理數(shù)據(jù)庫運營管理元數(shù)據(jù)管理數(shù)據(jù)

14、管理十大領(lǐng)域文檔和內(nèi)容管理 數(shù)據(jù)研發(fā)P9.建立數(shù)據(jù)標(biāo)準(zhǔn) P15.建立數(shù)據(jù)管理機制 數(shù)據(jù)質(zhì)量管理數(shù)據(jù)架構(gòu)管理數(shù)據(jù)安全管理P5.實施ECIF實現(xiàn)客戶主數(shù)據(jù)管理 P16.建立元數(shù)據(jù)管理平臺 P14.建立數(shù)據(jù)質(zhì)量管理平臺P1.在E服務(wù)平臺增加數(shù)據(jù)服務(wù)功能P2.研究和設(shè)計總分一體化的數(shù)據(jù)服務(wù)架構(gòu)P3.建立總部決策支持系統(tǒng) P4.建立分公司銷售分析系統(tǒng) P6.建立面向業(yè)務(wù)部門的深度數(shù)據(jù)分析平臺 P7.建立客戶信息深度挖掘平臺 P15.建立數(shù)據(jù)管理機制 第14頁/共19頁第十五頁，共19頁。人/流程(lichng)/策略/規(guī)劃建立(jinl) 元數(shù)據(jù)管理機制建立(jinl) 企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)IT技術(shù)/系統(tǒng)E-p平臺數(shù)據(jù)服務(wù)建立企業(yè)數(shù)據(jù)交換平臺建立企業(yè)數(shù)據(jù)模型建立企業(yè)數(shù)據(jù)架構(gòu)設(shè)計一體化數(shù)據(jù)服務(wù)架構(gòu)建立決策支持系統(tǒng)優(yōu)化整合企業(yè)數(shù)據(jù)模型建立銷售管理系統(tǒng)建立數(shù)據(jù)挖掘系統(tǒng)建立數(shù)據(jù)分析平臺建立元數(shù)據(jù)管理平臺建立元數(shù)據(jù)質(zhì)量管理平臺建立文檔、內(nèi)容管理平臺建立數(shù)據(jù)安全管理機制建立數(shù)據(jù)災(zāi)難備份系統(tǒng)建立ECIF系統(tǒng)建立ACRM系統(tǒng)建立OCRM系統(tǒng)第15頁/共19頁第十六頁，共19頁。17大集中管理流程化管理虛擬化管理自動化管理*資料(zlio)來源：流程化管理(gunl)-ITIL（IT基礎(chǔ)架構(gòu)庫）第16頁/共19頁第十七頁，共19頁。n服務(wù)服務(wù)(fw)(fw)提供流