CTG-MBOSS EDA-ODS：總體規(guī)范V1.0.doc

CTG-MBOSS規(guī)范1.0 EDA-ODS：總體規(guī)范版本1.0中國電信集團公司2007年7月版權所有，注意保密第 3 頁 共 96 頁BSS分總冊：BSS規(guī)范CTG-MBOSS 規(guī)范目 錄1文檔說明11.1編制說明11.2適用范圍21.3起草單位21.4解釋權21.5版權22系統綜述32.1驅動力32.1.1業(yè)務發(fā)展的需要32.1.2數據共享的需要42.1.3數據質量提升的需要52.2系統定位62.3業(yè)務目標72.3.1統一準實時數據共享82.3.2生產經營數據質量檢查82.3.3統一客戶視圖的提供及展示82.3.4生產經營報表統一的提供和展示92.3.5關鍵生產經營績效指標與經營風險的監(jiān)控92.3.6生產經營過程所需跨系統數據的批量計算92.4系統目標102.4.1數據整合102.4.2數據共享102.4.3數據應用112.4.4數據質量管控123系統架構133.1數據架構133.1.1接口數據層133.1.2整合數據層143.1.3匯總數據層143.1.4數據共享層143.1.5元數據層153.2功能架構153.3技術架構174系統邊界184.1ODS與生產系統184.1.1ODS和生產系統對比分析184.1.2ODS系統和生產系統功能邊界劃分204.2ODS與EDW224.2.1ODS和EDW對比分析224.2.2ODS系統和EDW區(qū)別與功能邊界劃分244.2.3ODS與EDW在企業(yè)數據架構下有效協作275系統演進285.1系統演進總體論述285.2系統演進階段285.2.1數據整合階段285.2.2應用開發(fā)階段325.2.3完善提升階段376附錄396.1主要編制人員396.2術語解釋406.3ODS業(yè)務應用406.3.1業(yè)務應用藍圖416.3.2售前環(huán)節(jié)416.3.3售中環(huán)節(jié)456.3.4售后環(huán)節(jié)516.3.5其他綜合應用566.4系統實施演進表67版權所有，注意保密73E-O：總體規(guī)范 1 文檔說明1.1 編制說明中國電信集團明確提出了客戶品牌統領市場經營工作的要求，在市場經營的各項具體工作中細化和逐步落實客戶化經營思路，適應以“產品”為中心向以“客戶”為中心的轉變，要求在市場經營的各項具體工作中細化和逐步落實客戶化經營思路。市場的轉型對于IT系統固化以客戶為中心的市場計劃、營銷策劃、銷售、服務、統計分析等工作提出了更高的要求，需要相關流程的變更和優(yōu)化，需要建立和應用360度客戶統一視圖信息，在各環(huán)節(jié)中應用客戶統一視圖信息，同時實現信息在各渠道和前后端的進一步共享。在客戶化流程的設計中我們發(fā)現客戶服務和營銷過程越來越依賴于頻繁地查詢集成的客戶信息，這些都需要跨系統運營數據的支撐；同時，由于各系統數據標準不一致，存在同樣信息在不同系統中取值不同的現象，帶來了信息的不一致，無法取得一致的統計分析數據，不利于企業(yè)的精確化管理，給業(yè)務發(fā)展帶來一定影響。中國電信ITSP1.0和CTG-MBOSS規(guī)范中提出的ODS（運營數據倉儲）對于解決以上問題是及時和有效的。ODS是中國電信IT架構中的重要組成部分，在ITSP1.0和CTG-MBOSS中已經明確了其在企業(yè)信息化系統中的定位：即數據整合（承載客戶統一視圖）、數據共享、跨系統數據應用和數據質量檢查。隨著CRM、計費、服務開通、資源等核心IT系統建設的逐步開展，尤其是CRM、計費省集中系統的逐步到位以及客戶品牌統領市場經營工作對IT固化生產流程的迫切要求，使得ODS成為承載企業(yè)數據模型及數據標準，并據此整合各系統數據以實現企業(yè)跨系統數據共享，提供跨系統數據應用，提升數據質量的最好承載平臺。因此，作為對中國電信CTG-MBOSS系列規(guī)范的必要補充，統一各省和系統集成商的認識，解決以上問題，我們制定了中國電信運營數據倉儲（簡稱ODS）相關規(guī)范，主要包含CTG-MBOSS EDA-ODS：總體規(guī)范V1.0（以下簡稱ODS總體規(guī)范）和CTG-MBOSS EDA-ODS：技術規(guī)范V1.0（以下簡稱ODS技術規(guī)范）。ODS總體規(guī)范主要介紹了ODS系統建設驅動力、業(yè)務目標、系統目標、系統架構、系統邊界及系統演進等方面的內容，明確指出了中國電信ODS系統的定位、功能及與其它周邊系統的邊界劃分原則。ODS總體規(guī)范從定位和系統邊界上指導各省ODS的建設。ODS技術規(guī)范主要介紹了ODS系統技術架構、功能框架、系統總體及各功能域各自的技術特點和技術要求以及ODS系統實施與系統部署等方面的內容。ODS技術規(guī)范從技術和實施角度指導各省ODS的建設。與此規(guī)范配套下發(fā)的還有中國電信EDM模型3.0，其中BSS部分設計了細化到具有物理模型特征的邏輯模型，此部分作為ODS規(guī)范的重要組成部分，直接作為ODS整合層數據模型的實施要求。1.2 適用范圍本規(guī)范適用的范圍為中國電信集團公司。1.3 起草單位本規(guī)范起草單位為中國電信集團公司。（參加ODS總體規(guī)范編寫的人員名單見附錄一。）1.4 解釋權本規(guī)范的解釋權屬于中國電信集團公司。1.5 版權本規(guī)范的版權屬于中國電信集團公司。2 系統綜述2.1 驅動力客戶品牌統領的市場經營工作帶來了市場經營工作的巨大轉型，對信息化也提出了很高的轉型要求，IT系統需要圍繞市場轉型，實現從單一產品為中心向客戶為中心的支撐能力的提升?？蛻羝放平y領的市場經營工作對統一的客戶信息視圖提出了更高的要求，要求企業(yè)的銷售品策劃、銷售過程、服務過程，以及后續(xù)的統計、分析、考核等均以客戶為中心開展，這就要求在新老系統并存支撐市場經營工作快速轉型的過程中，有一個跨系統的數據共享平臺，支撐售前、售中、售后不同環(huán)節(jié)的跨系統數據應用需求。同時，精確管理也迫切要求實現統一的運營數據標準，提高數據共享的效率和準確率，提升數據質量；另外，通過數據的整合與信息的有效共享，也將推動企業(yè)業(yè)務流程逐步優(yōu)化。在ITSP的指導下，各省MBOSS系統按照“松耦合、模塊化、可配置”的基本架構原則進行實施，以靈活快速支撐不斷變化的市場需求?！八神詈稀睂I(yè)化的架構設計原則要求建設MSS、BSS、OSS、EDA四大系統域以及各子系統，多個系統間數據的共享及跨系統數據的應用支撐就成為IT本身面臨和需要解決的重要問題，需要在IT架構中明確采用跨系統的數據共享平臺予以解決，依據ITSP規(guī)劃及CTG-MBOSS規(guī)范指導，企業(yè)運營數據倉儲（ODS）便是這樣一個跨系統的數據共享平臺。具體講，ODS的建設驅動力主要是解決業(yè)務發(fā)展的需要、IT系統間數據共享的需要及企業(yè)數據質量提升的需要等三個方面要求，具體如下所述：2.1.1 業(yè)務發(fā)展的需要1. 客戶品牌經營的需要 1）客戶品牌經營需要IT系統能夠向營銷、銷售、服務人員提供360度的統一數據視圖數據，如客戶數據，產品數據，但是這些核心數據目前分布在多個IT系統中，EDW系統雖然整合了部分數據，但是其整合頻率較低，不能夠滿足數據實時/準實時性數據提供的要求；2）客戶品牌經營要求針對客戶進行完整的的評價，如客戶積分、信用度計算等，并將結果應用到客戶營銷、銷售和服務工作中，但是目前客戶數據分散在的多個IT系統中，難以對于客戶進行完整的評價。2. 精確管理的需要 1）精確管理需要對市場計劃、營銷活動與銷售、服務等售前、售中、售后關鍵環(huán)節(jié)（如訂單、工單、故障單等）的執(zhí)行情況進行統計與監(jiān)控，及時反應企業(yè)的生產經營效率； 2）精確管理要求IT系統能夠迅速的反映各部門、各團隊或各渠道關于用戶發(fā)展數、業(yè)務量、收入等關鍵績效指標，通過KPI和實際完成狀況的關聯，完成對各部門、團隊或渠道的KPI指標進行統計、監(jiān)控，其結果也能反饋給管理部門以便迅速地做下一步決策； 3）精確管理要求實現統一企業(yè)經營報表的數據源，形成統一的指標體系，并通過統一的企業(yè)數據應用門戶，實現企業(yè)經營報表的統一提供和展示，實現“商務領航”等客戶品牌統計指標體系，實現客戶、產品、量收等多維度的報表需求，解決CRM、計費等生產系統分別按照本系統的自有數據向外提供經營報表，數據標準不統一造成同一統計指標的差異性等問題。要解決以上業(yè)務發(fā)展問題，都需要時效性較高的跨系統數據支撐，現存的任何一個單獨IT系統都無法有效支撐以上業(yè)務發(fā)展的需要，因此，迫切需要建設一個準實時地整合跨系統數據的IT系統，而企業(yè)運營數據倉儲（ODS）便是有效支撐以上業(yè)務發(fā)展需求的一個很好的承載平臺。2.1.2 數據共享的需要1. 快速支撐跨系統應用的需要越來越多的跨系統應用需要同時來自多個生產系統的數據進行支撐。將各生產系統數據準實時整合到統一的數據共享平臺上，有利于提高數據共享能力，實現跨系統應用的快速支撐。同時，基于準實時數據共享平臺實現一些基于企業(yè)運營數據的統計、監(jiān)控及計算類的應用，同時可減輕生產系統的壓力，使生產系統專注于生產運營，提高專業(yè)化運作效率，降低企業(yè)運營成本。2. 促進企業(yè)數據模型（EDM）落地企業(yè)數據模型描述了中國電信在業(yè)務運營和管理中所涉及的核心業(yè)務概念和關系，作為企業(yè)的數據標準指導各個應用系統的數據模型統一設計，從根本上保證系統之間數據理解的一致性。由于很多系統建設早于企業(yè)數據模型的發(fā)布，很多系統在實施中以功能建設為主，對數據模型的設計不夠重視，造成各系統間概念不統一、數據模型不一致，數據共享困難，數據轉換存在信息丟失。因此，建設基于企業(yè)數據模型的數據共享平臺，形成中國電信企業(yè)層面的統一信息視圖，并在整合各生產系統數據過程中，發(fā)現生產系統數據模型與企業(yè)數據模型的差異，能夠促進各系統的數據模型逐漸統一到企業(yè)數據模型。3. 形成企業(yè)標準數據，解決多系統間網狀數據接口的需要目前，同一數據分散在多個不同的生產系統（如CRM、計費、渠道、10000號等）中，數據通過系統之間的網狀接口進行共享，由于不同的數據提供系統存在不同的數據接口標準，這種方式增加了接口的復雜性，增加了生產系統的接口負擔并造成了升級困難。因此建立企業(yè)數據共享平臺，明確數據的唯一來源，形成企業(yè)的標準數據，保證數據的完整性、準確性和一致性，一方面通過ODS為各系統提供集中一致的數據共享服務，另一方面能降低系統間網狀接口的復雜性，減少單一系統的升級改造對周邊系統的影響，降低生產系統的生產壓力。2.1.3 數據質量提升的需要伴隨著各生產系統的建設和改造，由于種種歷史原因，存在生產系統之間數據不一致，數據質量差等問題。為了解決以上的數據質量問題，通過建立企業(yè)數據共享平臺，在收斂全企業(yè)生產系統運營數據的過程中，采用數據檢查稽核手段及完善的數據管控流程，能夠發(fā)現源生產系統的數據質量問題，以促進各生產系統數據質量的持續(xù)提升。2.2 系統定位為解決業(yè)務發(fā)展中的存在的問題，需要建設一個跨系統的數據共享平臺以支撐售前、售中、售后不同環(huán)節(jié)的業(yè)務流程對跨系統數據應用需求。ODS便是這樣一個跨系統運營數據的共享平臺，承接操作環(huán)境和分析環(huán)境。早在中國電信的ITSP規(guī)劃及CTG-MBOSS規(guī)劃中已經明確了建設ODS（運營數據倉儲），使之成為企業(yè)級跨系統共享數據平臺的必要性，為ODS給出了明確的定位。根據ITSP規(guī)劃，中國電信的企業(yè)信息化體系由管理支撐系統（MSS）、業(yè)務支撐系統（BSS）和運營支撐系統（OSS）組成，統稱為CTG-MBOSS。CTG-MBOSS的基礎架構包括企業(yè)應用整合平臺（EAI）、企業(yè)數據架構(數據模型、運營數據倉儲ODS、數據倉庫)、數據中心、DCN網絡等。如下圖所示：圖21 ODS在ITSP中的定位企業(yè)數據架構建立在統一的數據模型基礎上，由應用系統自有數據庫、運營數據倉儲(ODS)、數據倉庫(DW)三個層面組成。其中ODS存儲按主題分類的面向運營的準實時數據，提供統一的企業(yè)數據視圖；應用系統自有數據庫存儲該應用系統內部實時交易數據；DW存儲面向經營決策分析的歷史數據。在中國電信CTG-MBOSS規(guī)范中，運營數據倉儲(ODS)是企業(yè)數據架構的一個組成，ODS在CTG-MBOSS企業(yè)數據架構的位置如圖所示： 圖22 ODS在CTG-MBOSS中的定位運營數據倉儲(ODS)處于操作環(huán)境和分析環(huán)境之間。ODS對應用系統產生的數據進行清洗、過濾和整合，是提供給企業(yè)數據倉庫高質量數據的重要來源之一，同時為各個應用系統提供近實時的運營報表等跨系統共享數據服務。在企業(yè)運營層，對于需要同時利用跨系統的操作型數據和相關分析結果數據的協作型應用需求，ODS也起到關鍵支撐作用。遵照ITSP和CTG-MBOSS對于ODS的定位，結合企業(yè)目前的業(yè)務發(fā)展需要、數據共享需要及數據質量提升需要，提出ODS系統的目標如下：2.3 業(yè)務目標ODS作為一個獨立的系統，是企業(yè)數據架構的重要組成部分。ODS完成跨系統數據整合后，可實現以下的業(yè)務支撐目標：2.3.1 統一準實時數據共享ODS為企業(yè)各生產系統提供統一共享數據接口，減少系統間相互接口的重復性，降低接口的復雜程度，提高系統間接口效率與質量，同時為跨系統數據應用提供數據支撐。ODS作為中國電信企業(yè)運營數據共享平臺，不僅僅是中國電信各業(yè)務部門和企業(yè)管理層獲取統計數據的唯一來源，同時也是國家公安與安全機構、金融機構等外部機構獲取中國電信運營數據的來源。2.3.2 生產經營數據質量檢查生產經營的數據質量不高對企業(yè)收益、客戶服務和日常業(yè)務流程都會帶來很大影響。ODS作為收納企業(yè)運營數據的倉儲中心，是提升生產運營數據質量的很好承載平臺。ODS系統對抽取到的各生產系統的數據進行屬性合法性檢查、數據表關聯性檢查、數據比對稽核等以發(fā)現數據質量問題，提交給源生產系統做數據的修正后再提交給ODS系統，形成這樣一個數據質量管理的閉環(huán)流程，提升生產經營數據質量。另外ODS通過向其它應用提供經過數據質量提升、標準化后的數據，可促進企業(yè)標準化數據的應用。2.3.3 統一客戶視圖的提供及展示中國電信通過前臺營業(yè)廳、網上客服中心、10000號等多種渠道向客戶提供銷售服務，基于ODS實現統一客戶視圖信息的共享，在各個接觸點上提供及展現統一的客戶視圖信息，支撐營銷、銷售、服務等多個層面快速準確地獲取客戶、產品等信息，能提升客戶感知。ODS能夠支持營銷人員獲得營銷活動所需的市場統計數據和目標客戶數據，以便進行精確化營銷；能夠支撐銷售人員通過統一客戶視圖信息及其統計數據的即席查詢，以發(fā)現客戶需求，增加銷售機會；能夠支撐服務人員通過跨系統數據的支撐，了解客戶全方位的信息，以進行客戶分等級服務等工作。2.3.4 生產經營報表統一的提供和展示目前，CRM、計費等生產系統分別按照本系統的自有數據向外提供經營報表，不同部門對數據的時間和業(yè)務概念理解不一致，造成不同系統的報表有差異，同時手工進行報表拼湊也會造成差異。于是，產生了不同部門有差異不同組織層級有差異的報表，而且大量需求不固定的對外報表提供對生產系統性能影響很大，不利于生產系統核心事務處理的穩(wěn)定運行。因此，通過ODS統一企業(yè)經營報表的數據源，形成統一的指標體系，并通過統一的企業(yè)數據應用門戶，實現企業(yè)經營報表的統一提供和展示，以支撐客戶品牌統領的市場經營工作和精確化管理需要。2.3.5 關鍵生產經營績效指標與經營風險的監(jiān)控全過程的營銷支撐需要對市場計劃、營銷活動、銷售活動等各項工作進行事前預測和事中監(jiān)控，ODS能夠基于從各生產系統搜集到市場營銷與銷售的相關信息，對市場營銷與銷售業(yè)績完成情況進行統計，并通過客戶發(fā)展、業(yè)務量、收入等關鍵績效指標和實際完成狀況的關聯，完成對各部門、團隊或渠道的關鍵生產經營績效指標的監(jiān)控與考核。通過客戶發(fā)展、業(yè)務量、收入等指標與過網數據、競爭數據的關聯，能夠進行風險的預警和監(jiān)控。2.3.6 生產經營過程所需跨系統數據的批量計算為了支撐客戶品牌經營工作的開展，實現基于客戶品牌維度的相關量收指標統計，需要實現“商務領航”和“我的e家”等客戶品牌的標注；為了更好地提升客戶管理能力，需要建立客戶積分、信用度等客戶評價體系；為了加強代理商的管理，發(fā)展優(yōu)質客戶，需要復雜、完善的渠道傭金計算支持。隨著以“產品”為中心向以“客戶”為中心的轉型，越來越多經營過程中所需的基于跨系統大量細節(jié)數據的批量計算功能都需要ODS提供。除以上幾大類的業(yè)務目標外， ODS上還可根據業(yè)務發(fā)展需要不斷擴展其上可支撐的業(yè)務功能，可擴展業(yè)務功能范圍的總體原則需遵循本規(guī)范2.4節(jié)明確的ODS系統目標及第5章“系統邊界”中制定的邊界劃分原則。2.4 系統目標ODS作為企業(yè)運營數據共享平臺，收斂企業(yè)各業(yè)務系統中的運營數據，按照企業(yè)數據模型進行數據整合，提供運營數據共享，支撐跨系統數據的應用，提升數據質量。2.4.1 數據整合ODS在對企業(yè)運營數據的整合過程中能夠實現以下三個統一：1. 統一數據模型由ODS承載企業(yè)數據模型（EDM），促進企業(yè)各系統數據邏輯模型的統一。在MBOSS體系內新建或改造的系統，其數據模型應向ODS所承載的企業(yè)數據模型靠攏。數據模型是各系統及應用間交互的基礎，通過數據模型的統一，減少系統及應用間復雜的轉換，提高系統、應用、接口的效率。2. 統一數據標準ODS中建立標準的數據編碼目錄，源系統數據依據標準的數據編碼目錄，經過整合后進入ODS中存儲，實現企業(yè)數據的標準化與統一存儲。3. 統一數據視圖基于ODS所存儲的數據，支撐實現統一數據視圖，使企業(yè)在客戶、產品、資源等視角獲取到的信息是一致的，提升客戶、企業(yè)內部的管理人員與分析人員對系統的感知。2.4.2 數據共享ODS將各生產系統的數據整合后，在系統上基于整合好的數據提供查詢、報表、計算等應用外，ODS還將系統內整合好的數據以數據共享的形式提供給其它系統。ODS主要提供兩種數據共享方式，一種是準實時批量數據提供；另一種是實時查詢服務。準實時批量數據提供即ODS系統將獲取到的生產系統的數據以準實時提供給其它需要此數據且對數據實時性要求相對不高的生產系統，以減少生產系統間的網狀接口，例如ODS可向號碼百事通提供來自CRM系統的用戶號碼信息等；同時ODS還可將整合好的跨系統數據以準實時批量數據提供方式提供給外系統，以配合外系統支撐部分客戶銷售服務流程等。實時查詢服務即ODS系統通過實時查詢服務方式將ODS系統內整合好的跨系統數據向外系統提供，以配合外系統支撐客戶統一視圖查詢、清單查詢、帳單查詢等功能。同時，對于生產系統間不帶有業(yè)務邏輯交互的實時數據共享（如CRM向ISMP平臺提供用戶狀態(tài)變更數據），隨著ODS的演進過程及ODS共享數據的實時性的提高，只要ODS提供共享數據的實時性能夠滿足外系統對數據實時性的要求，則外系統原來從數據的產生系統獲取共享數據的方式需要改為從ODS獲取需要的共享數據，以減少系統間網狀接口，降低耦合程度，極大減少單一系統升級對其他系統的影響。2.4.3 數據應用ODS整合和承載了企業(yè)細粒度運營數據，可以開發(fā)出很多應用。本著數據與應用相對分離的基本思想，ODS的數據應用需要與ODS的數據承載松耦合設計。數據應用可以由ODS系統基于整合好的數據直接提供，也可以由EDA架構下的其他應用功能提供（在這個場景下ODS提供只數據）。ODS可以直接或者與EDA架構下其他應用功能協作提供以下功能：1. 查詢ODS提供查詢條件不固定的按需查詢功能。用戶可以根據關心的維度查詢ODS中整合好的360度業(yè)務全貌數據，例如，為渠道經理提供完整客戶視圖信息的查詢，為營業(yè)員、10000號客服人員、客戶提供完整客戶視圖查詢、帳單查詢等。2. 固定報表固定報表是維度和指標固定的統計結果的展示，在ODS系統中對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開銷兩方面的考慮，應采用后臺通過作業(yè)的方式提前自動生成，在需要時可以立即展現結果。報表展現應支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數據導出為其他文件類型，如EXCEL、CSV、XML、PDF、WEB存檔文件等；支持報表精確打印控制。ODS中可實現的固定報表有客戶品牌統計報表、企業(yè)數據應用門戶部分報表等。3. 動態(tài)報表基于ODS整合好的數據，可以利用報表工具按使用者關心的維度和指標對數據進行主題性的統計，動態(tài)報表中維度和指標不固定，可在數據模型支持的范圍內變換。在ODS上可實現以下的動態(tài)報表：用戶發(fā)展數、使用量、業(yè)務收入、欠費、競爭統計；市場計劃統計與監(jiān)督；商機的統計和監(jiān)控；KPI考核與監(jiān)控等。4. 計算ODS系統承擔需批量計算的屬性數據的計算功能， ODS系統支持配置業(yè)務規(guī)則，并基于整合好的數據按照設定好的業(yè)務規(guī)則進行屬性數據計算，計算結果不在ODS系統中直接更新，而是由ODS返回到該屬性數據的屬主生產系統，由屬主生產系統完成該屬性數據的更新后再通過數據抽取、加載過程進入ODS之后更新。可在ODS上實現的批量屬性數據的計算包括：客戶品牌標簽的標識、客戶積分計算、客戶信用度計算等。2.4.4 數據質量管控ODS在數據收斂的過程中，能完成以下數據質量管控工作：1） 數據質量校驗根據規(guī)則對ODS所存儲的數據進行一致性、完整性、正確性的校驗，形成數據校驗結果并交付源系統進行修正。2） 數據質量管控通過建立企業(yè)數據的質量標準、數據管控的組織、數據管控的流程，對數據質量進行統一管控，達到數據質量逐步完善。3 系統架構 3.1 數據架構ODS數據層次架構分為接口數據層，整合數據層、匯總數據層、數據共享層、元數據層，如下圖所示：圖 31 ODS系統數據架構對于各數據層次的解釋詳見以下描述。3.1.1 接口數據層接口數據層存儲的是由ODS從源系統采集的數據，其主要特點如下：1. 接口數據層存儲ODS采集的外圍接口數據，如CRM、計費、OSS等系統需采集到ODS的數據。2. 接口數據層的數據模型與外圍系統保持一致。3. 接口數據層的數據與外系統保持實時/準實時同步，對于有實時要求的數據域，應盡可能提高數據的實時性。3.1.2 整合數據層整合數據層存儲是經過數據清洗、轉換、整合后的運營數據，是ODS的核心數據層，其主要特點如下：1. 整合數據層是ODS存儲數據的核心層。2. 整合數據層中的數據原則上是統一編碼格式的數據，可作為企業(yè)數據標準指導外圍系統逐步統一數據格式。3. 存儲數據模型遵循集團EDM模型，按數據主題域體系組織，落實具有物理特征的EDM邏輯模型。3.1.3 匯總數據層匯總數據層存儲根據主題維度形成的企業(yè)統計、匯總數據，其主要特點如下：1. 根據主題報表加工需要，形成匯總數據。2. 按主題存儲匯總數據，通過日期、地區(qū)、產品規(guī)格、銷售品規(guī)格、渠道類型、處理類型等維度對運營數據進行計算后形成匯總數據存儲。3. 可基于原有匯總數據基礎上，根據需要繼續(xù)匯總，形成多級匯總數據。3.1.4 數據共享層數據共享層是基于ODS中收斂整合好的數據，對外提供數據共享，數據共享層原則上不提供數據的存儲，其主要特點如下：1. 數據共享層統一對外系統提供共享數據。2. 對各系統共享的信息盡可能從整合數據層映射、共用。另外，對于市話祥單類數據，其特點是數據量巨大，并且此類數據進入ODS并不需要復雜的轉換與整合，而只是簡單的復制到ODS中；因此如果已有相應系統提供市話祥單數據查詢支撐，從節(jié)約企業(yè)成本、減少數據冗余的角度，該類型數據暫時不采集到ODS系統中，而是直接將其在源系統的存儲數據作為ODS的共享層數據來源之一，邏輯上納入ODS系統。對于用戶量不大的省份可由ODS直接存儲并提供清單數據。3.1.5 元數據層元數據（Metadata）是關于數據的數據，是對數據的含義、功能、來源等進行描述，內容包括在ODS系統建設過程中所產生的有關數據源定義，目標定義，轉換規(guī)則等相關的關鍵數據。元數據可以幫助ODS管理員和ODS的使用人員方便地找到他們所關心的數據。3.2 功能架構遵循CTG-MBOSS功能層次的劃分標準，將ODS系統功能劃分為五大功能域：數據整合域、數據共享域、數據應用域、數據質量管理域、公共管理域，如圖3-2所示：圖 32 ODS系統功能架構數據整合域是ODS系統的關鍵部分，ODS整合域通過多種方式準實時或實時地從源系統抽取并整合數據，抽取數據首先到達ODS的接口數據層進行預處理、轉換等工作進入整合數據層，形成ODS的核心數據，基于整合層的數據進行匯總、計算等工作后形成匯總層數據。數據質量管理域的功能是為了解決目前普遍的數據質量頑疾，通過建立數據質量管理組織機構，制定質量管理規(guī)范，確定相應的工作流程方法，并在系統中實現質量檢查、修正、考核功能，形成數據質量修正閉環(huán)的機制，確保數據質量問題由發(fā)散狀態(tài)轉為收斂狀態(tài)，并隨著時間的積累逐步逼近真實狀態(tài)。利用整合及匯總后的數據，ODS系統自身可直接提供查詢、固定報表、動態(tài)報表及計算等應用。 實現客戶統一視圖信息的查詢、營銷活動的統計與監(jiān)控、業(yè)務量收的統計、KPI指標監(jiān)控與考核及客戶評價批量計算等功能。數據共享域的功能是基于ODS整合后的跨系統數據所形成的統一數據視圖，通過集中的數據/服務提供功能，為其他生產系統提供非自有數據的共享，優(yōu)化目前各業(yè)務應用系統間網狀的數據流轉方式，簡化數據共享邏輯，降低數據不一致的風險。數據共享域的功能包括共享數據服務、共享配置管理和共享權限控制。3.3 技術架構ODS系統總體技術架構如圖3-3所示：圖 33 ODS系統技術架構ODS從周邊的各生產系統包括CRM、計費、網上客服中心、10000號等系統通過ETL或EAI等技術將源數據抽取加載到系統中，通過對源數據的清洗、轉換在ODS中形成遵循企業(yè)數據模型的統一基礎數據，根據應用需要，ODS通過數據處理組件形成各類匯總數據。基于系統中整合與匯總好的數據，ODS系統上以B/S架構直接部署查詢、報表等數據應用，ODS系統還可通過數據服務組件以文件、數據視圖、數據服務等形式向外圍的生產系統提供共享數據，與生產系統配合完成跨域應用支撐。4 系統邊界本章主要對ODS與各生產系統以及EDW之間的邊界進行說明。4.1 ODS與生產系統4.1.1 ODS和生產系統對比分析ODS與生產系統具有以下的共同之處：1 ODS與生產系統這兩個獨立系統均包含當前的細粒度運營數據，其中ODS的整合層的數據模型及各生產系統的數據均以關系型數據模型存儲；2 ODS與生產系統的使用者主要是一線的生產和管理人員；3 ODS和生產系統都是數據質量管理閉環(huán)流程中的一個環(huán)節(jié)。在以上ODS與生產系統的共同處基礎上，ODS與生產系統又具有以下顯著的區(qū)別：細粒度運營數據由生產系統產生，但ODS系統本身并不產生運營數據，ODS中的運營數據是從不同的生產系統加載進入的；在數據質量管理閉環(huán)流程中，ODS負責發(fā)現數據質量問題而生產系統負責解決數據質量問題；ODS給其它系統提供準實時（包括接近于實時）的數據共享服務而生產系統可給其它系統提供實時的數據共享服務；兩個系統在查詢、報表和計算的應用功能方面也具有的不同邊界劃分。ODS與生產系統區(qū)別的詳細對比分析如下表所示:分類ODS系統生產系統數據創(chuàng)建ODS不產生、不修改源數據，可以幫助生產系統計算某些源數據，計算后的源數據不直接在ODS中更新，而是返回給生產系統，由生產系統更新后，ODS再通過數據抽取、加載過程完成本系統內數據更新。生產系統創(chuàng)建數據，為ODS提供數據。數據質量ODS提供提升數據質量管理手段和技術手段，發(fā)現數據質量問題。生產系統對本系統的問題數據進行修正和完善，解決數據質量問題。數據模型ODS承載企業(yè)級數據模型。生產系統承載本系統數據域的企業(yè)級數據模型，生產系統邏輯模型和ODS邏輯模型一致，但生產系統物理模型和ODS物理模型允許有差異。數據共享ODS采集整合各源生產系統數據，ODS中數據實時性較源生產系統有一定延遲，因此ODS向數據實時性要求相對較低的系統或某些系統功能提供跨系統數據的共享服務。隨著ODS演進、ODS數據獲取頻度的提高，ODS可提供數據的實時性不斷提高，則ODS可為更多接近實時共享要求的外系統提供數據共享服務。生產系統間帶有業(yè)務邏輯交互的數據共享由生產系統間完成；生產系統間不帶有業(yè)務邏輯交互的實時數據共享由生產系統間完成。 系統功能查詢：ODS提供基于跨系統數據的查詢應用；報表類：基于跨系統數據的固定或動態(tài)報表由ODS提供；基于單系統數據的、實時性要求不高的固定或動態(tài)報表由ODS提供。計算：批量數據的計算在ODS上完成。查詢：對于生產系統未提供的跨系統數據準實時查詢應用，生產系統可通過與ODS界面集成方式提供該應用；對于生產系統已提供的跨系統數據準實時查詢應用，生產系統有的數據由本系統提供，其他數據通過ODS提供；生產系統需要查詢跨系統數據且實時性要求高，由生產系統之間通過界面集成或者實時服務調用方式實現。報表：基于單系統數據的、實時性要求高的固定或動態(tài)報表由生產系統自身提供。計算：事件驅動的數據計算在生產系統上完成。4.1.2 ODS系統和生產系統功能邊界劃分ODS完成跨系統數據的整合，為生產系統提供準實時數據共享服務、為生產系統提供屬性數據的批量計算、跨系統共享數據的提供、承擔部分報表的功能。因此，ODS的建設對現有生產系統的功能改造及新建的生產系統都會帶來影響，具體說明如下：l 查詢n 對于生產系統未提供的準實時跨系統數據查詢應用，生產系統可通過與ODS界面集成方式提供該應用；n 對于生產系統已提供的跨系統數據準實時查詢應用，生產系統有的數據由本系統提供，其他系統數據由ODS提供；n 生產系統需要查詢跨系統數據且實時性要求高（ODS中的數據還無法滿足這種實時要求），由生產系統之間通過界面集成或者實時服務調用方式實現； l 報表n 基于單生產系統數據的實時性要求比較高的生產經營報表在各生產系統實現，其他生產經營報表提供在ODS系統實現。l 計算n 原則上批量的計算在ODS系統完成，事件驅動的計算在生產系統上完成。n 對于生產系統沒有提供的基于跨系統或單系統數據的屬性數據的批量計算，由ODS系統負責計算生成，之后同步計算結果到生產系統；n 對于生產系統已經提供的基于跨系統或單系統數據的屬性數據的批量計算，在現有生產系統升級或者該功能需要改造時不再承擔此功能，而由ODS系統負責計算生成，之后同步計算結果到生產系統；l 模型n ODS承載企業(yè)級數據模型，生產系統升級和改造時，生產系統模型升級以ODS承載的企業(yè)級數據模型為依據；n 生產系統承載本系統數據域的企業(yè)級數據模型，生產系統邏輯模型和ODS邏輯模型一致，生產系統和ODS物理模型允許有差異。l 共享n 生產系統之間準實時共享數據的接口，改由通過ODS獲取其他系統數據；生產系統之間的已有具有業(yè)務邏輯的實時數據共享接口，保留原有實現方式；n 對MSS系統需要獲取BSS和OSS數據的情況，如果數據在ODS數據范圍內，則從ODS上獲取數據。注：對于生產系統間不帶有業(yè)務邏輯交互的實時數據共享（如CRM向ISMP平臺提供用戶狀態(tài)變更數據），隨著ODS的演進過程及ODS共享數據的實時性的提高，只要ODS提供共享數據的實時性能夠滿足外系統對數據實時性的要求，則外系統原來從數據的產生系統獲取共享數據的方式需要改為從ODS獲取需要的共享數據，以減少系統間網狀接口，降低耦合程度，極大減少單一系統升級對其他系統的影響。4.2 ODS與EDW4.2.1 ODS和EDW對比分析ODS與EDW具有以下的共同之處：1 ODS與EDW都是中國電信EDA數據架構中的獨立系統，兩個系統都不是運營數據的產生系統，兩個系統中的數據都是將各源生產系統的數據通過ETL等過程加載裝入（EDW的大部分數據從ODS加載裝入）；2 ODS中的數據與EDW中的數據一樣都是分層存儲的，都是既有細粒度的數據，同樣也有根據不同維度匯總的匯總數據；3 ODS與EDW上均可以提供基于跨系統整合后數據的報表類應用。在以上ODS與EDW的共同處基礎上，ODS與EDW又具有以下顯著的區(qū)別：ODS與EDW雖然都有細粒度的運營數據，但ODS中細粒度數據的時效性高，并提供給外系統共享，而EDW中的細粒度數據的實效性低，不提供給其它系統共享，只提供給本系統做數據挖掘等功能時使用。ODS與EDW雖然都有匯總數據，ODS中匯總數據的匯總維度相對少，而EDW中的匯總數據的匯總維度多。ODS提供的報表內容主要是對面向生產運營過程數據的統計與監(jiān)控，不會對這些信息做進一步的分析與挖掘，而EDW中的報表內容主要針對跨系統的數據做深層次的分析與挖掘，著重趨勢分析并提供評估與決策功能。ODS與EDW區(qū)別的詳細對比分析如下表所示:分類ODSEDW使用對象一線的生產和管理人員。專業(yè)分析人員和企業(yè)中高層管理人員。系統功能數據整合，為生產系統提供數據共享；查詢功能；例如客戶消費數據查詢等；報表功能：報表內容主要面向生產數據的統計與監(jiān)控；數據質量審計和監(jiān)控管理。報表功能：報表內容主要是面向分析與挖掘，主要支持多個維度的主題分析；趨勢分析與問題發(fā)現；客戶消費行為分析；提供評估與決策功能。數據來源ODS的運營數據來源是生產系統；ODS的部分分析結果數據來源EDW。EDW運營數據主要從ODS獲??；ODS沒有提供的運營數據直接從源系統中提取。數據獲取性能和及時性ODS支持OLTP類型的數據更新，數據更新時間短，性能與及時性都高于EDW。EDW從數據存儲機制、索引等方面保持較好的批量加載速度，但數據實時更新性能與速度差，數據更新時間不足以支持要求及時的報表和事件監(jiān)控需求。數據架構ODS按關注生產運營過程的統計與監(jiān)控為主的生產視角主題域方式來組織數據； ODS主要提供細粒度運營數據，也存在部分粗粒度匯總數據，但維度相對EDW簡單；ODS提供當前數據的統計與監(jiān)控。EDW按關注對歷史數據的深層次分析與挖掘為主的分析視角主題域方式來組織數據； EDW主要提供多層粗粒度匯總數據，且分析維度相對ODS更多；EDW提供歷史數據的展示和分析。數據存儲時間匯總數據保存3年；三戶數據長久保存；詳單數據保存13個月（如果ODS承擔清單查詢數據提供，則ODS需要保存6個月的清單）；其他整合層數據保存13月。匯總數據保存5年；三戶數據長久保存；詳單數據保存2年；其他數據保存3年。數據共享ODS可直接為生產系統提供運營數據的準實時共享服務EDW不為生產系統提供此類數據共享服務。技術特征ODS主要實現大并發(fā)量數據訪問；數據庫優(yōu)化同時側重索引和分區(qū)技術；支持OLTP類型和OLAP類型的數據操作。EDW主要實現小并發(fā)量數據訪問；數據庫優(yōu)化主要側重分區(qū)技術；支持OLAP類型的數據操作。系統的可靠性ODS參與運營，必須保證可靠性。數據倉庫可以允許有更多的脫機時間。系統開放性因為需要與大量不同硬件、數據庫配置的系統相互交換數據，ODS要求比較高的系統開放性。EDW一般只獲取數據，而不提供給其他應用系統以多種模式直接訪問，某些解決方案上也可采用相對封閉的數據庫、軟硬件平臺。4.2.2 ODS系統和EDW區(qū)別與功能邊界劃分ODS主要面向一線的生產和管理人員，為一線的生產和管理人員提供運營相關報表及運營過程的監(jiān)控和考核的功能；EDW主要是面向專業(yè)分析人員和企業(yè)中高層管理人員，為專業(yè)分析人員和企業(yè)中高層管理人員提供多個維度的主題分析和數據挖掘功能。具體說明如下：l 使用角色n ODS主要是面向營業(yè)、渠道等一線生產人員和一線管理人員，是為了實現準實時的跨系統的運營細節(jié)數據的查詢，以獲得細粒度的運營數據展現；n EDW主要是面向專業(yè)分析人員、輔助決策支持人員等，是為了實現基于歷史數據基礎上的分析統計和數據挖掘，以獲得客戶的深層次的特征和市場發(fā)展的規(guī)律。例如渠道人員查詢客戶的全視圖信息由ODS提供數據支撐，而專業(yè)分析人員的經營狀況趨勢分析由數據倉庫系統提供支撐。l 數據來源： n EDW需要的運營數據，如果在ODS中已存在，EDW直接從ODS獲取這部分數據；n 由于ODS與EDW兩者定位差異存在兩者提取的運營數據范圍也存在一定差異，因此存在EDW需要的部分運營數據而ODS不需要的情況，當EDW需要的部分運營數據在ODS中不存在時，則由EDW直接從生產系統獲取這部分數據； n ODS需要的大部分運營數據，直接來源生產系統；n 對ODS中的部分分析結果數據，來源于EDW，例如客戶洞察信息等。l 數據獲取性能和及時性n ODS支持OLTP類型的數據更新，數據更新時間短，性能與及時性都高于EDW。n EDW從數據存儲機制、索引等方面保持較好的批量加載速度，但數據實時更新性能與速度差，數據更新時間不足以支持要求實時的報表和事件監(jiān)控需求。l 數據架構： n ODS按關注生產運營過程的統計與監(jiān)控為主的生產視角主題域方式來組織數據；n ODS提供操作數據的統計，主要提供細粒度運營數據，也存在部分粗粒度匯總數據，但維度相對EDW簡單；n EDW按照關注對歷史數據的深層次分析與挖掘為主的分析視角主題域方式來組織數據；n EDW提供分析數據的展示和分析，主要提供多層粗粒度匯總數據，且分析維度相對ODS更多。l 數據共享n ODS直接為生產系統提供運營數據的準實時共享服務；n EDW一般不直接為生產系統提供數據共享服務。EDW通過分析挖掘產生的客戶洞察信息、營銷客戶群、挽留與贏回客戶群等分析信息只直接提供給ODS，由ODS向生產系統提供此類分析信息的共享。l 數據應用n 數據查詢：ODS提供生產環(huán)境下的數據查詢，而EDW提供分析環(huán)境下的查詢；n 固定報表：ODS提供生產環(huán)境下的生產經營報表，而EDW提供分析環(huán)境下的分析挖掘報表；n 動態(tài)報表：ODS提供面向少量維度的細粒度數據的統計，而EDW提供面向多個維度的多層粗粒度數據的主題統計與分析；n ODS提供績效管理和統計和數據質量審計和監(jiān)控管理；n EDW提供趨勢分析、客戶消費行為分析和評估功能。l 數據存儲n 三戶數據：ODS長久保存，EDW長久保存；n 詳單數據：ODS詳單數據保存13月，EDW詳單數據保存2年；n 匯總數據：ODS保存3年；EDW保存5年；n 其他數據：ODS保存13月；EDW保存3年。l 技術特征n ODS主要實現大并發(fā)量數據訪問，EDW主要實現小并發(fā)量數據訪問；n ODS數據庫優(yōu)化同時側重索引和分區(qū)技術；EDW數據庫優(yōu)化主要側重分區(qū)技術；n ODS支持OLTP類型和OLAP的數據操作，EDW支持OLAP類型的數據操作。l 系統可靠性n ODS參與運營，必須保證可靠性；n 相對于ODS，數據倉庫可以允許有更多的脫機時間。l 系統開放性n 因為需要與大量不同硬件、數據庫配置的系統相互交換數據，ODS要求比較高的系統開放性；n EDW一般只獲取數據，而不提供給其他應用系統以多種模式直接訪問，某些解決方案上也可采用相對封閉的數據庫、軟硬件平臺。4.2.3 ODS與EDW在企業(yè)數據架構下有效協作EDW和ODS是中國電信企業(yè)數據架構的重要組成部分，它們共同構成企業(yè)的統一數據平臺。EDW主要為企業(yè)提供分析決策服務，ODS主要實現企業(yè)數據整合、數據共享和準實時運營監(jiān)控等功能。企業(yè)數據應用門戶作為ODS和EDW的應用展示界面，是訪問ODS和EDW應用的統一入口，通過數據服務或界面集成的方式，將ODS與EDW中不同報表內容整合后統一對外展現。兩個系統有效協作關系如圖4-1所示: 圖 41 ODS與EDW有效協作注：上文/圖中提到的企業(yè)數據門戶是廣義的企業(yè)數據應用門戶，是將企業(yè)所有數據以報表形式統一展現的平臺，而我們現階段通常意義上所講的解決管理層看數問題的企業(yè)數據應用門戶只是上文/圖中提到的企業(yè)數據應用門戶的一階段功能。5 系統演進5.1 系統演進總體論述ODS系統采用統一規(guī)劃、分步實施的方式，在明確系統定位與目標后，將沿著系統目標分階段演進。遵循應用先基礎、后提升，數據先核心、后外圍的模式，對生產運營支撐程度逐步提升，將ODS演進分為三個階段：數據整合階段、應用開發(fā)階段和完善提升階段。圖5-1 系統演進圖5.2 系統演進階段5.2.1 數據整合階段本階段主要工作是ODS完成對BSS域核心數據的整合工作，形成ODS的基礎架構，達到ODS支撐生產運營的基本要求，本階段需實現的主要目標包括：1. 建立初步的ODS體系架構，整合BSS域的全部核心數據、OSS域中的工單與112故障單及商務領航平臺的訂購相關數據；2. 形成客戶統一視圖，解決客戶品牌經營亟需的運營需求；3. 建立初步的數據共享中心，為對數據實時性要求相對不高的系統提供數據共享服務；4. 完成部分其它生產系統未實現的批量計算功能；5. 實現初步的數據質量管理功能，建立起初步的數據質量管理閉環(huán)流程。5.2.1.1 業(yè)務應用演進細項演進說明售前支撐u 新增數據共享應用 客戶統一視圖部分數據提供售后支撐u 新增數據共享應用 為號碼百事通等對數據實時性要求相對不高的系統提供數據u 新增計算應用 商務領航品牌標簽的標識 客戶積分計算其他綜合應用u 新增固定報表 客戶品牌