數(shù)據(jù)安全管理規(guī)范優(yōu)質(zhì)資料

數(shù)據(jù)安全管理規(guī)范優(yōu)質(zhì)資料(可以直接使用，可編輯優(yōu)質(zhì)資料，歡迎下載）

文件名稱數(shù)據(jù)安全管理規(guī)范優(yōu)質(zhì)資料(可以直接使用，可編輯優(yōu)質(zhì)資料，歡迎下載）數(shù)據(jù)安全管理規(guī)范密級(jí)文件編號(hào)版本號(hào)編寫部門編寫人審批人發(fā)布時(shí)間業(yè)務(wù)平臺(tái)安全管理制度—數(shù)據(jù)安全管理規(guī)范XXXXXXXXXXX公司網(wǎng)絡(luò)運(yùn)行維護(hù)事業(yè)部目錄一.概述1二.數(shù)據(jù)信息安全管理制度22.1數(shù)據(jù)信息安全存儲(chǔ)要求22.2數(shù)據(jù)信息傳輸安全要求22.3數(shù)據(jù)信息安全等級(jí)變更要求32.4數(shù)據(jù)信息安全管理職責(zé)3三.數(shù)據(jù)信息重要性評(píng)估43.1數(shù)據(jù)信息分級(jí)原則43.2數(shù)據(jù)信息分級(jí)4四.數(shù)據(jù)信息完整性安全規(guī)范5五.數(shù)據(jù)信息保密性安全規(guī)范65.1密碼安全65.2密鑰安全6六.數(shù)據(jù)信息備份與恢復(fù)86.1數(shù)據(jù)信息備份要求8備份要求8備份執(zhí)行與記錄86.2備份恢復(fù)管理8概述數(shù)據(jù)信息安全，顧名思義就是要保護(hù)數(shù)據(jù)信息免受威脅的影響，從而確保業(yè)務(wù)平臺(tái)的連續(xù)性，縮減業(yè)務(wù)平臺(tái)有可能面臨的風(fēng)險(xiǎn)，為整個(gè)業(yè)務(wù)平臺(tái)部門的長(zhǎng)期正常運(yùn)行提供強(qiáng)有力的保障。為加強(qiáng)數(shù)據(jù)信息的安全管理，保證數(shù)據(jù)信息的可用性、完整性、機(jī)密性，特制定本規(guī)范。數(shù)據(jù)信息安全管理制度數(shù)據(jù)信息安全存儲(chǔ)要求數(shù)據(jù)信息存儲(chǔ)介質(zhì)包括：紙質(zhì)文檔、語(yǔ)音或其錄音、輸出報(bào)告、硬盤、磁帶、光存儲(chǔ)介質(zhì)。存儲(chǔ)介質(zhì)管理須符合以下規(guī)定：包含重要、敏感或關(guān)鍵數(shù)據(jù)信息的移動(dòng)式存儲(chǔ)介質(zhì)須專人值守。刪除可重復(fù)使用存儲(chǔ)介質(zhì)上的機(jī)密及絕密數(shù)據(jù)時(shí)，為了避免在可移動(dòng)介質(zhì)上遺留信息，應(yīng)該對(duì)介質(zhì)進(jìn)行消磁或徹底的格式化，或者使用專用的工具在存儲(chǔ)區(qū)域填入無(wú)用的信息進(jìn)行覆蓋。任何存儲(chǔ)媒介入庫(kù)或出庫(kù)需經(jīng)過授權(quán)，并保留相應(yīng)記錄，方便審計(jì)跟蹤。數(shù)據(jù)信息傳輸安全要求在對(duì)數(shù)據(jù)信息進(jìn)行傳輸時(shí)，應(yīng)該在風(fēng)險(xiǎn)評(píng)估的基礎(chǔ)上采用合理的加密技術(shù)，選擇和應(yīng)用加密技術(shù)時(shí)，應(yīng)符合以下規(guī)范：必須符合國(guó)家有關(guān)加密技術(shù)的法律法規(guī)；根據(jù)風(fēng)險(xiǎn)評(píng)估確定保護(hù)級(jí)別，并以此確定加密算法的類型、屬性，以及所用密鑰的長(zhǎng)度；聽取專家的建議，確定合適的保護(hù)級(jí)別，選擇能夠提供所需保護(hù)的合適的工具。機(jī)密和絕密信息在存儲(chǔ)和傳輸時(shí)必須加密，加密方式可以分為：對(duì)稱加密和不對(duì)稱加密。機(jī)密和絕密數(shù)據(jù)的傳輸過程中必須使用數(shù)字簽名以確保信息的不可否認(rèn)性，使用數(shù)字簽名時(shí)應(yīng)符合以下規(guī)范：充分保護(hù)私鑰的機(jī)密性，防止竊取者偽造密鑰持有人的簽名。采取保護(hù)公鑰完整性的安全措施，例如使用公鑰證書；確定簽名算法的類型、屬性以及所用密鑰長(zhǎng)度；用于數(shù)字簽名的密鑰應(yīng)不同于用來(lái)加密內(nèi)容的密鑰。數(shù)據(jù)信息安全等級(jí)變更要求數(shù)據(jù)信息安全等級(jí)經(jīng)常需要變更.一般地，數(shù)據(jù)信息安全等級(jí)變更需要由數(shù)據(jù)資產(chǎn)的所有者進(jìn)行，然后改變相應(yīng)的分類并告知信息安全負(fù)責(zé)人進(jìn)行備案.。對(duì)于數(shù)據(jù)信息的安全等級(jí)，應(yīng)每年進(jìn)行評(píng)審，只要實(shí)際情況允許，就進(jìn)行數(shù)據(jù)信息安全等級(jí)遞減，這樣可以降低數(shù)據(jù)防護(hù)的成本，并增加數(shù)據(jù)訪問的方便性。數(shù)據(jù)信息安全管理職責(zé)數(shù)據(jù)信息涉及各類人員的職責(zé)如下：擁有者：擁有數(shù)據(jù)的所有權(quán)；擁有對(duì)數(shù)據(jù)的處置權(quán)利；對(duì)數(shù)據(jù)進(jìn)行分類與分級(jí)；指定數(shù)據(jù)資產(chǎn)的管理者/維護(hù)人；管理者：被授權(quán)管理相關(guān)數(shù)據(jù)資產(chǎn)；負(fù)責(zé)數(shù)據(jù)的日常維護(hù)和管理；訪問者：在授權(quán)的范圍內(nèi)訪問所需數(shù)據(jù)；確保訪問對(duì)象的機(jī)密性、完整性、可用性等；數(shù)據(jù)信息重要性評(píng)估數(shù)據(jù)信息分級(jí)原則分級(jí)合理性數(shù)據(jù)信息和處理數(shù)據(jù)信息分級(jí)的系統(tǒng)輸應(yīng)當(dāng)仔細(xì)考慮分級(jí)范疇的數(shù)量以及使用這種分級(jí)所帶來(lái)的好處。過于復(fù)雜的分級(jí)規(guī)劃可能很累贅，而且使用和執(zhí)行起來(lái)也不經(jīng)濟(jì)實(shí)用。分級(jí)周期性數(shù)據(jù)信息的分級(jí)具有一定的保密期限.對(duì)于任何數(shù)據(jù)信息的分級(jí)都不一定自始至終固定不變，可按照一些預(yù)定的策略發(fā)生改變。如果把安全保護(hù)的分級(jí)劃定得過高就會(huì)導(dǎo)致不必要的業(yè)務(wù)開支。數(shù)據(jù)信息分級(jí)數(shù)據(jù)信息應(yīng)按照價(jià)值、法律要求及對(duì)組織的敏感程度和關(guān)鍵程度進(jìn)行分級(jí),分級(jí)等級(jí)如下：等級(jí)標(biāo)識(shí)數(shù)據(jù)信息價(jià)值定義5很高重要程度很高，其安全屬性破壞后可能導(dǎo)致系統(tǒng)受到非常嚴(yán)重的影響4高重要程度較高，其安全屬性破壞后可能導(dǎo)致系統(tǒng)受到比較嚴(yán)重的影響3中重要程度較高，其安全屬性破壞后可能導(dǎo)致系統(tǒng)受到中等程度的影響2低重要程度較低，其安全屬性破壞后可能導(dǎo)致系統(tǒng)受到較低程度的影響1很低重要程度都很低，其安全屬性破壞后可能導(dǎo)致系統(tǒng)受到很低程度的影響，甚至忽略不計(jì)數(shù)據(jù)信息完整性安全規(guī)范數(shù)據(jù)信息完整性應(yīng)符合以下規(guī)范：確保所采取的數(shù)據(jù)信息管理和技術(shù)措施以及覆蓋范圍的完整性。應(yīng)能夠檢測(cè)到網(wǎng)絡(luò)設(shè)備操作系統(tǒng)、主機(jī)操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)和應(yīng)用系統(tǒng)的系統(tǒng)管理數(shù)據(jù)、鑒別信息和重要業(yè)務(wù)數(shù)據(jù)在傳輸過程中完整性受到破壞，并在檢測(cè)到完整性錯(cuò)誤時(shí)采取必要的恢復(fù)措施；應(yīng)能夠檢測(cè)到網(wǎng)絡(luò)設(shè)備操作系統(tǒng)、主機(jī)操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)和應(yīng)用系統(tǒng)的系統(tǒng)管理數(shù)據(jù)、鑒別信息和重要業(yè)務(wù)數(shù)據(jù)在存儲(chǔ)過程中完整性受到破壞，并在檢測(cè)到完整性錯(cuò)誤時(shí)采取必要的恢復(fù)措施；具備完整的用戶訪問、處理、刪除數(shù)據(jù)信息的操作記錄能力，以備審計(jì)。在數(shù)據(jù)信息時(shí)，經(jīng)過不安全網(wǎng)絡(luò)的（例如INTERNET網(wǎng)），需要對(duì)傳輸?shù)臄?shù)據(jù)信息提供完整性校驗(yàn)。應(yīng)具備完善的權(quán)限管理策略，支持權(quán)限最小化原則、合理授權(quán)。數(shù)據(jù)信息保密性安全規(guī)范數(shù)據(jù)信息保密性安全規(guī)范用于保障業(yè)務(wù)平臺(tái)重要業(yè)務(wù)數(shù)據(jù)信息的安全傳遞與處理應(yīng)用，確保數(shù)據(jù)信息能夠被安全、方便、透明的使用。為此，業(yè)務(wù)平臺(tái)應(yīng)采用加密等安全措施開展數(shù)據(jù)信息保密性工作：應(yīng)采用加密效措施實(shí)現(xiàn)重要業(yè)務(wù)數(shù)據(jù)信息傳輸保密性；應(yīng)采用加密實(shí)現(xiàn)重要業(yè)務(wù)數(shù)據(jù)信息存儲(chǔ)保密性；加密安全措施主要分為密碼安全及密鑰安全。密碼安全密碼的使用應(yīng)該遵循以下原則：不能將密碼寫下來(lái)，不能通過電子郵件傳輸；不能使用缺省設(shè)置的密碼；不能將密碼告訴別人；如果系統(tǒng)的密碼泄漏了，必須立即更改；密碼要以加密形式保存，加密算法強(qiáng)度要高，加密算法要不可逆；系統(tǒng)應(yīng)該強(qiáng)制指定密碼的策略，包括密碼的最短有效期、最長(zhǎng)有效期、最短長(zhǎng)度、復(fù)雜性等；如果需要特殊用戶的口令（比如說(shuō)UNIX下的Oracle），要禁止通過該用戶進(jìn)行交互式登錄；在要求較高的情況下可以使用強(qiáng)度更高的認(rèn)證機(jī)制，例如：雙因素認(rèn)證；（要定時(shí)運(yùn)行密碼檢查器檢查口令強(qiáng)度，對(duì)于保存機(jī)密和絕密信息的系統(tǒng)應(yīng)該每周檢查一次口令強(qiáng)度；其它系統(tǒng)應(yīng)該每月檢查一次。密鑰安全密鑰管理對(duì)于有效使用密碼技術(shù)至關(guān)重要。密鑰的丟失和泄露可能會(huì)損害數(shù)據(jù)信息的保密性、重要性和完整性。因此，應(yīng)采取加密技術(shù)等措施來(lái)有效保護(hù)密鑰，以免密鑰被非法修改和破壞；還應(yīng)對(duì)生成、存儲(chǔ)和歸檔保存密鑰的設(shè)備采取物理保護(hù)。此外，必須使用經(jīng)過業(yè)務(wù)平臺(tái)部門批準(zhǔn)的加密機(jī)制進(jìn)行密鑰分發(fā)，并記錄密鑰的分發(fā)過程，以便審計(jì)跟蹤，統(tǒng)一對(duì)密鑰、證書進(jìn)行管理。密鑰的管理應(yīng)該基于以下流程：密鑰產(chǎn)生：為不同的密碼系統(tǒng)和不同的應(yīng)用生成密鑰；密鑰證書：生成并獲取密鑰證書；密鑰分發(fā)：向目標(biāo)用戶分發(fā)密鑰，包括在收到密鑰時(shí)如何將之激活；密鑰存儲(chǔ)：為當(dāng)前或近期使用的密鑰或備份密鑰提供安全存儲(chǔ)，包括授權(quán)用戶如何訪問密鑰；密鑰變更：包括密鑰變更時(shí)機(jī)及變更規(guī)則，處置被泄露的密鑰；密鑰撤銷：包括如何收回或者去激活密鑰，如在密鑰已被泄露或者相關(guān)運(yùn)維操作員離開業(yè)務(wù)平臺(tái)部門時(shí)（在這種情況下，應(yīng)當(dāng)歸檔密鑰）；密鑰恢復(fù)：作為業(yè)務(wù)平臺(tái)連續(xù)性管理的一部分，對(duì)丟失或破壞的密鑰進(jìn)行恢復(fù)；密鑰歸檔：歸檔密鑰，以用于歸檔或備份的數(shù)據(jù)信息；密鑰銷毀：密鑰銷毀將刪除該密鑰管理下數(shù)據(jù)信息客體的所有記錄，將無(wú)法恢復(fù)，因此，在密鑰銷毀前，應(yīng)確認(rèn)由此密鑰保護(hù)的數(shù)據(jù)信息不再需要。數(shù)據(jù)信息備份與恢復(fù)數(shù)據(jù)信息備份要求備份要求數(shù)據(jù)信息備份應(yīng)采用性能可靠、不宜損壞的介質(zhì)，如磁帶、光盤等。備份數(shù)據(jù)信息的物理介質(zhì)應(yīng)注明數(shù)據(jù)信息的來(lái)源、備份日期、恢復(fù)步驟等信息，并置于安全環(huán)境保管。一般情況下對(duì)服務(wù)器和網(wǎng)絡(luò)安全設(shè)備的配置數(shù)據(jù)信息每月進(jìn)行一次的備份，當(dāng)進(jìn)行配置修改、系統(tǒng)版本升級(jí)、補(bǔ)丁安裝等操作前也要進(jìn)行備份；網(wǎng)絡(luò)設(shè)備配置文件在進(jìn)行版本升級(jí)前和配置修改后進(jìn)行備份。運(yùn)維操作員應(yīng)確保對(duì)核心業(yè)務(wù)數(shù)據(jù)每日進(jìn)行增量備份，每周做一次包括數(shù)據(jù)信息的全備份。業(yè)務(wù)系統(tǒng)將進(jìn)行重大系統(tǒng)變更時(shí)，應(yīng)對(duì)核心業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)信息的全備份。備份執(zhí)行與記錄備份執(zhí)行過程應(yīng)有詳細(xì)的規(guī)劃和記錄，包括備份主體、備份時(shí)間、備份策略、備份路徑、記錄介質(zhì)（類型）等。備份恢復(fù)管理運(yùn)維操作員應(yīng)根據(jù)不同業(yè)務(wù)系統(tǒng)實(shí)際擬定需要測(cè)試的備份數(shù)據(jù)信息以及測(cè)試的周期。對(duì)于因設(shè)備故障、操作失誤等造成的一般故障，需要恢復(fù)部分設(shè)備上的備份數(shù)據(jù)信息，遵循異常事件處理流程，由運(yùn)維操作員負(fù)責(zé)恢復(fù)。應(yīng)盡可能地定期檢查和測(cè)試備份介質(zhì)和備份信息，保持其可用性和完整性，并確保在規(guī)定的時(shí)間內(nèi)恢復(fù)系統(tǒng)。應(yīng)確定重要業(yè)務(wù)信息的保存期以及其它需要永久保存的歸檔拷貝的保存期?；謴?fù)程序應(yīng)定期接受檢查及測(cè)試，以確保在恢復(fù)操作程序所預(yù)定的時(shí)間內(nèi)完成?；謴?fù)策略應(yīng)該根據(jù)數(shù)據(jù)信息的重要程度和引入新數(shù)據(jù)信息的頻率設(shè)定備份的頻率（如每日或每周、增量或整體）。

中國(guó)移動(dòng)通信企業(yè)標(biāo)準(zhǔn)QB-X-001-2006

中國(guó)移動(dòng)通信企業(yè)標(biāo)準(zhǔn)QB-X-001-2006

中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)

中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案（v1.5）

發(fā)布2006版本號(hào)：1.52006發(fā)布2006版本號(hào)：1.52006實(shí)施中國(guó)移動(dòng)通信發(fā)布

目錄TOC\o”1-4”\h\z\u1。概述51。1。背景51.2。適用范圍51。3。引用標(biāo)準(zhǔn)51.4。起草單位51。5。解釋權(quán)51.6。符號(hào)和縮略語(yǔ)61。7。術(shù)語(yǔ)和定義62?？傮w說(shuō)明82。1。數(shù)據(jù)質(zhì)量含義82。2。主要內(nèi)容82.3.系統(tǒng)建設(shè)目標(biāo)92.4.實(shí)施建議93.數(shù)據(jù)質(zhì)量管理需求113。1.數(shù)據(jù)質(zhì)量問題113.2。系統(tǒng)實(shí)施定位154.系統(tǒng)架構(gòu)164。1.系統(tǒng)體系164。2.源系統(tǒng)層164.3.存儲(chǔ)層174。3.1。元數(shù)據(jù)存儲(chǔ)174。3.1。1.業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)184.3。1。3.管理元數(shù)據(jù)224。3。2.質(zhì)量稽核過程信息224。4。功能層234.4.1.元數(shù)據(jù)支撐功能234.4。1。1.元數(shù)據(jù)維護(hù).同步檢查244。4。1。3.模板化導(dǎo)入/導(dǎo)出254。4。1.4。實(shí)體查詢264。4。1。5.過程查詢264。4.1。6.實(shí)體活力分析264。4。1.7.過程追溯2.過程追蹤274.4.2。質(zhì)量檢查基本功能274.4。2.1.數(shù)據(jù)稽核274。4.2。2.處理過程檢查304.4。2。3.處理環(huán)境檢查304.4.2。4?；伺渲霉芾?14.4.3.輔助功能3。告警處理314.4。3.2。問題管理314。4。3。3。數(shù)據(jù)質(zhì)量知識(shí)庫(kù)管理324.4.3。4.系統(tǒng)管理334。5.應(yīng)用層334.5。1。信息地圖334。5.2。數(shù)據(jù)質(zhì)量評(píng)估344.5.3。接口數(shù)據(jù)異常分析364.5.4.指標(biāo)一致性分析404。5.5。需求變更影響評(píng)估434.5。6.項(xiàng)目管理支撐應(yīng)用455。數(shù)據(jù)質(zhì)量管理流程475.1。概述475。2.管理機(jī)制475.2。1。組織機(jī)構(gòu)職責(zé)475。2.1.1.角色與職責(zé)475.2.2.相關(guān)外部組織505。3.質(zhì)量控制流程505.3.1.需求變更控制流程515。3。2.數(shù)據(jù)質(zhì)量問題處理流程525.3.3。指標(biāo)口徑及業(yè)務(wù)規(guī)則問題處理流程545.3.4。元數(shù)據(jù)變更維護(hù)流程575.3.5.錯(cuò)誤數(shù)據(jù)維護(hù)流程585.4.質(zhì)量檢查605.4.1。管理流程檢查605。4。2.元數(shù)據(jù)質(zhì)量檢查615。4.2。1.及時(shí)性檢查615。4。2.2.完整性檢查625.4.2。3.準(zhǔn)確性檢查626.系統(tǒng)管理636。1。概述636。2.系統(tǒng)安全管理646.2。1。系統(tǒng)的監(jiān)控與告警646。2.1.1。監(jiān)控的對(duì)象646。2。1。2。監(jiān)控的要求6.監(jiān)控的實(shí)施656.2.2.系統(tǒng)登錄認(rèn)證管理656.2.2。1。帳戶管理6。登錄管理666。2.3.系統(tǒng)審計(jì)與日志管理666。2。3.1。操作日志管理666。2。3.2。系統(tǒng)日志管理676.2。4。系統(tǒng)備份與恢復(fù)管理676.2。4。1.數(shù)據(jù)備份686.2。4.2。數(shù)據(jù)恢復(fù)696.3.系統(tǒng)版本管理706.4.系統(tǒng)訪問控制管理716。4.1.用戶管理716.4。2。角色管理726。4.3.權(quán)限管理73

概述背景中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)（以下簡(jiǎn)稱為省級(jí)經(jīng)營(yíng)分析系統(tǒng)）經(jīng)過多年建設(shè)，已經(jīng)初步完成數(shù)據(jù)整合工作。隨著省級(jí)經(jīng)營(yíng)分析系統(tǒng)價(jià)值的不斷顯現(xiàn)與穩(wěn)步提升，以及IT系統(tǒng)安全管理、風(fēng)險(xiǎn)內(nèi)部控制等重大管理舉措的實(shí)施，各省公司對(duì)省級(jí)經(jīng)營(yíng)分析系統(tǒng)如何保障數(shù)據(jù)質(zhì)量提出了更高要求。為更好地及時(shí)分析、查找、評(píng)估和解決省級(jí)經(jīng)營(yíng)分析系統(tǒng)各環(huán)節(jié)的數(shù)據(jù)質(zhì)量問題，保證數(shù)據(jù)質(zhì)量的穩(wěn)定可靠，需要構(gòu)建一套經(jīng)營(yíng)分析系統(tǒng)內(nèi)部控制的管理體系，為數(shù)據(jù)質(zhì)量管理工作提供強(qiáng)有力的系統(tǒng)支撐。

適用范圍本方案適用于中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)的建設(shè).引用標(biāo)準(zhǔn)《中國(guó)移動(dòng)經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理規(guī)范V1。0》《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量控制指導(dǎo)意見》起草單位本方案由中國(guó)移動(dòng)通信負(fù)責(zé)起草。解釋權(quán)本方案的增補(bǔ)、修訂及解釋權(quán)屬中國(guó)移動(dòng)通信.符號(hào)和縮略語(yǔ)縮寫英文描述中文描述BOSSBusiness&OperationSupportSystem業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)ODSOperationalDataStore操作型數(shù)據(jù)存儲(chǔ)CORBACommonObjectRequestBrokerArchitecture公共對(duì)象請(qǐng)求代理體系結(jié)構(gòu)CORBAIDLCORBAInterfaceDefinitionLanguageCORBA接口定義語(yǔ)言CWMCommonWarehouseMetamodel公共倉(cāng)庫(kù)元模型ETLExtraction＆Transformation&Loading抽取、轉(zhuǎn)換和加載JMIJavaMetadataInterfaceJava元數(shù)據(jù)接口OLAPOn—lineAnalysisProcess在線分析處理XMIXMLMetadataInterchangeXML元數(shù)據(jù)交換

術(shù)語(yǔ)和定義序號(hào)名詞解釋1元數(shù)據(jù)是描述經(jīng)營(yíng)分析系統(tǒng)中數(shù)據(jù)的數(shù)據(jù),為數(shù)據(jù)質(zhì)量管理等業(yè)務(wù)功能提供信息支撐。2技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)包含關(guān)于經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)技術(shù)層面的信息,描述了數(shù)據(jù)源、ETL、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市、OLAP、一經(jīng)接口等子系統(tǒng)的數(shù)據(jù)特征。3業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)用業(yè)務(wù)術(shù)語(yǔ)、名稱、定義來(lái)描述經(jīng)營(yíng)分析系統(tǒng)中的各種業(yè)務(wù)信息，供業(yè)務(wù)人員使用。4管理元數(shù)據(jù)管理元數(shù)據(jù)主要是指經(jīng)營(yíng)分析系統(tǒng)日常建設(shè)過程中,涉及開發(fā)、運(yùn)維等管理流程的基本信息。5CWMCWM標(biāo)準(zhǔn)是OMG組織定義的數(shù)據(jù)倉(cāng)庫(kù)和相關(guān)系統(tǒng)的國(guó)際元數(shù)據(jù)標(biāo)準(zhǔn),CWM標(biāo)準(zhǔn)的目的在于使得數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能軟件的元數(shù)據(jù)在分布異構(gòu)的數(shù)據(jù)分析工具，數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，元數(shù)據(jù)存儲(chǔ)等系統(tǒng)之間交互。6信息地圖信息地圖是在元數(shù)據(jù)基本功能基礎(chǔ)上對(duì)經(jīng)營(yíng)分析基礎(chǔ)元數(shù)據(jù)信息的全局、多視角的展現(xiàn)?？傮w說(shuō)明數(shù)據(jù)質(zhì)量含義在不同時(shí)期，經(jīng)營(yíng)分析系統(tǒng)對(duì)數(shù)據(jù)質(zhì)量有不同的概念和標(biāo)準(zhǔn)，早期對(duì)數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)基本上是以提高數(shù)據(jù)準(zhǔn)確性為出發(fā)點(diǎn)，但隨著系統(tǒng)功能和定位的不斷延伸,用戶關(guān)心的重點(diǎn)逐步由數(shù)據(jù)準(zhǔn)確性擴(kuò)展至合法性、一致性等方面，這些內(nèi)容也屬于數(shù)據(jù)質(zhì)量的范疇。根據(jù)中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)前期的建設(shè)經(jīng)驗(yàn),經(jīng)營(yíng)分析系統(tǒng)關(guān)注的數(shù)據(jù)質(zhì)量問題主要包括以下幾個(gè)方面內(nèi)容：數(shù)據(jù)質(zhì)量的六大基本要素是否滿足，所謂六大基本要素是指：完整性：主要包括實(shí)體缺失、屬性缺失、記錄缺失和字段值缺失四個(gè)方面；唯一性：指主鍵唯一和候選鍵唯一兩個(gè)方面；一致性：指統(tǒng)一的數(shù)據(jù)來(lái)源、冗余存儲(chǔ)和統(tǒng)一的數(shù)據(jù)口徑;精確度:指計(jì)量誤差、度量單位等方面的精確度;合法性：主要包括格式、類型、域值和業(yè)務(wù)規(guī)則的有效性;及時(shí)性：指數(shù)據(jù)刷新、修改和提取等的及時(shí)性和快速性。如何從用戶視角衡量數(shù)據(jù)質(zhì)量,重視用戶對(duì)數(shù)據(jù)的滿意程度；如何通過建立有效的數(shù)據(jù)質(zhì)量管理體系保障和提升數(shù)據(jù)的價(jià)值。主要內(nèi)容本方案貫穿了省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)的全過程。描述了經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理需求及范圍，描述了數(shù)據(jù)質(zhì)量管理體系總體應(yīng)用框架，明確了數(shù)據(jù)質(zhì)量管理系統(tǒng)中的元數(shù)據(jù)功能，確定了數(shù)據(jù)質(zhì)量管理功能和流程。本方案的附件《附件1省級(jí)經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理功能實(shí)現(xiàn)》同時(shí)給出了元數(shù)據(jù)管理相關(guān)建設(shè)步驟的參考，包括省級(jí)元數(shù)據(jù)庫(kù)存儲(chǔ)邏輯模型、省級(jí)元數(shù)據(jù)庫(kù)的訪問接口實(shí)現(xiàn)方法、元數(shù)據(jù)管理工具選型參考標(biāo)準(zhǔn)等，為元數(shù)據(jù)管理功能的建設(shè)提供參考依據(jù)。

系統(tǒng)建設(shè)目標(biāo)為解決數(shù)據(jù)質(zhì)量管理問題，制定了《省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案》（以下簡(jiǎn)稱《方案》）,指導(dǎo)和規(guī)范各省經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)的建設(shè)和工程實(shí)施。本方案借鑒了先期元數(shù)據(jù)試點(diǎn)省份的建設(shè)經(jīng)驗(yàn)，同時(shí)參考了《經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理規(guī)范V1。0》和OMG組織的CWM國(guó)際標(biāo)準(zhǔn)等文獻(xiàn)，規(guī)劃重點(diǎn)實(shí)現(xiàn)以下建設(shè)目標(biāo)：建立貫穿經(jīng)營(yíng)分析系統(tǒng)各環(huán)節(jié)的數(shù)據(jù)質(zhì)量保證機(jī)制，完善系統(tǒng)審計(jì)、稽核功能，為分析應(yīng)用結(jié)果提供數(shù)據(jù)質(zhì)量保障：對(duì)納入系統(tǒng)管理的數(shù)據(jù)實(shí)體和數(shù)據(jù)處理過程建立有效的監(jiān)控機(jī)制，提供全面及時(shí)的數(shù)據(jù)告警，控制預(yù)防錯(cuò)誤范圍的擴(kuò)大；與源系統(tǒng)數(shù)據(jù)質(zhì)量相互驗(yàn)證,分析源系統(tǒng)事件,監(jiān)控業(yè)務(wù)數(shù)據(jù)合理性,對(duì)源系統(tǒng)的部分?jǐn)?shù)據(jù)起到一定的檢查作用；將數(shù)據(jù)質(zhì)量管理落實(shí)到各環(huán)節(jié)的可檢查項(xiàng)中，實(shí)現(xiàn)流程化管理，提供常見問題的自動(dòng)處理方法；建設(shè)數(shù)據(jù)質(zhì)量管理體系中符合CWM標(biāo)準(zhǔn)的元數(shù)據(jù)管理平臺(tái),為全網(wǎng)經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量管理體系的建設(shè)、擴(kuò)充和數(shù)據(jù)交換打下基礎(chǔ)；逐步豐富數(shù)據(jù)質(zhì)量問題知識(shí)庫(kù)，實(shí)現(xiàn)知識(shí)共享.實(shí)施建議本方案是省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)規(guī)劃和建設(shè)的基本指導(dǎo)，各省在實(shí)施過程中，可根據(jù)實(shí)際需要以本方案為基礎(chǔ)進(jìn)行擴(kuò)充與細(xì)化.建議如下：在建立數(shù)據(jù)質(zhì)量管理系統(tǒng)后，需要建立配套的管理機(jī)制，確保有專人依照流程對(duì)數(shù)據(jù)質(zhì)量問題進(jìn)行管理和維護(hù);元數(shù)據(jù)管理是本次經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量管理系統(tǒng)的重要功能,是將來(lái)實(shí)現(xiàn)元數(shù)據(jù)交換的基礎(chǔ)。元數(shù)據(jù)提供了對(duì)數(shù)據(jù)本身的描述，是關(guān)于數(shù)據(jù)的數(shù)據(jù),主要包括技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)。各省在遵循CWM標(biāo)準(zhǔn)的前提下，可以根據(jù)自身實(shí)際情況，決定自行建設(shè)還是采購(gòu)元數(shù)據(jù)管理工具;各省可以根據(jù)自身業(yè)務(wù)情況擴(kuò)展本實(shí)施方案中的元數(shù)據(jù)存儲(chǔ)邏輯模型，但必須遵循CWM元模型的擴(kuò)展規(guī)則；本方案中列舉的各類應(yīng)用，如信息地圖、數(shù)據(jù)質(zhì)量評(píng)估、接口數(shù)據(jù)異常分析、指標(biāo)一致性分析、需求變更影響分析、項(xiàng)目管理支撐等應(yīng)用是本期建設(shè)重點(diǎn)關(guān)注的內(nèi)容，各省可以根據(jù)實(shí)際情況增加其它相關(guān)應(yīng)用。

數(shù)據(jù)質(zhì)量管理需求數(shù)據(jù)質(zhì)量問題經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量問題按照問題的來(lái)源和具體原因,可以分為信息、技術(shù)、流程、管理四個(gè)問題域。如圖3-1所示。圖3-1信息問題域

信息問題域圖3—2信息問題域信息類問題是由于對(duì)數(shù)據(jù)本身的描述理解及其度量標(biāo)準(zhǔn)的偏差而造成的數(shù)據(jù)質(zhì)量問題.產(chǎn)生這部分?jǐn)?shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯(cuò)誤、數(shù)據(jù)度量的各種性質(zhì)得不到保證和變化頻度不恰當(dāng)?shù)?。元?shù)據(jù)描述及理解錯(cuò)誤中的相關(guān)元數(shù)據(jù)主要包括:業(yè)務(wù)元數(shù)據(jù)—-主要包括業(yè)務(wù)描述、業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)指標(biāo)口徑等。技術(shù)元數(shù)據(jù)——主要包括接口規(guī)范、執(zhí)行順序、依賴關(guān)系、ETL轉(zhuǎn)換、數(shù)據(jù)建模和工具等方面的內(nèi)容.數(shù)據(jù)度量和變化頻度提供了衡量數(shù)據(jù)質(zhì)量好壞的手段。數(shù)據(jù)度量主要包括完整性、唯一性、一致性、準(zhǔn)確性、合法性。變化頻度主要包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)的變化周期和實(shí)體數(shù)據(jù)的刷新周期。技術(shù)問題域圖3-3技術(shù)問題域

技術(shù)類問題是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實(shí)現(xiàn)上的某種缺陷.數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳遞、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)維護(hù)等方面的內(nèi)容：1、數(shù)據(jù)創(chuàng)建質(zhì)量問題主要包括業(yè)務(wù)系統(tǒng)話單延遲入庫(kù)、創(chuàng)建數(shù)據(jù)默認(rèn)值使用不當(dāng)和數(shù)據(jù)錄入的校驗(yàn)規(guī)則不當(dāng)，導(dǎo)致指標(biāo)統(tǒng)計(jì)結(jié)果不一致、數(shù)據(jù)無(wú)效、記錄重復(fù)等。2、數(shù)據(jù)獲取質(zhì)量問題主要包括采集點(diǎn)不正確、取數(shù)時(shí)點(diǎn)不正確以及接口數(shù)據(jù)在獲取過程中失真。如,編碼轉(zhuǎn)換處理錯(cuò)誤以及精度不夠,導(dǎo)致指標(biāo)統(tǒng)計(jì)結(jié)果不一致、數(shù)據(jù)無(wú)效等.3、數(shù)據(jù)傳遞質(zhì)量問題主要包括接口數(shù)據(jù)及時(shí)率低,接口數(shù)據(jù)漏傳，網(wǎng)絡(luò)傳輸過程不可靠，如包丟失，文件傳輸方式錯(cuò)誤，傳輸技術(shù)問題，協(xié)議使用不當(dāng)導(dǎo)致的數(shù)據(jù)不完整等。4、數(shù)據(jù)裝載質(zhì)量問題主要包括數(shù)據(jù)清洗算法、數(shù)據(jù)轉(zhuǎn)換算法、數(shù)據(jù)加載算法錯(cuò)誤。5、數(shù)據(jù)使用質(zhì)量問題主要包括展示工具使用錯(cuò)誤、展示方式不合理和展示周期不合理.6、數(shù)據(jù)維護(hù)質(zhì)量問題主要包括數(shù)據(jù)備份/恢復(fù)錯(cuò)誤、數(shù)據(jù)的存儲(chǔ)能力有限、維護(hù)過程缺乏驗(yàn)證機(jī)制和人為后臺(tái)調(diào)整數(shù)據(jù)。流程問題域圖3—4流程問題域

流程類問題是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來(lái)源于經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護(hù)流程和稽核流程等各環(huán)節(jié)：1、創(chuàng)建流程質(zhì)量問題主要指操作員數(shù)據(jù)錄入時(shí)缺乏審核流程；2、傳遞流程質(zhì)量問題主要指通信流程溝通不暢；3、裝載流程質(zhì)量問題主要指清洗流程缺乏/不當(dāng)、調(diào)度流程邏輯錯(cuò)誤、數(shù)據(jù)加載流程邏輯錯(cuò)誤及數(shù)據(jù)轉(zhuǎn)換流程邏輯錯(cuò)誤；4、使用流程質(zhì)量問題主要指數(shù)據(jù)使用流程缺乏流程管理；5、維護(hù)流程質(zhì)量問題主要指缺乏變更維護(hù)流程、缺乏錯(cuò)誤數(shù)據(jù)維護(hù)流程、缺乏數(shù)據(jù)測(cè)試流程以及對(duì)人工后臺(tái)調(diào)整數(shù)據(jù)沒有嚴(yán)格的流程監(jiān)控；6、稽核流程質(zhì)量問題主要指缺乏數(shù)據(jù)錯(cuò)誤反饋流程。管理問題域

圖3-4管理問題域管理類問題是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問題，如人員管理、培訓(xùn)和獎(jiǎng)勵(lì)等方面的措施不當(dāng)導(dǎo)致的管理缺失。人員管理所產(chǎn)生的質(zhì)量問題主要指：(1）針對(duì)省級(jí)數(shù)據(jù)質(zhì)量問題，沒有建立管理數(shù)據(jù)質(zhì)量的專門機(jī)構(gòu),出現(xiàn)數(shù)據(jù)質(zhì)量問題后無(wú)專人負(fù)責(zé)；（2）沒有明確的數(shù)據(jù)質(zhì)量目標(biāo)；(3）經(jīng)營(yíng)分析系統(tǒng)中的數(shù)據(jù)質(zhì)量問題的優(yōu)先級(jí)不夠；（4）集團(tuán)公司缺少管理數(shù)據(jù)質(zhì)量的管理辦法等；人員培訓(xùn)所產(chǎn)生的質(zhì)量問題主要指對(duì)數(shù)據(jù)質(zhì)量相關(guān)人員缺少長(zhǎng)期培訓(xùn)計(jì)劃;通過上述對(duì)經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量問題的分類，結(jié)合各省經(jīng)營(yíng)分析系統(tǒng)建設(shè)經(jīng)驗(yàn)，信息、流程和技術(shù)三個(gè)方面的數(shù)據(jù)質(zhì)量問題相對(duì)集中和可控，是本系統(tǒng)實(shí)施的重點(diǎn)。對(duì)于管理,本方案?jìng)?cè)重于提供對(duì)開發(fā)、運(yùn)維管理流程方面的支撐，并對(duì)管理元數(shù)據(jù)及其管理范圍進(jìn)行了明確定義,具體參見第4章管理元數(shù)據(jù)的相關(guān)定義。系統(tǒng)實(shí)施定位在各省具體數(shù)據(jù)質(zhì)量問題解決過程中,數(shù)據(jù)質(zhì)量問題的定位和解決過程往往依賴具體人員的經(jīng)驗(yàn)，問題處理效率和正確性難以保證。因此有必要引入元數(shù)據(jù)的相關(guān)功能，提供對(duì)數(shù)據(jù)模型、指標(biāo)口徑及數(shù)據(jù)處理過程等元數(shù)據(jù)信息的靈活展現(xiàn)。本方案介紹如何在基于元數(shù)據(jù)管理的基礎(chǔ)上建立數(shù)據(jù)質(zhì)量管理系統(tǒng),并通過制定相關(guān)管理流程來(lái)保證經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量的日常管理，管理流程部分的內(nèi)容參見第5章。數(shù)據(jù)質(zhì)量管理系統(tǒng)的核心是元數(shù)據(jù)管理支撐功能的實(shí)施。根據(jù)系統(tǒng)定位,數(shù)據(jù)質(zhì)量管理系統(tǒng)與元數(shù)據(jù)管理支撐功能之間的關(guān)系闡述如下:數(shù)據(jù)質(zhì)量管理包含元數(shù)據(jù)管理元數(shù)據(jù)管理功能為數(shù)據(jù)質(zhì)量管理系統(tǒng)提供支撐

系統(tǒng)架構(gòu)系統(tǒng)體系數(shù)據(jù)質(zhì)量管理系統(tǒng)按照體系結(jié)構(gòu)劃分為源系統(tǒng)層、存儲(chǔ)層、功能層和應(yīng)用層，體系結(jié)構(gòu)如圖4—1所示:圖4—1數(shù)據(jù)質(zhì)量管理系統(tǒng)體系結(jié)構(gòu)源系統(tǒng)層源系統(tǒng)層定義了數(shù)據(jù)質(zhì)量管理系統(tǒng)管理數(shù)據(jù)的范圍，主要包括源系統(tǒng)接口數(shù)據(jù)、ETL、數(shù)據(jù)倉(cāng)庫(kù)、OLAP、前端應(yīng)用等.存儲(chǔ)層存儲(chǔ)層中信息主要包括兩個(gè)部分，一部分是存儲(chǔ)在元數(shù)據(jù)庫(kù)中的各類元數(shù)據(jù)，包括技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)，為數(shù)據(jù)質(zhì)量管理系統(tǒng)提供信息基礎(chǔ)；另一部分是數(shù)據(jù)質(zhì)量檢查功能從經(jīng)營(yíng)分析系統(tǒng)提取的有關(guān)系統(tǒng)運(yùn)行狀況的信息及質(zhì)量稽核過程信息，分述如下：元數(shù)據(jù)存儲(chǔ)元數(shù)據(jù)是數(shù)據(jù)質(zhì)量管理系統(tǒng)實(shí)現(xiàn)的基礎(chǔ)，是描述和控制經(jīng)營(yíng)分析系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)，對(duì)上層功能提供信息支撐。元數(shù)據(jù)庫(kù)中的數(shù)據(jù)主要分為三類：技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)本部分將業(yè)務(wù)元數(shù)據(jù)劃分為業(yè)務(wù)規(guī)則、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)術(shù)語(yǔ)四個(gè)部分,其中業(yè)務(wù)規(guī)則與業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述共同完成對(duì)業(yè)務(wù)相關(guān)信息的事實(shí)表述,數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對(duì)這些業(yè)務(wù)元數(shù)據(jù)的映射，可以得到對(duì)應(yīng)的數(shù)據(jù)質(zhì)量檢查規(guī)則。各省公司可以根據(jù)自身業(yè)務(wù)需求對(duì)本方案附件一中提出的業(yè)務(wù)元數(shù)據(jù)主題進(jìn)行擴(kuò)充，擴(kuò)充的元數(shù)據(jù)主題必須遵循CWM元數(shù)據(jù)擴(kuò)展規(guī)則。業(yè)務(wù)規(guī)則業(yè)務(wù)規(guī)則是一種描述信息,定義/約束了部分業(yè)務(wù)邏輯，可以用于對(duì)業(yè)務(wù)邏輯結(jié)構(gòu)進(jìn)行驗(yàn)證，用于控制或者影響業(yè)務(wù)邏輯的行為。業(yè)務(wù)描述提供對(duì)移動(dòng)各項(xiàng)主要業(yè)務(wù)的統(tǒng)一描述，這部分內(nèi)容應(yīng)與倉(cāng)庫(kù)模型的主題信息、相關(guān)業(yè)務(wù)的統(tǒng)計(jì)指標(biāo)建立關(guān)聯(lián)，描述內(nèi)容包括:業(yè)務(wù)基本描述業(yè)務(wù)管理規(guī)定,包括業(yè)務(wù)組織、業(yè)務(wù)流程、資費(fèi)標(biāo)準(zhǔn)業(yè)務(wù)統(tǒng)計(jì)業(yè)務(wù)描述是一個(gè)完整的描述,通過動(dòng)詞來(lái)連接術(shù)語(yǔ)使其成為一個(gè)有效的聲明，例如：開通具體業(yè)務(wù)的客戶必須至少擁有一個(gè)有效的賬戶。業(yè)務(wù)指標(biāo)業(yè)務(wù)指標(biāo)表示與業(yè)務(wù)指標(biāo)解釋、追蹤等相關(guān)信息，面向業(yè)務(wù)分析人員。指標(biāo)系統(tǒng)主題需要提取的元數(shù)據(jù)主要包括指標(biāo)標(biāo)識(shí)、指標(biāo)名稱、描述信息、建立時(shí)間、所屬部門、創(chuàng)建者、類別、數(shù)據(jù)來(lái)源等。業(yè)務(wù)術(shù)語(yǔ)是一個(gè)名詞或者名詞短語(yǔ)，是對(duì)一種共識(shí)的定義，例如:一個(gè)有效的賬戶被定義為此賬戶有余額且其有效期未過。技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)包含關(guān)于經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)技術(shù)層面的信息，描述了數(shù)據(jù)源接口、ETL、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市、OLAP、一經(jīng)接口等子系統(tǒng)的數(shù)據(jù)特征.根據(jù)經(jīng)營(yíng)分析系統(tǒng)的特點(diǎn)和經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理的具體要求，本部分將技術(shù)元數(shù)據(jù)分為數(shù)據(jù)源接口、ETL過程、數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)、經(jīng)營(yíng)分析應(yīng)用層、運(yùn)行環(huán)境信息、質(zhì)量管理過程6個(gè)方面，對(duì)各層中所需包含的實(shí)體進(jìn)行說(shuō)明.數(shù)據(jù)源接口經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)來(lái)源主要是外部的操作型應(yīng)用系統(tǒng),經(jīng)營(yíng)分析系統(tǒng)管理的數(shù)據(jù)源接口元數(shù)據(jù)主要是關(guān)于BOSS、客服、網(wǎng)管等外部系統(tǒng)與經(jīng)營(yíng)分析系統(tǒng)間接口的相關(guān)信息，包括:運(yùn)行環(huán)境相關(guān)信息主要包含相關(guān)系統(tǒng)的主機(jī)信息、操作系統(tǒng)信息、數(shù)據(jù)庫(kù)信息等；數(shù)據(jù)接口定義信息描述源系統(tǒng)數(shù)據(jù)接口的定義信息，包括接口數(shù)據(jù)實(shí)體結(jié)構(gòu)（主題信息、實(shí)體定義、實(shí)體內(nèi)部列定義、關(guān)鍵字、索引定義等）、接口數(shù)據(jù)實(shí)體間關(guān)系。ETL過程ETL過程中的元數(shù)據(jù)管理內(nèi)容主要是ETL規(guī)則,包括源系統(tǒng)數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系、ETL程序結(jié)構(gòu)信息、數(shù)據(jù)轉(zhuǎn)換和清理規(guī)則等,主要內(nèi)容有:接口抽取描述數(shù)據(jù)抽取過程的相關(guān)信息，針對(duì)具體接口，主要包含:接口抽取條件:接口抽取的前置條件和數(shù)據(jù)條件；接口抽取周期：日、月等；接口抽取時(shí)間：周期內(nèi)的抽取時(shí)間；接口抽取方法：增量、全量等；數(shù)據(jù)清洗、轉(zhuǎn)換、裝載描述接口數(shù)據(jù)到倉(cāng)庫(kù)數(shù)據(jù)的數(shù)據(jù)處理過程信息,包括源系統(tǒng)數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系、ETL程序結(jié)構(gòu)信息、數(shù)據(jù)轉(zhuǎn)換和清理規(guī)則等。數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)涉及ODS、倉(cāng)庫(kù)底層數(shù)據(jù)、集市數(shù)據(jù)等基本信息，以及數(shù)據(jù)流處理邏輯相關(guān)信息的提取，具體包括：數(shù)據(jù)倉(cāng)庫(kù)邏輯模型邏輯數(shù)據(jù)模型對(duì)任何企業(yè)元數(shù)據(jù)來(lái)說(shuō)都是相當(dāng)重要的,其實(shí)現(xiàn)方式主要是將建模工具（例如：ERWIN）中的模型信息納入到元數(shù)據(jù)管理中.數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)信息這部分內(nèi)容相對(duì)于數(shù)據(jù)倉(cāng)庫(kù)邏輯模型而言，反映需納入管理實(shí)體的物理信息.數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的結(jié)構(gòu)數(shù)據(jù)管理內(nèi)容繁雜,主要有ODS和數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)定義、物理數(shù)據(jù)模型的結(jié)構(gòu)、程序代碼描述、數(shù)據(jù)庫(kù)目錄以及文件規(guī)劃等信息。其中，數(shù)據(jù)庫(kù)目錄包括需納入管理的表、關(guān)系以及索引和視圖的定義等。數(shù)據(jù)流及其處理邏輯這部分內(nèi)容描述整個(gè)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的流向、數(shù)據(jù)的處理邏輯、數(shù)據(jù)倉(cāng)庫(kù)各應(yīng)用程序模塊接口等系統(tǒng)全局性的信息。數(shù)據(jù)流向和數(shù)據(jù)處理邏輯信息是進(jìn)行系統(tǒng)開發(fā)、維護(hù)、升級(jí)前和數(shù)據(jù)變更前的影響分析的重要信息源。經(jīng)營(yíng)分析應(yīng)用層基于數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上，經(jīng)營(yíng)分析系統(tǒng)提供了KPI、OLAP、綜合報(bào)表、數(shù)據(jù)挖掘、一經(jīng)接口等應(yīng)用，經(jīng)營(yíng)分析應(yīng)用層元數(shù)據(jù)主要指這些上層應(yīng)用的相關(guān)信息，主要包括：指標(biāo)技術(shù)定義信息包含指標(biāo)定義、對(duì)應(yīng)維度定義、指標(biāo)統(tǒng)計(jì)口徑、指標(biāo)關(guān)系等信息；多維數(shù)據(jù)信息主要指對(duì)多維數(shù)據(jù)相關(guān)信息的提取,主要包括：多維主題基本信息:包含主題與指標(biāo)、維度等的關(guān)系;多維數(shù)據(jù)庫(kù)信息:由于主流的多維數(shù)據(jù)庫(kù)都支持CWM標(biāo)準(zhǔn)，針對(duì)各省的建設(shè)情況，可以考慮選用相關(guān)元數(shù)據(jù)工具進(jìn)行相關(guān)信息的提取;一級(jí)經(jīng)營(yíng)分析接口作為數(shù)據(jù)分發(fā)過程，與ETL處理過程對(duì)應(yīng),主要包括一級(jí)經(jīng)營(yíng)分析接口的定義、標(biāo)準(zhǔn)代碼定義、數(shù)據(jù)轉(zhuǎn)換規(guī)則以及其它涉及一經(jīng)接口數(shù)據(jù)生成上傳的元數(shù)據(jù)信息；數(shù)據(jù)挖掘信息運(yùn)行環(huán)境信息描述經(jīng)營(yíng)分析系統(tǒng)運(yùn)行環(huán)境的相關(guān)信息，主要有:任務(wù)調(diào)度信息經(jīng)營(yíng)分析系統(tǒng)處理涉及多個(gè)環(huán)節(jié)的大量任務(wù)，通常由一個(gè)統(tǒng)一的任務(wù)調(diào)度系統(tǒng)集中控制這些任務(wù)的執(zhí)行，獲取這些任務(wù)的相關(guān)信息對(duì)于了解和優(yōu)化系統(tǒng)至關(guān)重要.主要提取信息有:任務(wù)基本信息、任務(wù)依賴信息、任務(wù)執(zhí)行信息等。系統(tǒng)運(yùn)行環(huán)境信息包括經(jīng)營(yíng)分析系統(tǒng)相關(guān)的主機(jī)信息、操作系統(tǒng)信息、文件系統(tǒng)信息、系統(tǒng)處理目錄信息、數(shù)據(jù)庫(kù)信息、表空間信息等。質(zhì)量管理過程質(zhì)量管理過程中的元數(shù)據(jù)主要是根據(jù)數(shù)據(jù)質(zhì)量管理的要求，為支撐數(shù)據(jù)質(zhì)量檢查的相關(guān)功能，從監(jiān)控經(jīng)營(yíng)分析數(shù)據(jù)及系統(tǒng)運(yùn)行情況角度，抽取出的數(shù)據(jù)質(zhì)量檢查方法和標(biāo)準(zhǔn)。質(zhì)量管理過程中的元數(shù)據(jù)的規(guī)則有兩個(gè)來(lái)源:一個(gè)來(lái)源是系統(tǒng)各個(gè)處理環(huán)節(jié)的技術(shù)元數(shù)據(jù)，反映的是系統(tǒng)技術(shù)層面的處理情況，如數(shù)據(jù)量和指標(biāo)值多少是合理,處理過程應(yīng)該在什么周期內(nèi)什么時(shí)間段內(nèi)完成才正常,主機(jī)資源、表空間、文件系統(tǒng)的使用應(yīng)該控制在什么樣的閾值下系統(tǒng)處理才不會(huì)有問題；另一個(gè)來(lái)源是業(yè)務(wù)規(guī)則、指標(biāo)口徑等業(yè)務(wù)元數(shù)據(jù)，通常會(huì)把業(yè)務(wù)規(guī)則的信息轉(zhuǎn)化成技術(shù)化的規(guī)則、算法和度量標(biāo)準(zhǔn),如指標(biāo)間的稽核關(guān)系，而類似指標(biāo)合理性的度量標(biāo)準(zhǔn),則會(huì)根據(jù)業(yè)務(wù)發(fā)展情況而不斷變化。主要包括以下內(nèi)容:規(guī)則庫(kù)是數(shù)據(jù)質(zhì)量檢查的具體角度,主要包括經(jīng)營(yíng)分析數(shù)據(jù)的約束規(guī)則和合理性規(guī)則,以及檢查數(shù)據(jù)處理過程及處理環(huán)境是否正常的規(guī)則等。規(guī)則分為三類:約束規(guī)則、計(jì)算規(guī)則和條件規(guī)則:約束規(guī)則描述了一種無(wú)條件必須為真或者假的強(qiáng)制規(guī)則。這種約束可以是結(jié)構(gòu)化的(structural)約束，也可以是行為的(behavioral）約束.結(jié)構(gòu)化的約束：當(dāng)創(chuàng)建術(shù)語(yǔ)或者改變術(shù)語(yǔ)之間的關(guān)系的時(shí)候，結(jié)構(gòu)化的約束能夠保證術(shù)語(yǔ)的完整性；行為的約束:典型地被定義為“前置條件”和“后置條件”。只有符合“前置條件"的情況下操作才能夠正確地執(zhí)行；“后置條件”保證了操作結(jié)果的正確性，“后置條件”表示該行為是否滿足了其預(yù)期的結(jié)果。例如:客戶在開戶時(shí)余額為0，在能夠使用移動(dòng)業(yè)務(wù)之前，必須先充值，這里前置條件就是必須先充值，而后置條件是指所辦理的業(yè)務(wù)是否成功辦理；計(jì)算規(guī)則反映一種計(jì)算的關(guān)系，例如：月末余額＝上月末余額＋本月充值金額－本月消費(fèi)金額;條件規(guī)則反映當(dāng)一定條件成立時(shí)，觸發(fā)相關(guān)的事件或事務(wù)，例如：預(yù)付費(fèi)客戶的帳戶余額小于0，則對(duì)其實(shí)施停機(jī)操作。

算法庫(kù)主要是指為了支撐上述檢查規(guī)則所需要的基本算法的集合,結(jié)合具體的規(guī)則由數(shù)據(jù)質(zhì)量檢查相關(guān)功能調(diào)用。度量信息度量信息是數(shù)據(jù)質(zhì)量檢查的基本依據(jù)，它反映了數(shù)據(jù)質(zhì)量的衡量標(biāo)準(zhǔn)，也是數(shù)據(jù)質(zhì)量管理系統(tǒng)技術(shù)元數(shù)據(jù)的一個(gè)重要組成部分。度量信息是經(jīng)驗(yàn)的積累，需要在數(shù)據(jù)質(zhì)量不斷的建設(shè)過程中逐步精確化，隨著衡量標(biāo)準(zhǔn)的不斷細(xì)化和精確，經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量也會(huì)不斷提高。管理元數(shù)據(jù)管理元數(shù)據(jù)主要是指經(jīng)營(yíng)分析日常建設(shè)過程中，涉及開發(fā)、運(yùn)維管理各方面的基本信息，本方案明確要求對(duì)管理元數(shù)據(jù)進(jìn)行存儲(chǔ),在此基礎(chǔ)上對(duì)系統(tǒng)需求開發(fā)和日常運(yùn)維管理流程提供IT化支撐，從管理流程角度對(duì)經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量提供保證。管理元數(shù)據(jù)主要包括：管理流程定義指經(jīng)營(yíng)分析需求開發(fā)、運(yùn)維各管理流程及其具體步驟、步驟輸入輸出和參與角色的描述；角色及職責(zé)定義指參與經(jīng)營(yíng)分析需求開發(fā)、運(yùn)維各管理流程的角色及其具體承擔(dān)職責(zé)的描述；人員組織信息及工作內(nèi)容分配指需求開發(fā)和系統(tǒng)運(yùn)維過程中各參與人員承擔(dān)的角色及具體負(fù)責(zé)的工作內(nèi)容描述，如具體某個(gè)需求開發(fā)由誰(shuí)牽頭負(fù)責(zé)，ETL某個(gè)加載轉(zhuǎn)換過程由誰(shuí)負(fù)責(zé)維護(hù)等系統(tǒng)訪問情況信息。

以上信息各省可以根據(jù)各自的管理流程情況，制定相關(guān)模板,進(jìn)行手工整理。質(zhì)量稽核過程信息是質(zhì)量檢查基本功能執(zhí)行過程中產(chǎn)生的中間信息,主要描述系統(tǒng)運(yùn)行狀況的信息，包括數(shù)據(jù)、指標(biāo)的周期取值，處理過程的運(yùn)行情況,處理環(huán)境等各種度量數(shù)據(jù)。如處理的數(shù)據(jù)量，表空間等是否超過閾值等。數(shù)據(jù)質(zhì)量管理系統(tǒng)根據(jù)預(yù)定義的規(guī)則、算法和度量等數(shù)據(jù)質(zhì)量元數(shù)據(jù)信息，獲取系統(tǒng)的數(shù)據(jù)質(zhì)量稽核過程信息。功能層功能層提供了數(shù)據(jù)質(zhì)量管理系統(tǒng)所能提供的基本功能，它為前端的應(yīng)用提供了基本的功能支撐。主要包括元數(shù)據(jù)支撐功能、質(zhì)量檢查功能及輔助功能三個(gè)基本功能域，具體內(nèi)容如下：元數(shù)據(jù)支撐功能作為數(shù)據(jù)質(zhì)量管理系統(tǒng)的基本支撐，方便用戶對(duì)系統(tǒng)的理解，并在系統(tǒng)數(shù)據(jù)質(zhì)量出現(xiàn)問題時(shí)，便于問題的定位。主要包括：元數(shù)據(jù)維護(hù)完成對(duì)元數(shù)據(jù)的增加、刪除、修改等基本操作，另外,還應(yīng)支持實(shí)體、實(shí)體間關(guān)系的建模，數(shù)據(jù)處理過程的描述等功能。對(duì)于元數(shù)據(jù)的增量維護(hù)，要求能保留歷史的版本信息。元數(shù)據(jù)的維護(hù)操作是原子操作,這些原子操作的實(shí)現(xiàn)需要借助于元數(shù)據(jù)管理平臺(tái)提供的JMI接口或者CORBAIDL接口來(lái)完成。在實(shí)施元數(shù)據(jù)維護(hù)操作的過程中,需要對(duì)這部分操作的過程進(jìn)行一定的約束和限制。元數(shù)據(jù)定義為如下的4種狀態(tài)：審核狀態(tài)對(duì)于需要進(jìn)行維護(hù)的元數(shù)據(jù),首先進(jìn)入審核狀態(tài)，從而等待審核人員

的核查，確定該元數(shù)據(jù)是否需要進(jìn)行修改；

公示狀態(tài)審核通過后，進(jìn)入公示狀態(tài),即處于對(duì)元數(shù)據(jù)定義征求意見的狀態(tài)，沒有最后定稿，公示狀態(tài)有一定的期限要求；發(fā)布狀態(tài)公示狀態(tài)期限的限制到期后，根據(jù)在公示狀態(tài)期間回饋的意見，給出元數(shù)據(jù)維護(hù)的準(zhǔn)確的方案，進(jìn)入發(fā)布狀態(tài)；維護(hù)狀態(tài)用戶提交修改元數(shù)據(jù)請(qǐng)求后,相關(guān)元數(shù)據(jù)進(jìn)入維護(hù)狀態(tài)，對(duì)相關(guān)元數(shù)據(jù)的維護(hù)需要保留其歷史版本信息。同步檢查主要是指對(duì)于數(shù)據(jù)質(zhì)量管理系統(tǒng)中抽取的元數(shù)據(jù)，定期從經(jīng)營(yíng)分析系統(tǒng)中抽取，并與元數(shù)據(jù)庫(kù)的信息比較,及時(shí)發(fā)現(xiàn)經(jīng)營(yíng)分析系統(tǒng)的應(yīng)用變更,保證元數(shù)據(jù)的及時(shí)同步更新.從經(jīng)營(yíng)分析系統(tǒng)中抽取元數(shù)據(jù)，主要分為兩類：自動(dòng)的元數(shù)據(jù)抽取和人工抽取。因此,有如下兩類同步檢查方法：自動(dòng)同步檢查對(duì)于需要檢查的元數(shù)據(jù),利用CWM模型中提供的CORBAIDL接口對(duì)數(shù)據(jù)質(zhì)量管理系統(tǒng)中的元數(shù)據(jù)進(jìn)行直接查詢?cè)L問.然后,利用從這個(gè)元數(shù)據(jù)對(duì)應(yīng)的源系統(tǒng)中，利用提供的接口直接抽取出相應(yīng)的元數(shù)據(jù)，然后進(jìn)行比較，從而確定相應(yīng)的元數(shù)據(jù)是否保持了同步；人工同步檢查數(shù)據(jù)質(zhì)量管理系統(tǒng)中的元數(shù)據(jù)可以利用平臺(tái)提供的自定義函數(shù)進(jìn)行直接訪問，但是,源系統(tǒng)中對(duì)應(yīng)的元數(shù)據(jù)往往是借助人工的方式導(dǎo)入的,無(wú)法自動(dòng)抽取出來(lái)實(shí)施同步檢查。因此，需要人工在源系統(tǒng)中進(jìn)行比較，確定是否保持一致。

同步檢查的過程可以描述如下:同步檢查時(shí)機(jī)同步檢查時(shí)機(jī)分為如下的兩類：實(shí)時(shí)同步檢查能夠適用于實(shí)時(shí)同步檢查的元數(shù)據(jù)，指那些可以自動(dòng)抽取的元數(shù)據(jù)。觸發(fā)檢查的時(shí)機(jī)是源系統(tǒng)中的元數(shù)據(jù)發(fā)生了變更或者是數(shù)據(jù)質(zhì)量管理系統(tǒng)中的元數(shù)據(jù)發(fā)生了改變。定期同步檢查適用于定期同步檢查的元數(shù)據(jù)，主要包含如下的幾種情況：當(dāng)用戶手工修改源數(shù)據(jù)系統(tǒng)或者是數(shù)據(jù)質(zhì)量管理系統(tǒng)的元數(shù)據(jù)時(shí)，則需要對(duì)元數(shù)據(jù)進(jìn)行同步檢查;對(duì)于整個(gè)數(shù)據(jù)質(zhì)量管理系統(tǒng)而言，需要定義一個(gè)周期（1天或者1周等），從而進(jìn)行元數(shù)據(jù)同步檢查；同步檢查度量元數(shù)據(jù)同步檢查主要包含如下幾個(gè)方面：及時(shí)性：指定類型的元數(shù)據(jù)在某一抽取檢查周期內(nèi)按一定時(shí)間要求抽取的元數(shù)據(jù)項(xiàng)和應(yīng)抽取項(xiàng)的比率；完整性:指定類型的元數(shù)據(jù)在某一抽取檢查周期內(nèi)抽取的元數(shù)據(jù)項(xiàng)和應(yīng)抽取項(xiàng)的比率；正確性:指定類型的元數(shù)據(jù)在某一抽取檢查周期內(nèi)抽取比對(duì)無(wú)誤的元數(shù)據(jù)項(xiàng)和應(yīng)抽取項(xiàng)的比率；具體內(nèi)容參見元數(shù)據(jù)質(zhì)量檢查的相關(guān)描述。同步檢查過程在同步檢查發(fā)現(xiàn)差異時(shí)，原則上不能直接修改元數(shù)據(jù)存儲(chǔ)，而是給出各類元數(shù)據(jù)的差異報(bào)告，并由數(shù)據(jù)質(zhì)量管理員確認(rèn)后，利用元數(shù)據(jù)維護(hù)工具進(jìn)行元數(shù)據(jù)的更新.可以參考第五部分的數(shù)據(jù)質(zhì)量控制流程。

模板化導(dǎo)入/導(dǎo)出是對(duì)元數(shù)據(jù)自動(dòng)提取的一個(gè)補(bǔ)充。為非結(jié)構(gòu)化無(wú)法自動(dòng)抽取的元數(shù)據(jù)的批量導(dǎo)入提供了一個(gè)渠道。通常采用預(yù)定義模板格式的元數(shù)據(jù)描述文檔，整理出元數(shù)據(jù)基本信息文檔,通過該功能導(dǎo)入系統(tǒng)，并自動(dòng)轉(zhuǎn)化成元數(shù)據(jù)存儲(chǔ)；同樣也支持把元數(shù)據(jù)信息導(dǎo)出到預(yù)定義格式的文檔中，并提供下載,方便交流。對(duì)于不滿足CWM規(guī)范的元數(shù)據(jù)（如大部分指標(biāo)數(shù)據(jù)等），其通常需要借助XMI來(lái)定義相應(yīng)的模板。該模板滿足CWM規(guī)范,可以利用編制的相應(yīng)程序進(jìn)行這部分元數(shù)據(jù)的導(dǎo)入和導(dǎo)出.采用XMI開發(fā)元數(shù)據(jù)模板，將原有的Word、Excel文件中元數(shù)據(jù)信息轉(zhuǎn)換為格式固定的XMI文件;批量將格式固定的XMI文件導(dǎo)入數(shù)據(jù)質(zhì)量管理平臺(tái)。實(shí)體查詢指對(duì)系統(tǒng)中的數(shù)據(jù)實(shí)體基本信息的查詢功能，通過該功能可以查詢數(shù)據(jù)庫(kù)表、維表、指標(biāo)及其它納入管理實(shí)體的基本信息,查詢的信息按處理的層次及業(yè)務(wù)主題進(jìn)行組織,實(shí)體查詢返回實(shí)體及其所屬的相關(guān)信息.實(shí)體查詢要求能支持對(duì)歷史版本信息的查詢，以了解具體實(shí)體的歷史變更情況。過程查詢是對(duì)一個(gè)具體的數(shù)據(jù)轉(zhuǎn)換、匯總等處理過程，查詢其具體用途、參與的輸入、輸出實(shí)體等詳細(xì)信息，從而幫助對(duì)數(shù)據(jù)處理過程的理解。過程查詢要求能支持對(duì)歷史版本信息的查詢，以了解處理過程的歷史變更情況。在CWM規(guī)范當(dāng)中,有專門的倉(cāng)庫(kù)過程（WarehouseProcess）以及轉(zhuǎn)換（Transformation）等過程實(shí)體，過程查詢可以直接返回過程本身的詳細(xì)信息。過程查詢還可以基于過程實(shí)體本身包含的關(guān)聯(lián)信息的基礎(chǔ)上，得到關(guān)聯(lián)的相關(guān)實(shí)體信息。實(shí)體活力分析實(shí)體活力分析是從某一實(shí)體關(guān)聯(lián)的其它實(shí)體和其參與的處理過程兩個(gè)角度來(lái)查看具體數(shù)據(jù)的使用情況，從而形成一張關(guān)系和所參與數(shù)據(jù)處理過程的網(wǎng)絡(luò)，進(jìn)一步可以了解該實(shí)體的重要程度.該功能可以用來(lái)支撐需求影響評(píng)估的應(yīng)用。在實(shí)體查詢和過程查詢的支持下，實(shí)體的活力分析可以得到有效的實(shí)現(xiàn)。在CWM模型中的每個(gè)實(shí)體當(dāng)中，可以有一個(gè)單獨(dú)的對(duì)象（或者類）函數(shù)，它可以在實(shí)體關(guān)聯(lián)信息的支持下，返回該實(shí)體所關(guān)聯(lián)的所有實(shí)體和參與的所有過程。過程追溯是指從某一實(shí)體出發(fā)，往回追溯其處理過程，直到經(jīng)營(yíng)分析的數(shù)據(jù)輸入的源頭，也就是源系統(tǒng)接口數(shù)據(jù)。對(duì)于不同類型的實(shí)體，其涉及的轉(zhuǎn)換過程可能有不同類型，如：對(duì)于底層倉(cāng)庫(kù)實(shí)體，涉及的可能是ETL處理過程；而對(duì)于倉(cāng)庫(kù)匯總表,可能既涉及ETL處理過程，又涉及倉(cāng)庫(kù)匯總處理過程;而對(duì)于指標(biāo)，則除了上面的處理過程,還涉及指標(biāo)生成處理的過程。除了數(shù)據(jù)接口實(shí)體由源系統(tǒng)提供，作為經(jīng)營(yíng)分析系統(tǒng)的數(shù)據(jù)輸入，其它的數(shù)據(jù)實(shí)體都經(jīng)過了一個(gè)或多個(gè)不同類型的處理過程，數(shù)據(jù)追溯正是提供了這樣一種功能，可以讓使用者根據(jù)需要了解不同的處理過程，每個(gè)處理過程具體做什么，需要什么樣的輸入，又產(chǎn)生了什么樣的輸出。實(shí)現(xiàn)過程追溯，首先，對(duì)于任何輸入的實(shí)體，首先可以調(diào)用該實(shí)體的過程查詢功能，查詢得到該實(shí)體的所有的前驅(qū)實(shí)體，然后過程調(diào)用返回若干實(shí)體。然后再以返回的每個(gè)實(shí)體遞歸的執(zhí)行上述過程.結(jié)束的條件所有實(shí)體到達(dá)數(shù)據(jù)源的接口或者是實(shí)體沒有相應(yīng)的前驅(qū)實(shí)體。過程追蹤是指從某一數(shù)據(jù)處理過程出發(fā)，檢查依賴其執(zhí)行完成或者其依賴的的其它處理過程，從系統(tǒng)作業(yè)執(zhí)行角度，反映數(shù)據(jù)處理過程之間的相互關(guān)系。過程追蹤是過程追溯的逆過程，具有類似的技術(shù)實(shí)現(xiàn)和過程描述，這里不再重復(fù)。質(zhì)量檢查基本功能作為數(shù)據(jù)質(zhì)量管理系統(tǒng)的基本功能，及時(shí)發(fā)現(xiàn)系統(tǒng)數(shù)據(jù)質(zhì)量問題，主要包括數(shù)據(jù)稽核，處理過程檢查和處理過程監(jiān)控等.數(shù)據(jù)稽核數(shù)據(jù)稽核是數(shù)據(jù)質(zhì)量檢查的基本功能，是根據(jù)預(yù)先配置的規(guī)則、算法和質(zhì)量檢查度量，對(duì)數(shù)據(jù)的準(zhǔn)確性、合理性等多角度的檢查，以及時(shí)發(fā)現(xiàn)問題。根據(jù)省級(jí)經(jīng)營(yíng)分析系統(tǒng)的特點(diǎn)，數(shù)據(jù)稽核包含以下內(nèi)容:接口數(shù)據(jù)檢查接口數(shù)據(jù)是經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)的源頭，接口數(shù)據(jù)質(zhì)量問題的改進(jìn)是經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)達(dá)到較高的數(shù)據(jù)質(zhì)量的最基本要求。接口數(shù)據(jù)質(zhì)量管理主要通過ETL處理的日志記錄，對(duì)接口的數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。其中，對(duì)于文件接口的數(shù)據(jù)，主要從接口的完整性、正確性及合理性等方面進(jìn)行檢查，系統(tǒng)根據(jù)接收文件的時(shí)間、數(shù)據(jù)量、入庫(kù)是否異常等角度進(jìn)行分析.具體功能要求如下，主要包含以下方面：1、文件傳送完整率2、文件記錄合法率3、文件傳送及時(shí)率文件加載正確率關(guān)于這四個(gè)方面的具體定義參見《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量控制指導(dǎo)意見》.倉(cāng)庫(kù)數(shù)據(jù)檢查倉(cāng)庫(kù)數(shù)據(jù)檢查從倉(cāng)庫(kù)模型約束、實(shí)體屬性、數(shù)據(jù)實(shí)體關(guān)系、數(shù)據(jù)實(shí)體表述業(yè)務(wù)特征等角度，根據(jù)預(yù)定以規(guī)則，檢查數(shù)據(jù)合理性，及早發(fā)現(xiàn)異常,保證倉(cāng)庫(kù)對(duì)分析、報(bào)表等所提供數(shù)據(jù)的可用性與正確性.主要包括以下方面的內(nèi)容:1、實(shí)體主鍵取值合法性2、實(shí)體屬性的完整率3、實(shí)體關(guān)鍵屬性的完整率4、外鍵取值合法率屬性合法率關(guān)于這五個(gè)方面的具體定義參見《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量控制指導(dǎo)意見》.關(guān)鍵指標(biāo)稽核經(jīng)營(yíng)分析系統(tǒng)需要進(jìn)行指標(biāo)檢查的指標(biāo)主要分布在經(jīng)營(yíng)分析系統(tǒng)的KPI、OLAP、報(bào)表、一經(jīng)接口等分析應(yīng)用中。目前系統(tǒng)主要關(guān)注的指標(biāo)分類如下：客戶分析類指標(biāo)；業(yè)務(wù)量類指標(biāo)；收入類指標(biāo)；大客戶類指標(biāo)；合作服務(wù)方類指標(biāo)；市場(chǎng)競(jìng)爭(zhēng)類指標(biāo)；服務(wù)類指標(biāo)。主要的檢查方法分為以下幾類：數(shù)值檢查定義主要是通過對(duì)單個(gè)指標(biāo)值的監(jiān)控來(lái)發(fā)現(xiàn)數(shù)據(jù)的異常、突變等情況。檢查原理通過對(duì)指標(biāo)與閾值上下限的比較來(lái)進(jìn)行檢查。適用范圍主要適用變化趨勢(shì)平穩(wěn)的業(yè)務(wù)關(guān)鍵指標(biāo)，對(duì)于波動(dòng)變化較大的業(yè)務(wù)數(shù)據(jù),不建議采用此方法檢查.波動(dòng)檢查定義是通過對(duì)單個(gè)指標(biāo)值一段時(shí)間內(nèi)的數(shù)值變化情況來(lái)檢查數(shù)據(jù)的波動(dòng)、變化情況。對(duì)于系統(tǒng)內(nèi)的指標(biāo)，分為月指標(biāo)和日指標(biāo)。其中，月指標(biāo)支持與上月比較，日指標(biāo)可以與前日、上周、上月進(jìn)行波動(dòng)比較。檢查原理通過對(duì)指標(biāo)不同周期之間的增減幅度與閾值范圍上下限的比較來(lái)進(jìn)行檢查。閾值范圍上下限是一個(gè)數(shù)值區(qū)間，一般在—1到1之間取值。適用范圍主要關(guān)注的業(yè)務(wù)發(fā)展指標(biāo).擴(kuò)展檢查定義是通過對(duì)兩個(gè)指標(biāo)（也可以是一個(gè)指標(biāo)的兩個(gè)周期)按某幾個(gè)維度展開后的增減幅度來(lái)發(fā)現(xiàn)數(shù)據(jù)的波動(dòng)、變化情況。該檢查的兩個(gè)指標(biāo)分別命名為左指標(biāo)和右指標(biāo)，即第一個(gè)選擇的為左指標(biāo)，后選的為右指標(biāo)。檢查原理通過對(duì)左右指標(biāo)不同維度切面的增減幅度與閾值范圍上下限的比較來(lái)進(jìn)行檢查.閾值范圍上下限是一個(gè)數(shù)值區(qū)間，一般在-1到1之間取值。適用范圍需要進(jìn)行維度細(xì)分檢查的指標(biāo)，如檢查某項(xiàng)業(yè)務(wù)在省內(nèi)各地市發(fā)展的一致性，相關(guān)用戶數(shù)和收入是否同增同減等。比較檢查定義是通過對(duì)若干個(gè)指標(biāo)值的簡(jiǎn)單四則運(yùn)算（加、減、乘、除），來(lái)檢驗(yàn)各個(gè)指標(biāo)間潛在的平衡或其他比較關(guān)系。在這個(gè)簡(jiǎn)單四則運(yùn)算中,可以帶入常量運(yùn)算，支持括號(hào)。檢查原理左比較項(xiàng)＝（〉,〉=,〈，<=，〈>）右比較項(xiàng)定義需要進(jìn)行相關(guān)性檢查的指標(biāo)。

處理過程檢查處理過程檢查是指根據(jù)預(yù)先配置的規(guī)則和質(zhì)量檢查度量，對(duì)數(shù)據(jù)處理過程的檢查稽核.本期方案重點(diǎn)關(guān)注處理過程的及時(shí)性,即根據(jù)預(yù)先設(shè)定的時(shí)間范圍，從經(jīng)營(yíng)分析系統(tǒng)各數(shù)據(jù)處理環(huán)節(jié)進(jìn)行的處理效率角度進(jìn)行檢查，得出處理超出要求時(shí)間范圍的接口及其具體的處理環(huán)節(jié)。處理環(huán)節(jié)包括接口數(shù)據(jù)的抽取、傳輸、清洗轉(zhuǎn)換、加載，集市數(shù)據(jù)匯總生成,應(yīng)用展現(xiàn)等。處理環(huán)境檢查處理環(huán)境檢查是指根據(jù)預(yù)先配置的規(guī)則和質(zhì)量檢查度量，對(duì)經(jīng)營(yíng)分析系統(tǒng)處理環(huán)境的檢查，以保證系統(tǒng)資源利用和環(huán)境狀況始終在合理的范圍內(nèi),主要包括表空間監(jiān)控、文件系統(tǒng)監(jiān)控、處理通道、處理目錄、系統(tǒng)資源情況以及源系統(tǒng)事件等檢查?；伺渲霉芾砘伺渲霉芾碇饕菍?duì)上述質(zhì)量檢查基本功能所用到的規(guī)則、算法及度量標(biāo)準(zhǔn)進(jìn)行配置管理。應(yīng)支持不同的維護(hù)人員關(guān)注角度不同，提供度量信息的個(gè)性化配置。輔助功能輔助功能是指一些數(shù)據(jù)質(zhì)量管理流程上的支撐，主要包括告警處理、問題管理、知識(shí)庫(kù)管理以及系統(tǒng)管理等組成。告警處理告警功能用來(lái)對(duì)數(shù)據(jù)質(zhì)量的各類問題進(jìn)行自動(dòng)管理、實(shí)時(shí)監(jiān)控與及時(shí)通知，是用來(lái)進(jìn)行經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理的重要手段和方法。告警處理包括告警定義、告警生成與告警提示等功能.告警定義用戶通過系統(tǒng)提供的界面，可以定義相關(guān)告警內(nèi)容，如:告警名稱、告警描述、告警所涉及人員、告警發(fā)布方法、告警重要程度、告警所涉及數(shù)據(jù)、告警計(jì)算規(guī)則、告警閥值等內(nèi)容。告警生成告警生成是指結(jié)合預(yù)定義稽核配置對(duì)所采集信息進(jìn)行分析,得出異常情況，生成告警。告警提示系統(tǒng)按照實(shí)現(xiàn)所定義的告警提示方式與時(shí)間設(shè)定自動(dòng)提示的與該告警相關(guān)的各類人員。問題管理問題管理是對(duì)數(shù)據(jù)質(zhì)量相關(guān)問題處理的一種IT化支撐功能，在發(fā)現(xiàn)問題、處理問題的過程中，可以通過問題報(bào)告的形式登記問題、指派處理人員,并提交問題處理情況，體現(xiàn)流程化的管理.問題發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的問題可以來(lái)自兩種情況,第一種是人工報(bào)告發(fā)現(xiàn)的問題，第二種是通過告警等其他輔助手段發(fā)現(xiàn)的各類數(shù)據(jù)質(zhì)量問題。人工報(bào)告發(fā)現(xiàn)的問題，由問題的發(fā)現(xiàn)人負(fù)責(zé)將問題的名稱、描述、類型等關(guān)鍵因素錄入到問題管理模塊中進(jìn)行問題觸發(fā)與發(fā)現(xiàn)。通過在告警等環(huán)節(jié)設(shè)置問題發(fā)現(xiàn)程序，預(yù)先設(shè)定一定的事件觸發(fā)條件和規(guī)則，發(fā)現(xiàn)程序一旦偵測(cè)到數(shù)據(jù)存在的異常并符合問題的觸發(fā)條件，則產(chǎn)生一個(gè)數(shù)據(jù)質(zhì)量問題。無(wú)論是人工報(bào)告的問題,還是監(jiān)視程序自動(dòng)捕獲的問題，都通過系統(tǒng)將該問題事件發(fā)送到問題列表，等待管理人員進(jìn)行下一步處理。問題發(fā)布由數(shù)據(jù)質(zhì)量問題的管理人員進(jìn)行對(duì)問題的確認(rèn)和核實(shí)，并將其發(fā)布至與該問題相關(guān)人員。問題處理與跟蹤在某一問題由該問題的負(fù)責(zé)人員進(jìn)行初步的處理后，將處理意見、時(shí)間、期望的改正結(jié)論等相關(guān)內(nèi)容，錄入系統(tǒng)，在不同的問題處理階段需對(duì)該問題的處理狀態(tài)進(jìn)行更新。對(duì)該問題已授權(quán)的用戶可以查詢到問題的處理意見和處理步驟,及當(dāng)前最新的處理狀態(tài)。問題解決問題的負(fù)責(zé)人可以隨時(shí)關(guān)閉問題,關(guān)閉問題時(shí)需填寫問題總結(jié)報(bào)告.問題關(guān)閉后，就進(jìn)入只讀狀態(tài),不能再進(jìn)行任何反饋或者回復(fù)操作。數(shù)據(jù)質(zhì)量知識(shí)庫(kù)管理該功能提供對(duì)常見數(shù)據(jù)質(zhì)量問題的現(xiàn)象、原因、處理辦法等內(nèi)容的經(jīng)驗(yàn)總結(jié)，并形成知識(shí)庫(kù)，便于后續(xù)相類似問題的解決和系統(tǒng)維護(hù)。知識(shí)積累在任何的數(shù)據(jù)質(zhì)量問題發(fā)布、處理、解決后需對(duì)該問題的內(nèi)容和總結(jié)報(bào)告以知識(shí)庫(kù)的形式進(jìn)行積累和存儲(chǔ)，并以關(guān)鍵字的形式進(jìn)行知識(shí)的索引管理.知識(shí)使用知識(shí)的使用是指維護(hù)人員在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時(shí)，可以通過輸入關(guān)鍵字的方式查找之前發(fā)生過的類似問題的處理辦法。以達(dá)到知識(shí)重用的目的。系統(tǒng)管理系統(tǒng)管理是指對(duì)數(shù)據(jù)質(zhì)量管理系統(tǒng)所進(jìn)行的一系列管理，具體參見第6章.應(yīng)用層在數(shù)據(jù)質(zhì)量管理系統(tǒng)提供的三大功能域的基本功能支撐下,應(yīng)用層面向數(shù)據(jù)質(zhì)量管理的實(shí)際問題提供應(yīng)用解決方案，主要包括信息地圖、數(shù)據(jù)質(zhì)量評(píng)估、接口數(shù)據(jù)異常分析、指標(biāo)一致性分析、需求變更影響分析、項(xiàng)目管理支撐應(yīng)用等.信息地圖信息地圖是在元數(shù)據(jù)基本功能基礎(chǔ)上對(duì)經(jīng)營(yíng)分析系統(tǒng)基礎(chǔ)元數(shù)據(jù)信息的全局、多視角的展現(xiàn)。該應(yīng)用針對(duì)不同的使用角色應(yīng)有不同的視角展現(xiàn)其關(guān)注的元數(shù)據(jù)，業(yè)務(wù)人員關(guān)注指標(biāo)口徑、業(yè)務(wù)規(guī)則等業(yè)務(wù)元數(shù)據(jù)。信息地圖的展現(xiàn)應(yīng)支持以下要求:數(shù)據(jù)實(shí)體展現(xiàn)視圖：按照經(jīng)營(yíng)分析系統(tǒng)分析處理的各個(gè)環(huán)節(jié)，分層組織和展現(xiàn)數(shù)據(jù)實(shí)體，層次劃分包括源系統(tǒng)接口數(shù)據(jù)實(shí)體、倉(cāng)庫(kù)數(shù)據(jù)實(shí)體、指標(biāo)實(shí)體等；數(shù)據(jù)處理過程展現(xiàn)視圖：支持從經(jīng)營(yíng)分析系統(tǒng)處理過程角度的視圖展現(xiàn)，展現(xiàn)不同層次實(shí)體間的加工處理過程；指標(biāo)視圖：支持對(duì)指標(biāo)業(yè)務(wù)口徑及統(tǒng)計(jì)過程的展現(xiàn)，指標(biāo)按使用部門和應(yīng)用主題進(jìn)行分類組織；支持不同展現(xiàn)視圖間的靈活跳轉(zhuǎn)。信息地圖的展示應(yīng)滿足如下要求：角色分類系統(tǒng)中的元數(shù)據(jù)信息按照不同的角色組織和分類，不同的角色訪問不同的元數(shù)據(jù)內(nèi)容。元數(shù)據(jù)分類不同人員關(guān)心不同類型的元數(shù)據(jù),包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù).指標(biāo)實(shí)行統(tǒng)一管理、統(tǒng)一查詢和統(tǒng)一維護(hù)將現(xiàn)有經(jīng)營(yíng)分析不同功能模塊下實(shí)現(xiàn)的指標(biāo)，實(shí)現(xiàn)統(tǒng)一查詢，統(tǒng)一維護(hù)管理，滿足：可以集中查詢不同模塊下的指標(biāo)定義、指標(biāo)計(jì)算規(guī)則,詳細(xì)信息;提供指標(biāo)比較分析,對(duì)歧義指標(biāo)進(jìn)行直觀的不同規(guī)則的理解；為今后指標(biāo)統(tǒng)一、規(guī)則定義提供信息管理平臺(tái)；數(shù)據(jù)質(zhì)量評(píng)估數(shù)據(jù)質(zhì)量評(píng)估是對(duì)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量狀況的一個(gè)全面展現(xiàn)，以便于經(jīng)營(yíng)分析系統(tǒng)運(yùn)維人員從各個(gè)角度了解系統(tǒng)目前的數(shù)據(jù)質(zhì)量狀況，發(fā)現(xiàn)問題則進(jìn)行告警,該應(yīng)用是接口數(shù)據(jù)異常分析、指標(biāo)一致性分析等具體數(shù)據(jù)質(zhì)量問題解決應(yīng)用的基礎(chǔ)。數(shù)據(jù)質(zhì)量評(píng)估應(yīng)用結(jié)構(gòu)如圖4-2所示：圖4—2數(shù)據(jù)質(zhì)量評(píng)估應(yīng)用結(jié)構(gòu)圖數(shù)據(jù)質(zhì)量評(píng)估應(yīng)支持以下要求：靜態(tài)數(shù)據(jù)質(zhì)量評(píng)估：分層展現(xiàn)經(jīng)營(yíng)分析系統(tǒng)處理周期內(nèi)各個(gè)層次靜態(tài)數(shù)據(jù)的質(zhì)量狀況，包括源系統(tǒng)接口數(shù)據(jù)、倉(cāng)庫(kù)數(shù)據(jù)、指標(biāo)數(shù)據(jù)、其它應(yīng)用數(shù)據(jù)等，應(yīng)用展現(xiàn)的內(nèi)容包括：處理周期、數(shù)據(jù)實(shí)體層次、數(shù)據(jù)實(shí)體名稱、要求生成時(shí)間,實(shí)際生成時(shí)間、相關(guān)度量指標(biāo)(如：周期數(shù)據(jù)量、業(yè)務(wù)度量如用戶實(shí)體周期新增數(shù)等）。數(shù)據(jù)處理過程評(píng)估：按經(jīng)營(yíng)分析系統(tǒng)不同處理環(huán)節(jié)類型展現(xiàn)處理周期內(nèi)數(shù)據(jù)處理過程執(zhí)行狀況，包括接口數(shù)據(jù)清洗轉(zhuǎn)換過程、底層倉(cāng)庫(kù)加載過程、倉(cāng)庫(kù)匯總層處理、指標(biāo)生成過程、CUBE數(shù)據(jù)加載過程等等，應(yīng)用展現(xiàn)的內(nèi)容包括：處理周期、要求開始時(shí)間、要求處理時(shí)長(zhǎng)范圍、處理狀態(tài)（未執(zhí)行、執(zhí)行中、已完成、異常退出等）、實(shí)際開始時(shí)間、實(shí)際處理時(shí)長(zhǎng)、總處理數(shù)據(jù)量、異常數(shù)據(jù)量、未處理處理量、是否有異常、異常原因等。系統(tǒng)首先展現(xiàn)各類型數(shù)據(jù)處理過程總體情況，對(duì)于有問題處理過程，支持過程明細(xì)的查詢和進(jìn)一步的問題現(xiàn)象描述展現(xiàn)及問題的具體定位。系統(tǒng)運(yùn)行環(huán)境評(píng)估：從經(jīng)營(yíng)分析系統(tǒng)運(yùn)行環(huán)境角度對(duì)數(shù)據(jù)質(zhì)量狀況給出評(píng)估，使經(jīng)營(yíng)分析系統(tǒng)運(yùn)維人員及時(shí)得知系統(tǒng)環(huán)境狀況，以便從側(cè)面了解系統(tǒng)整體的數(shù)據(jù)質(zhì)量狀況.主要包括系統(tǒng)資源（內(nèi)存、CPU）、文件系統(tǒng)、表空間使用情況、任務(wù)調(diào)度系統(tǒng)運(yùn)行狀況（任務(wù)派發(fā)、任務(wù)并發(fā)、資源分配等情況)。個(gè)性化視角展現(xiàn)：數(shù)據(jù)質(zhì)量評(píng)估應(yīng)用應(yīng)支持多種角度查看系統(tǒng)的數(shù)據(jù)質(zhì)量狀況，以支持不同運(yùn)維人員的要求.數(shù)據(jù)質(zhì)量評(píng)估報(bào)告：系統(tǒng)應(yīng)支持定期不定期的數(shù)據(jù)質(zhì)量評(píng)估報(bào)告生成及下載功能，運(yùn)維報(bào)告的內(nèi)容包括經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量關(guān)注的數(shù)據(jù)、處理過程、環(huán)境等方方面面,對(duì)于存在的數(shù)據(jù)質(zhì)量問題,給出改進(jìn)建議,以便系統(tǒng)運(yùn)維人員整體了解一段時(shí)間內(nèi)系統(tǒng)的數(shù)據(jù)質(zhì)量狀況,并促進(jìn)經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量的持續(xù)提高。接口數(shù)據(jù)異常分析源系統(tǒng)是經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)的源頭，接口數(shù)據(jù)質(zhì)量問題是經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)達(dá)到較高的數(shù)據(jù)質(zhì)量問題的最基本的要求。接口數(shù)據(jù)異常主要表現(xiàn)在接口數(shù)據(jù)與源系統(tǒng)數(shù)據(jù)的不一致、接口數(shù)據(jù)抽取不及時(shí)等方面。與源系統(tǒng)的數(shù)據(jù)不一致具體表現(xiàn)在文件數(shù)量不一致、記錄長(zhǎng)度不一致、文件大小不一致、處理時(shí)間不一致、取數(shù)時(shí)間點(diǎn)不一致、數(shù)據(jù)結(jié)構(gòu)不一致、編碼轉(zhuǎn)換規(guī)則不一致。接口數(shù)據(jù)抽取不及時(shí)具體表現(xiàn)在接口文件生成不及時(shí)、接口文件抽取不及時(shí)。對(duì)接口數(shù)據(jù)異常問題的分析可以通過數(shù)據(jù)質(zhì)量管理系統(tǒng)的數(shù)據(jù)質(zhì)量檢查、元數(shù)據(jù)支撐功能、輔助功能三個(gè)基本功能域相關(guān)功能的調(diào)用，實(shí)現(xiàn)對(duì)該類數(shù)據(jù)質(zhì)量問題處理的IT化支撐。解決方案包括：利用系統(tǒng)的元數(shù)據(jù)支撐功能實(shí)現(xiàn)對(duì)所有與接口相關(guān)聯(lián)的接口部分的元數(shù)據(jù)展現(xiàn),所涉及的范圍包括源系統(tǒng)元數(shù)據(jù)、省級(jí)經(jīng)營(yíng)分析系統(tǒng)與源系統(tǒng)之間進(jìn)行ETL轉(zhuǎn)換所涉及的元數(shù)據(jù)。1）通過輸入、擴(kuò)充和發(fā)布信息,用系統(tǒng)的元數(shù)據(jù)作為交互知識(shí)庫(kù)；2）用系統(tǒng)創(chuàng)建接口到源系統(tǒng)之間的元數(shù)據(jù)端到端統(tǒng)一視圖;3）利用系統(tǒng)提供的轉(zhuǎn)換主題的數(shù)據(jù)邏輯模型建模；利用系統(tǒng)的數(shù)據(jù)質(zhì)量檢查基本功能發(fā)現(xiàn)接口數(shù)據(jù)質(zhì)量問題，結(jié)合元數(shù)據(jù)基本功能完成問題的定位，并分析問題.利用系統(tǒng)的輔助功能進(jìn)行問題報(bào)告管理、問題知識(shí)庫(kù)管理.使用系統(tǒng)界面為用戶提供安全、易用的系統(tǒng)元數(shù)據(jù)視圖操縱界面。其具體應(yīng)用結(jié)構(gòu)如圖4-3所示:圖4—3接口數(shù)據(jù)異常分析應(yīng)用實(shí)現(xiàn)框架如上圖所示,接口數(shù)據(jù)問題分析應(yīng)用根據(jù)問題分析的階段,可以分為以下幾個(gè)階段，下面對(duì)每個(gè)階段應(yīng)用需要提供的系統(tǒng)支撐做相關(guān)描述：1、定義初始度量主要是利用稽核規(guī)則配置管理配置接口數(shù)據(jù)異常度量標(biāo)準(zhǔn)，下面列出的接口數(shù)據(jù)異常度量指標(biāo)和標(biāo)準(zhǔn)供參考:度量指標(biāo)指標(biāo)解釋計(jì)算公式度量標(biāo)準(zhǔn)接口文件度量指標(biāo)文件傳送完整率每日傳送至省級(jí)經(jīng)營(yíng)分析系統(tǒng)中的完整的接口文件百分比（其中，完整的接口文件指文件的名稱、格式、時(shí)間標(biāo)識(shí)、文件大小等均符合經(jīng)營(yíng)分析系統(tǒng)接口規(guī)范規(guī)定的接口文件)。（每日傳送至經(jīng)營(yíng)分析系統(tǒng)中的符合相應(yīng)接口規(guī)范的接口文件個(gè)數(shù)/每日傳送至經(jīng)營(yíng)分析系統(tǒng)中的接口文件總個(gè)數(shù)）＊100％高于99％文件記錄合法率接口文件記錄中各數(shù)據(jù)項(xiàng)長(zhǎng)度、類型及值域均符合接口規(guī)范定義的百分比（接口文件中數(shù)據(jù)項(xiàng)均合法的記錄數(shù)/接口文件中記錄總數(shù))＊100%大于99％文件傳送及時(shí)率在接口規(guī)范中規(guī)定的文件傳送時(shí)間窗口內(nèi)傳送至經(jīng)營(yíng)分析系統(tǒng)的文件個(gè)數(shù)百分比。

（每日在規(guī)定時(shí)間窗口內(nèi)傳送至經(jīng)營(yíng)分析系統(tǒng)的文件個(gè)數(shù)/每日應(yīng)傳送至經(jīng)營(yíng)分析系統(tǒng)的文件個(gè)數(shù)）＊100高于99%文件加載正確率每日接口文件加載到經(jīng)營(yíng)分析系統(tǒng)時(shí)的正確百分比。加載正確的接口文件個(gè)數(shù)/接口文件的總個(gè)數(shù)*100%大于99％接口數(shù)據(jù)度量指標(biāo)數(shù)據(jù)提供及時(shí)率每日在規(guī)定時(shí)間窗口內(nèi)，能夠允許經(jīng)營(yíng)分析系統(tǒng)進(jìn)行數(shù)據(jù)抽取工作的接口表百分比。每日在規(guī)定時(shí)間內(nèi)能夠進(jìn)行數(shù)據(jù)抽取工作的接口表個(gè)數(shù)/每日應(yīng)進(jìn)行數(shù)據(jù)抽高于99％取工作的接口表總個(gè)數(shù)大于99%數(shù)據(jù)抽取及時(shí)率在接口規(guī)范中規(guī)定的數(shù)據(jù)抽取時(shí)間窗口內(nèi)完成數(shù)據(jù)表數(shù)據(jù)抽取工作的數(shù)據(jù)表百分比每日在規(guī)定的數(shù)據(jù)抽取時(shí)間內(nèi)完成數(shù)據(jù)抽取工作的接口表個(gè)數(shù)/每日應(yīng)完成數(shù)據(jù)抽取的接口表總個(gè)數(shù)大于99％

2、及時(shí)發(fā)現(xiàn)質(zhì)量問題接口數(shù)據(jù)是以文件的形式提供的.通過對(duì)接口數(shù)據(jù)一致性和及時(shí)性等方面的檢查及時(shí)發(fā)現(xiàn)問題，以保證在數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前不存在數(shù)據(jù)質(zhì)量問題和隱患。首先利用系統(tǒng)的數(shù)據(jù)稽核指標(biāo)功能域?qū)涌谖募徒涌诒磉M(jìn)行度量，每個(gè)接口文件是一個(gè)數(shù)據(jù)實(shí)體，每個(gè)數(shù)據(jù)實(shí)體對(duì)應(yīng)有文件記錄完整率、文件記錄合法率、文件傳送及時(shí)率、文件加載正確率附加信息，每個(gè)接口表是一個(gè)數(shù)據(jù)實(shí)體，每個(gè)數(shù)據(jù)實(shí)體增加數(shù)據(jù)提供及時(shí)率、數(shù)據(jù)抽取及時(shí)率附加信息.通過預(yù)先配置的接口問題指標(biāo)度量標(biāo)準(zhǔn)判斷接口的哪個(gè)部分?jǐn)?shù)據(jù)出現(xiàn)問題，如發(fā)現(xiàn)不滿足度量標(biāo)準(zhǔn)，通過界面異常顯示或短信告警等方式通知相關(guān)系統(tǒng)維護(hù)人員，如涉及源系統(tǒng)問題可以通過提交問題報(bào)告通知源系統(tǒng)進(jìn)行核查。3、查找問題根源對(duì)于不滿足度量標(biāo)準(zhǔn)的指標(biāo)可以利用系統(tǒng)的質(zhì)量檢查功能基本確定接口數(shù)據(jù)問題原因。接口文件數(shù)據(jù)實(shí)體和接口表數(shù)據(jù)實(shí)體中有不滿足度量標(biāo)準(zhǔn)的利用質(zhì)量檢查功能域中的“過程回溯”沿著數(shù)據(jù)實(shí)體的轉(zhuǎn)換流向，確定數(shù)據(jù)實(shí)體所影響的范圍,再利用“過程查詢"和“實(shí)體查詢”確定問題根源。具體過程如下圖所示：接口數(shù)據(jù)異常接口數(shù)據(jù)異常接口文件生成、傳送、加載、數(shù)據(jù)抽取過程回溯接口文件加載過程查詢接口數(shù)據(jù)抽取過程查詢接口文件傳送過程查詢接口文件生成過程查詢接口數(shù)據(jù)抽取實(shí)體查詢接口文件加載實(shí)體查詢接口文件傳送實(shí)體查詢接口文件生成實(shí)體查詢接口數(shù)據(jù)抽取問題報(bào)告接口文件加載問題報(bào)告接口文件傳送問題報(bào)告接口文件生成問題報(bào)告圖4-4接口數(shù)據(jù)異常分析流程下面通過舉例說(shuō)明問題分析方法和問題查找步驟過程：通過配置的稽核規(guī)則對(duì)接口數(shù)據(jù)抽取及時(shí)率度量指標(biāo)告警,則可以將問題定位在接口數(shù)據(jù)抽取過程；利用系統(tǒng)的過程回溯功能對(duì)接口數(shù)據(jù)抽取過程進(jìn)行回溯；利用過程查詢功能對(duì)接口數(shù)據(jù)抽取的過程具體步驟進(jìn)行查詢，依次查詢進(jìn)程是否異常、查詢調(diào)度配置、查詢調(diào)度是否正常、查詢加載文件過程、查詢?nèi)罩緢?bào)告、查詢?cè)撨^程關(guān)聯(lián)的其它過程,用排除法依次排除問題；利用系統(tǒng)的實(shí)體查詢功能查詢接口數(shù)據(jù)抽取過程每一個(gè)步驟定義的實(shí)體、對(duì)象和規(guī)則;例如：進(jìn)程運(yùn)行涉及的實(shí)體包括:進(jìn)程名稱、對(duì)應(yīng)單元、對(duì)應(yīng)文件、運(yùn)行時(shí)間、運(yùn)行日志、運(yùn)行報(bào)告等等；調(diào)度配置涉及的實(shí)體包括：調(diào)度名稱、對(duì)應(yīng)主體、依賴關(guān)系、優(yōu)先級(jí)、啟動(dòng)時(shí)間、調(diào)度次數(shù)、間隔時(shí)間等等;文件加載涉及的實(shí)體包括：文件、來(lái)源、接口單元、傳輸網(wǎng)絡(luò)、加載方式、加載周期、加載日志、加載時(shí)間等等；最終定位問題根源，在系統(tǒng)上登記問題報(bào)告。4、解決問題找到問題根源后,如果是源文件的問題可以提交問題反饋報(bào)告給相關(guān)源系統(tǒng)改造，如果是接口表數(shù)據(jù)的問題可以通過“元數(shù)據(jù)維護(hù)"相關(guān)功能實(shí)施元數(shù)據(jù)的修正，同時(shí)完善問題處理報(bào)告.5、監(jiān)控改進(jìn)情況在問題解決后,需要繼續(xù)監(jiān)控是否還有類似數(shù)據(jù)問題，并將此類問題的監(jiān)控級(jí)別提高一級(jí)并根據(jù)問題解決情況，增加新的稽核監(jiān)控配置。最后，把問題處理經(jīng)驗(yàn)在系統(tǒng)上形成知識(shí)庫(kù).對(duì)于以上接口數(shù)據(jù)問題的查找方法，各省可以考慮在執(zhí)行一致性分析應(yīng)用中增加相關(guān)流程的支撐，并利用系統(tǒng)的輔助功能進(jìn)行問題報(bào)告管理、問題知識(shí)庫(kù)管理問題。指標(biāo)一致性分析指標(biāo)一致性問題主要表現(xiàn)在經(jīng)營(yíng)分析統(tǒng)計(jì)指標(biāo)與源系統(tǒng)統(tǒng)計(jì)指標(biāo)不一致，以及經(jīng)營(yíng)分析內(nèi)部不同應(yīng)用模塊的統(tǒng)計(jì)指標(biāo)不一致。指標(biāo)一致性應(yīng)用分析通過對(duì)數(shù)據(jù)質(zhì)量檢查、元數(shù)據(jù)支撐功能及輔助功能三個(gè)基本功能域相關(guān)功能的調(diào)用，實(shí)現(xiàn)對(duì)該類數(shù)據(jù)質(zhì)量問題處理的IT化支撐，并配合一些口徑一致性問題查找的基本方法.其具體應(yīng)用結(jié)構(gòu)如圖4-5所示：圖4—5指標(biāo)一致性分析應(yīng)用實(shí)現(xiàn)框架如上圖所示，指標(biāo)口徑不一致分析應(yīng)用根據(jù)問題分析的階段，可以分為以下幾個(gè)階段，下面對(duì)每個(gè)階段應(yīng)用需要提供的系統(tǒng)支撐做相關(guān)描述：定義初始度量，主要是對(duì)需要保持一致的指標(biāo)配置相關(guān)的稽核規(guī)則,如A指標(biāo)值＝B指標(biāo)值。一般應(yīng)用于經(jīng)營(yíng)分析內(nèi)部不同應(yīng)用模塊的統(tǒng)計(jì)指標(biāo)之間的一致性.及時(shí)發(fā)現(xiàn)質(zhì)量問題，主要是應(yīng)用根據(jù)預(yù)先配置的指標(biāo)一致性稽核規(guī)則，對(duì)系統(tǒng)中需要保持一致的指標(biāo)進(jìn)行數(shù)據(jù)稽核檢查，如發(fā)現(xiàn)不一致，通過界面異常顯示或短信告警等方式通知相關(guān)系統(tǒng)維護(hù)人員。查找問題根源，對(duì)于發(fā)生差異的指標(biāo)，應(yīng)用首先利用“指標(biāo)回溯”功能展現(xiàn)經(jīng)營(yíng)分析相關(guān)指標(biāo)的的系統(tǒng)實(shí)現(xiàn)過程（包括ETL、倉(cāng)庫(kù)處理、指標(biāo)匯總整個(gè)流程);對(duì)于具體過程，應(yīng)支持進(jìn)一步通過“過程查詢"功能，展現(xiàn)具體過程的實(shí)現(xiàn)細(xì)節(jié)、輸入和輸出實(shí)體的信息;對(duì)于涉及的實(shí)體，應(yīng)支持進(jìn)一步通過“實(shí)體查詢”功能，展現(xiàn)參與實(shí)體的明細(xì)信息。以上幾項(xiàng)功能展現(xiàn)可以較好的幫助鎖定問題的范圍,并方便問題查找人員了解系統(tǒng)實(shí)現(xiàn)細(xì)節(jié)。另外，通過“知識(shí)庫(kù)管理功能”，讓問題查找人員獲取問題相關(guān)經(jīng)驗(yàn)。對(duì)于口徑一致性差異的具體原因查找，可以考慮參照如下方式，給出具體的問題查找方法論或問題查找步驟：(一）假設(shè)有兩個(gè)口徑一致的指標(biāo)A和B的一致性出現(xiàn)問題，其中A為經(jīng)營(yíng)分析某應(yīng)用統(tǒng)計(jì)指標(biāo),B為經(jīng)營(yíng)分析其它應(yīng)用模塊統(tǒng)計(jì)指標(biāo)，其基本的差異查找思路如下對(duì)指標(biāo)A，根據(jù)“指標(biāo)回溯”和“實(shí)體查詢"功能,定位經(jīng)營(yíng)分析統(tǒng)計(jì)指標(biāo)A的數(shù)據(jù)來(lái)源，一般是底層倉(cāng)庫(kù)表或者相關(guān)匯總中間層；對(duì)指標(biāo)B，根據(jù)“指標(biāo)回溯”和“實(shí)體查詢”功能，定位經(jīng)營(yíng)分析統(tǒng)計(jì)指標(biāo)A的數(shù)據(jù)來(lái)源,一般是底層倉(cāng)庫(kù)表或者相關(guān)匯總中間