數(shù)據(jù)中臺(tái)(數(shù)據(jù)加工處理)

數(shù)據(jù)加工處理數(shù)據(jù)加工實(shí)現(xiàn)方法數(shù)據(jù)加工是將源端采集的各個(gè)委辦局?jǐn)?shù)據(jù)加工為可進(jìn)行數(shù)據(jù)開放的數(shù)據(jù)，對加工過程中的錯(cuò)誤數(shù)據(jù)、冗余數(shù)據(jù)進(jìn)行問題追溯、對加工過程中的數(shù)據(jù)質(zhì)量問題進(jìn)行管理，保證數(shù)據(jù)加工的可視化、保證數(shù)據(jù)質(zhì)量的準(zhǔn)確化。數(shù)據(jù)加工處理，是整個(gè)數(shù)據(jù)應(yīng)用的前置環(huán)節(jié)，其結(jié)果質(zhì)量直接關(guān)系到模型效果和最終結(jié)論。在實(shí)際操作中，加工處理的方式包括：1、數(shù)據(jù)生產(chǎn)計(jì)劃：數(shù)據(jù)需求和數(shù)據(jù)處理設(shè)計(jì)的子模塊，主要功能為：數(shù)據(jù)的語義化、加工能力的組件化，負(fù)責(zé)銜接業(yè)務(wù)和技術(shù)，是信息的樞紐，也是知識(shí)庫的堅(jiān)實(shí)基礎(chǔ)。2、數(shù)據(jù)生產(chǎn)執(zhí)行：執(zhí)行數(shù)據(jù)處理的子模塊，融合了庫外ETL、庫內(nèi)數(shù)據(jù)加工、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量檢查、調(diào)度管理等孤立系統(tǒng)的必要功能，負(fù)責(zé)數(shù)據(jù)生產(chǎn)計(jì)劃的執(zhí)行、數(shù)據(jù)的生產(chǎn)和數(shù)據(jù)質(zhì)量控制等工作。3、 數(shù)據(jù)生產(chǎn)管理：數(shù)據(jù)處理日常監(jiān)控和綜合管理的子模塊，負(fù)責(zé)數(shù)據(jù)處理和數(shù)據(jù)規(guī)范的管控。數(shù)據(jù)生產(chǎn)管理橫煥數(shù)據(jù)生產(chǎn)池J數(shù)據(jù)生產(chǎn)管理橫煥各類組件，以業(yè)務(wù)驅(qū)曲定制，供數(shù)據(jù)分析師使用+rfe制定規(guī)苑+rfe回『會(huì)折案類分析數(shù)據(jù)分美神經(jīng)網(wǎng)鏘I7M術(shù)人員 弋尸算法噗型數(shù)據(jù)分析炳管控泣程就洲i數(shù)據(jù)加工實(shí)現(xiàn)回『會(huì)折案類分析數(shù)據(jù)分美神經(jīng)網(wǎng)鏘I7M術(shù)人員 弋尸算法噗型數(shù)據(jù)分析炳管控泣程就洲i數(shù)據(jù)加工實(shí)現(xiàn)目目目目管控開發(fā)數(shù)據(jù)加工效果評估數(shù)據(jù)準(zhǔn)確是數(shù)據(jù)共享開放的前提，一方面要求業(yè)務(wù)需求和技術(shù)實(shí)現(xiàn)的一致性，另外一方面要求數(shù)據(jù)加工生產(chǎn)過程正確性，在數(shù)據(jù)治理過程中通過事前設(shè)計(jì)、事中管控、事后稽核的方式確保數(shù)據(jù)輸出的質(zhì)量正確。1、 事前設(shè)計(jì)數(shù)據(jù)加工前期，需要對數(shù)據(jù)加工過程進(jìn)行詳細(xì)的設(shè)計(jì)，對數(shù)據(jù)加工的方法，數(shù)據(jù)的詳細(xì)字段，數(shù)據(jù)的語義語法、存儲(chǔ)方法、存儲(chǔ)位置、分層規(guī)則、命名規(guī)則、標(biāo)準(zhǔn)規(guī)則、存儲(chǔ)規(guī)則等進(jìn)行詳細(xì)的設(shè)計(jì)、論證、驗(yàn)證。數(shù)據(jù)加工處理時(shí)，嚴(yán)格按照前期的設(shè)計(jì)進(jìn)行。2、 事中控制數(shù)據(jù)加工在處理過程中，可以通過一定的方法來保證數(shù)據(jù)加工處理的過程嚴(yán)格按照預(yù)先設(shè)計(jì)的規(guī)則、方法進(jìn)行，以保證數(shù)據(jù)加工處理的過程不出現(xiàn)問題，從而保證數(shù)據(jù)的最終質(zhì)量。方法包括但不限于：（1） 目標(biāo)表加工邏輯的可視化：將處理邏輯可視化展示在平臺(tái)上，且管理的處理邏輯和生產(chǎn)的處理邏輯一致，則可支撐業(yè)務(wù)需求和技術(shù)實(shí)現(xiàn)一致性復(fù)查。（2） 目標(biāo)表加工鏈路的可視化：將目標(biāo)表的加工鏈路可視化進(jìn)行管理，通過調(diào)度圖（血緣圖）可了解整個(gè)目標(biāo)表的生成過程，則可支撐業(yè)務(wù)流程和技術(shù)實(shí)現(xiàn)流程一致性人工復(fù)查。（3） 由平臺(tái)保證開發(fā)人員按照指定的要求進(jìn)行開發(fā)，統(tǒng)一建模標(biāo)準(zhǔn)，降低理解門檻。3、 事后評估數(shù)據(jù)加工處理完成后，需要對數(shù)據(jù)的質(zhì)量進(jìn)行評估，通過一定的測試方法，來驗(yàn)證數(shù)據(jù)處理的質(zhì)量。形成整體評估報(bào)告，以確定數(shù)據(jù)處理的質(zhì)量，如數(shù)據(jù)質(zhì)量達(dá)不到要求，需要重新審視整個(gè)加工處理過程，包括前期的設(shè)計(jì)，找出問題所在，優(yōu)化處理方案，進(jìn)行重新加工，直至數(shù)據(jù)質(zhì)量達(dá)到要求。數(shù)據(jù)質(zhì)量評估包括但不限于以下內(nèi)容：對模型字段進(jìn)行檢查校驗(yàn)，對各層模型數(shù)據(jù)引用規(guī)范進(jìn)行檢查，對各層模型元素命名規(guī)則進(jìn)行檢查，對模型表字段進(jìn)行檢查校驗(yàn)，對數(shù)據(jù)存儲(chǔ)規(guī)范進(jìn)行檢驗(yàn)等。數(shù)據(jù)加工后存儲(chǔ)與交互數(shù)據(jù)加工平臺(tái)的數(shù)據(jù)分為操作數(shù)據(jù)、元數(shù)據(jù)、血緣、調(diào)度數(shù)據(jù)，數(shù)據(jù)加工平臺(tái)的數(shù)據(jù)關(guān)系如下:而函標(biāo) 'i I 頑而B百TOC\o"1-5"\h\z數(shù)據(jù)爰源詈理平臺(tái) ] 1誠4血^ I I 政據(jù)加工平臺(tái)〈應(yīng)用和85根庫｝散據(jù)加工平臺(tái)[對外眼勞） ?― 諛睹.帽.at—1 : 割照!卜理蓉R―T—— ； .__大數(shù)據(jù)登源池?fù)Q犧擇 II | 基她座 主題座\o"CurrentDocument" 1 1I |安全平臺(tái) 1數(shù)據(jù)加工平臺(tái)數(shù)據(jù)存儲(chǔ)與交互數(shù)據(jù)加工平臺(tái)和外圍系統(tǒng)的數(shù)據(jù)交互需統(tǒng)一由對外服務(wù)模塊提供，和基礎(chǔ)平臺(tái)的交互由數(shù)據(jù)加工平臺(tái)應(yīng)用直接交互。由應(yīng)