數(shù)據(jù)整合方案

1、1 .信息資源標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化主要實現(xiàn)了數(shù)據(jù)格式、內(nèi)容和語義的映射、轉(zhuǎn)換,實現(xiàn)編碼一致化、面向主題集成、數(shù)據(jù)聚合等功能.通過數(shù)據(jù)交換、采集,形成的根底業(yè)務(wù)數(shù)據(jù),通過數(shù)據(jù)整合進(jìn)一步的數(shù)據(jù)ETL數(shù)據(jù)抽取、轉(zhuǎn)換、加載,根據(jù)定制的標(biāo)準(zhǔn)信息標(biāo)準(zhǔn)進(jìn)行匹配映射Match、數(shù)據(jù)格式轉(zhuǎn)換Transform,并對重復(fù)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗Cleanse、過濾Filtrate、聚合Aggregate,最后多維加載Load后形成標(biāo)準(zhǔn)化數(shù)據(jù).采用數(shù)據(jù)同步工具和ETL工具完成數(shù)據(jù)抽取、同步等整合工作,并通過任務(wù)調(diào)度治理實現(xiàn)對整合工具的集中治理和執(zhí)行.數(shù)據(jù)采集時可以按信息資源平臺的要求將數(shù)據(jù)標(biāo)準(zhǔn)化.在采集抽取數(shù)據(jù)時沒有按信息資源

2、平臺轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)的數(shù)據(jù),需要按信息資源平臺的要求轉(zhuǎn)換成標(biāo)準(zhǔn)的數(shù)據(jù)如字典的統(tǒng)一.2 .數(shù)據(jù)加工治理2.1. 數(shù)據(jù)抽取數(shù)據(jù)抽取是利用抽取工具,建立抽取模型,將多個數(shù)據(jù)源數(shù)據(jù)匯總到一個數(shù)據(jù)庫的過程.2.2. 數(shù)據(jù)清洗由于數(shù)據(jù)來自多個業(yè)務(wù)系統(tǒng),而且包含歷史數(shù)據(jù),需要根據(jù)一定的規(guī)劃把數(shù)據(jù)進(jìn)行清洗,整個數(shù)據(jù)清洗的對象應(yīng)包括不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)等三大類.2.3. 數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換主要實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化的過程,信息資源平臺的數(shù)據(jù),來自多個業(yè)務(wù)系統(tǒng),有些數(shù)據(jù)源沒有根據(jù)統(tǒng)一的標(biāo)準(zhǔn)標(biāo)準(zhǔn)設(shè)計,因此會造成數(shù)據(jù)難以與其他數(shù)據(jù)共享.數(shù)據(jù)轉(zhuǎn)換應(yīng)實現(xiàn)根據(jù)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和既定的格式轉(zhuǎn)換規(guī)那么,對數(shù)據(jù)的整理和格式統(tǒng)一

3、.2.4. 數(shù)據(jù)裝載數(shù)據(jù)裝載操作效率是數(shù)據(jù)資源平臺需要考慮的重要環(huán)節(jié).投標(biāo)人應(yīng)詳細(xì)描述針對本工程的不同數(shù)據(jù)資源所應(yīng)采用的數(shù)據(jù)裝載策略.2.5. 數(shù)據(jù)標(biāo)識數(shù)據(jù)標(biāo)識主要為了突出數(shù)據(jù)的關(guān)鍵性信息,便于實時的統(tǒng)計和更有效的比對,進(jìn)而獲取符合用戶業(yè)務(wù)辦理相關(guān)的結(jié)果.3 .數(shù)據(jù)整合處理系統(tǒng)3.1. 數(shù)據(jù)處理流程數(shù)據(jù)中央的構(gòu)建,根底和核心的工作是需要對來自各方的數(shù)據(jù)進(jìn)行充分的整合和處理,對獲取的各類源數(shù)據(jù),需要進(jìn)行大量的數(shù)據(jù)梳理、分析,并作相關(guān)的數(shù)據(jù)整理工作,通過數(shù)據(jù)梳理和轉(zhuǎn)換工作,把不同來源的數(shù)據(jù)基于數(shù)據(jù)標(biāo)準(zhǔn),轉(zhuǎn)換成標(biāo)準(zhǔn)化數(shù)據(jù)后,再進(jìn)行入庫,從而保證進(jìn)入數(shù)據(jù)中央的數(shù)據(jù)質(zhì)量,不產(chǎn)生垃圾數(shù)據(jù),從而為數(shù)據(jù)中央的

4、全局應(yīng)用奠定根底.數(shù)據(jù)處理的流程如下列圖所示:根底數(shù)據(jù)企業(yè)根底數(shù)據(jù)£三二二=-產(chǎn)品根底數(shù)據(jù)、三三三三二從業(yè)人員根底數(shù)據(jù)企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理其他政府部門數(shù)據(jù)整合處理數(shù)據(jù)中央業(yè)務(wù)數(shù)據(jù)許可信息一口日常監(jiān)管信息企業(yè)信用信息行政執(zhí)法信息抽樣檢驗信息其他信息企業(yè)根底信息整合處理企業(yè)許可數(shù)據(jù)整合處理企業(yè)監(jiān)管數(shù)據(jù)整合處理電子統(tǒng)計報表數(shù)據(jù)導(dǎo)入處理歷史數(shù)據(jù)整合處理其他數(shù)據(jù)整合處理數(shù)據(jù)緩沖庫共享交換治理和對接實施市政府網(wǎng)辦市局內(nèi)部電子數(shù)據(jù)工商部門其他數(shù)據(jù)農(nóng)業(yè)部門其他政府部門數(shù)據(jù)的處理流程主要如下：1、獲取源數(shù)據(jù)通過數(shù)據(jù)共享交換對接和實施,獲取各單位的原始數(shù)據(jù),并暫存在數(shù)據(jù)緩沖庫中,這局部的數(shù)據(jù)結(jié)構(gòu)和原始數(shù)

5、據(jù)的數(shù)據(jù)結(jié)構(gòu)相同2、數(shù)據(jù)整合處理對緩沖庫中存儲的數(shù)據(jù),基于數(shù)據(jù)標(biāo)準(zhǔn),對原始的數(shù)據(jù)進(jìn)行整合處理,包括企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理、企業(yè)根底數(shù)據(jù)整合處理、企業(yè)許可數(shù)據(jù)整合處理、企業(yè)監(jiān)管數(shù)據(jù)整合處理、其他政府部門數(shù)據(jù)整合處理、電子統(tǒng)計報表數(shù)據(jù)導(dǎo)入處理、歷史數(shù)據(jù)整合處理等.通過整合處理,把非標(biāo)準(zhǔn)化的原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)化的數(shù)據(jù).3、數(shù)據(jù)中央數(shù)據(jù)入庫對整合處理后的數(shù)據(jù)根據(jù)數(shù)據(jù)的性質(zhì),分別進(jìn)入到根底數(shù)據(jù)庫和業(yè)務(wù)數(shù)據(jù)庫中.3.2. 食品平安監(jiān)管數(shù)據(jù)整合處理分析3.2.1, 企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理目前,有關(guān)企業(yè)的各類信息都分散在XX省XX監(jiān)管平臺、網(wǎng)上辦事大廳XX分廳以及相關(guān)部門的行政審批系統(tǒng),不同的系統(tǒng)對企業(yè)的唯一編碼

6、各不相同,目前存在三種方式：企業(yè)組織機(jī)構(gòu)代碼企業(yè)工商登記注冊號統(tǒng)一社會信用代碼企業(yè)XX行業(yè)相關(guān)許可證號由于不同的業(yè)務(wù)系統(tǒng)是由不同的開發(fā)商開發(fā)的,在企業(yè)編碼的標(biāo)識上各不統(tǒng)一的,為了實現(xiàn)基于企業(yè)為主線,首先需要以企業(yè)關(guān)鍵碼為關(guān)聯(lián),對各方會聚的有關(guān)企業(yè)的各類信息進(jìn)行關(guān)聯(lián)整合,形成企業(yè)綜合資源,為后續(xù)的企業(yè)綜合分析提供數(shù)據(jù)支撐.因此,需要基于企業(yè)編碼標(biāo)準(zhǔn),對采集的原始企業(yè)業(yè)務(wù)數(shù)據(jù)的企業(yè)編碼進(jìn)行標(biāo)準(zhǔn)化處理.企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化處理涉及的工作包括：1、根底數(shù)據(jù)獲取通過共享交換對接、文件導(dǎo)入等多種方式,獲取有關(guān)企業(yè)的根底數(shù)據(jù)等.2、企業(yè)關(guān)鍵碼梳理分析根據(jù)調(diào)研情況,針對XX市企業(yè)根底數(shù)據(jù)的實際情況和國家推行三碼合

7、一的政策,采用依次以信用代碼、組織機(jī)構(gòu)代碼、工商登記注冊號、許可證號對從各方獲取的企業(yè)信息進(jìn)行梳理分析,和企業(yè)關(guān)鍵碼進(jìn)行比對,制定企業(yè)關(guān)鍵碼標(biāo)準(zhǔn)化的處理規(guī)那么.3、企業(yè)關(guān)鍵碼數(shù)據(jù)標(biāo)準(zhǔn)化對各方會聚的企業(yè)關(guān)鍵碼數(shù)據(jù)根據(jù)標(biāo)準(zhǔn)化處理規(guī)那么進(jìn)行轉(zhuǎn)換、補(bǔ)充等處理.3.2.2, 企業(yè)根底信息整合處理在不同的業(yè)務(wù)系統(tǒng)中,對企業(yè)根底信息描述有有差異、包括企業(yè)字段和相關(guān)的數(shù)據(jù)結(jié)構(gòu)的設(shè)計等,因此,需要對各方會聚的企業(yè)根底信息根據(jù)統(tǒng)一的企業(yè)根底數(shù)據(jù)標(biāo)準(zhǔn),進(jìn)行整合處理,構(gòu)建企業(yè)根底數(shù)據(jù)庫.3.2.3, 企業(yè)許可數(shù)據(jù)整合處理目前,XX市相關(guān)企業(yè)許可數(shù)據(jù)主要分布在兩個渠道：網(wǎng)上辦事大廳XX分廳XX省XX監(jiān)管平臺等.1、網(wǎng)上

8、辦事大廳XX分廳許可數(shù)據(jù)整合處理通過網(wǎng)上辦事大廳XX分廳進(jìn)行受理和審批,那么通過和網(wǎng)上辦事大廳XX分廳進(jìn)行對接,獲取相關(guān)的企業(yè)許可數(shù)據(jù).對獲取的企業(yè)許可數(shù)據(jù)根據(jù)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行整合處理,經(jīng)過規(guī)那么轉(zhuǎn)換后形成標(biāo)準(zhǔn)的企業(yè)許可數(shù)據(jù)導(dǎo)入到數(shù)據(jù)中央.2、XX省XX監(jiān)管平臺企業(yè)許可數(shù)據(jù)導(dǎo)入假設(shè)屬于XX省監(jiān)督治理局辦理的許可事項,那么對接XX省監(jiān)督治理局的數(shù)據(jù)中央,獲取XX市XX相關(guān)企業(yè)的許可信息,根據(jù)企業(yè)的許可標(biāo)準(zhǔn)導(dǎo)入到市局?jǐn)?shù)據(jù)中央.3.2.4, 企業(yè)監(jiān)管數(shù)據(jù)整合處理以企業(yè)為主線,對分散在不同渠道的企業(yè)監(jiān)管數(shù)據(jù)進(jìn)行梳理,根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)要求,對和企業(yè)相關(guān)的監(jiān)管數(shù)據(jù)進(jìn)行整合處理并入庫.需要進(jìn)行整合處理的監(jiān)管數(shù)

9、據(jù)大類包括：四品一械企業(yè)日常監(jiān)管數(shù)據(jù)四品一械企業(yè)行政執(zhí)法數(shù)據(jù)四品一械企業(yè)抽樣檢驗數(shù)據(jù)四品一械企業(yè)信用數(shù)據(jù)食品追溯數(shù)據(jù)廣告監(jiān)管系統(tǒng)的抓取視頻、抓拍圖片和抓取音頻等廣告監(jiān)測數(shù)據(jù)其他3.2.5, 電子統(tǒng)計報表數(shù)據(jù)導(dǎo)入處理對XX市XX監(jiān)督治理局上報省局的統(tǒng)計報表數(shù)據(jù)以電子表格方式,對這局部數(shù)據(jù)也需要導(dǎo)入到數(shù)據(jù)中央,提供全局應(yīng)用的數(shù)據(jù)支撐.3.3. 數(shù)據(jù)整合處理功能3.3.1, 數(shù)據(jù)抽取在融合數(shù)據(jù)庫中,必須從不同的操作型數(shù)據(jù)庫系統(tǒng)以及其它形式外部數(shù)據(jù)源中有選擇地抽取數(shù)據(jù),而不應(yīng)該將所有源數(shù)據(jù)全部塞入融合數(shù)據(jù)庫.在具體的抽取過程中,還必須根據(jù)是增量裝載工作還是初始完全裝載等不同情況的變化規(guī)劃抽取任務(wù).有效

10、的數(shù)據(jù)抽取對于數(shù)據(jù)倉庫的成功很關(guān)鍵,需要合理細(xì)致地制訂數(shù)據(jù)抽取策略.數(shù)據(jù)抽取的要點主要有：數(shù)據(jù)源確認(rèn)：確認(rèn)數(shù)據(jù)的源系統(tǒng)或文件和結(jié)構(gòu)；列出對事實表的每一個數(shù)據(jù)項和事實對于每個目標(biāo)數(shù)據(jù)項,找出源數(shù)據(jù)項一個數(shù)據(jù)元素有多個來源,選擇最好的來源確認(rèn)一個目標(biāo)字段的多個源字段,建立合并規(guī)那么確認(rèn)一個目標(biāo)字段的多個源字段,建立別離規(guī)那么確定默認(rèn)值檢查缺失值的源數(shù)據(jù)抽取方法：針對每個數(shù)據(jù)源,定義抽取過程是人工抽取還是基于工具抽??；抽取頻率：對于每個數(shù)據(jù)源,確定數(shù)據(jù)抽取的頻率,每天、每星期、每季度,根底數(shù)據(jù)裝載等等；時間窗口：對于每個數(shù)據(jù)源,表示出抽取過程進(jìn)行的時間窗口；工作順序：決定抽取任務(wù)中某項工作是否必須等

11、到前面的工作成功完成,才能開始;異常處理：決定如何處理無法抽取的輸入記錄.3.3.2, 數(shù)據(jù)轉(zhuǎn)換抽取得到的數(shù)據(jù)是沒有經(jīng)過加工的數(shù)據(jù),不能直接應(yīng)用于融合數(shù)據(jù)中央.首先,所有抽取的數(shù)據(jù)必須根據(jù)標(biāo)準(zhǔn)數(shù)據(jù)集轉(zhuǎn)換為融合數(shù)據(jù)庫可以使用的數(shù)據(jù).擁有可以用來后續(xù)建立數(shù)據(jù)倉庫進(jìn)行戰(zhàn)略決策的信息,并且提供對外數(shù)據(jù)共享與效勞,而操作型系統(tǒng)的數(shù)據(jù)不能滿足這個要求；其次,抽取得到的數(shù)據(jù)其質(zhì)量可能還達(dá)不到融合數(shù)據(jù)中央的要求,所以必須在進(jìn)入融合數(shù)據(jù)庫之前提升數(shù)據(jù)的質(zhì)量.在將抽取的數(shù)據(jù)載入庫之前,不可防止地要執(zhí)行各種類型的數(shù)據(jù)轉(zhuǎn)換.必須保證在所有的數(shù)據(jù)整合到一起之后,數(shù)據(jù)的組合不能違反任何商業(yè)規(guī)那么.這期間需要考慮融合數(shù)據(jù)庫

12、中需要的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)元素,結(jié)合源數(shù)據(jù)格式、數(shù)據(jù)取值和質(zhì)量要求可以知道如何綜合采用多種類型的轉(zhuǎn)換工作來符合融合數(shù)據(jù)庫的要求.數(shù)據(jù)轉(zhuǎn)換的根本任務(wù)包括：數(shù)據(jù)或記錄的選擇對所選擇的數(shù)據(jù)或記錄進(jìn)行別離或合并處理轉(zhuǎn)化：包括多種對數(shù)據(jù)記錄的單獨字段的根本轉(zhuǎn)化,以對不同源系統(tǒng)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,并使這些字段對用戶來說可用和可理解豐富：對單個字段數(shù)據(jù)進(jìn)行重新分配和簡化其中主要的轉(zhuǎn)換類型有格式修正、字段的解碼、計算值和導(dǎo)出值、單個字段的別離、信息的合并、特征集合轉(zhuǎn)化、度量單位的轉(zhuǎn)化、日期/時間轉(zhuǎn)化、匯總、鍵的重構(gòu)等等.實施數(shù)據(jù)轉(zhuǎn)換的過程中,要結(jié)合使用轉(zhuǎn)換工具和手工技術(shù).使用自動的工具可以提升效率和準(zhǔn)確性,更重要的是

13、,自動轉(zhuǎn)換工具可以記錄元數(shù)據(jù),確定的轉(zhuǎn)換參數(shù)和規(guī)那么都會作為元數(shù)據(jù)被工具存儲起來,成為數(shù)據(jù)倉庫整個元數(shù)據(jù)組成的一局部,可以被其他局部共享,當(dāng)由于商業(yè)規(guī)那么或者數(shù)據(jù)定義發(fā)生變化而帶來轉(zhuǎn)換功能變化時,可以將這些變化輸入工具,轉(zhuǎn)換的元數(shù)據(jù)會由工具自動進(jìn)行調(diào)整.使用轉(zhuǎn)換工具的理想目標(biāo)當(dāng)然是徹底排除手工的方法,但在實際中卻是不可能實現(xiàn)的.即使是使用最精良的轉(zhuǎn)換工作組合,也會存在必須使用手工開發(fā)內(nèi)部程序的需要,需要進(jìn)行復(fù)雜的手工編碼和人工測試工作.采用手工技術(shù),不但本錢和錯誤率攀升,也會在數(shù)據(jù)庫環(huán)境中產(chǎn)生一些相互獨立的程序,手工方法最大的缺點是所帶來的元數(shù)據(jù)的記錄、治理、維護(hù)問題.清洗的過程中可以檢查錯誤

14、的拼寫,檢查多個數(shù)據(jù)源之間編碼,或者補(bǔ)充數(shù)據(jù)的錯誤值,也可以排除從多個數(shù)據(jù)源系統(tǒng)中取同一個數(shù)值時出現(xiàn)的重復(fù)問題.對數(shù)據(jù)元素的標(biāo)準(zhǔn)化也是數(shù)據(jù)轉(zhuǎn)換過程的一個很重要的組成局部.要對數(shù)據(jù)類型進(jìn)行標(biāo)準(zhǔn)化,并且對不同數(shù)據(jù)源的相同數(shù)值的長度進(jìn)行補(bǔ)充.語義的標(biāo)準(zhǔn)化也是一個重要的任務(wù).你要解決同義和同音異義的問題.當(dāng)相同的字段名在不同的數(shù)據(jù)源系統(tǒng)中代表不同的意義的時候,需要解決這個同音異義的問題.數(shù)據(jù)轉(zhuǎn)換過程解決了從不同數(shù)據(jù)源提取數(shù)據(jù)的解決方法.你要組合一個源記錄中提取的數(shù)據(jù),或者對很多源記錄中提取的數(shù)據(jù)進(jìn)行組合.另一方面,數(shù)據(jù)轉(zhuǎn)換還包括了清洗沒有用的源數(shù)據(jù),并將它們進(jìn)行新的組合.在數(shù)據(jù)準(zhǔn)備階段,對數(shù)據(jù)的分類和

15、聚類是很重要的局部.根本功能種類解釋選擇：從源系統(tǒng)中選擇整個記錄或者局部記錄.別離/合并：對源系統(tǒng)中的數(shù)據(jù)進(jìn)行別離操作或者合并操作.轉(zhuǎn)化：對源系統(tǒng)進(jìn)行標(biāo)準(zhǔn)化和可理解化.匯總：將最低粒度數(shù)據(jù)進(jìn)行匯總.清楚：對單個字段數(shù)據(jù)進(jìn)行重新分配和簡化轉(zhuǎn)換類型(1)格式修正(2)字段的解碼(3)計算值和導(dǎo)出值(4)單個字段的別離(5)信息的合并(6)特征集合轉(zhuǎn)化(7)度量單位的轉(zhuǎn)化(8)關(guān)鍵字重新構(gòu)造(9)匯總(10)日期/時間轉(zhuǎn)化數(shù)據(jù)整合和合并數(shù)據(jù)整合和合并是將相關(guān)的源數(shù)據(jù)組合成一致的數(shù)據(jù)結(jié)構(gòu),裝入整合層數(shù)據(jù)庫.(1)實體識別問題數(shù)據(jù)來源于多個不同的客戶系統(tǒng),對相同客戶可能分別后不同的鍵碼,將它們組合成一條單獨的記錄(2)多數(shù)據(jù)源相同屬性不同值不同系統(tǒng)中得到的值存在一些差異,需要給出的問題合理的值3.3.3, 數(shù)據(jù)裝載向融合數(shù)據(jù)庫中轉(zhuǎn)移數(shù)據(jù)的過程中存在多種情況,一般存在三種類型的數(shù)據(jù)裝載：初始裝載：第一次對所有的數(shù)據(jù)庫表進(jìn)行遷移；增量裝載：根據(jù)需要定期裝載應(yīng)用運(yùn)行過程中發(fā)生的變化；完全刷新：完全刷新是指完全刷新一個或多個表的內(nèi)容,并重新裝載新的數(shù)據(jù).在裝載過程中,一般會用到四種方式：裝載：如果要裝載的目標(biāo)表已經(jīng)存在,而且也有數(shù)據(jù)存在于表中,裝載過程就會抹去已有的數(shù)據(jù),應(yīng)用輸入文件