“信息孤島”問題與信息整合

北京賽迪世紀(jì)信息工程參謀北京賽迪世紀(jì)信息工程參謀19頁利用信息整合技術(shù)解決“信息孤島”問題信息孤島的形成與弊端不共享互換以及信息與業(yè)務(wù)流程和應(yīng)用相互脫節(jié)的計(jì)算機(jī)應(yīng)用系ITIT應(yīng)用的變化速度更快，也就是說，企業(yè)進(jìn)展的每一次局部的IT應(yīng)用都可能與以前的應(yīng)用不配套，也可能與以后的“更高級(jí)”的應(yīng)用不兼容。因此，從產(chǎn)業(yè)進(jìn)展的角度來看，信息孤島的產(chǎn)生有著一定的必定性。從企業(yè)的自身緣由分析，前期的信息化建設(shè)大多缺乏長(zhǎng)遠(yuǎn)與統(tǒng)籌規(guī)劃，不同階段只考慮各種局部需求，造成了各種不同應(yīng)用系統(tǒng)的盲目引進(jìn)，如其中有上級(jí)部門下發(fā)推廣的，也有自行開發(fā)或合作開發(fā)引進(jìn)的等渠道。由于大多數(shù)應(yīng)用系統(tǒng)之間沒有統(tǒng)一的技術(shù)和數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)不能自動(dòng)傳遞，缺乏有效的關(guān)聯(lián)和共享，從而形成一個(gè)個(gè)彼此隔離的信息孤島。信息孤島有“單項(xiàng)孤島”和“系統(tǒng)孤島”之分，它們的存在所帶來的弊端是顯而易見的。首先是導(dǎo)致信息的多口采集、重復(fù)輸入以及多頭使用和維護(hù)，信息更的同步性差，從而影響了數(shù)據(jù)的全都性和正確性，并使企業(yè)的信息資源拆亂分散和大量冗余，信息使用和治理效率低下，且失去了統(tǒng)一的、準(zhǔn)確的依據(jù)。其次是由于缺乏業(yè)務(wù)功能交互與信息共享，致使企業(yè)的物流、資金流和信息流的脫節(jié)，結(jié)果造成賬賬不符、賬物不符，不僅難以進(jìn)展準(zhǔn)確的財(cái)務(wù)核算，而且難以對(duì)業(yè)務(wù)過程及業(yè)務(wù)標(biāo)準(zhǔn)實(shí)施有效監(jiān)控，導(dǎo)致不能準(zhǔn)時(shí)覺察經(jīng)營(yíng)治理過程中的問題，造成打算失控、庫(kù)存過量、選購(gòu)與銷售環(huán)節(jié)的暗箱操作等現(xiàn)象，給企業(yè)帶來無效勞動(dòng)、資源鋪張和效益流失等嚴(yán)峻后果。再次是孤立的信息系統(tǒng)無法有效地供給跨部門、跨系統(tǒng)的綜合性信息，各類數(shù)據(jù)不能形成有價(jià)值的信息，局部的信息不能提升為治理學(xué)問，以致對(duì)企業(yè)的決策支持只能流于空談。同時(shí)由于企業(yè)信息孤島的存在，還將影響信息化的集團(tuán)化、行業(yè)化應(yīng)用。信息整合信息整合的含義信息整合就是通過各種有效的手段和工具將已有信息集合在一起，生成滿足不同用戶需求的的信息集合體，在已有信息的根底上實(shí)現(xiàn)信息價(jià)值的增值。信息整合的目標(biāo)是融合外部信息、消滅信息孤島、實(shí)現(xiàn)信息增值，提高信息的利用率。信息整合的作用與目標(biāo)、設(shè)備圖片、聞素材、音像資料、日常宣傳資料、規(guī)章制度等信息資源都被有效地治理起來，經(jīng)過不斷的積存將成為企業(yè)資源，便利企業(yè)員工查詢。信息整合可以使企業(yè)對(duì)有用信息資源實(shí)施有效治理；實(shí)現(xiàn)員工協(xié)同工作、應(yīng)用系統(tǒng)協(xié)同工作；綜合、統(tǒng)一利用現(xiàn)有信息資源，提高數(shù)據(jù)使用率；為每個(gè)員工供給共性化信息平臺(tái)，治理自己需要的信息，提高工作效率。在不增加應(yīng)用系統(tǒng)的前提下，提高信息系統(tǒng)的綜合效能。信息整合以后，企業(yè)不必?fù)?dān)憂不同應(yīng)用系統(tǒng)、異構(gòu)數(shù)據(jù)庫(kù)間的集成問題，可以分步推動(dòng)企業(yè)信息化建設(shè)，在此進(jìn)程中逐步提高企業(yè)自身的信息技術(shù)水平，進(jìn)而增加對(duì)企業(yè)信息化建設(shè)的操控力氣，選擇優(yōu)秀的產(chǎn)品和資質(zhì)信譽(yù)好的集成商不斷推動(dòng)企業(yè)信息化建設(shè)，避開一次性大量投資給企業(yè)帶來損失。另外，利用信息整合技術(shù)可以將企業(yè)已經(jīng)建成的應(yīng)用系統(tǒng)與建成的應(yīng)用系統(tǒng)集成到統(tǒng)一的企業(yè)信息平臺(tái)，不必因其軟件技術(shù)落后而淘汰它們，不必因更換應(yīng)用軟件而再進(jìn)展培訓(xùn)，保護(hù)原有投資。利用信息整合技術(shù)，可以將企業(yè)的信息資源有效治理和綜合利用，從而為企業(yè)領(lǐng)導(dǎo)供給定制信息、供給綜合經(jīng)營(yíng)報(bào)表、供給多種數(shù)據(jù)呈現(xiàn)方式，為企業(yè)領(lǐng)導(dǎo)決策供給依據(jù)。通過信息整合，可以到達(dá)如下目標(biāo)：(1)消退信息孤島，使企業(yè)信息系統(tǒng)形成互通互聯(lián)的整體(2)形成了各個(gè)應(yīng)用系統(tǒng)的統(tǒng)一訪問入口(3)供給滿足信息安全的統(tǒng)一數(shù)據(jù)公布平臺(tái)(4)供給了已有業(yè)務(wù)系統(tǒng)升級(jí)的手段(5)為建立企業(yè)決策系統(tǒng)供給了數(shù)據(jù)預(yù)備(6)解決了數(shù)據(jù)不標(biāo)準(zhǔn)、編碼不全都等問題(7)標(biāo)準(zhǔn)了信息模型，遵循國(guó)際標(biāo)準(zhǔn)(8)形成了“按需定制”的企業(yè)信息架構(gòu)信息整合的三個(gè)層面數(shù)據(jù)整合數(shù)據(jù)是組成信息的根本元素，各種原始數(shù)據(jù)的積存與集中是一個(gè)組織機(jī)構(gòu)開展業(yè)務(wù)的底層根底，而這些數(shù)據(jù)大多數(shù)是由各種應(yīng)用系統(tǒng)所生成的構(gòu)造化數(shù)據(jù)。企業(yè)的構(gòu)造化數(shù)據(jù)存放在各種不同的數(shù)據(jù)庫(kù)中，增加的每個(gè)企業(yè)應(yīng)用系統(tǒng)都會(huì)帶來一系列的構(gòu)造化數(shù)據(jù)。數(shù)據(jù)整合就是對(duì)分散異構(gòu)的多數(shù)據(jù)源實(shí)現(xiàn)統(tǒng)一的訪問，實(shí)時(shí)地、智能地將有價(jià)值的數(shù)據(jù)傳遞給分析系統(tǒng)或其他應(yīng)用系統(tǒng)，進(jìn)展信息的進(jìn)一步加工。數(shù)據(jù)整合的目的是將不同的數(shù)據(jù)庫(kù)集成起來，供給一種單一的虛擬數(shù)據(jù)庫(kù)，這樣就不會(huì)消滅與核心業(yè)務(wù)不全都的多個(gè)數(shù)據(jù)庫(kù)，保持應(yīng)用軟件數(shù)據(jù)相互全都并與企業(yè)實(shí)際狀況相符。內(nèi)容整合內(nèi)容是指非構(gòu)造化的信息，例如電子表格、文本文件、圖像、圖表、報(bào)告、音頻文件和視頻文件等。這類信息通常占企業(yè)信息的80%左右。在進(jìn)展內(nèi)容整合時(shí)，企業(yè)可以建立一個(gè)內(nèi)容治理平臺(tái)，以供給對(duì)非構(gòu)造化信息的治理功能。公司的文件、圖片、多媒體等辦公信息，搜尋軟件搜尋整理的信息，翻譯系統(tǒng)翻譯的信息等非構(gòu)造化信息可以進(jìn)入內(nèi)容治理系統(tǒng)。內(nèi)容治理系統(tǒng)對(duì)各類信息進(jìn)展編、審、校等步驟，對(duì)各類信息進(jìn)展分類治理，并把握信息的公布與訪問權(quán)限。過程整合過程整合能將企業(yè)規(guī)章和過程轉(zhuǎn)移到企業(yè)應(yīng)用軟件以外，變成一種外在的過程和規(guī)章引擎。過程和企業(yè)規(guī)章的這種外在轉(zhuǎn)移增加了靈活性，從而可以對(duì)過程的改善或者的商業(yè)時(shí)機(jī)做出更加有效的反應(yīng)。最終，通過提高外在的和內(nèi)在的過程自動(dòng)化水平，可以提高過程執(zhí)行的整體效率，到達(dá)優(yōu)化過程的目的。信息整合主要的建設(shè)任務(wù)、用時(shí)估算及它們之間關(guān)系如圖1-1其相關(guān)文字說明。Ⅰ：3個(gè)月Ⅱ：較長(zhǎng)期限內(nèi)的疊代過程，與工程的建設(shè)相關(guān)Ⅲ：調(diào)研預(yù)備及標(biāo)準(zhǔn)總體框架檢測(cè)、試點(diǎn)評(píng)審等調(diào)研實(shí)施Ⅰ：3個(gè)月Ⅱ：較長(zhǎng)期限內(nèi)的疊代過程，與工程的建設(shè)相關(guān)Ⅲ：調(diào)研預(yù)備及標(biāo)準(zhǔn)總體框架檢測(cè)、試點(diǎn)評(píng)審等調(diào)研實(shí)施標(biāo)準(zhǔn)制定形成草案培訓(xùn)分析爭(zhēng)論至少3個(gè)月Ⅴ：6~12個(gè)月數(shù)據(jù)的抽取轉(zhuǎn)換、加載整體數(shù)據(jù)集成Ⅳ：數(shù)個(gè)月，與工程驗(yàn)收工程試運(yùn)行共享數(shù)據(jù)應(yīng)用集成北京賽迪世紀(jì)信息工程參謀北京賽迪世紀(jì)信息工程參謀69頁Ⅰ：這個(gè)階段要做的是：對(duì)企業(yè)的業(yè)務(wù)、治理活動(dòng)中發(fā)生的數(shù)據(jù)進(jìn)展調(diào)研、分析、整理、提煉、描述出數(shù)據(jù)的構(gòu)成。數(shù)據(jù)間層次構(gòu)造、數(shù)據(jù)間相互關(guān)系，建立體系化數(shù)據(jù)資源體系的過程。是從企業(yè)數(shù)據(jù)流的視角對(duì)數(shù)據(jù)構(gòu)造進(jìn)展一個(gè)全面、系統(tǒng)的對(duì)待，最終形成標(biāo)準(zhǔn)總體框架〔詳見后續(xù)章節(jié)的描述、業(yè)務(wù)數(shù)據(jù)分類及數(shù)據(jù)治理技術(shù)的技術(shù)、方法和架構(gòu)進(jìn)展數(shù)據(jù)治理、共享的問題〔這也反過來對(duì)標(biāo)準(zhǔn)框架的涉及產(chǎn)生影響。這局部工作一般是通過前期的咨或者可行性爭(zhēng)論工作來完成。而且，只有在這局部工作完成后，后續(xù)工作才有了依據(jù)，招標(biāo)中才可以明確地告知投標(biāo)人需要做什么。例如，假設(shè)在前期的工作中未形成標(biāo)準(zhǔn)總體框架，那么在招標(biāo)中也就無法清楚地告知投標(biāo)人招標(biāo)人具體地需要那些標(biāo)準(zhǔn)。投標(biāo)人就會(huì)依據(jù)自己的閱歷及對(duì)招標(biāo)工程的理解給出解決方案—這往是不能到達(dá)用戶要求。投標(biāo)報(bào)價(jià)也會(huì)相差較大，給評(píng)標(biāo)帶來很大困難。Ⅱ：這個(gè)階段要做的是相關(guān)標(biāo)準(zhǔn)的制訂階段〔具體過程見后續(xù)章節(jié)，是一個(gè)相對(duì)標(biāo)準(zhǔn)的過程。這個(gè)階段的關(guān)鍵要點(diǎn)是：術(shù)標(biāo)準(zhǔn)，包括數(shù)據(jù)治理的總體標(biāo)準(zhǔn)、數(shù)據(jù)標(biāo)準(zhǔn)、交換標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)和治理標(biāo)準(zhǔn)等本工程工程標(biāo)準(zhǔn)質(zhì)量好壞的唯一準(zhǔn)則是該標(biāo)準(zhǔn)是否能夠正家評(píng)審意見，最終確認(rèn)工程標(biāo)準(zhǔn)的質(zhì)量是否到達(dá)合同要求。實(shí)際狀況進(jìn)展選擇。Ⅲ：在前面兩個(gè)階段的工作成果根底上，依據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)中規(guī)定的總體框架和技術(shù)架構(gòu)，建立統(tǒng)一的信息共享平臺(tái)，從技術(shù)層面上為整合各個(gè)部門的數(shù)據(jù)資源供給保證。信息共享平臺(tái)的建設(shè)可以在標(biāo)準(zhǔn)建設(shè)進(jìn)展到確定階段〔例如草案根本完成〕的時(shí)候即可啟動(dòng)，而要進(jìn)展安排。Ⅳ：本是將需求變?yōu)閷?shí)際系統(tǒng)的最重要的局部，也是數(shù)據(jù)整合的關(guān)鍵點(diǎn)之一。在這里，共享數(shù)據(jù)庫(kù)〔操作型數(shù)據(jù)〕和數(shù)據(jù)倉(cāng)庫(kù)建模和設(shè)計(jì)是重點(diǎn)，數(shù)據(jù)倉(cāng)庫(kù)的建模和設(shè)計(jì)需要投入大量的技術(shù)閱歷。數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的模型分為不同的層次，每個(gè)層次又承受不同的數(shù)據(jù)模型進(jìn)展存儲(chǔ)。大體來說，數(shù)據(jù)倉(cāng)庫(kù)根本分為兩個(gè)層次，一是數(shù)據(jù)登臺(tái)區(qū)，二是星型模型區(qū)，在這兩個(gè)區(qū)域用不同的數(shù)據(jù)模型進(jìn)展存儲(chǔ)。一般數(shù)據(jù)登臺(tái)區(qū)根本承受和數(shù)據(jù)源一樣的構(gòu)造，也就是傳統(tǒng)的范式數(shù)據(jù)構(gòu)造，而在星型模型區(qū)一般都是承受由維表和事實(shí)表構(gòu)建的星型構(gòu)造。將數(shù)據(jù)從原始的數(shù)據(jù)源之中抽取、轉(zhuǎn)換和加載也是在這個(gè)過程中進(jìn)展的。ETL的設(shè)計(jì)開發(fā)就是用于對(duì)數(shù)據(jù)進(jìn)展清洗，數(shù)據(jù)源有可能來至于各種業(yè)務(wù)系統(tǒng)，也可能是系統(tǒng)之外的數(shù)據(jù)，這些數(shù)據(jù)以各種ETL的功能就是要將這些不同的數(shù)據(jù)源進(jìn)展清洗流程整合到一個(gè)統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)中。/凈化問題(merge/purge聯(lián)接(recordlinkage)、語義集成(semanticintegration)、實(shí)例標(biāo)識(shí)(instanceidentification),要在數(shù)據(jù)中消退錯(cuò)誤和不全都，并解決對(duì)象識(shí)別的問題。重復(fù)數(shù)據(jù)清理的公認(rèn)的方法:對(duì)合并/凈化問題用根本的排序冷fl居方法進(jìn)展解決的過程。清洗主要是針對(duì)系統(tǒng)的各個(gè)環(huán)節(jié)可能消滅的數(shù)據(jù)二義性、重復(fù)、不完整、違反業(yè)務(wù)規(guī)章等問題，允許通過試抽取，將有問題的紀(jì)錄先剔除出來，依據(jù)實(shí)際狀況調(diào)整相應(yīng)的清洗操作。客戶數(shù)據(jù)清理的六個(gè)步驟:元素化((elementizing): 標(biāo)準(zhǔn)化((standardizing):一格式校驗(yàn)((verifying):利用規(guī)章或已有的數(shù)據(jù)集合驗(yàn)證數(shù)據(jù)的有效性匹配((matching