論數(shù)據(jù)采集工具的現(xiàn)狀、問題、解決方案和展望

論數(shù)據(jù)采集工具的現(xiàn)狀、問題、解決方案和展望一、數(shù)據(jù)采集工具的現(xiàn)狀和存在的問題數(shù)據(jù)采集工具的發(fā)展經(jīng)過了兩代產(chǎn)品。第一代數(shù)據(jù)采集工具主要是根據(jù)財(cái)務(wù)軟件使用的數(shù)據(jù)庫，直接拷貝財(cái)務(wù)軟件數(shù)據(jù)庫文件。比如：用友U811版本的軟件后臺(tái)數(shù)據(jù)庫采用ACCESS，直接拷貝相關(guān)UFDATA.MDB文件。用友U852版本的軟件后臺(tái)數(shù)據(jù)庫采用SQLSERVER，可以有三種采集方式：第一、通過ODBC或者OLEDB等方式直連SQLSERVER數(shù)據(jù)庫，把數(shù)據(jù)下來生成第三方文件格式，比如ACCESS或者文本文件等。第二、在SQLSERVER企業(yè)管理器或者查詢分析器中直接備份需要的數(shù)據(jù)庫，生成SQLSERVER數(shù)據(jù)庫的備份文件*.BAK，然后直接拷貝該文件。第三、直接找到SQLSERVER的物理文件*.MDF，拷貝相應(yīng)的文件。這一代采集工具一般為通用型數(shù)據(jù)采集工具，比如：文件型數(shù)據(jù)查找拷貝工具、SQLSERVER采集工具、ORACLE采集工具等。這一代工具有其優(yōu)點(diǎn)：第一、工具簡(jiǎn)練，依據(jù)常用數(shù)據(jù)庫類型做相關(guān)工具；第二、采集數(shù)據(jù)比較完整，基本上是整個(gè)數(shù)據(jù)庫全部照搬，屬于數(shù)據(jù)庫級(jí)。但是也有明顯的不足：第一，需要有相關(guān)數(shù)據(jù)庫的基礎(chǔ)知識(shí)，比如ODBC數(shù)據(jù)源配置、WINDOWS認(rèn)證或者SQLSERVER混合認(rèn)證方式。其次，采集的數(shù)據(jù)位全部數(shù)據(jù)，其中有很多數(shù)據(jù)沒有用，如果遇到特別大的數(shù)據(jù)時(shí)，采集的時(shí)間很長(zhǎng)，并且占用很大的硬盤空間。第三，直接拿到的數(shù)據(jù)庫備份，需要有該數(shù)據(jù)庫的環(huán)境才能恢復(fù)進(jìn)去，這些需要有相關(guān)數(shù)據(jù)庫操作經(jīng)驗(yàn)的人員才能掌握。第四、采集工具分散，不能集成在一起使用。因此，第一代數(shù)據(jù)采集工具在應(yīng)用方面的不足，催生了第二代采數(shù)工具的產(chǎn)生。第二代數(shù)據(jù)采集工具充分利用了財(cái)務(wù)軟件系統(tǒng)本身的后臺(tái)數(shù)據(jù)庫資源，通過直接連接后臺(tái)數(shù)據(jù)庫，采集需要用到的數(shù)據(jù)表，并通過數(shù)據(jù)轉(zhuǎn)換算法把數(shù)據(jù)導(dǎo)出到設(shè)計(jì)了固定表結(jié)構(gòu)的第三方文件中。比如：使用工具采集金蝶K3數(shù)據(jù)，通過填寫連接SQLSERVER數(shù)據(jù)庫的參數(shù)，金蝶K3服務(wù)器IP、用戶名SA、SA的密碼，直接連接到金蝶K3的數(shù)據(jù)庫，然后關(guān)聯(lián)相關(guān)數(shù)據(jù)表t_Account、t_Balance、t_Voucher、t_VoucherEntry進(jìn)行查詢輸出成固定結(jié)構(gòu)數(shù)據(jù)kmk科目庫、kmye年初數(shù)庫、pzk憑證庫。第二代工具有其優(yōu)點(diǎn)：第一、以財(cái)務(wù)軟件為單位，每種財(cái)務(wù)軟件做一個(gè)接口，針對(duì)性強(qiáng)；采集工具集成度高，把各種財(cái)務(wù)軟件接口都集成在一個(gè)數(shù)據(jù)采集工具上，方便維護(hù)和使用；第二、采集數(shù)據(jù)屬于字段級(jí)，僅采集需要的數(shù)據(jù)表中的某些字段，采集后的數(shù)據(jù)很??；第三、直連數(shù)據(jù)方式，可以充分利用數(shù)據(jù)庫環(huán)境資源，高效且省資源。然而，這種方式也有其致命的弱點(diǎn)：第一、字段級(jí)的數(shù)據(jù)采集，需要對(duì)財(cái)務(wù)軟件數(shù)據(jù)結(jié)構(gòu)非常熟悉，只要有一點(diǎn)問題都需要到現(xiàn)場(chǎng)重新采集數(shù)據(jù)，非常麻煩。并且如果需要一些其他的輔助字段，由于需求沒有考慮周全，也需要重新采集。第二、只支持直連數(shù)據(jù)庫采集，不支持備份方式采集，對(duì)于很多單位不允許直連數(shù)據(jù)庫只提供備份的情況，就需要自己手動(dòng)恢復(fù)數(shù)據(jù)，對(duì)使用者要求較高。第三、采集后的數(shù)據(jù)都是按照標(biāo)準(zhǔn)數(shù)據(jù)結(jié)構(gòu)進(jìn)行轉(zhuǎn)換整理后的數(shù)據(jù)，原始表結(jié)構(gòu)已經(jīng)不復(fù)存在，這樣的數(shù)據(jù)作為證據(jù)保留下來是有問題的，正確性無法保障。二、針對(duì)數(shù)據(jù)采集工具之不足的解決方案數(shù)據(jù)采集工具有以下三點(diǎn)原則性分歧或者不足之處：第一、數(shù)據(jù)采集的顆粒度過大或者顆粒度過小。第一代工具強(qiáng)調(diào)數(shù)據(jù)庫的全盤拷貝，不論所采集數(shù)據(jù)是否有用全部采集，造成取了很多沒有用的數(shù)據(jù)，而且采集速度明顯會(huì)降低，這種數(shù)據(jù)庫級(jí)的采集方式顆粒度過大；而第二代采集工具僅采集使用到的表中的某些字段，目前沒有需求的字段都不會(huì)提取，如果一旦出現(xiàn)表結(jié)構(gòu)分析不完整或者需求的增加，都要重新到現(xiàn)場(chǎng)采集，費(fèi)時(shí)費(fèi)力費(fèi)錢，這種字段級(jí)的采集方式顆粒度過小。

6、保持原始數(shù)據(jù)表結(jié)構(gòu)：采集的數(shù)據(jù)保持原始數(shù)據(jù)的表結(jié)構(gòu)，對(duì)于作為原始證據(jù)來說至關(guān)重要。只有和原始數(shù)據(jù)庫中的表結(jié)構(gòu)，包括表名稱、字段名稱、字段類型、字段長(zhǎng)度這些信息一致，才可能說采集的表和原始數(shù)據(jù)表一致，才能作為副本作為證據(jù)保存。如果對(duì)表結(jié)構(gòu)進(jìn)行了變動(dòng)或者進(jìn)行了轉(zhuǎn)換，那么就失去了與原始表相同的這些原子特性，就存在不一致或者可能有錯(cuò)誤在數(shù)據(jù)中。

7、壓縮加密的安全性：工具采集后的數(shù)據(jù)一般為文本格式，這樣支持大數(shù)據(jù)存放，并且要進(jìn)行壓縮加密，保證采集的數(shù)據(jù)安全性。一方面文本的壓縮比率較高；另一方面，單個(gè)文件的壓縮加密很難被破解。即使發(fā)生了數(shù)據(jù)丟失，也打不開看不著里面的數(shù)據(jù)文件。

8、支持