CDC的數(shù)據(jù)導(dǎo)入與導(dǎo)出

CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出掌握Kettle基于CDC的數(shù)據(jù)導(dǎo)入與導(dǎo)出

CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出CDC基于源數(shù)據(jù)基于觸發(fā)器基于快照基于日志識別出變化的數(shù)據(jù)并只導(dǎo)入這部分?jǐn)?shù)據(jù)被稱為變化數(shù)據(jù)捕獲（ChangeDataCapture）即CDCORALCE的ORA_ROWSCN偽列可以理解成特殊的自增序列，不管進行插入還是更新操作，該偽列都會進行遞增CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出這種方法最少需要一個更新時間，最好有兩個時間一個插入時間和一個更新時間。時間戳大多數(shù)數(shù)據(jù)庫都有自增序列，如果數(shù)據(jù)庫表中使用了這種序列，那么就可以通過序列識別出新插入的數(shù)據(jù)，注意自增序列不能識別出更新的數(shù)據(jù)以及刪除的數(shù)據(jù)自增序列源數(shù)據(jù)

CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出實時性缺點區(qū)分插入和更新操作刪除操作多次更新操作基于日志的CDC基于日志的方式是最高級的、最沒有侵入性的CDC方法。數(shù)據(jù)庫會把插入、更新、刪除操作都記錄到日志里。例如，MySQL數(shù)據(jù)庫，啟用二進制日志后,可以實時的從數(shù)據(jù)庫日志中讀取到所有的數(shù)據(jù)庫操作。但是，實際操作要比較難，需要把二進制日志文件轉(zhuǎn)換為可以理解的格式，然后再將里面的操作按照順序讀取出來。CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出好在，MySQL提供了一個日志讀取工具，mysqlbinlog。這個工具，可以把二進制的日志格式轉(zhuǎn)換為可以理解的格式，然后就可以把這種格式保存到文本文件。Mysqlbinlog里，可以設(shè)置開始/截止時間戳，這樣就可以從日志中讀取一段時間的日志。另外，日志里的每一項都有相應(yīng)的序列號，也可以作為偏移的依據(jù)。MySQL提供了以上兩種方式，來防止CDC過程發(fā)生數(shù)據(jù)重復(fù)和丟失。把mysqlbinlog的輸出寫到文本文件后，我們就可以使用Kettle步驟來讀取文件的內(nèi)容。其他的數(shù)據(jù)庫也有相應(yīng)的方法。CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出使用基于日志的CDC也有其缺點，那就是只能用來處理一種特定的數(shù)據(jù)庫。如果要在異構(gòu)的數(shù)據(jù)庫環(huán)境使用基于日志的CDC方法，就需要使用類似OracleGoldenGate之類的商業(yè)軟件，而這些軟件的價格都十分高昂。CDC的數(shù)據(jù)導(dǎo)入