CDC的數(shù)據(jù)導(dǎo)入與導(dǎo)出

CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出掌握Kettle基于CDC的數(shù)據(jù)導(dǎo)入與導(dǎo)出

CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出CDC基于源數(shù)據(jù)基于觸發(fā)器基于快照基于日志識(shí)別出變化的數(shù)據(jù)并只導(dǎo)入這部分?jǐn)?shù)據(jù)被稱為變化數(shù)據(jù)捕獲（ChangeDataCapture）即CDCORALCE的ORA_ROWSCN偽列可以理解成特殊的自增序列，不管進(jìn)行插入還是更新操作，該偽列都會(huì)進(jìn)行遞增CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出這種方法最少需要一個(gè)更新時(shí)間，最好有兩個(gè)時(shí)間一個(gè)插入時(shí)間和一個(gè)更新時(shí)間。時(shí)間戳大多數(shù)數(shù)據(jù)庫(kù)都有自增序列，如果數(shù)據(jù)庫(kù)表中使用了這種序列，那么就可以通過(guò)序列識(shí)別出新插入的數(shù)據(jù)，注意自增序列不能識(shí)別出更新的數(shù)據(jù)以及刪除的數(shù)據(jù)自增序列源數(shù)據(jù)

CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出實(shí)時(shí)性缺點(diǎn)區(qū)分插入和更新操作刪除操作多次更新操作基于日志的CDC基于日志的方式是最高級(jí)的、最沒(méi)有侵入性的CDC方法。數(shù)據(jù)庫(kù)會(huì)把插入、更新、刪除操作都記錄到日志里。例如，MySQL數(shù)據(jù)庫(kù)，啟用二進(jìn)制日志后,可以實(shí)時(shí)的從數(shù)據(jù)庫(kù)日志中讀取到所有的數(shù)據(jù)庫(kù)操作。但是，實(shí)際操作要比較難，需要把二進(jìn)制日志文件轉(zhuǎn)換為可以理解的格式，然后再將里面的操作按照順序讀取出來(lái)。CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出好在，MySQL提供了一個(gè)日志讀取工具，mysqlbinlog。這個(gè)工具，可以把二進(jìn)制的日志格式轉(zhuǎn)換為可以理解的格式，然后就可以把這種格式保存到文本文件。Mysqlbinlog里，可以設(shè)置開(kāi)始/截止時(shí)間戳，這樣就可以從日志中讀取一段時(shí)間的日志。另外，日志里的每一項(xiàng)都有相應(yīng)的序列號(hào)，也可以作為偏移的依據(jù)。MySQL提供了以上兩種方式，來(lái)防止CDC過(guò)程發(fā)生數(shù)據(jù)重復(fù)和丟失。把mysqlbinlog的輸出寫到文本文件后，我們就可以使用Kettle步驟來(lái)讀取文件的內(nèi)容。其他的數(shù)據(jù)庫(kù)也有相應(yīng)的方法。CDC的數(shù)據(jù)導(dǎo)入導(dǎo)出使用基于日志的CDC也有其缺點(diǎn)，那就是只能用來(lái)處理一種特定的數(shù)據(jù)庫(kù)。如果要在異構(gòu)的數(shù)據(jù)庫(kù)環(huán)境使用基于日志的CDC方法，就需要使用類似OracleGoldenGate之類的商業(yè)軟件，而這些軟件的價(jià)格都十分高昂。CDC的數(shù)據(jù)導(dǎo)入