ETL數(shù)據(jù)加載策略

ETL數(shù)據(jù)加載策略本文所提到的數(shù)據(jù)加載策略為OLTP系統(tǒng)作為源系統(tǒng)，并進(jìn)行ETL數(shù)據(jù)加載到OLAP系統(tǒng)中所采用的一般數(shù)據(jù)加載策略。根據(jù)該方式的特定性，此時(shí)ETL數(shù)據(jù)加載一般存在以下四種方案：時(shí)戳方式需要在OLTP系統(tǒng)中業(yè)務(wù)表中統(tǒng)一添加時(shí)間字段作為時(shí)戳（如表中已有相應(yīng)的時(shí)間字段，可以不必添加），每當(dāng)OLTP系統(tǒng)中更新修改業(yè)務(wù)數(shù)據(jù)時(shí)，同時(shí)修改時(shí)戳字段值。當(dāng)作ETL加載時(shí)，通過(guò)系統(tǒng)時(shí)間與時(shí)戳字段的比較來(lái)決定進(jìn)行何種數(shù)據(jù)抽取。優(yōu)點(diǎn)：ETL系統(tǒng)設(shè)計(jì)清晰，源數(shù)據(jù)抽取相對(duì)清楚簡(jiǎn)單，速度快?？梢詫?shí)現(xiàn)數(shù)據(jù)的遞增加載。缺點(diǎn)：時(shí)戳維護(hù)需要由OLTP系統(tǒng)完成，需要修改原OLTP系統(tǒng)中業(yè)務(wù)表結(jié)構(gòu)；且所有添加時(shí)戳的表，在業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)發(fā)生變化時(shí)，同時(shí)更新時(shí)戳字段，需要對(duì)原OLTP系統(tǒng)業(yè)務(wù)操作程序作修改，工作量大，改動(dòng)面大，風(fēng)險(xiǎn)大。日志表方式在OLTP系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，更新維護(hù)日志表內(nèi)容，當(dāng)作ETL加載時(shí)，通過(guò)讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。優(yōu)點(diǎn)：不需要修改OLTP表結(jié)構(gòu)，源數(shù)據(jù)抽取清楚，速度較快?？梢詫?shí)現(xiàn)數(shù)據(jù)的遞增加載。缺點(diǎn)：日志表維護(hù)需要由OLTP系統(tǒng)完成，需要對(duì)OLTP系統(tǒng)業(yè)務(wù)操作程序作修改，記錄日志信息。日志表維護(hù)較為麻煩，對(duì)原有系統(tǒng)有較大影響。工作量較大，改動(dòng)較大。有一定風(fēng)險(xiǎn)。全表比對(duì)方式在ETL過(guò)程中，抽取所有源數(shù)據(jù)，并進(jìn)行相應(yīng)規(guī)則轉(zhuǎn)換，完成后先不插入目標(biāo)，而對(duì)每條數(shù)據(jù)進(jìn)行目標(biāo)表比對(duì)。根據(jù)主鍵值進(jìn)行插入與更新的判定，目標(biāo)表已存在該主鍵值的，表示該記錄已有，并進(jìn)行其余字段比對(duì)，如有不同，進(jìn)行Update操作，如目標(biāo)表沒(méi)有存在該主鍵值，表示該記錄還沒(méi)有，即進(jìn)行Insert操作。優(yōu)點(diǎn)：對(duì)已有系統(tǒng)表結(jié)構(gòu)不產(chǎn)生影響，不需要修改業(yè)務(wù)操作程序，所有抽取規(guī)則由ETL完成，管理維護(hù)統(tǒng)一，可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。沒(méi)有風(fēng)險(xiǎn)。缺點(diǎn)：ETL比對(duì)較復(fù)雜，設(shè)計(jì)較為復(fù)雜，速度較慢全表刪除插入方式每次ETL操作均刪除目標(biāo)表數(shù)據(jù)，由ETL全新加載數(shù)據(jù)。優(yōu)點(diǎn)：ETL加載規(guī)則簡(jiǎn)單，速度快缺點(diǎn)：對(duì)于維表加代理鍵不適應(yīng)，當(dāng)OLTP系統(tǒng)產(chǎn)生刪除數(shù)據(jù)操作時(shí)，OLAP層將不會(huì)記錄到所刪除的歷史數(shù)據(jù)。不可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。當(dāng)作系統(tǒng)數(shù)據(jù)加載策略方案時(shí)，基于以上所列方法，及現(xiàn)有系統(tǒng)考慮：（1）、如果所集成OLTP系統(tǒng)為其他產(chǎn)商產(chǎn)品，則應(yīng)盡量的降低因ETL而對(duì)現(xiàn)有系統(tǒng)產(chǎn)生的影響，及系統(tǒng)風(fēng)險(xiǎn)性。而性能的影響則可以通過(guò)兩方面解決，一部分由硬件的升級(jí)進(jìn)行解決，因?yàn)镋TL除讀表及寫(xiě)表操作外，所有轉(zhuǎn)換均由ETL服務(wù)器在內(nèi)存中完成，故高配置服務(wù)器將大大提升ETL運(yùn)行速度；一部分由加載時(shí)機(jī)進(jìn)行控制，加載時(shí)機(jī)采取在系統(tǒng)較為空閑時(shí)加載，同時(shí)并行多個(gè)加載等，可以降低對(duì)運(yùn)行系統(tǒng)的影響。所以可以使用全表比對(duì)遞增加載數(shù)據(jù)的方式作為此類(lèi)系統(tǒng)的ETL數(shù)據(jù)加載規(guī)則。（2）、如果原OLTP系統(tǒng)為自己開(kāi)發(fā)產(chǎn)品，此次所作OLAP系統(tǒng)為在原系統(tǒng)上的系統(tǒng)，則可以考慮使用時(shí)輟或日志表方式，區(qū)別僅為對(duì)原系統(tǒng)的影響大小。（3）、當(dāng)數(shù)據(jù)實(shí)現(xiàn)遞增加載時(shí)，OLAP系統(tǒng)中的聚合表，可由OLAP中的事實(shí)表數(shù)據(jù)二次ETL產(chǎn)生，此時(shí)由于OLAP數(shù)據(jù)的