企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù) 從Teradata 到 ADB PG遷移指南

第1頁(yè)共75頁(yè)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)遷移指南第2頁(yè)共75頁(yè) 6 6 6 7 7 7 9 4.1.1數(shù)據(jù)類型轉(zhuǎn)換對(duì)照 4.1.2物理模型轉(zhuǎn)換規(guī)則 4.1.3使用已有的定義創(chuàng)建空表 第3頁(yè)共75頁(yè) 第4頁(yè)共75頁(yè) 8.3.3基于perlpsql連接數(shù)據(jù)庫(kù)函數(shù) 第5頁(yè)共75頁(yè) 第6頁(yè)共75頁(yè)1.1編寫目的角色說明遷移后如何進(jìn)行的相關(guān)的維護(hù)，以保證系統(tǒng)1.2遷移原則外部表：允許用戶像訪問標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)表一樣訪問外部文件的表的定第7頁(yè)共75頁(yè)2TD遷移至ADBPG概述2.1遷移總體目標(biāo)2.2數(shù)據(jù)庫(kù)特征比較支持所有BI具改動(dòng)量很小或沒有；p等外部表導(dǎo)出、COPY第8頁(yè)共75頁(yè)Teradata有少量特殊語(yǔ)法或函數(shù)rank、qualify等、函數(shù)如charADBPG都有相對(duì)應(yīng)的甚至更強(qiáng)大的函數(shù)，只是需要修改sql中的語(yǔ)等分布數(shù)據(jù)，分區(qū)表CRONTAB調(diào)度器+e系統(tǒng)監(jiān)控等管第9頁(yè)共75頁(yè)2.3遷移總體流程歷史數(shù)據(jù)遷移包括如下步驟：.從TD數(shù)據(jù)庫(kù)按規(guī)定分隔符及字符編碼將歷史數(shù)據(jù)導(dǎo)成文本文件，存放確保ADBPG數(shù)據(jù)庫(kù)通過gpfi第10頁(yè)共75頁(yè)應(yīng)用接口遷移包括如下步驟：管理工具部署如下步驟：數(shù)據(jù)卸載數(shù)據(jù)加載第11頁(yè)共75頁(yè)3TD數(shù)據(jù)卸載及DDL導(dǎo)出規(guī)范.在卸數(shù)前，需要按遷移前協(xié)商好的字符編碼從TD中卸出數(shù)據(jù)，推薦使.在卸數(shù)前，需要按遷移前協(xié)商好的分隔符從TD中卸出數(shù)據(jù)，推薦使用第12頁(yè)共75頁(yè)4數(shù)據(jù)定義語(yǔ)句(DDL)轉(zhuǎn)換4.1Createtable無(wú)第13頁(yè)共75頁(yè)無(wú)式為YYYY-MM-鍵，但是不推薦；不支持CHECK條件及創(chuàng)索引定義第14頁(yè)共75頁(yè)P(yáng)IDefinitions索引定義鍵定義4.1.1數(shù)據(jù)類型轉(zhuǎn)換對(duì)照character(n),char(n)第15頁(yè)共75頁(yè)4.1.2物理模型轉(zhuǎn)換規(guī)則第16頁(yè)共75頁(yè)COMMENTONTABLEsc些散值進(jìn)行分區(qū)）和RANGE（按時(shí)間或按連續(xù)區(qū)間值分區(qū)）第17頁(yè)共75頁(yè)舉例：第18頁(yè)共75頁(yè)4.1.3使用已有的定義創(chuàng)建空表轉(zhuǎn)換為：4.2Droptable第19頁(yè)共75頁(yè)4.3臨時(shí)表轉(zhuǎn)換>轉(zhuǎn)換直接將VOLATILE替換為temp/TEMPORARY，或者GLOBAL>允許會(huì)話中的其他查詢使用這個(gè)可變臨時(shí)表設(shè)置如ONCOMMIT在申請(qǐng)分布鍵前進(jìn)行申明，語(yǔ)法如下：第20頁(yè)共75頁(yè)舉例：5數(shù)據(jù)操作語(yǔ)句(DML)轉(zhuǎn)換5.1Select5.1.1關(guān)鍵字轉(zhuǎn)換規(guī)則如下：第21頁(yè)共75頁(yè)5.1.2別名關(guān)鍵字轉(zhuǎn)換5.1.3子查詢別名轉(zhuǎn)換換規(guī)則如下：轉(zhuǎn)換為：第22頁(yè)共75頁(yè)5.1.4字段別名轉(zhuǎn)換轉(zhuǎn)換為：舉例：第23頁(yè)共75頁(yè)5.1.5調(diào)用函數(shù)區(qū)別5.2Delete第24頁(yè)共75頁(yè)其中：法如下：5.3Update第25頁(yè)共75頁(yè)6函數(shù)轉(zhuǎn)換6.1TD與ADBPG函數(shù)轉(zhuǎn)換對(duì)照表第26頁(yè)共75頁(yè)零處理移動(dòng)匯總值移動(dòng)差分值第27頁(yè)共75頁(yè)6.2函數(shù)轉(zhuǎn)換示例6.2.1Qualify函數(shù)6.2.2CHAR函數(shù)第28頁(yè)共75頁(yè)6.2.3char_chn函數(shù)octet_length(convert($1,'UNICODE',6.2.4NULLIFZERO函數(shù)$BODY$selectcoalesce(7其他轉(zhuǎn)換第29頁(yè)共75頁(yè)收集統(tǒng)計(jì)信息8ETL流程轉(zhuǎn)換8.1客戶端安全訪問認(rèn)證組成。如果需要在字段中出現(xiàn)空白字符，需要將字段用引號(hào)引每個(gè)遠(yuǎn)程客戶端訪問權(quán)限記錄格式如下：第30頁(yè)共75頁(yè)其中，全部數(shù)據(jù)庫(kù)。如果需要訪問多個(gè)數(shù)據(jù)庫(kù)，可以使用逗號(hào)(,)分割?；蛱?hào)跟隨文件名的方式指定，該文件包含需要訪問的所所有的數(shù)據(jù)庫(kù)角色。如果需要允許組角色下的所有成員都可訪問，可前使用加號(hào)(+)表示。如果是多個(gè)角色可以使用逗號(hào)(,)分割。或者使用一個(gè)標(biāo)準(zhǔn)的斜桿(/)分割I(lǐng)P地址和一個(gè)掩碼長(zhǎng)度值。IP地址只能式，不可以使用域名或者主機(jī)名。掩碼長(zhǎng)度表示的長(zhǎng)度。指定的掩碼長(zhǎng)度右邊的二進(jìn)制IP地址位何IP地址。要匹配單個(gè)IP地址IPv4使用32作為掩碼長(zhǎng)度，IPv6使第31頁(yè)共75頁(yè)8.2數(shù)據(jù)加載轉(zhuǎn)換8.2.1TD及ADBPG數(shù)據(jù)加載比較具外部表導(dǎo)入、者數(shù)據(jù)量較大時(shí)，推薦使用外部表的模式，因?yàn)榭霳倍。8.2.2ADBPG外部表加載數(shù)據(jù)啟動(dòng)gpfdist服務(wù)例如：第32頁(yè)共75頁(yè)&&創(chuàng)建外部表第33頁(yè)共75頁(yè)其中，第34頁(yè)共75頁(yè)表中。LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在第35頁(yè)共75頁(yè)其中，第36頁(yè)共75頁(yè)表中。LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在()第37頁(yè)共75頁(yè)義數(shù)據(jù)文件的格式。以下是自定義數(shù)據(jù)文件格式的外部表語(yǔ)法：('gpfdist://filehost[:port]/fil其中：第38頁(yè)共75頁(yè)LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在下：第39頁(yè)共75頁(yè)('gpfdist://02:8)裝載數(shù)據(jù)其中：停止gpfdist服務(wù)第40頁(yè)共75頁(yè)8.2.3copy工具加載數(shù)據(jù)管表中已存在什么數(shù)據(jù)，只是追加)。如果從文件拷貝數(shù)據(jù)命令可以使用單條記錄隔離模式。在這種模式下，錯(cuò)誤的記錄將被忽有正確格式的數(shù)據(jù)繼續(xù)裝載進(jìn)目標(biāo)表，隔離的錯(cuò)誤記錄包括類型的列、無(wú)效的編碼格式等。在目前版本，單條記錄錯(cuò)誤隔離模式全部失敗”的輸入模式，與外部表的隔離模式不同的是外部表加載時(shí)條記錄錯(cuò)誤隔離模式。用戶可以指定可接受的錯(cuò)誤行數(shù)操作會(huì)回滾。需要注意的是，錯(cuò)誤記錄是按照每個(gè)Segment到，所有不包含錯(cuò)誤的記錄都會(huì)加載至目標(biāo)例如：第41頁(yè)共75頁(yè)第42頁(yè)共75頁(yè)表中。LOGERRORSINTOerror_table：將加載過程中拒絕的數(shù)據(jù)寫在第43頁(yè)共75頁(yè)8.3ETL應(yīng)用工具連接轉(zhuǎn)換8.3.1通用psql連接數(shù)據(jù)庫(kù)8.3.2通過DBI連接數(shù)據(jù)庫(kù)第44頁(yè)共75頁(yè)8.3.3基于perlpsql連接數(shù)據(jù)庫(kù)函數(shù)##參數(shù)：$gp_database##$db_usr############################################{第45頁(yè)共75頁(yè)}}第46頁(yè)共75頁(yè)}}8.3.4基于perlDBI連接數(shù)據(jù)庫(kù)函數(shù)##參數(shù)：$gp_database############################################{(“DBI:Pg:dbname=$gp_database;host=$gp_db_第47頁(yè)共75頁(yè)print_log("[Info][ETL_die("[Error][ETL_BASE-}die("[Error][ETL}第48頁(yè)共75頁(yè)warn"[Error][ETL_BASE-execute}}}9其他應(yīng)用接口遷移第49頁(yè)共75頁(yè)10資源負(fù)載管理遷移創(chuàng)建多個(gè)特定的資源隊(duì)列來(lái)管理多種類型的數(shù)據(jù)庫(kù)操作，例如高的查詢的工作負(fù)荷情況來(lái)設(shè)置資源隊(duì)列的限配置限制條件：第50頁(yè)共75頁(yè)注意：資源隊(duì)列一旦創(chuàng)建，可以將數(shù)據(jù)庫(kù)的角色（用戶）指定源隊(duì)列中，一個(gè)資源隊(duì)列可以擁有多個(gè)角色，但是一個(gè)角色只能分創(chuàng)建資源隊(duì)列語(yǔ)法：第51頁(yè)共75頁(yè)11角色及權(quán)限遷移角色與權(quán)限遷移包括如下內(nèi)容：有效用戶）權(quán)限導(dǎo)出，包括對(duì)數(shù)據(jù)庫(kù)對(duì)象的操作權(quán)限（如登陸據(jù)庫(kù)創(chuàng)建后創(chuàng)建相應(yīng)角色；12備份與恢復(fù)管理12.1備份簡(jiǎn)述第52頁(yè)共75頁(yè)的調(diào)度程序)調(diào)度ADBPG數(shù)據(jù)庫(kù)的gp_dump后臺(tái)自動(dòng)備份。調(diào)用gpcrondump的調(diào)度作業(yè)應(yīng)該部署在ADBPG的Master主機(jī)。可以相應(yīng)的使用pg_restore命令（歸檔格式的備份文件恢復(fù)時(shí)使用12.2非并行備份與恢復(fù)12.2.1非并行備份非并行備份簡(jiǎn)述備份文件，包含所有活動(dòng)Instance實(shí)例的數(shù)據(jù)。大多數(shù)情況下，不建議采用該第53頁(yè)共75頁(yè)pg_dump語(yǔ)法語(yǔ)法說明：第54頁(yè)共75頁(yè)pg_dumpall語(yǔ)法語(yǔ)法說明：第55頁(yè)共75頁(yè)12.2.2非并行恢復(fù)非并行恢復(fù)簡(jiǎn)述有時(shí)，相對(duì)于并行恢復(fù)來(lái)說非并行恢復(fù)可能是很有必要的，第56頁(yè)共75頁(yè)有4份備份文件，無(wú)法在新的系統(tǒng)上平均分布。而非并行恢復(fù)則是將每個(gè)pg_restore語(yǔ)法語(yǔ)法說明：-ddbname|--dbname=dbname第57頁(yè)共75頁(yè)12.3并行備份與恢復(fù)12.3.1并行備份并行備份簡(jiǎn)述有ADBPG系統(tǒng)日志表（比如gp_segment_configuration各實(shí)例備份文件命令的一個(gè)包裝，備份命令可以直接被調(diào)度器CRON調(diào)用。之外，gpcrondump命令還可備份數(shù)據(jù)庫(kù)其他對(duì)象，如第58頁(yè)共75頁(yè)gp_dump備份gp_dump命令將執(zhí)行如下的操作并產(chǎn)件，備份文件的名稱為：備份文件的名稱為：件的名稱為：文件的名稱為：第59頁(yè)共75頁(yè)活動(dòng)的)Instance會(huì)備份。備份文件的名稱為：注意：14位數(shù)字的時(shí)間戳，它是唯一標(biāo)識(shí)備份操作的標(biāo)識(shí)符，且作為gp_dump操作產(chǎn)生的每個(gè)備份文件名稱的組成部分。這個(gè)時(shí)間戳在使用gp_dump語(yǔ)法第60頁(yè)共75頁(yè)語(yǔ)法說明：第61頁(yè)共75頁(yè)第62頁(yè)共75頁(yè)gpcrondump備份錄：第63頁(yè)共75頁(yè)GPHOME=/usr/local/gre例如：4、在該文件中，每行輸入一個(gè)電子郵件地址。例如：jjones@gpcrodump語(yǔ)法第64頁(yè)共75頁(yè)語(yǔ)法說明：記錄數(shù)據(jù)庫(kù)備份信息至public.gpcrondu第65頁(yè)共75頁(yè)備份日志存放目錄，默認(rèn)為~/gpAdminLog-ubackupdirectory第66頁(yè)共75頁(yè)-yreportfile12.3.2并行恢復(fù)并行恢復(fù)簡(jiǎn)述備份集合。gp_restore是ADBPG提供的并行恢復(fù)命令。這個(gè)命令通過使用gp_restore恢復(fù)gp_restore命令使用由gp_d第67頁(yè)共75頁(yè)運(yùn)行由gp_dump生成的gp_dump1<dbid>_<timestamp>文件中作為gp_dump操作產(chǎn)生的每個(gè)備份文件名稱的組成部分。這個(gè)第68頁(yè)共75頁(yè)2、確保在系統(tǒng)中，需要恢復(fù)的數(shù)據(jù)庫(kù)(Database)已經(jīng)被創(chuàng)建。例gp_restore語(yǔ)法語(yǔ)法說明：第69頁(yè)共75頁(yè)第70頁(yè)共75頁(yè)使用gpdbrestore恢復(fù)具備：（這個(gè)過程假設(shè)已經(jīng)將備份文件移出GP集群到同一網(wǎng)絡(luò)內(nèi)的其他主機(jī)）2、確保在系統(tǒng)中，需要恢復(fù)的數(shù)據(jù)庫(kù)(Database)已經(jīng)被創(chuàng)建。例gpdbrestore語(yǔ)法gpdbrestore{-ttimestampkey[-L]|-bYYYYMMDD|-R第71頁(yè)共