JAVA版數(shù)據(jù)清洗工具操作手冊

第第8頁共30頁【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.010111011]草案[]正式公布[]正在修訂序號版本變更描述變更履歷修訂人審核/日期批準(zhǔn)/日期11.0草案屈雪23456789名目\l“_TOC_250028“系統(tǒng)初始化 3\l“_TOC_250027“創(chuàng)立MySQL中間庫etl-mid 3\l“_TOC_250026“修改中間庫配置文件conf/mysql.xml 5\l“_TOC_250025“中間庫配置文件 5\l“_TOC_250024“導(dǎo)入建表腳本conf/etl-mid.sql 5\l“_TOC_250023“系統(tǒng)啟動 7\l“_TOC_250022“啟動ETL工具 7\l“_TOC_250021“主界面 8\l“_TOC_250020“系統(tǒng)主界面 8\l“_TOC_250019“主界面介紹 8\l“_TOC_250018“模塊功能 9\l“_TOC_250017“任務(wù) 9\l“_TOC_250016“任務(wù) 9\l“_TOC_250015“翻開配置文件 9\l“_TOC_250014“配置文件編寫指導(dǎo) 10\l“_TOC_250013“測試數(shù)據(jù)源〔是否可以連接數(shù)據(jù)庫〕 11\l“_TOC_250012“執(zhí)行任務(wù)或停頓任務(wù) 12\l“_TOC_250011“定時設(shè)置 14\l“_TOC_250010“具體錯誤日志 15\l“_TOC_250009“字典治理 16\l“_TOC_250008“字典治理主界面 16\l“_TOC_250007“機構(gòu)類別治理 17\l“_TOC_250006“字典治理 23\l“_TOC_250005“字典子項治理 25\l“_TOC_250004“參數(shù)配置 27\l“_TOC_250003“系統(tǒng)幫助 28\l“_TOC_250002“系統(tǒng)幫助 28常見或重點關(guān)注的問題 29導(dǎo)入字典文本 29\l“_TOC_250001“格式及編碼 29數(shù)據(jù)庫 30\l“_TOC_250000“5.2.1 密碼 301-4：建數(shù)據(jù)庫第第8頁共30頁【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.0系統(tǒng)初始化MySQLetl-mid安裝MySQL數(shù)據(jù)庫。安裝NavicatPremium數(shù)據(jù)庫治理工具。圖1-1NavicatPremium1-2所示。1-2：創(chuàng)立連接1-3所示。1-3：連接數(shù)據(jù)庫右鍵點擊連接，建數(shù)據(jù)庫。操作如圖1-4所示。建數(shù)據(jù)庫，操作如圖1-5etl-miUnicodutf8_general_c1-5：建數(shù)據(jù)庫conf/mysql.xml中間庫配置文件中間庫配置文件為文件夾configmysql.xml。1-6：中間庫配置文件中間庫配置文件中，可以配置效勞器名稱、數(shù)據(jù)庫名稱、登錄名、密碼和數(shù)據(jù)源最大連接數(shù)，1-7所示。1-7：中間庫配置導(dǎo)入建表腳本conf/etl-mid.sql翻開治理工具NavicatPremium，右鍵點擊數(shù)據(jù)庫，運行SQL文件。圖1-8SQL文件選擇運行的sql文件〔如圖1-9所示，操作如圖1-10所示。1-9：中間庫圖1-10SQL文件也可以導(dǎo)入建表腳本，輸入命令行：sourse<文件名目>/conf/etl-mid.sql?！臼⑻啤縅AVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.0【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.0系統(tǒng)啟動ETL工具將名為ETLTools.rar2-1所示的文件夾appTool。2-1：解壓壓縮包進入文件夾，雙擊etltools.jar,2-3所示。2-2：雙擊啟開工具2-3：工具主界面第8頁共30頁【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.0【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.0主界面系統(tǒng)主界面主界面介紹通過頂端導(dǎo)航選擇操作；其它三個區(qū)域可進展相關(guān)信息的查看。3-1：主界面介紹可以通過點擊如圖3-2所示的箭頭，伸縮區(qū)域，便利查看相應(yīng)信息。也可以通過鼠標(biāo)，拖動邊框，調(diào)整區(qū)域適合的大小。3-2：區(qū)域伸縮第8頁共30頁JAVA版數(shù)據(jù)清洗工具操作手冊v1.0【盛唐】JAVA【盛唐】JAVA版數(shù)據(jù)清洗工具操作手冊v1.0無錫曼荼羅軟件第14無錫曼荼羅軟件第14共30無錫曼荼羅軟件9無錫曼荼羅軟件930模塊功能任務(wù)任務(wù)4-1所示菜單。翻開配置文件

4-1：點擊任務(wù)點擊“翻開配置文件4-2所示。彈出如圖4-4所示窗口。4-2：翻開配置文件〔taskId沒有重復(fù)，且配置文件編碼為UTF-8時template.xml4-4所示。4-3：配置文件模板4-4：選擇配置文件配置文件編寫指導(dǎo)

圖4-5：添加的任務(wù)mysql.xml配置文件為該工具的數(shù)據(jù)庫配置文件，即中間庫配置文件。依據(jù)實際狀況修改效勞器地址，數(shù)據(jù)庫名稱等信息。圖4-6：清洗工具數(shù)據(jù)庫配置JAVA版數(shù)據(jù)清洗工具操作手冊v1.0JAVA版數(shù)據(jù)清洗工具操作手冊v1.0無錫曼荼羅軟件第14無錫曼荼羅軟件第14共30無錫曼荼羅軟件第14無錫曼荼羅軟件第14共30添加任務(wù)時需翻開配置文件，配置文件編寫請參考template.xml。mysql、sqlserver、oracle數(shù)4-7所示。4-7：數(shù)據(jù)庫配置每個任務(wù)有唯一的taskId；具體參數(shù)請查看template.xml文件。上傳至效勞器的數(shù)據(jù)轉(zhuǎn)換規(guī)章和TransformSupport.js〔轉(zhuǎn)換、ValidateSupport.js〔校驗〕文件中添加方法。如圖4-8TransformRuldic后面對應(yīng)字典碼；如為“customdictCode”后面通過“$JS”調(diào)用對應(yīng)TransformSupport.jsvalidateMethod”后面“$SYS”為使用系統(tǒng)方法，$JS為調(diào)用ValidateSupport.js里的校驗方法。提示：系統(tǒng)內(nèi)置校驗方法在CommonUtil.java中。autoUploatru”時，清洗數(shù)后直接上傳至目標(biāo)效勞器fals”時不會上傳。4-8：任務(wù)配置測試數(shù)據(jù)源〔是否可以連接數(shù)據(jù)庫〕4-9所示。彈出如圖4-10所示窗口。4-9：測試數(shù)據(jù)源選擇數(shù)據(jù)庫信息前的復(fù)選框，點擊“測試”按鈕，對數(shù)據(jù)源進展連接測試。操作如圖4-10所示。執(zhí)行任務(wù)或停頓任務(wù)

4-10：測試數(shù)據(jù)源選擇任務(wù)前的復(fù)選框，如圖4-11所示。選中任務(wù)，任務(wù)信息變藍色，可通過右鍵點擊任務(wù)，取消選定。執(zhí)行任務(wù)前，請測試數(shù)據(jù)源連接是否正常。4-11：選中任務(wù)4-12所示。4-12：執(zhí)行或停頓任務(wù)假設(shè)任務(wù)已經(jīng)執(zhí)行過，想要重執(zhí)行任務(wù)，其次次翻開該任務(wù)對應(yīng)的配置文件，之前執(zhí)行的結(jié)果將會清空。留意：如停頓任務(wù)時，已經(jīng)上傳數(shù)據(jù)至中心效勞器，中心效勞器上的數(shù)據(jù)需手動刪除。執(zhí)行任務(wù)中，可以查看執(zhí)行任務(wù)的具體信息，如圖4-13所示。4-13：執(zhí)行任務(wù)詳情執(zhí)行中產(chǎn)生的錯誤信息會在右側(cè)區(qū)域顯示。4-14：執(zhí)行中產(chǎn)生的錯誤信息當(dāng)執(zhí)行多個任務(wù)時，未選中任何一個任務(wù)，右側(cè)區(qū)域顯示任務(wù)錯誤信息為全部執(zhí)行任務(wù)的錯誤信息。當(dāng)任務(wù)列表選中一個任務(wù)時，右側(cè)區(qū)域顯示對應(yīng)任務(wù)的錯誤信息。如圖4-15所示，左側(cè)任務(wù)列表選中taskId為“task_LISRESULT_TEST”的任務(wù)，右側(cè)區(qū)域顯示錯誤信息都是taskId為“task_LISRESULT_TEST”的任務(wù)錯誤信息。選中任務(wù)后需要查看全部信息時，鼠標(biāo)右鍵點擊選中的任務(wù)，所點擊的選中任務(wù)將取消選中。錯誤信息列表將顯示全部未選中任務(wù)的錯誤信息。定時設(shè)置

圖4-15：選中任務(wù)的執(zhí)行錯誤信息設(shè)置定時設(shè)置功能的配置信息4-16所示。4-16：定制設(shè)置配置文件中，可以對“定時設(shè)置”功能進展配置。配置信息如圖4-17autoStartTime”表示自動化作業(yè)的開頭時間cyclePerio”表示循環(huán)周期〔小時durationTim行多久〔小時template.xml。圖4-14-18所示窗口，在配置文件中設(shè)置的autoStartTime、cyclePeriod、durationTime值對應(yīng)“自動執(zhí)行時間4-18：定時任務(wù)設(shè)置修改定時設(shè)置配置信息1.選擇需修改信息前的復(fù)選框〔每次只能選擇一個復(fù)選框息的方式，進展修改。4-19：修改配置信息翻開或關(guān)閉定時1.選擇需要執(zhí)行的任務(wù)前的復(fù)選框，點擊“開啟定時”或“關(guān)閉定時”即可轉(zhuǎn)變?nèi)蝿?wù)的定時狀態(tài)。當(dāng)“狀態(tài)”為翻開時，對應(yīng)的數(shù)據(jù)清洗任務(wù)將在指定時間〔即自動執(zhí)行時間〕開頭執(zhí)行，不需要手動點擊“執(zhí)行任務(wù)一任務(wù)已經(jīng)設(shè)置定時，并“狀態(tài)”為翻開，在非該任務(wù)執(zhí)行時間段內(nèi)，手動執(zhí)行該任務(wù)，任務(wù)將被執(zhí)行，但系統(tǒng)檢測出當(dāng)前時間非該任務(wù)運行時間時，任務(wù)停頓執(zhí)行。具體錯誤日志

圖4-20：開啟定時或關(guān)閉定時點擊“具體錯誤日志4-21所示。彈出如圖4-22所示窗口。4-21：具體錯誤日志在錯誤日志窗口中，用戶可以選擇每頁條數(shù)，選擇任務(wù)，進展查詢。點擊“清空錯誤信息”按鈕，系統(tǒng)將清空數(shù)據(jù)庫中對應(yīng)的錯誤記錄。如圖4-22所示。4-22：錯誤日志執(zhí)行任務(wù)時，或執(zhí)行任務(wù)后，可以在任務(wù)右側(cè)查看錯誤信息。錯誤列表區(qū)域如圖4-23所示。字典治理

4-23：錯誤信息字典治理主界面4-24所示窗口。4-24：字典治理4-25所示信息。4-25：按類別查看數(shù)據(jù)字典選擇字典信息，即可在下邊表格中查看對應(yīng)字典的子項信息。如圖4-26所示。機構(gòu)類別治理

4-26：查看字典子項4-27所示菜單。4-27：機構(gòu)類別治理4-28：添加子節(jié)點4-29所示的操作窗口。4-29：修改本節(jié)點點擊“刪除本節(jié)點4-30：刪除節(jié)點〔即機構(gòu)，將同時刪除其下屬機構(gòu)和字典。4-30：刪除節(jié)點警示框4.2.2.1。4.2.2.1 導(dǎo)入字典前的預(yù)備工作找出數(shù)據(jù)庫中字典表〔以表YY_YYDMK為例，如圖4-31作量很大時，可使用字典的導(dǎo)入功能，批量導(dǎo)入字典數(shù)據(jù)。4-31：字典表例如選中表格，右鍵點擊表格，選擇“導(dǎo)出向?qū)avicat支持mysql數(shù)據(jù)庫的界面治理工具。4-32：導(dǎo)出表選擇文本文件，點擊下一步。選擇導(dǎo)出地址，如圖4-34所示。4-33：選擇文本文件4-34：導(dǎo)出表取消全部欄位，選擇idname導(dǎo)出即可。4-35：選擇導(dǎo)出列4-36：選擇導(dǎo)出樣式下一步后，點擊“開頭”按鈕，看到“Finished-Successfully”提示，即完成導(dǎo)出工作。4-37所示。4-37：導(dǎo)出表格結(jié)果在文本頂端添加字典名稱，例如[儀器或藥品狀態(tài)]。4-38：導(dǎo)入文本文件導(dǎo)入字典文本，如圖4-39所示。標(biāo)準(zhǔn)詞為存入數(shù)據(jù)庫的值，當(dāng)指定數(shù)據(jù)為近義詞集合中的某一個時，清洗后的數(shù)據(jù)為對應(yīng)的標(biāo)準(zhǔn)詞。導(dǎo)入時，標(biāo)準(zhǔn)詞默認(rèn)為源數(shù)據(jù)的第一列數(shù)據(jù)，具體使用中需要依據(jù)源字典和目標(biāo)庫字典的對應(yīng)關(guān)系進展相應(yīng)修改。4-39：導(dǎo)入字典文本當(dāng)需要同時導(dǎo)入多個字典時，可以將多個表導(dǎo)出的結(jié)果存放在一個txt文件中，如以下圖。導(dǎo)入的txt文件編碼需設(shè)置為utf-8。4-40：批量導(dǎo)入字典字典治理查看字典1.依據(jù)條件快速搜尋字典信息，操作如圖4-41所示。4-41：搜尋數(shù)據(jù)字典增字典1.點擊“增”按鈕，添加數(shù)據(jù)字典信息，點擊“確定”按鈕，即可完成添加操作。4-42：增數(shù)據(jù)字典修改字典選擇字典信息前的復(fù)選框，點擊“修改”按鈕，操作如圖4-43所示，即可進入如圖4-44所示的修改界面。留意：修改字典信息時，請選擇字典信息且只能選擇一條字典信息。雙擊字典信息記錄也可以彈出修改窗口。4-43：修改數(shù)據(jù)字典修改字典信息后，點擊“確定”按鈕，即可完成修改操作。4-44：修改字典信息刪除字典1.選擇字典前復(fù)選框，點擊“刪除”按鈕，完成刪除操作。如圖4-45所示。4-45：刪除字典字典子項治理增字典子項1.點擊“增字典子項”按鈕，進展增字典子項操作。添加信息后，點擊“確定”按鈕，完4-46所示。JAVAJAVA版數(shù)據(jù)清洗工具操作手冊v1.0JAVA版數(shù)據(jù)清洗工具操作手冊v1.0無錫曼荼羅軟件第14無錫曼荼羅軟件第14共30無錫曼荼羅軟件第14無錫曼荼羅軟件第14共304-46：增字典子項修改字典子項選擇字典子項信息前的復(fù)選框，點擊“修改字典子項”按鈕，操作如圖4-47所示。也可以通過雙擊信息方式，彈出修改窗口。4-47：修改字典子項修改字典子項信息，點擊“確定”按鈕，提交修改內(nèi)容。如圖4-48所示。4-48：修改字典子項刪除字典子項1.選擇字典子項前的復(fù)選框，點擊刪除字典子項按鈕，如圖4-49所示。參數(shù)配置

4-49：刪除字