外貿(mào)數(shù)據(jù)分析系統(tǒng)的組成

負(fù)責(zé)人：黃金鳳01目錄基礎(chǔ)平臺建設(shè)02大數(shù)據(jù)ETL03數(shù)據(jù)分析外貿(mào)數(shù)據(jù)分析系統(tǒng)的組成1基礎(chǔ)平臺建設(shè)本次貿(mào)易出口分析項(xiàng)目建設(shè)采用Hadoop架構(gòu)作為數(shù)據(jù)計(jì)算、存儲的基礎(chǔ)平臺。Hadoop大數(shù)據(jù)生態(tài)技術(shù)體系提供了豐富多樣的技術(shù)組件，采用何種組件、它們之間如何無縫銜接是構(gòu)建穩(wěn)定、可靠大數(shù)據(jù)平臺的重要保證。大數(shù)據(jù)ETL通過KETTLE工具將數(shù)據(jù)源的數(shù)據(jù)導(dǎo)入大數(shù)據(jù)平臺的HIVE數(shù)據(jù)倉庫中，并根據(jù)業(yè)務(wù)邏輯進(jìn)行數(shù)據(jù)清洗。以上從海關(guān)獲取的五份數(shù)據(jù)，以專業(yè)方式進(jìn)行區(qū)分，其中四份編碼表數(shù)據(jù)：企業(yè)類型enterprisenature.txt、省份代碼cux_administration_region.txt、貿(mào)易方式modeoftrans.txt、運(yùn)輸方式modeoftransportation.txt，可歸入維度數(shù)據(jù)，一份外貿(mào)交易清單數(shù)據(jù)（origin.txt）可歸入基礎(chǔ)事實(shí)表數(shù)據(jù)。將四張維度數(shù)據(jù)和一張基礎(chǔ)事實(shí)表數(shù)據(jù)進(jìn)行整合，最終生成寬表newo3_all，并在newo3_all完成最后的清洗工作。數(shù)據(jù)分析報(bào)表分析報(bào)表以二維的方式展示數(shù)據(jù)的邏輯關(guān)系，提供數(shù)據(jù)分析使用。本次報(bào)表分析應(yīng)完成以下目標(biāo)：1.利用報(bào)表制作工具完成報(bào)表的制作并生成相應(yīng)的業(yè)務(wù)模板；2.場景1：報(bào)表展示。展示所用外貿(mào)企業(yè)的貿(mào)易明細(xì)數(shù)據(jù)，不做分類匯總；3.場景2：報(bào)表維度匯總。以貿(mào)易企業(yè)類型維度來分組查詢每家貿(mào)易企業(yè)下總貿(mào)易金額及貿(mào)易數(shù)量；4.場景3：報(bào)表下鉆。首頁展示展示企業(yè)名稱、類型等非數(shù)據(jù)類型的數(shù)據(jù)，通過點(diǎn)擊企業(yè)名稱進(jìn)行下鉆，跳轉(zhuǎn)到這家貿(mào)易企業(yè)的明細(xì)數(shù)據(jù)以及總計(jì)。數(shù)據(jù)分析多維分析多維分析在報(bào)表分析的基礎(chǔ)上，從業(yè)務(wù)場景從多個(gè)維度進(jìn)行深入的探索式的分析。本次多維分析應(yīng)完成以下目標(biāo)：1．利用多維制作工具完成多維的制作并生成相應(yīng)的業(yè)務(wù)模板；2．場景1：根據(jù)“企業(yè)性質(zhì)”維度統(tǒng)計(jì)；3．場景2：根據(jù)“企業(yè)類型”與“貿(mào)易方式”維度統(tǒng)計(jì)；4．場景3：根據(jù)“企業(yè)類型”、“貿(mào)易方式”、“原產(chǎn)地”維度統(tǒng)計(jì)；5．場景4：上個(gè)場景中，對原產(chǎn)地進(jìn)行逐級下鉆分析，分別展示各省、市、區(qū)縣的貿(mào)易總金額；6．場景5：提供對指標(biāo)數(shù)據(jù)的聚合計(jì)算功能，分析國有企業(yè)以展覽品方式出口的所屬原產(chǎn)地的金額(指標(biāo))平均值；7．場景6：提供對指標(biāo)匯總數(shù)據(jù)的鉆通功能，分析國有企業(yè)以一般貿(mào)易方式出口的所屬原產(chǎn)地（福建）匯總金額(指標(biāo))明細(xì)數(shù)據(jù)。數(shù)據(jù)分析可視化展示通過可視化展示，能夠更加清晰、更大范圍的展示分析結(jié)果，提供決策參考。本次可視化展示完成以下目標(biāo)：1．利用可視化制作工具完成可視化制作并生成相應(yīng)的業(yè)務(wù)模板；2．場景1：按國家分類根據(jù)出口金額取前10個(gè)國家；3．場景2：按國家分類根據(jù)交易筆數(shù)取前10個(gè)國家；4．場景3：根據(jù)商品類別進(jìn)行出口金額統(tǒng)計(jì)；5．場景4：根據(jù)貿(mào)易方式進(jìn)行統(tǒng)計(jì)；6．場景5：根據(jù)物流方式統(tǒng)計(jì)出口金額；7．場景6：根據(jù)供應(yīng)商