大數(shù)據(jù)平臺(tái)技術(shù)方案V1

1、大數(shù)據(jù)平臺(tái)技術(shù)方案目 錄 TOC o 1-3 h z u HYPERLINK l _Toc514439807 大數(shù)據(jù)平臺(tái)技術(shù)方案 PAGEREF _Toc514439807 h 1 HYPERLINK l _Toc514439812 4.1.需求概述 PAGEREF _Toc514439812 h 5 HYPERLINK l _Toc514439813 4.1.1.背景概述 PAGEREF _Toc514439813 h 5 HYPERLINK l _Toc514439814 4.1.2.建設(shè)目標(biāo) PAGEREF _Toc514439814 h 5 HYPERLINK l _Toc514439

2、815 4.1.3.需求理解 PAGEREF _Toc514439815 h 6 HYPERLINK l _Toc514439816 4.1.4.面臨挑戰(zhàn) PAGEREF _Toc514439816 h 7 HYPERLINK l _Toc514439817 4.1.5.設(shè)計(jì)原則 PAGEREF _Toc514439817 h 8 HYPERLINK l _Toc514439818 4.2.總體技術(shù)方案 PAGEREF _Toc514439818 h 10 HYPERLINK l _Toc514439819 4.2.1.軟件架構(gòu) PAGEREF _Toc514439819 h 10 HYPER

3、LINK l _Toc514439820 4.2.2.總體技術(shù)架構(gòu)設(shè)計(jì) PAGEREF _Toc514439820 h 11 HYPERLINK l _Toc514439821 4.2.3.功能組件完整性介紹 PAGEREF _Toc514439821 h 14 HYPERLINK l _Toc514439822 4.2.4.架構(gòu)優(yōu)化設(shè)計(jì) PAGEREF _Toc514439822 h 64 HYPERLINK l _Toc514439823 4.2.5.功能優(yōu)勢說明 PAGEREF _Toc514439823 h 68 HYPERLINK l _Toc514439824 4.2.6.集群規(guī)劃

4、 PAGEREF _Toc514439824 h 68 HYPERLINK l _Toc514439825 4.3.系統(tǒng)基本功能點(diǎn) PAGEREF _Toc514439825 h 76 HYPERLINK l _Toc514439826 4.3.1.的發(fā)展緊隨Apache社區(qū) PAGEREF _Toc514439826 h 76 HYPERLINK l _Toc514439827 4.3.2.集群內(nèi)所有組件的管理節(jié)點(diǎn)均實(shí)現(xiàn)HA PAGEREF _Toc514439827 h 77 HYPERLINK l _Toc514439828 4.3.3.提供完全基于WEB圖形化的集群服務(wù)器角色，配置和狀

5、態(tài)管理 PAGEREF _Toc514439828 h 77 HYPERLINK l _Toc514439829 4.3.4.集群支持線性擴(kuò)展 PAGEREF _Toc514439829 h 77 HYPERLINK l _Toc514439830 00%兼容標(biāo)準(zhǔn)SQL92 PAGEREF _Toc514439830 h 78 HYPERLINK l _Toc514439831 4.3.6.支持分布式文件系統(tǒng)HDFS和HBase等主流數(shù)據(jù)庫 PAGEREF _Toc514439831 h 80 HYPERLINK l _Toc514439832 4.3.7.支持多種計(jì)算執(zhí)行引擎

6、PAGEREF _Toc514439832 h 81 HYPERLINK l _Toc514439833 4.3.8.支持異構(gòu)數(shù)據(jù)庫關(guān)聯(lián)查詢 PAGEREF _Toc514439833 h 86 HYPERLINK l _Toc514439834 4.3.9.支持大部分的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法 PAGEREF _Toc514439834 h 87 HYPERLINK l _Toc514439835 4.3.10.支持圖形化ETL PAGEREF _Toc514439835 h 87 HYPERLINK l _Toc514439836 4.3.11.同時(shí)支持Solr和ElasticSearch

7、PAGEREF _Toc514439836 h 88 HYPERLINK l _Toc514439837 4.3.12.支持各種類型的數(shù)據(jù) PAGEREF _Toc514439837 h 89 HYPERLINK l _Toc514439838 4.3.13.支持多租戶 PAGEREF _Toc514439838 h 89 HYPERLINK l _Toc514439839 4.3.14.支持支持分布式存儲(chǔ)數(shù)據(jù)加密 PAGEREF _Toc514439839 h 90 HYPERLINK l _Toc514439840 4.3.15.支持記錄操作日志留存 PAGEREF _Toc5144398

8、40 h 90 HYPERLINK l _Toc514439841 4.3.16.支持自適應(yīng)壓縮算法 PAGEREF _Toc514439841 h 91 HYPERLINK l _Toc514439842 4.3.17.SQL支持各類函數(shù) PAGEREF _Toc514439842 h 91 HYPERLINK l _Toc514439843 4.3.18.具備可視化分析能力 PAGEREF _Toc514439843 h 93 HYPERLINK l _Toc514439844 4.3.19.支持建立OLAP Cube PAGEREF _Toc514439844 h 94 HYPERLIN

9、K l _Toc514439845 4.3.20.支持?jǐn)?shù)據(jù)預(yù)警功能 PAGEREF _Toc514439845 h 94 HYPERLINK l _Toc514439846 4.3.21.支持多種數(shù)據(jù)類型的文件加載到大數(shù)據(jù)平臺(tái) PAGEREF _Toc514439846 h 94 HYPERLINK l _Toc514439847 4.3.22.支持復(fù)雜模型建模 PAGEREF _Toc514439847 h 96 HYPERLINK l _Toc514439848 4.3.23.數(shù)據(jù)上載速度快 PAGEREF _Toc514439848 h 98 HYPERLINK l _Toc514439

10、849 4.3.24.SQL性能好 PAGEREF _Toc514439849 h 101 HYPERLINK l _Toc514439850 4.3.25.樸素貝葉斯分類性能好 PAGEREF _Toc514439850 h 102 HYPERLINK l _Toc514439851 4.4.數(shù)據(jù)庫功能支持 PAGEREF _Toc514439851 h 103 HYPERLINK l _Toc514439852 4.4.1.開發(fā)及應(yīng)用接口 PAGEREF _Toc514439852 h 103 HYPERLINK l _Toc514439853 4.4.2.SQL語法兼容性 PAGEREF

11、 _Toc514439853 h 104 HYPERLINK l _Toc514439854 4.4.3.生命周期管理功能 PAGEREF _Toc514439854 h 106 HYPERLINK l _Toc514439855 4.4.4.表分區(qū)功能 PAGEREF _Toc514439855 h 106 HYPERLINK l _Toc514439856 4.4.5.表壓縮功能 PAGEREF _Toc514439856 h 107 HYPERLINK l _Toc514439857 4.4.6.大表索引管理 PAGEREF _Toc514439857 h 107 HYPERLINK l

12、 _Toc514439858 4.4.7.數(shù)據(jù)導(dǎo)入與導(dǎo)出 PAGEREF _Toc514439858 h 107 HYPERLINK l _Toc514439859 4.4.8.多級(jí)數(shù)據(jù)存儲(chǔ) PAGEREF _Toc514439859 h 108 HYPERLINK l _Toc514439860 4.4.9.半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)支持 PAGEREF _Toc514439860 h 108 HYPERLINK l _Toc514439861 4.5.安全可靠與運(yùn)維能力 PAGEREF _Toc514439861 h 109 HYPERLINK l _Toc514439862 4.6.資源管理

13、 PAGEREF _Toc514439862 h 109 HYPERLINK l _Toc514439863 4.7.系統(tǒng)容錯(cuò)性 PAGEREF _Toc514439863 h 110 HYPERLINK l _Toc514439864 4.8.系統(tǒng)可靠性 PAGEREF _Toc514439864 h 111 HYPERLINK l _Toc514439865 4.8.1.單點(diǎn)故障消除 PAGEREF _Toc514439865 h 111 HYPERLINK l _Toc514439866 4.8.2.容災(zāi)與備份 PAGEREF _Toc514439866 h 112 HYPERLINK

14、l _Toc514439867 4.8.3.在線擴(kuò)容 PAGEREF _Toc514439867 h 112需求概述背景概述近年來，大數(shù)據(jù)相關(guān)技術(shù)發(fā)展迅速，大數(shù)據(jù)技術(shù)越來越成熟，已經(jīng)有越來越多的企事業(yè)單位通過大數(shù)據(jù)技術(shù)為來創(chuàng)造更多的價(jià)值的同時(shí)，也為企事業(yè)單位帶來了更高的性價(jià)比、和更易于擴(kuò)展的超大規(guī)模數(shù)據(jù)處理能力?；诖髷?shù)據(jù)平臺(tái)技術(shù)，整合現(xiàn)有人口數(shù)據(jù)，接入公安的輿情數(shù)據(jù)，搭建處理能力更強(qiáng)，更易于擴(kuò)展，性能更高的統(tǒng)一數(shù)據(jù)平臺(tái)。不僅可以很好的滿足高計(jì)算、高存儲(chǔ)、高負(fù)載的要求，更能夠?qū)Ａ康臄?shù)據(jù)進(jìn)行數(shù)據(jù)存儲(chǔ)、清洗、加工、建模等，把先前無法利用的數(shù)據(jù)充分利用，提升對數(shù)據(jù)的認(rèn)識(shí)，抓住機(jī)遇為華西醫(yī)院平臺(tái)建設(shè)

15、做好最基礎(chǔ)、最扎實(shí)的工作。建設(shè)目標(biāo)全市人口基礎(chǔ)數(shù)據(jù)庫大數(shù)據(jù)平臺(tái)系統(tǒng)需要建設(shè)成為一個(gè)是一個(gè)高可靠性、高安全性、高性能、高可擴(kuò)展性、高靈活性的先進(jìn)系統(tǒng)，用來存儲(chǔ)、管理、檢索、分析、查詢等操作，系統(tǒng)能夠提供靈活應(yīng)用提供可靠、安全、高效的保障，并能夠?yàn)殪`活的建立多種應(yīng)用提供強(qiáng)大開發(fā)支持。系統(tǒng)需要提供對數(shù)據(jù)倉庫類應(yīng)用的支持，提供對數(shù)據(jù)分析、數(shù)據(jù)挖掘類應(yīng)用的支持，能夠存儲(chǔ)、查詢、分析海量全市公安局的歷史數(shù)據(jù)，提供實(shí)時(shí)數(shù)據(jù)計(jì)算模塊，提供并行分析算法包，可以替代傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的大數(shù)據(jù)管理軟件系統(tǒng)、大規(guī)模并行數(shù)據(jù)挖掘軟件工具包、R語言業(yè)務(wù)建?？梢暬ぞ?、流式計(jì)算軟件工具包、數(shù)據(jù)復(fù)制與資源管理等支持類軟件工具包。

16、全市人口建設(shè)的大數(shù)據(jù)應(yīng)用平臺(tái)項(xiàng)目，要實(shí)現(xiàn)的具體業(yè)務(wù)目標(biāo)為海量數(shù)據(jù)的低成本高效存儲(chǔ)、加工、使用。支持各類結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)的低成本存儲(chǔ)，快速批處理加工，各應(yīng)用系統(tǒng)的在線數(shù)據(jù)查詢、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等需求；為超長時(shí)間的海量歷史數(shù)據(jù)存儲(chǔ)和使用提供技術(shù)基礎(chǔ)設(shè)施。支持將人口、環(huán)境、教育等數(shù)據(jù)導(dǎo)入導(dǎo)數(shù)據(jù)平臺(tái)。同時(shí)必須支持蒙古文相關(guān)數(shù)據(jù)的分析、處理。支持移動(dòng)互聯(lián)渠道場景的高并發(fā)低延時(shí)數(shù)據(jù)服務(wù)需求銀行在移動(dòng)互聯(lián)渠道提供的客戶服務(wù)逐漸豐富，客戶點(diǎn)擊流量增長快速，客戶的體驗(yàn)要求也在提高。大數(shù)據(jù)基礎(chǔ)軟件應(yīng)能較好地支持移動(dòng)互聯(lián)業(yè)務(wù)場景高并發(fā)低延時(shí)的數(shù)據(jù)訪問需求，包括通過流式計(jì)算框架對客戶個(gè)性化場景營銷

17、、實(shí)時(shí)風(fēng)險(xiǎn)監(jiān)測、銀行流動(dòng)性風(fēng)險(xiǎn)實(shí)時(shí)預(yù)警等需求實(shí)現(xiàn)提供技術(shù)平臺(tái)支持。支持業(yè)務(wù)數(shù)據(jù)分析團(tuán)隊(duì)自主數(shù)據(jù)探索和業(yè)務(wù)建模通過良好可視化支持的集成工具軟件，業(yè)務(wù)數(shù)據(jù)分析團(tuán)隊(duì)可編寫簡易的R語言數(shù)據(jù)處理和可視化程序，自主探索分析業(yè)務(wù)數(shù)據(jù)，利用機(jī)器學(xué)習(xí)算法對業(yè)務(wù)數(shù)據(jù)建模和驗(yàn)證，利用成熟的量化模型算法支持更科學(xué)的經(jīng)營決策。 建立人口與環(huán)境、教育等社會(huì)資源的模型，進(jìn)行深度數(shù)據(jù)挖掘。軟件相關(guān)支持服務(wù)為更好發(fā)揮大數(shù)據(jù)平臺(tái)的技術(shù)優(yōu)勢，同時(shí)確保系統(tǒng)平穩(wěn)安全運(yùn)行，需要提供現(xiàn)場和非現(xiàn)場形式的產(chǎn)品業(yè)務(wù)培訓(xùn)和技術(shù)培訓(xùn)、運(yùn)維支持、產(chǎn)品缺陷修復(fù)和產(chǎn)品升級(jí)、大數(shù)據(jù)技術(shù)架構(gòu)咨詢、應(yīng)用開發(fā)指導(dǎo)等關(guān)聯(lián)支持服務(wù)。將利用在行業(yè)內(nèi)積累的的豐富經(jīng)驗(yàn)，以

18、及在大數(shù)據(jù)平臺(tái)技術(shù)的積累的深厚的實(shí)力，協(xié)助華西醫(yī)院建設(shè)以大數(shù)據(jù)技術(shù)為基礎(chǔ)，融合開發(fā)、測試、生產(chǎn)的統(tǒng)一平臺(tái)，利用大數(shù)據(jù)技術(shù)解決現(xiàn)有傳統(tǒng)架構(gòu)下面臨的的計(jì)算瓶頸、存儲(chǔ)壓力、擴(kuò)展問題、以及應(yīng)用限制等問題。需求理解通過對華西醫(yī)院基礎(chǔ)軟件及服務(wù)建設(shè)需求的分析，以及我們對數(shù)據(jù)應(yīng)用的理解，我們總結(jié)了如下數(shù)據(jù)應(yīng)用和相關(guān)流程：1. 華西醫(yī)院基礎(chǔ)軟件及服務(wù)數(shù)據(jù)處理平臺(tái)是一個(gè)高可靠、高穩(wěn)定、高安全、高性能、高可擴(kuò)展、高易用性的基礎(chǔ)數(shù)據(jù)存儲(chǔ)、分析、管理、計(jì)算平臺(tái)。2. 平臺(tái)將完成現(xiàn)有數(shù)據(jù)倉庫類業(yè)務(wù)，另外也將完成歷史數(shù)據(jù)存儲(chǔ)、查詢、分析類的應(yīng)用。3. 數(shù)據(jù)處理平臺(tái)需要定期、批量的接受公安局內(nèi)部和外部各類系統(tǒng)所產(chǎn)生的數(shù)據(jù)，

19、以批量的方式將數(shù)據(jù)插入至數(shù)據(jù)處理平臺(tái)，插入數(shù)據(jù)后進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)格式統(tǒng)一、數(shù)據(jù)入庫等操作。4. 數(shù)據(jù)處理平臺(tái)也可能會(huì)定期從其他現(xiàn)有系統(tǒng)中抽取部分業(yè)務(wù)數(shù)據(jù)至平臺(tái)中，為后期綜合分析準(zhǔn)備數(shù)據(jù)。5. 數(shù)據(jù)處理平臺(tái)準(zhǔn)備好數(shù)據(jù)后，將通過SQL、R語言等方式對數(shù)據(jù)處理平臺(tái)中的數(shù)據(jù)進(jìn)行數(shù)學(xué)分析、數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)，并將結(jié)果快速顯示出來，尤其是對人口與環(huán)境、教育等社會(huì)資源的模型進(jìn)行分析，進(jìn)行數(shù)據(jù)深度挖掘和分析。數(shù)據(jù)處理平臺(tái)對SQL支持的完整程度將是選擇平臺(tái)的重要考慮之一。對SQL 2003標(biāo)準(zhǔn)的完整支持，包括對各種數(shù)據(jù)類型的支持，對各種復(fù)雜連接查詢的支持，對相關(guān)子查詢、嵌套子查詢的支持、對操作符、函

20、數(shù)的完整支持，會(huì)使得后期在數(shù)據(jù)處理平臺(tái)的應(yīng)用開發(fā)變得非常方便、并且平臺(tái)將方便的與現(xiàn)有平臺(tái)、現(xiàn)有應(yīng)用進(jìn)行對接，同時(shí)上層通過SQL完成的應(yīng)用，通過JDBC/ODBC接口連接的應(yīng)用可以不用做任何修改，這是數(shù)據(jù)處理平臺(tái)對基礎(chǔ)應(yīng)用支撐。6. 需要對數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)進(jìn)行建模，以完成相關(guān)業(yè)務(wù)模型操作和計(jì)算。7. 數(shù)據(jù)處理平臺(tái)需要支持?jǐn)?shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)算法。平臺(tái)需要提供對R語言和Python的支持，能夠使用R語言所提供的5千多種算法，可以通過算法靈活的對數(shù)據(jù)進(jìn)行分析和挖掘，提供對業(yè)務(wù)有價(jià)值的結(jié)果。8. 數(shù)據(jù)處理平臺(tái)需要提供通用的應(yīng)用接口，以方便與現(xiàn)有應(yīng)用、現(xiàn)有系統(tǒng)進(jìn)行對接，完成系統(tǒng)集成。面臨挑戰(zhàn)華

21、西醫(yī)院的數(shù)據(jù)增長迅速，已經(jīng)達(dá)到TB級(jí)別，如果加上非結(jié)構(gòu)化數(shù)據(jù)，未來幾年的數(shù)據(jù)存儲(chǔ)將達(dá)到幾十TB，甚至上百TB的數(shù)據(jù)量級(jí)別，如何對這些海量歷史數(shù)據(jù)資產(chǎn)進(jìn)行有效的存儲(chǔ)、管理、整合，并在此基礎(chǔ)上進(jìn)行快速共享、計(jì)算、分析，最終達(dá)到對業(yè)務(wù)的有效知道是本系統(tǒng)的建設(shè)關(guān)鍵。在華西醫(yī)院項(xiàng)目基礎(chǔ)軟件及服務(wù)建設(shè)過程中，主要會(huì)面臨以下挑戰(zhàn)： 擴(kuò)展性：當(dāng)數(shù)據(jù)量達(dá)到一定限度之后，無論是數(shù)據(jù)存儲(chǔ)、分析、查詢，都會(huì)受到極大的限制，系統(tǒng)的橫向擴(kuò)展性的能力將是系統(tǒng)建設(shè)的重要考量之一。價(jià)格: 系統(tǒng)的橫向擴(kuò)展，必然會(huì)帶來軟件、硬件成本的增加，以及后期升級(jí)、維護(hù)、擴(kuò)展的成本的投入也是系統(tǒng)擴(kuò)展面臨的挑戰(zhàn)。性能：數(shù)據(jù)動(dòng)輒幾十TB、甚至上百

22、TB，面對如此海量的數(shù)據(jù)，若要進(jìn)行高效的計(jì)算、分析，為業(yè)務(wù)提供有效的指導(dǎo)，必須要滿足業(yè)務(wù)允許的時(shí)間要求。平臺(tái)的易用性：華西醫(yī)院項(xiàng)目基礎(chǔ)軟件及服務(wù)的數(shù)據(jù)處理平臺(tái)易用性也是系統(tǒng)建設(shè)的關(guān)鍵問題，能否提供一個(gè)可簡單、方便為上層應(yīng)用使用的平臺(tái)，或者可以將現(xiàn)有應(yīng)用方便遷移到新建設(shè)的華西醫(yī)院項(xiàng)目基礎(chǔ)軟件及服務(wù)數(shù)據(jù)處理平臺(tái)也是面臨的挑戰(zhàn)。平臺(tái)的易用性將直接影響到平臺(tái)的建設(shè)、應(yīng)用的建設(shè)，將直接影響工作成本。設(shè)計(jì)原則系統(tǒng)在設(shè)計(jì)過程中除考慮滿足當(dāng)前項(xiàng)目建設(shè)要求外，還應(yīng)當(dāng)滿足后續(xù)系統(tǒng)平滑擴(kuò)展升級(jí)要求，因此總方案設(shè)計(jì)遵循如下設(shè)計(jì)原則。開放性引入業(yè)界開放的、成熟的標(biāo)準(zhǔn)，從而保證系統(tǒng)成為符合標(biāo)準(zhǔn)又不失靈活性的開放平臺(tái)，為未

23、來的系統(tǒng)的靈活開放奠定基礎(chǔ)。需要支持業(yè)界開放的標(biāo)準(zhǔn)接口，如： SQL2003，PL/SQL等等，同時(shí)完全兼容開源的標(biāo)準(zhǔn)。先進(jìn)性基于統(tǒng)一的整體架構(gòu)，采用先進(jìn)的、成熟的、可靠的技術(shù)與軟硬件平臺(tái)，保證基礎(chǔ)數(shù)據(jù)平臺(tái)系統(tǒng)易擴(kuò)展、易升級(jí)、易操作、易維護(hù)等特性。 基于業(yè)界熱門的，且領(lǐng)先的Spark技術(shù)，極速提高平臺(tái)的整體計(jì)算性能?？蓴U(kuò)展性隨著新的業(yè)務(wù)需求的不斷產(chǎn)生，支持基礎(chǔ)數(shù)據(jù)模型、應(yīng)用分析模型、前端應(yīng)用的擴(kuò)展性；支持在統(tǒng)一系統(tǒng)架構(gòu)中服務(wù)器、存儲(chǔ)、I/O設(shè)備等的可擴(kuò)展性。 可靠性制定并實(shí)施基礎(chǔ)數(shù)據(jù)平臺(tái)高可用性方案、運(yùn)行管理監(jiān)控制度、運(yùn)行維護(hù)制度、故障處理預(yù)案等，保證本期系統(tǒng)在多用戶、多節(jié)點(diǎn)等復(fù)雜環(huán)境下的可靠

24、性。 高效性高效性包含兩方面內(nèi)容，一方面系統(tǒng)需要在規(guī)定時(shí)間內(nèi)完成數(shù)據(jù)寫入操作，并將數(shù)據(jù)寫入對數(shù)據(jù)分析的影響降到最低；另一方面系統(tǒng)需要實(shí)現(xiàn)規(guī)劃要求的數(shù)據(jù)查詢和統(tǒng)計(jì)分析速度。 正確性數(shù)據(jù)質(zhì)量貫穿基礎(chǔ)數(shù)據(jù)平臺(tái)系統(tǒng)建設(shè)的每個(gè)環(huán)節(jié)，基礎(chǔ)數(shù)據(jù)平臺(tái)系統(tǒng)通過合理的數(shù)據(jù)質(zhì)量管理解決方案保證數(shù)據(jù)質(zhì)量。安全性按國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、安全規(guī)范等實(shí)現(xiàn)數(shù)據(jù)安全管理。 可維護(hù)性系統(tǒng)要有統(tǒng)一的管理平臺(tái), 管理基礎(chǔ)數(shù)據(jù)平臺(tái)系統(tǒng)的各個(gè)環(huán)節(jié)，能對系統(tǒng)進(jìn)行相應(yīng)的性能管理和日志監(jiān)控。 易用性有良好的人機(jī)接口不靈活多樣的展現(xiàn)方式，需要對最終用戶提供適當(dāng)?shù)呐嘤?xùn)就可以方便地使用新的分析工具，從而減少IT人員的工作量，同時(shí)加強(qiáng)了集群監(jiān)管的時(shí)效性

25、?？傮w技術(shù)方案通過對華西醫(yī)院基礎(chǔ)軟件及服務(wù)需求的理解，以及根據(jù)建設(shè)目標(biāo)、設(shè)計(jì)原則的考慮，建議華西醫(yī)院采用基于大數(shù)據(jù)基礎(chǔ)平臺(tái)的架構(gòu)方案，來滿足華西醫(yī)院基礎(chǔ)軟件及服務(wù)建設(shè)的要求。軟件架構(gòu)Apache Hadoop是針對大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架，目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù)。是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)計(jì)算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺(tái)。然而現(xiàn)有的Hadoop技術(shù)仍然面臨一些挑戰(zhàn)：性能上，盡管Hadoop在100TB以上的數(shù)據(jù)上遠(yuǎn)遠(yuǎn)領(lǐng)先于傳統(tǒng)數(shù)據(jù)處理技術(shù)，然而對GB到TB級(jí)數(shù)據(jù)的處理效率較低；其次，只有對海量的數(shù)據(jù)進(jìn)行高效的分析及利用才能將大數(shù)據(jù)中存在的巨大潛在價(jià)值

26、轉(zhuǎn)換為實(shí)際的商業(yè)價(jià)值，這就需要完備的決策分析工具集運(yùn)行在Hadoop架構(gòu)之上；最后，亟需完備的企業(yè)級(jí)解決方案來加速大數(shù)據(jù)應(yīng)用的廣泛部署。企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)是業(yè)界領(lǐng)先的處理企業(yè)級(jí)大數(shù)據(jù)場景的高性能一站式分析平臺(tái)。它可以幫助企業(yè)快速建立一個(gè)統(tǒng)一的數(shù)據(jù)和計(jì)算平臺(tái)，快速支持企業(yè)內(nèi)部/外部數(shù)據(jù)的采集與集成、實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)、并提供極佳的數(shù)據(jù)計(jì)算與深度分析挖掘能力。在大數(shù)據(jù)平臺(tái)之上，用戶可以構(gòu)建相應(yīng)分析挖掘應(yīng)用，從而輔助企業(yè)及時(shí)洞察新的商機(jī)和潛在的風(fēng)險(xiǎn)，提升企業(yè)競爭力。大數(shù)據(jù)產(chǎn)品具有業(yè)界完整的SQL on Hadoop支持，實(shí)現(xiàn)完整支持SQL標(biāo)準(zhǔn)，增強(qiáng)分布式事務(wù)處理能力，全面支持MPP場景；突破實(shí)時(shí)處

27、理計(jì)算框架，支持物聯(lián)網(wǎng)實(shí)時(shí)業(yè)務(wù)分析；最完整的并行數(shù)據(jù)挖掘算法庫，并原創(chuàng)前沿機(jī)器學(xué)習(xí)組件；一站式圖形化的數(shù)據(jù)開發(fā)套件，可快速分析應(yīng)用；它是企業(yè)級(jí)大數(shù)據(jù)場景的高性能一站式分析平臺(tái)的優(yōu)秀選擇?？傮w技術(shù)架構(gòu)設(shè)計(jì)基于企業(yè)內(nèi)部多年的大數(shù)據(jù)建設(shè)實(shí)踐經(jīng)驗(yàn)，針對開源Apache Hadoop/Spark框架進(jìn)行了大量的修復(fù)完善及深度優(yōu)化工作，并自主創(chuàng)新的眾多功能和實(shí)用工具，易于使用者開發(fā)和管理。華西醫(yī)院的數(shù)據(jù)來源自多個(gè)方面，包括內(nèi)部數(shù)據(jù)來源以及未來可能第三方數(shù)據(jù)接入。各類數(shù)據(jù)的來源方式多樣化，包括關(guān)系型數(shù)據(jù)庫數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、文件數(shù)據(jù)、圖片數(shù)據(jù)等。面對于多種數(shù)據(jù)接入的需求，大數(shù)據(jù)平臺(tái)提供多種針對性的

28、接入方式以及工具，通過分布式消息隊(duì)列Kafka接入實(shí)時(shí)數(shù)據(jù)；通過Sqoop全量或定時(shí)增量抽取同步關(guān)系型數(shù)據(jù)庫；采用Kettle作為數(shù)據(jù)抽取管理工具，Kettle提供圖形化的界面定義數(shù)據(jù)抽取規(guī)則，并可與其他工具相結(jié)合，完成數(shù)據(jù)抽取的工作流；同時(shí)，分布式文件系統(tǒng)HDFS通過FTP Over HDFS提供文件通過FTP傳入HDFS的通道；通過Flume提供海量日志文件的聚匯到HDFS的功能。大數(shù)據(jù)分析平臺(tái)從功能架構(gòu)上分為數(shù)據(jù)集成套件、大數(shù)據(jù)計(jì)算平臺(tái)、算法與分析工具組件、平臺(tái)運(yùn)維管理組件、數(shù)據(jù)資產(chǎn)管理組件、數(shù)據(jù)可視化組件。序號(hào)名稱軟件說明軟件來源1數(shù)據(jù)集成套件提供對多種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的靈活集成。

29、支持不同系統(tǒng)和設(shè)備的開發(fā)工具套件，能夠根據(jù)企業(yè)的需求方便地快速擴(kuò)展，為企業(yè)快速收集其信息系統(tǒng)之外的設(shè)備、用戶和社交數(shù)據(jù)。同時(shí)也提供網(wǎng)絡(luò)爬蟲模塊，以方便企業(yè)獲取外部網(wǎng)絡(luò)數(shù)據(jù)。自有2大數(shù)據(jù)計(jì)算平臺(tái)基于開源HadoopSpark 生態(tài)系統(tǒng)，引入了多種核心功能和組件，對復(fù)雜開源技術(shù)進(jìn)行高度集成和性能優(yōu)化，面向基礎(chǔ)設(shè)施層進(jìn)行深度調(diào)優(yōu)。在分布式存儲(chǔ)系統(tǒng)的基礎(chǔ)上，建立了統(tǒng)一資源調(diào)度管理，高效地支持大規(guī)模批處理、交互式查詢計(jì)算、流式計(jì)算等多種計(jì)算引擎。自有3算法與分析工具提供挖掘算法工具、人工智能工具實(shí)現(xiàn)數(shù)據(jù)深度挖掘能力；同時(shí)為各類客戶查詢分析、應(yīng)用開發(fā)等相關(guān)工具，方便人員使用。自有4系統(tǒng)運(yùn)維管控系統(tǒng)運(yùn)維監(jiān)控

30、中心可提供快速完成產(chǎn)品套件的安裝部署、節(jié)點(diǎn)監(jiān)控、訪問權(quán)限管理、資源配額管理、系統(tǒng)告警分析、升級(jí)擴(kuò)容等計(jì)算平臺(tái)維護(hù)工作，通過統(tǒng)一的圖形化界面實(shí)現(xiàn)對大數(shù)據(jù)平臺(tái)及運(yùn)行服務(wù)狀況的實(shí)時(shí)監(jiān)控和管理。自有5數(shù)據(jù)資產(chǎn)管理將數(shù)據(jù)對象作為一種全新的資產(chǎn)形態(tài)，圍繞數(shù)據(jù)資產(chǎn)本身建立一個(gè)可靠可信的管理機(jī)制，提供數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)資產(chǎn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全等，以實(shí)現(xiàn)數(shù)據(jù)的可管、可控、可視，為實(shí)現(xiàn)數(shù)據(jù)價(jià)值增值奠定良好基礎(chǔ)。自有數(shù)據(jù)可視化 Vision具有儀表盤（Dashboard）、靈活查詢 （Query）、電子表格（Spreadsheet）、多維分析（Analysis）、移動(dòng)應(yīng)用（Mobile）、分析報(bào)

31、告插件（Office Addin）、自助分析（xQuery）、數(shù)據(jù)采集（dataIn）、數(shù)據(jù)挖掘（Smart Mining）等豐富的功能，用戶可以更直觀便捷地獲取信息，并開創(chuàng)性地把各種技術(shù)整合到一個(gè)集成環(huán)境中。自有基于企業(yè)內(nèi)部多年的大數(shù)據(jù)建設(shè)實(shí)踐經(jīng)驗(yàn)，針對開源Apache Hadoop/Spark框架進(jìn)行了大量的修復(fù)完善及深度優(yōu)化工作，并自主創(chuàng)新的眾多功能和實(shí)用工具，易于使用者開發(fā)和管理。功能組件完整性介紹基于企業(yè)內(nèi)部多年的大數(shù)據(jù)建設(shè)實(shí)踐經(jīng)驗(yàn)，針對開源Apache Hadoop/Spark框架進(jìn)行了大量的修復(fù)完善及深度優(yōu)化工作，并自主創(chuàng)新的眾多功能和實(shí)用工具，易于使用者開發(fā)和管理。產(chǎn)品功能說明

32、：功能內(nèi)容描述數(shù)據(jù)集成組件（ Data Hub）數(shù)據(jù)庫導(dǎo)入支持MySql、Oracle、DB2等多種數(shù)據(jù)庫到Hive、HDFS的數(shù)據(jù)導(dǎo)入；支持常見數(shù)據(jù)庫互導(dǎo)以及導(dǎo)入到HDFS和Hive；本地文件導(dǎo)入支持本地文件、Excel、CSV到Hive、HDFS的導(dǎo)入；客戶端導(dǎo)本地路徑文件源、客戶端導(dǎo)數(shù)據(jù)庫數(shù)據(jù)源；Dump文件上傳到Hive、HDFS、DB；公有云數(shù)據(jù)導(dǎo)入提供阿里云、亞馬遜云RDS到HIVE、HDFS、常見DB數(shù)據(jù)導(dǎo)入；大數(shù)據(jù)類數(shù)據(jù)庫導(dǎo)入支持Redis、HBase、Impala、MongoDB等數(shù)據(jù)導(dǎo)入Http流式上傳提供http流式上傳方式，開放上傳接口，上傳到kafka消息隊(duì)列服務(wù)提供

33、Kafka消息隊(duì)列服務(wù)其他類型導(dǎo)入支持SAP、網(wǎng)絡(luò)數(shù)據(jù)爬取等功能；提供FTP上傳到HDFS 遷移任務(wù)展示所創(chuàng)建的任務(wù)信息及任務(wù)運(yùn)行情況，并可對任務(wù)進(jìn)行管理查看所有數(shù)據(jù)遷移任務(wù)的執(zhí)行歷史和日志（比如某條任務(wù)是每小時(shí)執(zhí)行一次，就會(huì)產(chǎn)生多條執(zhí)行歷史）資源庫創(chuàng)建資源庫連接信息并保存，在之后的上傳過程中，可以選擇已經(jīng)保存過的數(shù)據(jù)庫，自動(dòng)進(jìn)行連接選擇，不用再輸入信息，方便操作；對保存過的資源庫連接進(jìn)行列表展示，并可以對資源庫信息進(jìn)行管理操作；流程管理流程的新建、復(fù)制、刪除、修改、啟用、停止、查詢，定義任務(wù)調(diào)度策略；大數(shù)據(jù)平臺(tái)組件（ Hadoop Distribution）分布式文件存儲(chǔ) - HDFS分布式

34、文件存儲(chǔ)、多副本備份與同步機(jī)制，提供容錯(cuò)機(jī)制，可修改副本策略，支持跨機(jī)房備份；大文件寫入、流式數(shù)據(jù)訪問、高吞吐量數(shù)據(jù)訪問；支持?jǐn)?shù)據(jù)存儲(chǔ)分布策略，支持機(jī)架感知與負(fù)載均衡，支持高可用；NoSQL數(shù)據(jù)庫分布式、列存儲(chǔ)、多維結(jié)構(gòu)存儲(chǔ)，支持結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)量的高速讀寫操作；面向列表（簇）的存儲(chǔ)和權(quán)限控制，列（簇）獨(dú)立檢索，以及二級(jí)索引，支持?jǐn)?shù)據(jù)多版本；面向列的數(shù)據(jù)壓縮，高壓縮比，有效降低磁盤I/O；數(shù)據(jù)倉庫工具 - Hive海量結(jié)構(gòu)數(shù)據(jù)批量離線分析；提供基于HQL的數(shù)據(jù)查詢機(jī)制，支持UDF，自定義存儲(chǔ)格式，擴(kuò)展數(shù)據(jù)類型，函數(shù)和腳本；批量計(jì)算框架 - MapReduce數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度；內(nèi)存計(jì)

35、算引框架- Spark分布式內(nèi)存計(jì)算引擎；流數(shù)據(jù)計(jì)算引擎基于Storm與Spark Streaming的流式計(jì)算引擎；分布式數(shù)據(jù)庫MPP支持基于Spark的MPP架構(gòu)數(shù)據(jù)庫，基于Spark擴(kuò)展CRUD操作；多維分析引擎 - Kylin提供OLAP分析能力，支持SQL查詢分布式消息隊(duì)列服務(wù) - Kafka支持消息隊(duì)列的負(fù)載均衡、分區(qū)存儲(chǔ)、數(shù)據(jù)壓縮等分布式協(xié)作服務(wù) - Zookeeper配置管理、配置更新通知、節(jié)點(diǎn)主備容災(zāi)、節(jié)點(diǎn)心跳管理等；統(tǒng)一資源調(diào)度 - Yarn支持資源封裝、調(diào)度、隔離以及配額管理；支持Capacity(靜態(tài))、FIFO(先進(jìn)先出)、Fair(公平、動(dòng)態(tài))等調(diào)度模式；交互式分析

36、引擎 - Impala支持基于SQL的查詢分析；支持基于JDBC/ODBC的數(shù)據(jù)庫連接，支持BI可視化工具連接數(shù)據(jù)導(dǎo)入導(dǎo)出 - Sqoop支持傳統(tǒng)數(shù)據(jù)庫到Hadoop；支持Hadoop到傳統(tǒng)數(shù)據(jù)庫；全文搜索引擎 - Solr基于Lucene的全文搜索服務(wù)器；日志采集服務(wù) - Flume分布式、可靠的日志采集服務(wù)；日志分析服務(wù) - ELK提供一個(gè)分布式多用戶能力的全文搜索引擎；支持日志搜集處理框架、快速的日志綜合處理能力；支持日志搜索、可視化、分析能力緩存服務(wù) - Redis基于Key-value的數(shù)據(jù)緩存庫，支持?jǐn)?shù)據(jù)同步；安全保障支持Kerberos認(rèn)證和LDAP集成；任務(wù)調(diào)度( Task S

37、cheduler ）實(shí)例管理快速檢索查詢當(dāng)前平臺(tái)的所有流程實(shí)例、流程執(zhí)行實(shí)例依賴關(guān)系圖形化、實(shí)例執(zhí)行流程圖查看；重跑、補(bǔ)跑、任務(wù)重試、終止；實(shí)例相關(guān)流程調(diào)度歷史時(shí)長圖形化與列表兩種方式展示；配置管理數(shù)據(jù)庫等資源的連接配置；依賴的hadoop/hdfs等相關(guān)的配置；支持短信/郵箱告警服務(wù)，如郵箱配置、SMS配置，告警短信配置；數(shù)據(jù)分析( SQL/R/Python Editor)數(shù)據(jù)源管理獲取數(shù)據(jù)庫元數(shù)據(jù)信息，可以展開并快速檢索表信息；數(shù)據(jù)查詢提供SQL編輯器，支持語法補(bǔ)全、關(guān)鍵字補(bǔ)全、數(shù)據(jù)庫表提示、SQL格式化；支持SQL 2003標(biāo)準(zhǔn)，兼容SqlServer/Oracle語法，支持存儲(chǔ)過程、支

38、持TPC-DS測試集99個(gè)SQL語句；查詢結(jié)果可以通過交叉表進(jìn)行進(jìn)過展示，默認(rèn)顯示前100行；腳本開發(fā)支持R、Python腳本運(yùn)行；定時(shí)任務(wù)展示當(dāng)前定時(shí)任務(wù)列表及執(zhí)行歷史；定時(shí)任務(wù)添加、修改、刪除、禁止，可以配置任務(wù)的調(diào)度周期多租戶管理 ( User Admin)用戶管理 - 操作用戶用戶及賬戶的添加、修改、刪除，用戶啟停用；項(xiàng)目管理 - 多租戶管理提供項(xiàng)目管理、人員分配、權(quán)限管理等功能費(fèi)用管理當(dāng)前計(jì)算、存儲(chǔ)資源消耗費(fèi)用計(jì)算，并可查看詳情；資源管理當(dāng)前租戶下各項(xiàng)目資源使用情況，對項(xiàng)目進(jìn)行資源池分配；個(gè)人中心密碼修改、用戶注銷；集群管理 （ Manager）安裝部署安裝文件拷貝、環(huán)境檢測與主機(jī)環(huán)

39、境配置、組件自動(dòng)化部署；集群監(jiān)控指標(biāo)監(jiān)控、監(jiān)控?zé)釄D、歷史配置信息、版本信息；服務(wù)管理添加與刪除服務(wù)、服務(wù)啟停、部署與移動(dòng)；參數(shù)配置、配置組、歷史版本；HA配置，支持全組件的HA配置，包括 Manager管理節(jié)點(diǎn)；主機(jī)管理添加與刪除主機(jī)節(jié)點(diǎn)、主機(jī)監(jiān)控指標(biāo)、主機(jī)及相關(guān)組件的告警信息；告警管理報(bào)警歷史記錄；告警組、告警通知；版本管理平臺(tái)及各個(gè)組件版本管理、版本升級(jí)；平臺(tái)授權(quán)信息注冊；用戶管理 - 運(yùn)維用戶用戶添加、修改、刪除；角色添加、修改、刪除；日志管理根據(jù)檢索內(nèi)容做簡單的信息統(tǒng)計(jì)，統(tǒng)計(jì)不同類型輸出信息數(shù)量；根據(jù)組件、關(guān)鍵字信息做信息搜索；元數(shù)據(jù)管理 Metadata元數(shù)據(jù)采集JDBC數(shù)據(jù)庫連接采

40、集、DDL文件上傳解析、Excel模板上傳解析、API讀取系統(tǒng)數(shù)據(jù)元數(shù)據(jù)內(nèi)容展示支持?jǐn)?shù)據(jù)庫Oracle、MySQL、Postgresql、SqlSever的數(shù)據(jù)結(jié)構(gòu)、樣本數(shù)據(jù) 、變更詳情、基本信息、存儲(chǔ)信息、分區(qū)信息、索引信息；主外鍵信息采集、視圖信息采集、分區(qū)信息采集及數(shù)據(jù)庫、表大小的信息采集；支持分布式數(shù)據(jù)架構(gòu)Hive、HDFS信息采集功能；支持內(nèi)部數(shù)據(jù)處理流程、Oozie、azkaban的信息采集元數(shù)據(jù)查詢支持模糊查詢和精確查詢的全局搜索；Hive和HDFS支持血緣分析功能，主要為表之間的關(guān)聯(lián)性；支持Ooize和Kettle等常見ETL開發(fā)工具的血緣關(guān)系；元數(shù)據(jù)變更記錄可查看系統(tǒng)元數(shù)據(jù)新

41、增、修改、刪除的變更總數(shù)目；可查看系統(tǒng)元數(shù)據(jù)新增、修改、刪除的詳情；結(jié)構(gòu)化數(shù)據(jù)管理提供視圖目錄的新增、修改和刪除；元數(shù)據(jù)添加業(yè)務(wù)類描述信息記錄查看表字段和分區(qū)的變更支持用戶對元數(shù)據(jù)添加：問題、描述、數(shù)據(jù)質(zhì)量等描述注釋問題；用于團(tuán)隊(duì)分享協(xié)作使用數(shù)據(jù)；提供基于業(yè)務(wù)層級(jí)數(shù)據(jù)模型的管理非結(jié)構(gòu)化數(shù)據(jù)管理提供對象存儲(chǔ)系統(tǒng)，對文檔、圖片、音頻視頻存儲(chǔ)管理；提供對非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)打標(biāo)管理；提供通過標(biāo)簽搜索查詢；數(shù)據(jù)生命周期管理數(shù)據(jù)生命周期判定原則定義生命周期查詢/更改數(shù)據(jù)生命周期監(jiān)控過期數(shù)據(jù)銷毀元數(shù)據(jù)權(quán)限管理實(shí)體數(shù)據(jù)使用的權(quán)限分配功能元數(shù)據(jù)訪問的權(quán)限控制數(shù)據(jù)質(zhì)量 （ Data Quality）基礎(chǔ)檢查按用戶選

42、定模式統(tǒng)計(jì)空白數(shù)量和占比；驗(yàn)證字段的唯一性，統(tǒng)計(jì)不唯一id的占比，計(jì)算“孤值”；類型檢查統(tǒng)計(jì)true/false(/null)各自占比統(tǒng)計(jì)字符集統(tǒng)計(jì)各自數(shù)量按用戶勾選項(xiàng)統(tǒng)計(jì)結(jié)果日期檢查統(tǒng)計(jì)日期缺失數(shù)量和占比；統(tǒng)計(jì)各種時(shí)間關(guān)鍵數(shù)據(jù)；統(tǒng)計(jì)各部分時(shí)間分布；查找出當(dāng)中包含的工作日；其它檢查按用戶輸入統(tǒng)計(jì)各部分?jǐn)?shù)量和占比提取頂部(底部)top N的值統(tǒng)計(jì)用戶指定參數(shù)不匹配的值及數(shù)量比例模式搜索數(shù)據(jù)集成組件（ Data Hub）采集具備批量、實(shí)時(shí)、結(jié)構(gòu)化、非結(jié)構(gòu)化等多樣化的采集功能?？商峁﹫D形化的操作配置，統(tǒng)一的調(diào)度和監(jiān)控，結(jié)合其良好的分布式并行處理架構(gòu)，具備動(dòng)態(tài)的橫向擴(kuò)展能力。數(shù)據(jù)采集批量數(shù)據(jù)采集作為大

43、數(shù)據(jù)體系的核心功能組件，既可以基于SMP單機(jī)處理,也可以基于低成本的X86分布式平臺(tái)展開系統(tǒng)設(shè)計(jì)，支持庫外預(yù)處理，基于HADOOP組件實(shí)現(xiàn)批量數(shù)據(jù)的并行數(shù)據(jù)處理。其核心功能緊緊圍繞構(gòu)建大數(shù)據(jù)系統(tǒng)在數(shù)據(jù)處理層面上涉及到的數(shù)據(jù)采集、清洗、轉(zhuǎn)換、加載及交換的核心數(shù)據(jù)加工流程展開。（1）數(shù)據(jù)抽取數(shù)據(jù)抽取功能具備從不同數(shù)據(jù)源（RDBMS、Hadoop、MPP等）進(jìn)行指定規(guī)則的數(shù)據(jù)提取作業(yè)，抽取后的數(shù)據(jù)存儲(chǔ)支持落地與不落地兩大類進(jìn)行，抽取后的數(shù)據(jù)可以為數(shù)據(jù)轉(zhuǎn)換環(huán)節(jié)進(jìn)行處理提供輸入，也可以直接進(jìn)行處理或者加載。支持Oracle,DB2,Mysql,SQLserver,Teradata,Greenplum等主

44、流數(shù)據(jù)庫接口。數(shù)據(jù)采集采用多樣性的接口方式，除了支持傳統(tǒng)的JDBC/ODBC接口、FTP文件接口，還支持目前主流的流數(shù)據(jù)采集的Socket接口及Webservice接口，同時(shí)擴(kuò)展支持了Hadoop生態(tài)圈的Flume日志系統(tǒng)采集接口等，提供完善的圖形化可拖拽的操作管理界面提供良好的用戶體驗(yàn)降低產(chǎn)品使用難度，可以根據(jù)實(shí)際業(yè)務(wù)需求選擇相應(yīng)的配置也可以統(tǒng)一使用。數(shù)據(jù)采集功能針對不同的使用場景訴求提供種類豐富的方式支持，具體來講主要包括以下幾種方式支持：批量數(shù)據(jù)抽取運(yùn)用大規(guī)模并行計(jì)算特點(diǎn)來達(dá)到批量數(shù)據(jù)抽取目標(biāo)，主要應(yīng)對數(shù)據(jù)抽取數(shù)據(jù)源以較大文件形式對外提供數(shù)據(jù)時(shí)可采用此種采集模式，批量數(shù)據(jù)采抽取具備如下功

45、能與能力：多協(xié)議數(shù)據(jù)抽取提供了文件和數(shù)據(jù)庫等多種數(shù)據(jù)抽取方式包括支持：高性能關(guān)系型數(shù)據(jù)倉庫、MPP分布式數(shù)據(jù)倉庫、Hadoop等，接口協(xié)議可以根據(jù)需要隨時(shí)添加。多格式數(shù)據(jù)解析多種文件格式抽取(CVS、XML、Excel、ASN.1、自定義)，支持不同格式、參數(shù)、編碼、分隔符、Tag的異構(gòu)文件解析。提供擴(kuò)展接口，方便支持其他格式。高效率與控制多個(gè)抽取任務(wù)發(fā)布到集群中并行處理，內(nèi)部運(yùn)算使用二進(jìn)制存儲(chǔ)，針對大批量零散文件優(yōu)化?？煽刂撇l(fā)數(shù)和任務(wù)優(yōu)先級(jí)。 流式（實(shí)時(shí)）數(shù)據(jù)抽取流式數(shù)據(jù)采集主要應(yīng)對海量數(shù)據(jù)進(jìn)行高性能的實(shí)時(shí)數(shù)據(jù)采集處理，以實(shí)時(shí)、高效、低延遲為核心驅(qū)動(dòng)點(diǎn)，具備毫秒級(jí)數(shù)據(jù)觸發(fā)能力，實(shí)現(xiàn)秒級(jí)單位

46、時(shí)間窗口的數(shù)據(jù)統(tǒng)計(jì)分析能力。通過引入采用Hadoop生態(tài)圈的開源技術(shù)Spark Streaming、Storm、Flume等，結(jié)合常用標(biāo)準(zhǔn)協(xié)議（Socket、JMS、HTTP、HTTPS、FTP、SFTP）封裝的組件，進(jìn)行實(shí)時(shí)數(shù)據(jù)進(jìn)行抽取和分析計(jì)算，并將計(jì)算結(jié)果進(jìn)行展示。根據(jù)流式技術(shù)特征，適合引入流式數(shù)據(jù)采集的場景應(yīng)具有如下特點(diǎn)：針對高頻度的事件流。每個(gè)獨(dú)立的事件都需要處理和分析。高聚合度，以至于數(shù)據(jù)的體積會(huì)大量的減少。通過可視化界面通過拖拽式操作實(shí)現(xiàn)對數(shù)據(jù)采集控件使用。數(shù)據(jù)采集內(nèi)置提供多種數(shù)據(jù)采集功能來滿足數(shù)據(jù)采集功能訴求，包括但不限于以下HBASE抽取、HDFS抽取、Excel抽取、XML

47、抽取、TD數(shù)據(jù)庫抽取、GP數(shù)據(jù)庫抽取、MySQL抽取等組件。數(shù)據(jù)采集組件被統(tǒng)一歸納在抽取控件組件包中，支持用戶根據(jù)自身訴求動(dòng)態(tài)調(diào)整控件包控件內(nèi)容，同時(shí)控件支持根據(jù)自身需要進(jìn)行控件來擴(kuò)展系統(tǒng)計(jì)算能力。ETL產(chǎn)品在實(shí)現(xiàn)過程中通過批量數(shù)據(jù)采集與流式（實(shí)時(shí)）數(shù)據(jù)采集二種模式的數(shù)據(jù)采集能力進(jìn)行封裝形成獨(dú)立組件，并將其納入統(tǒng)一的作業(yè)調(diào)度系統(tǒng)進(jìn)行統(tǒng)一管控，從而滿足不同策略、不同形式、異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)采集需求。（2）數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換包括數(shù)據(jù)過濾、類型轉(zhuǎn)換、文件拆分與合并、維度轉(zhuǎn)換等功能。數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換和一些轉(zhuǎn)換規(guī)則的計(jì)算。其中不一致轉(zhuǎn)換過程是數(shù)據(jù)整合的過程，側(cè)重于

48、將來源于不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)進(jìn)行統(tǒng)一處理；數(shù)據(jù)粒度轉(zhuǎn)換需要按照數(shù)據(jù)倉庫粒度對數(shù)據(jù)進(jìn)行統(tǒng)一歸整；轉(zhuǎn)換規(guī)則計(jì)算按照設(shè)計(jì)的計(jì)算歸則對數(shù)據(jù)進(jìn)行重新計(jì)算。數(shù)據(jù)轉(zhuǎn)換功能說明如下：序號(hào)功能功能描述1數(shù)據(jù)轉(zhuǎn)換規(guī)則配置提供圖形化的界面來實(shí)現(xiàn)靈活的數(shù)據(jù)處理規(guī)則配置，主要提供的數(shù)據(jù)轉(zhuǎn)換規(guī)則設(shè)置包括：對數(shù)據(jù)進(jìn)行計(jì)算、合并、拆分的規(guī)則配置、對空值替換規(guī)則的配置、對數(shù)據(jù)格式化規(guī)則的配置等；2數(shù)據(jù)處理過程記錄支持對數(shù)據(jù)處理過程的日志記錄，記錄的信息主要包括：元數(shù)據(jù)記錄、轉(zhuǎn)換后數(shù)據(jù)記錄、運(yùn)用的轉(zhuǎn)換規(guī)則、轉(zhuǎn)換的時(shí)間等內(nèi)容；3內(nèi)置豐富的數(shù)據(jù)處理組件支持任意合理的數(shù)據(jù)格式轉(zhuǎn)換，包括但不限于：時(shí)間類型的轉(zhuǎn)換、字符編碼轉(zhuǎn)換；支

49、持任意合理的數(shù)據(jù)類型轉(zhuǎn)換；支持?jǐn)?shù)據(jù)內(nèi)容轉(zhuǎn)換，如通過關(guān)聯(lián)關(guān)系，將A數(shù)據(jù)源中的數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)源B中的數(shù)據(jù)；支持多字段的混合運(yùn)算，運(yùn)算規(guī)則可靈活配置，包括但不限于：sum、max、min、avg等；支持各種字符操作，包括但不限于：字符替換、字符截取、字符連接；支持記錄和字段的抽取，支持對抽取的數(shù)據(jù)進(jìn)行字段擴(kuò)展；支持?jǐn)?shù)據(jù)粒度的轉(zhuǎn)換：將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進(jìn)行聚合。保證轉(zhuǎn)換后的誤差在規(guī)定的范圍內(nèi)； 支持空值處理：捕獲空值，根據(jù)規(guī)則替換為對應(yīng)數(shù)據(jù)；支持?jǐn)?shù)據(jù)格式化：統(tǒng)一數(shù)據(jù)源中同類數(shù)據(jù)的格式，具體包括時(shí)間、數(shù)值、字符、計(jì)量單位等數(shù)據(jù)；支持?jǐn)?shù)據(jù)替換：根據(jù)規(guī)則用標(biāo)準(zhǔn)數(shù)據(jù)替換原來的數(shù)據(jù)，支持各種碼表映射，

50、例如用標(biāo)準(zhǔn)編碼替換業(yè)務(wù)系統(tǒng)自定的編碼；支持復(fù)雜條件過濾，過濾條件可靈活配置；支持臟讀；支持環(huán)境變量動(dòng)態(tài)修改；支持?jǐn)?shù)據(jù)去重處理，可按照用戶定義的規(guī)則自動(dòng)判斷重復(fù)數(shù)據(jù)，并按照用戶定義的規(guī)則處理重復(fù)的數(shù)據(jù)；支持記錄間合并、支持將一條記錄按照可配置的規(guī)則拆分為多條記錄，支持行、列變換；支持一個(gè)數(shù)據(jù)表中多個(gè)列的合并；支持跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)；支持將多個(gè)異構(gòu)數(shù)據(jù)表合并為一個(gè)表；支持將一個(gè)數(shù)據(jù)表拆分為多個(gè)數(shù)據(jù)表；支持多種規(guī)則排序；支持多種統(tǒng)計(jì)方式；具備度量衡等常用的轉(zhuǎn)換函數(shù)；在轉(zhuǎn)換過程中支持?jǐn)?shù)據(jù)比較的功能；支持?jǐn)?shù)據(jù)預(yù)覽；支持?jǐn)?shù)據(jù)清洗及標(biāo)準(zhǔn)化；支持按行、按列的分組聚合；具備良好的參數(shù)處理機(jī)制等；ETL處理過程支

51、持各種字符集的轉(zhuǎn)換；支持樣品數(shù)據(jù)抽取4數(shù)據(jù)轉(zhuǎn)換異常處理支持校驗(yàn)點(diǎn)，當(dāng)外部數(shù)據(jù)記錄特別龐大時(shí)，如果因?yàn)槟撤N原因發(fā)生故障中斷后，可以從最近的校驗(yàn)點(diǎn)開始恢復(fù)處理（3）數(shù)據(jù)加載數(shù)據(jù)加載功能包括文件加載、流加載、壓縮加載、不落地加載等。數(shù)據(jù)加載功能具備將采集、處理后的數(shù)據(jù)源文件保存到不同數(shù)據(jù)庫（RDBMS、MPP、HADOOP等）中。對于不同的數(shù)據(jù)庫加載、不同的方式加載，在數(shù)據(jù)加載過程的工作原理基本相同，僅在實(shí)現(xiàn)層面針對不同數(shù)據(jù)庫或者方式進(jìn)行個(gè)性化控件處理。在加載數(shù)據(jù)庫類別上支持DB2、Greenplum、HDFS、HBase、Teradata、Vertica、MySql等多種數(shù)據(jù)庫。全量數(shù)據(jù)加載全量加

52、載是將數(shù)據(jù)一次性加載到接口機(jī)上，是準(zhǔn)實(shí)時(shí)加載，主要應(yīng)對數(shù)據(jù)加載數(shù)據(jù)源以較大文件形式對外提供數(shù)據(jù)時(shí)可采用此種采集模式。流式（實(shí)時(shí)）數(shù)據(jù)加載流式數(shù)據(jù)加載主要應(yīng)對高頻數(shù)據(jù)，對實(shí)時(shí)性要求高的數(shù)據(jù)，采用流式計(jì)算方法進(jìn)行高性能的實(shí)時(shí)計(jì)算實(shí)時(shí)加載。數(shù)據(jù)采集管理（1）管理監(jiān)控提供圖形化統(tǒng)一配置和監(jiān)控界面，降低維護(hù)人員的使用難度，幫助運(yùn)維人員及時(shí)發(fā)現(xiàn)問題、解決問題，更直觀的管理ETL任務(wù)。完整全面的圖形化的監(jiān)控管理可顯示系統(tǒng)總體運(yùn)行匯總分析報(bào)表。具備直觀的監(jiān)控界面，對ETL作業(yè)各個(gè)步驟的運(yùn)行情況等進(jìn)行監(jiān)控并顯示監(jiān)控信息；包括執(zhí)行起始時(shí)間、作業(yè)運(yùn)行時(shí)間、作業(yè)每個(gè)步驟的執(zhí)行時(shí)間、執(zhí)行結(jié)果、出現(xiàn)錯(cuò)誤的位置、錯(cuò)誤原因、

53、出現(xiàn)錯(cuò)誤的時(shí)間等(必須)等內(nèi)容。提供圖形界面的性能分析，包括分析運(yùn)行的ETL任務(wù)的行為、圖形化展示ETL任務(wù)整個(gè)運(yùn)行階段每個(gè)時(shí)間線上的記錄吞吐量、CPU使用率、任務(wù)內(nèi)存使用、物理機(jī)器資源占用等，及其平均值的計(jì)算。支持直觀展示錯(cuò)誤與異常信息。支持異常信息告警，告警級(jí)別、告警內(nèi)容、發(fā)生時(shí)間、告警處理建議等信息展示，并可配置短信或郵件等方式進(jìn)行提醒。（2）數(shù)據(jù)校驗(yàn)數(shù)據(jù)校驗(yàn)包括數(shù)據(jù)采集、數(shù)據(jù)加載、數(shù)據(jù)分發(fā)等過程中數(shù)據(jù)校驗(yàn)。在數(shù)據(jù)采集過程中通過對數(shù)據(jù)源與目標(biāo)數(shù)據(jù)庫之間的數(shù)據(jù)進(jìn)行對比分析，從而進(jìn)一步來分析、發(fā)現(xiàn)與解決在數(shù)據(jù)抽取過程可能產(chǎn)生的異常錯(cuò)誤信息。數(shù)據(jù)校驗(yàn)從校驗(yàn)對象細(xì)粒度維度分析，支持文件級(jí)校驗(yàn)與記

54、錄級(jí)校驗(yàn)二大類。數(shù)據(jù)校驗(yàn)?zāi)K還內(nèi)置了部分的數(shù)據(jù)檢查功能，如數(shù)據(jù)唯一性檢查、外鍵完整性檢查。數(shù)據(jù)校驗(yàn)內(nèi)容有類型，長度，是否為空，精度，范圍，格式等信息。如果數(shù)據(jù)不符合，會(huì)進(jìn)行過濾，只有正確的數(shù)據(jù)才能繼續(xù)使用。對于錯(cuò)誤的數(shù)據(jù)，可以進(jìn)行輸出，包括錯(cuò)誤原因和錯(cuò)誤字段序號(hào)等信息。（3）調(diào)度策略時(shí)間調(diào)度時(shí)間調(diào)度是根據(jù)事先定義的執(zhí)行頻度,計(jì)算下次執(zhí)行時(shí)間,記錄執(zhí)行次數(shù),并進(jìn)行流程調(diào)度。提供等間隔時(shí)間調(diào)度和定時(shí)調(diào)度，具備自動(dòng)運(yùn)行和手工執(zhí)行兩種啟動(dòng)方式。等間隔時(shí)間調(diào)度指 “年，季度，月，旬，周，日，時(shí)，分，秒”周期性的調(diào)度定時(shí)調(diào)度是指確定在某個(gè)時(shí)間點(diǎn)觸發(fā)，如每個(gè)月的1號(hào)和10號(hào)執(zhí)行，每天的9點(diǎn)和12點(diǎn)執(zhí)行。時(shí)間

55、調(diào)度觸發(fā)分為定時(shí)一次性觸發(fā)和周期性時(shí)間觸發(fā)，定時(shí)一次性觸發(fā)是設(shè)定具體的job調(diào)度時(shí)間執(zhí)行一次，周期性時(shí)間觸發(fā)是按設(shè)定的時(shí)間周期對job進(jìn)行執(zhí)行調(diào)度。手工調(diào)度提供臨時(shí)調(diào)度方式（用于測試、調(diào)優(yōu)、重新執(zhí)行），由用戶手工執(zhí)行。手工觸發(fā)是指需要維護(hù)人員在頁面上點(diǎn)擊觸發(fā)按鈕才能觸發(fā)。有些執(zhí)行任務(wù)節(jié)點(diǎn)在執(zhí)行的時(shí)候失敗了，并且此失敗是不能忽略的，這時(shí)候不會(huì)執(zhí)行后面的執(zhí)行任務(wù)節(jié)點(diǎn),而是需要手工重新執(zhí)行。維護(hù)人員在JOB的執(zhí)行任務(wù)節(jié)點(diǎn)中設(shè)置了起始斷點(diǎn)，并且起始斷點(diǎn)分別可以設(shè)置在多個(gè)執(zhí)行任務(wù)節(jié)點(diǎn)上面。這樣也是手工觸發(fā)，JOB執(zhí)行起始斷點(diǎn)間的執(zhí)行任務(wù)節(jié)點(diǎn)。消息接口調(diào)度通過消息機(jī)制實(shí)現(xiàn)流程處理過程、調(diào)度過程中異常信息的

56、推送，方便產(chǎn)品使用人員實(shí)時(shí)掌握系統(tǒng)運(yùn)行情況。功能上支持郵件定制或短信定制，從業(yè)務(wù)上支持Job流程類定制、系統(tǒng)信息定制。Job流程類消息級(jí)別大致分為：提示，告警，錯(cuò)誤，延時(shí)。系統(tǒng)信息定制：系統(tǒng)信息通告類信息。大數(shù)據(jù)計(jì)算存儲(chǔ)平臺(tái)（ Hadoop Distribution）大數(shù)據(jù)計(jì)算平臺(tái)基于Hadoop、Spark等社區(qū)成熟的開源組件為基礎(chǔ)，結(jié)合行業(yè)應(yīng)用的需求，進(jìn)行了深度的優(yōu)化和改造，顯著提升平臺(tái)運(yùn)行的穩(wěn)定性和可靠性。平臺(tái)在提供海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)處理和線性擴(kuò)展能力外，還具備四方面的特性：統(tǒng)一的資源管理、海量數(shù)據(jù)集中存儲(chǔ)、高效數(shù)據(jù)處理、平臺(tái)高可用。大數(shù)據(jù)平臺(tái)提供一站式商用大數(shù)據(jù)分析處理平臺(tái)，集成

57、Apache開源社區(qū)Hadoop 2.6及以上版本，包含HDFS、MapReduce、Hive、HBase、Spark、kafka、Solr、Impala、Storm、Flume、Sqoop、ELK、Kylin等常用組件，組件內(nèi)核與Apache Hadoop開源社區(qū)版本保持兼容性。并提供對以上組件的集中的可視化管理、配置和監(jiān)控界面。海量數(shù)據(jù)集中存儲(chǔ)通過基于改造后的分布式文件系統(tǒng)HDFS作為存儲(chǔ)海量數(shù)據(jù)的分布式存儲(chǔ)軟件架構(gòu)。 HDFS被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量

58、的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS采用master/slave架構(gòu)。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanode組成。Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間(namespace)以及客戶端對文件的訪問。集群中的Datanode一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組Datanode上。Namenode執(zhí)行文件系統(tǒng)的名字空間操作

59、，比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點(diǎn)的映射。Datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。 同時(shí)，系統(tǒng)支持多存儲(chǔ)層級(jí)支持，能夠?qū)?yīng)用表建立在不同IO讀寫速度的不同介質(zhì)上，包括磁盤、SSD固態(tài)硬盤、高速閃存卡和內(nèi)存，其中建立的非易失存儲(chǔ)上的數(shù)據(jù)表在整個(gè)系統(tǒng)重啟后能保證數(shù)據(jù)不丟失，能在SSD上提供與內(nèi)存相近的性能。高效數(shù)據(jù)處理（1）基于批量的分布式計(jì)算引擎通過對開源MapReduce進(jìn)行改造，基于它寫出來的應(yīng)用程序能夠運(yùn)行在由上千個(gè)商用機(jī)器組成的大型集群上，并以一種可靠容錯(cuò)的式并行處理上T級(jí)

60、別的數(shù)據(jù)集。一個(gè)MapReduce作業(yè)（job）通常會(huì)把輸入的數(shù)據(jù)集切分為若干獨(dú)立的數(shù)據(jù)塊，由map任務(wù)（task）以完全并行的方式處理它們?？蚣軙?huì)對map的輸出先進(jìn)行排序，然后把結(jié)果輸入給reduce任務(wù)。通常作業(yè)的輸入和輸出都會(huì)被存儲(chǔ)在文件系統(tǒng)中。整個(gè)框架負(fù)責(zé)任務(wù)的調(diào)度和監(jiān)控，以及重新執(zhí)行已經(jīng)失敗的任務(wù)。通常，MapReduce框架和分布式文件系統(tǒng)是運(yùn)行在一組相同的節(jié)點(diǎn)上的，也就是說，計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)通常在一起。這種配置允許框架在那些已經(jīng)存好數(shù)據(jù)的節(jié)點(diǎn)上高效地調(diào)度任務(wù)，這可以使整個(gè)集群的網(wǎng)絡(luò)帶寬被非常高效地利用。（2）分布式數(shù)據(jù)倉庫引擎基于開源的Hive進(jìn)行改造優(yōu)化。可以將數(shù)據(jù)存放在分布