大數(shù)據(jù)-面向服務(wù)的大數(shù)據(jù)分析平臺(tái)解決方案

在大數(shù)據(jù)時(shí)代，個(gè)人、企業(yè)和機(jī)構(gòu)都會(huì)面臨大數(shù)據(jù)的問題。建設(shè)面向服務(wù)的大數(shù)據(jù)平臺(tái)，可以為眾多的中小企業(yè)和個(gè)人用戶提供大數(shù)據(jù)處理和分析的能力。面向服務(wù)的大數(shù)據(jù)分析平臺(tái)以區(qū)域性智能數(shù)據(jù)中心及高速互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施，以互聯(lián)網(wǎng)服務(wù)體系為架構(gòu)，以大數(shù)據(jù)存儲(chǔ)、處理、挖掘和交互式可視化分析等關(guān)鍵技術(shù)為支撐，通過多樣化移動(dòng)智能終端及移動(dòng)互聯(lián)網(wǎng)為用戶提供數(shù)據(jù)存儲(chǔ)、管理及分析服務(wù)。一、平臺(tái)架構(gòu)大數(shù)據(jù)分析平臺(tái)的拓?fù)浼軜?gòu)如下圖所示：

其中部署在多個(gè)地方的智能數(shù)據(jù)中心提供大數(shù)據(jù)存儲(chǔ)及計(jì)算平臺(tái)，通過平臺(tái)服務(wù)器提供系統(tǒng)調(diào)用功能。門戶服務(wù)中心將整合所有的智能數(shù)據(jù)中心存儲(chǔ)和計(jì)算資源，并通過web

應(yīng)用服務(wù)器和OpenAPI服務(wù)器以web調(diào)用和OpenAPI調(diào)用的方式提供大數(shù)據(jù)存儲(chǔ)、管理及挖掘服務(wù)。終端用戶利用移動(dòng)智能終端通過互聯(lián)網(wǎng)訪問門戶服務(wù)中心，使用其提供的大數(shù)據(jù)存儲(chǔ)、管理及挖掘服務(wù)。大數(shù)據(jù)分析平臺(tái)的系統(tǒng)架構(gòu)如下圖所示：系統(tǒng)包含3個(gè)層次：平臺(tái)層為整個(gè)大數(shù)據(jù)分析平臺(tái)提供基礎(chǔ)平臺(tái)支持;功能層提供基本的大數(shù)據(jù)存儲(chǔ)和挖掘功能;服務(wù)層為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)。具體包括：(1)平臺(tái)層：為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎;(2)功能層：為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)集成、存儲(chǔ)、管理和挖掘功能;(3)服務(wù)層：基于Web和OpenAPI技術(shù)提供大數(shù)據(jù)服務(wù)。二、關(guān)鍵技術(shù)建設(shè)面向服務(wù)的大數(shù)據(jù)分析平臺(tái)，需要研究和開發(fā)一系列關(guān)鍵技術(shù)，主要包括：

1.平臺(tái)層(1)大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)：針對(duì)數(shù)據(jù)不斷增長(zhǎng)的挑戰(zhàn)，需要研究大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問題，突破大數(shù)據(jù)的存儲(chǔ)、管理和高效訪問關(guān)鍵技術(shù)，當(dāng)前需要構(gòu)建至少PB級(jí)存儲(chǔ)能力的大數(shù)據(jù)平臺(tái)才能滿足一般的科研和應(yīng)用需求。(2)分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)：針對(duì)大數(shù)據(jù)挖掘算法運(yùn)行的挑戰(zhàn)，突破MapReduce技術(shù)的局限，研究有效支持迭代、遞歸、層次及集成機(jī)制的海量數(shù)據(jù)挖掘編程模型和運(yùn)行時(shí)系統(tǒng)，構(gòu)建大數(shù)據(jù)運(yùn)行時(shí)系統(tǒng)。(3)智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)：針對(duì)大數(shù)據(jù)存儲(chǔ)和挖掘的挑戰(zhàn)，研究多數(shù)據(jù)中心的智能聯(lián)合調(diào)度、負(fù)載均衡技術(shù)，整合多個(gè)數(shù)據(jù)中心的存儲(chǔ)和計(jì)算資源，構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺(tái)。2.功能層(1)高可擴(kuò)展性大數(shù)據(jù)挖掘算法：針對(duì)大數(shù)據(jù)挖掘的挑戰(zhàn)，研究基于云計(jì)算的分布式大數(shù)據(jù)處理與挖掘算法，構(gòu)建高可擴(kuò)展的大數(shù)據(jù)處理與挖掘算法庫，實(shí)現(xiàn)TB級(jí)數(shù)據(jù)的建模能力。(2)大數(shù)據(jù)安全與隱私保護(hù)技術(shù)：針對(duì)數(shù)據(jù)挖掘“軟件即服務(wù)”(SaaS)模式的需求，研究開發(fā)數(shù)據(jù)挖掘在云環(huán)境下的隱私保護(hù)、數(shù)據(jù)審計(jì)和節(jié)點(diǎn)數(shù)據(jù)挖掘技術(shù)，確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露。(3)分布式工作流引擎：針對(duì)大數(shù)據(jù)挖掘分布式調(diào)度的挑戰(zhàn)，研究基于云計(jì)算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，構(gòu)建高效分布式工作流執(zhí)行引擎。(4)交互式可視化分析技術(shù)：針對(duì)傳統(tǒng)分析方法交互性和可理解性不足的問題，研究啟發(fā)式、人機(jī)交互、可視化數(shù)據(jù)挖掘新技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)挖掘的高度人機(jī)交互功能。3.服務(wù)層(1)基于Web的大數(shù)據(jù)挖掘技術(shù)：突破傳統(tǒng)的基于單機(jī)軟件的數(shù)據(jù)挖掘技術(shù)，創(chuàng)新基于Web的大數(shù)據(jù)挖掘方法和流程，實(shí)現(xiàn)易于使用的基于Web的大數(shù)據(jù)挖掘技術(shù)，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境。(2)基于OpenAPI的大數(shù)據(jù)挖掘技術(shù)：突破傳統(tǒng)的基于軟件的數(shù)據(jù)挖掘技術(shù)，創(chuàng)新基于OpenAPI的大數(shù)據(jù)挖掘方法，研究大數(shù)據(jù)挖掘開放接口、開放流程，構(gòu)建基于OpenAPI的大數(shù)據(jù)分析模式。為廣大用戶提供大數(shù)據(jù)處理和分析的服務(wù)功能，大數(shù)據(jù)分析平臺(tái)要突破傳統(tǒng)的基于軟件和高端服務(wù)器的數(shù)據(jù)挖掘傳統(tǒng)技術(shù)體系，采用基于云計(jì)算的大數(shù)據(jù)存儲(chǔ)和處理架構(gòu)、分布式數(shù)據(jù)挖掘算法和基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、處理和挖掘服務(wù)模式。實(shí)現(xiàn)這一目標(biāo)需要做如下創(chuàng)新：(1)系統(tǒng)架構(gòu)創(chuàng)新：突破傳統(tǒng)的基于軟件和高端服務(wù)器的數(shù)據(jù)挖掘技術(shù)體系，研發(fā)基于互聯(lián)網(wǎng)和云計(jì)算的大數(shù)據(jù)存儲(chǔ)、處理和挖掘的數(shù)據(jù)中心系統(tǒng)架構(gòu)，支持多用戶、多任務(wù)的大數(shù)據(jù)分析環(huán)境;(2)服務(wù)模式創(chuàng)新：突破傳統(tǒng)的一次性軟件銷售或軟件租賃的高價(jià)格解決方案，創(chuàng)新基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、處理和分析服務(wù)模式，為用戶提供按需、廉價(jià)的大數(shù)據(jù)存儲(chǔ)、處理和分析服務(wù);(3)使用模式創(chuàng)新：突破傳統(tǒng)的使用單機(jī)軟件的方式，創(chuàng)新基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、管理和分析服務(wù)，提供多終端(臺(tái)式機(jī)、筆記本、平板電腦、手機(jī)等)、多途徑(瀏覽器訪問，OpenAPI調(diào)用等)的用戶使用模式。三、應(yīng)用大數(shù)據(jù)分析平臺(tái)所采用的技術(shù)路線和應(yīng)用模式融合了智能分析技術(shù)、高可擴(kuò)展計(jì)算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)和軟件即服務(wù)(SaaS)應(yīng)用模式，符合當(dāng)前國際大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)和產(chǎn)業(yè)化應(yīng)用要求。一方面，系統(tǒng)通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供高可用、高易用和一站式的海量數(shù)據(jù)分析服務(wù)，可有效降低企業(yè)應(yīng)用門檻和成本，通過專業(yè)化服務(wù)外包滿足企業(yè)個(gè)性化需求。另一方面，由于是