橘云大數(shù)據(jù)處理平臺(tái)

新產(chǎn)品研發(fā)中心橘云平臺(tái)產(chǎn)品線亞信聯(lián)創(chuàng)科技(中國(guó))有限公司

2013年4月橘云大數(shù)據(jù)處理平臺(tái)OrangeCloudDataComputing提綱23橘云大數(shù)據(jù)處理平臺(tái)功能與特點(diǎn)橘云大數(shù)據(jù)處理平臺(tái)部署方案1橘云大數(shù)據(jù)處理平臺(tái)簡(jiǎn)介4橘云大數(shù)據(jù)處理平臺(tái)二次開(kāi)發(fā)接口5橘云大數(shù)據(jù)處理平臺(tái)業(yè)務(wù)場(chǎng)景示例概念大數(shù)據(jù)：大數(shù)據(jù)（bigdata），或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到抽取，管理，處理，并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)的3V特點(diǎn)：volume,velocity,variety大數(shù)據(jù)的單位：最小的基本單位是Byte，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB，

云計(jì)算：（cloudcomputing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。云計(jì)算是一種通過(guò)Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化的資源的計(jì)算模式。云模式：cloudmodel,用于預(yù)測(cè)云的性能和行為而采用的物理或數(shù)學(xué)框架“大數(shù)據(jù)”時(shí)代已經(jīng)來(lái)臨互聯(lián)網(wǎng)時(shí)代，尤其是社交網(wǎng)絡(luò)、電子商務(wù)與移動(dòng)通訊把人類社會(huì)帶入一個(gè)以PB為單位的結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)信息的新時(shí)代，它就是“大數(shù)據(jù)(BigData)”時(shí)代。大數(shù)據(jù)為云計(jì)算的大規(guī)模與分布式的計(jì)算能力提供了應(yīng)用的空間，解決了傳統(tǒng)計(jì)算機(jī)無(wú)法解決的問(wèn)題。這個(gè)領(lǐng)域的計(jì)算標(biāo)準(zhǔn)與軟件均剛剛起步，為全世界新型軟、硬件及應(yīng)用創(chuàng)新提供了前所未有的機(jī)會(huì)。

Volume海量Variety多樣Velocity實(shí)時(shí)數(shù)據(jù)處理的量級(jí)正從TB級(jí)向PB、ZB級(jí)擴(kuò)張。能處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，Web數(shù)據(jù)、語(yǔ)音數(shù)據(jù)甚至是圖像、視頻數(shù)據(jù)。從延遲、批量處理向?qū)崟r(shí)處理、流式處理轉(zhuǎn)變，支持海量數(shù)據(jù)的毫秒級(jí)運(yùn)算?！按髷?shù)據(jù)”的3V特性移動(dòng)運(yùn)營(yíng)商的云計(jì)算需求單個(gè)網(wǎng)民日均上網(wǎng)時(shí)間增長(zhǎng)趨勢(shì)（小時(shí)）網(wǎng)民數(shù)量增長(zhǎng)趨勢(shì)（億）中國(guó)手機(jī)互聯(lián)網(wǎng)用戶每周手機(jī)上網(wǎng)頻次統(tǒng)計(jì)數(shù)據(jù)來(lái)源：中國(guó)互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告、中國(guó)移動(dòng)互聯(lián)網(wǎng)與3G用戶調(diào)查報(bào)告DCCI2010手機(jī)互聯(lián)網(wǎng)受眾消費(fèi)與廣告營(yíng)銷調(diào)查44.4%中國(guó)手機(jī)互聯(lián)網(wǎng)用戶每周媒體接觸時(shí)長(zhǎng)統(tǒng)計(jì)33.3%3.18億隨著智能手機(jī)的快速普及以及移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的迅猛發(fā)展，各種網(wǎng)絡(luò)信令、互聯(lián)網(wǎng)、流量數(shù)據(jù)信息等數(shù)據(jù)源競(jìng)相引入，對(duì)經(jīng)營(yíng)分析數(shù)據(jù)處理及存儲(chǔ)要求不斷增加，傳統(tǒng)的BI數(shù)據(jù)處理架構(gòu)在日益增長(zhǎng)的計(jì)算、存儲(chǔ)、可靠性要求以及系統(tǒng)擴(kuò)容成本等方面均面臨著嚴(yán)峻的考驗(yàn)：計(jì)算能力傳統(tǒng)ETL工具對(duì)主機(jī)性能依賴較大，數(shù)據(jù)處理任務(wù)交錯(cuò)，無(wú)法充分利用設(shè)備性能。很多在DB/DW中進(jìn)行的數(shù)據(jù)校驗(yàn)、轉(zhuǎn)換等工作對(duì)應(yīng)用性能影響較大。存儲(chǔ)能力存儲(chǔ)壓力大，海量存儲(chǔ)難以滿足。存儲(chǔ)擴(kuò)容難度大。高可靠性傳統(tǒng)ETL方式可靠性不高，運(yùn)維管理復(fù)雜，影響應(yīng)用的穩(wěn)定性和數(shù)據(jù)安全性。擴(kuò)容成本擴(kuò)容成本高，難度大、主機(jī)、存儲(chǔ)、數(shù)據(jù)庫(kù)成本占系統(tǒng)建設(shè)比重大，壓縮了應(yīng)用建設(shè)的投入。面臨的問(wèn)題結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)1、對(duì)于IT行業(yè)來(lái)說(shuō)，大數(shù)據(jù)，云計(jì)算，云模式，無(wú)疑是未來(lái)的熱門(mén)研究領(lǐng)域。2、大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)組成。3、結(jié)構(gòu)化數(shù)據(jù)是存儲(chǔ)在數(shù)據(jù)庫(kù)里面，占大數(shù)據(jù)的10%4、非結(jié)構(gòu)化數(shù)據(jù)是跟人類信息密切相關(guān)的數(shù)據(jù)，比如說(shuō)郵件，視頻，微博，帖子，手機(jī)呼叫，網(wǎng)頁(yè)點(diǎn)擊等。它們占大數(shù)據(jù)的90%。1、結(jié)構(gòu)化數(shù)據(jù)：

任何一列的數(shù)據(jù)不可以再細(xì)分;

任何一列數(shù)據(jù)都有相同的數(shù)據(jù)類型；

所有關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)，全部都是結(jié)構(gòu)化數(shù)據(jù)；

一般文件中的數(shù)據(jù)，就不是結(jié)構(gòu)化數(shù)據(jù)；2、非結(jié)構(gòu)化數(shù)據(jù)；

不是結(jié)構(gòu)化數(shù)據(jù)，即非結(jié)構(gòu)化數(shù)據(jù)；

簡(jiǎn)單來(lái)說(shuō)，一列的數(shù)據(jù)可以再細(xì)拆分；

1、分布式系統(tǒng)（distributedsystem）是建立在網(wǎng)絡(luò)之上的軟件系統(tǒng)；2、分布式數(shù)據(jù)庫(kù)：分布式數(shù)據(jù)庫(kù)系統(tǒng)通常使用較小的計(jì)算機(jī)系統(tǒng)，每臺(tái)計(jì)算機(jī)可單獨(dú)放在一個(gè)地方，每臺(tái)計(jì)算機(jī)中都有DBMS的一份完整拷貝副本，并具有自己局部的數(shù)據(jù)庫(kù)，位于不同地點(diǎn)的許多計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)互相連接，共同組成一個(gè)完整的、全局的大型數(shù)據(jù)庫(kù)。3、Hadoop是一個(gè)分布式文件系統(tǒng)的基礎(chǔ)架構(gòu)，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲(chǔ)。HADOOP實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，簡(jiǎn)稱HDFS。并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。且它提供高傳輸率（highthroughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HADOOP概念1、HADOOPr產(chǎn)品介紹： 1.1：HDFS：可以支持千萬(wàn)級(jí)的大型分布式文件系統(tǒng)； 1.2：HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)； HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。

另一個(gè)不同的是HBase基于列的而不是基于行的模式。 1.3：MapReduce通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；

每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。

他極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。主要產(chǎn)品對(duì)應(yīng)關(guān)系GoogleHadoop分布式文件系統(tǒng)GFSHDFS,分布式數(shù)據(jù)處理模型和執(zhí)行環(huán)境，運(yùn)行于大型商用機(jī)集群。分布式數(shù)據(jù)庫(kù)BigTableHbase,一個(gè)分布式、按列存儲(chǔ)數(shù)據(jù)庫(kù)。HBase使用HDFS作為底層存儲(chǔ)，同時(shí)支持MapReduce的批量式計(jì)算和點(diǎn)查詢(隨機(jī)讀取)。分布式編程算法MapReduceMapReduce,分布式數(shù)據(jù)處理模型和執(zhí)行環(huán)境，運(yùn)行于大型商用機(jī)集群。分布式鎖服務(wù)ChubbyZooKeeperHadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)項(xiàng)目的總稱，起源于作者兒子的一只玩具大象的名字，由Apache基金會(huì)開(kāi)發(fā)，并開(kāi)源提供支持，后來(lái)被FaceBook等互聯(lián)網(wǎng)公司選用,在此基礎(chǔ)上進(jìn)行二次開(kāi)發(fā)。主要產(chǎn)品是HDFS,Hbase,MapReduce。擴(kuò)展能力：能可靠地存儲(chǔ)和處理千兆字節(jié)（PB）數(shù)據(jù)。在不保證低延時(shí)的前提下，具有相當(dāng)大的吞吐量，非常適合海量數(shù)據(jù)的運(yùn)算。成本低：可以通過(guò)普通機(jī)器組成的服務(wù)器群來(lái)分發(fā)以及處理數(shù)據(jù)。這些服務(wù)器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。而且每個(gè)節(jié)點(diǎn)都是運(yùn)行在開(kāi)源操作系統(tǒng)Linux上面的。高效率：通過(guò)分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地（parallel）處理它們，這使得處理非常的快速?？煽啃裕篽adoop能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署計(jì)算任務(wù)。該框架設(shè)計(jì)的初衷是針對(duì)海量數(shù)據(jù)的運(yùn)算處理的問(wèn)題。因此對(duì)于一些數(shù)據(jù)量很小的處理沒(méi)有任何優(yōu)勢(shì)可言，甚至還不如單機(jī)串行的效果，性能也完全體現(xiàn)不出來(lái)。集群中存在大量的機(jī)器，所以節(jié)點(diǎn)故障是不可避免的。在Hadoop中有兩種類型的結(jié)點(diǎn)：namenode和datanode。Hadoop集群采取的master/slave結(jié)構(gòu)。Datanode故障一般是不會(huì)影響整個(gè)系統(tǒng)的，這個(gè)和它的存儲(chǔ)策略有關(guān)。但是namenode故障是是極大的問(wèn)題其文件系統(tǒng)設(shè)計(jì)的前提是一次寫(xiě)入多次讀取的情況，因此我們是無(wú)法修改某條詳細(xì)的數(shù)據(jù)。為什么選擇Hadoop選擇Hadoop需要注意什么Hadoop——Google分布式技術(shù)的開(kāi)源實(shí)現(xiàn)橘云大數(shù)據(jù)處理平臺(tái)OCDC簡(jiǎn)介

OCDataComputing平臺(tái)包含基于Map/Reduce的分布式批量計(jì)算和基于流式計(jì)算技術(shù)的分布式實(shí)時(shí)計(jì)算功能，實(shí)現(xiàn)海量數(shù)據(jù)的并行處理。適用于ETL、經(jīng)營(yíng)決策、用戶行為分析、精準(zhǔn)營(yíng)銷、移動(dòng)互聯(lián)網(wǎng)等領(lǐng)域的智能數(shù)據(jù)處理與分析。橘云大數(shù)據(jù)處理平臺(tái)技術(shù)架構(gòu)云平臺(tái)基于文件刀片機(jī)或PCServer分布式存儲(chǔ)和并行計(jì)算方便擴(kuò)容全圖形化配置監(jiān)控傳統(tǒng)ETL基于數(shù)據(jù)倉(cāng)庫(kù)小型機(jī)以上統(tǒng)一存儲(chǔ)和單節(jié)點(diǎn)運(yùn)算難以擴(kuò)容需要專業(yè)人員維護(hù)云VS傳統(tǒng)平臺(tái)VS傳統(tǒng)ETL提綱23橘云大數(shù)據(jù)處理平臺(tái)功能與特點(diǎn)橘云大數(shù)據(jù)處理平臺(tái)部署方案1橘云大數(shù)據(jù)處理平臺(tái)簡(jiǎn)介4橘云大數(shù)據(jù)處理平臺(tái)二次開(kāi)發(fā)接口5橘云大數(shù)據(jù)處理平臺(tái)業(yè)務(wù)場(chǎng)景示例平臺(tái)功能概要基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)接入平臺(tái)自定義節(jié)點(diǎn)活動(dòng)類別維度數(shù)據(jù)數(shù)據(jù)流程數(shù)據(jù)流程編輯數(shù)據(jù)清洗轉(zhuǎn)換算法數(shù)據(jù)抽取加載參數(shù)調(diào)度任務(wù)觸發(fā)器啟動(dòng)參數(shù)任務(wù)組依賴任務(wù)監(jiān)控監(jiān)控任務(wù)操作任務(wù)批量執(zhí)行系統(tǒng)管理用戶管理角色管理Hive查詢數(shù)據(jù)

HIVE：就基于HADOOP的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的工具，可以將非結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢功能?？梢詫QL轉(zhuǎn)換為MAPREDUCE任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MAPREDUCE統(tǒng)計(jì)，適合數(shù)據(jù)他庫(kù)的統(tǒng)計(jì)分析；多種格式CVSXMLExcelASN.1參數(shù)可配不同格式不同參數(shù)編碼分隔符、Tag字段定義可擴(kuò)展提供擴(kuò)展接口，方便支持其他格式參數(shù)自定義高效率內(nèi)部運(yùn)算使用二進(jìn)制存儲(chǔ)針對(duì)大批量零散文件優(yōu)化基礎(chǔ)數(shù)據(jù)-元數(shù)據(jù)元數(shù)據(jù)：用于描述業(yè)務(wù)數(shù)據(jù)的格式、含義、特性及其運(yùn)行環(huán)境等的數(shù)據(jù)多種協(xié)議FTPOracle/DB2/Mysql/TeradataGP其他（可方便擴(kuò)展）并發(fā)和控制多任務(wù)發(fā)布到集群中并行處理可限制抽取并發(fā)數(shù)可控制并發(fā)優(yōu)先級(jí)基礎(chǔ)數(shù)據(jù)-接入平臺(tái)基礎(chǔ)數(shù)據(jù)-維度數(shù)據(jù)維度數(shù)據(jù)：

定義云數(shù)據(jù)中字段的取值的枚舉類型，可以通過(guò)此維度校驗(yàn)云

數(shù)據(jù)的正確性基礎(chǔ)數(shù)據(jù)-自定義節(jié)點(diǎn)自定義節(jié)點(diǎn)：用戶可以根據(jù)平臺(tái)的二次接口開(kāi)發(fā)規(guī)范定義個(gè)性化的業(yè)

務(wù)處理接口，在此處把定義接口類注冊(cè)到系統(tǒng)中數(shù)據(jù)流程系統(tǒng)提供圖形化的流程定義畫(huà)面，用戶以拖拉和配置的方式，從“工具箱”中將流程節(jié)點(diǎn)拖動(dòng)到流程設(shè)計(jì)器的畫(huà)板上，并根據(jù)實(shí)際業(yè)務(wù)需要對(duì)流程節(jié)點(diǎn)進(jìn)行配置數(shù)據(jù)流程-流程節(jié)點(diǎn)流程節(jié)點(diǎn)幫助實(shí)現(xiàn)具體的流程邏輯完成具體的工作流任務(wù)流程節(jié)點(diǎn)功能描述開(kāi)始

標(biāo)識(shí)著一個(gè)數(shù)據(jù)流程的開(kāi)始。里面沒(méi)有什么配置數(shù)據(jù)抽取將外部提供的數(shù)據(jù)抽取到，需要定義抽取接口的連接方式、訪問(wèn)協(xié)議和接入賬戶等信息，提供了文件和數(shù)據(jù)庫(kù)兩種抽取方式：文件提供了FTP、HTTP訪問(wèn)方式以獲取文件數(shù)據(jù)庫(kù)

能夠獲取Oracle和DB2中的數(shù)據(jù)，需要配置獲取數(shù)據(jù)的查詢條件輸出把處理后的數(shù)據(jù)以文件或壓縮包的方式輸出到指定位置加載到數(shù)據(jù)庫(kù)加載到相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行后續(xù)分析運(yùn)算，支持Oracle、DB2等主流數(shù)據(jù)庫(kù)結(jié)束標(biāo)識(shí)著一個(gè)數(shù)據(jù)流程的結(jié)束。里面沒(méi)有什么配置數(shù)據(jù)流程-邏輯節(jié)點(diǎn)邏輯節(jié)點(diǎn)在流程中對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的處理流程節(jié)點(diǎn)功能描述Join能夠?qū)蓚€(gè)文件通過(guò)一項(xiàng)或多項(xiàng)記錄進(jìn)行關(guān)聯(lián)輸出，可以是leftjoin、rightjoin或innerjoin。在過(guò)程中也可以進(jìn)行記錄的過(guò)濾和轉(zhuǎn)換操作Group能夠根據(jù)某個(gè)文件的一項(xiàng)或多項(xiàng)記錄進(jìn)行聚合，并進(jìn)行Max、Min、Count等運(yùn)算處理。在過(guò)程中也可以進(jìn)行記錄的過(guò)濾和轉(zhuǎn)換操作Union能過(guò)對(duì)多個(gè)文件進(jìn)行轉(zhuǎn)換為統(tǒng)一字段后進(jìn)行合并處理。在過(guò)程中也可以進(jìn)行記錄的過(guò)濾Hive通過(guò)編寫(xiě)HIVEQL語(yǔ)句對(duì)流程中的數(shù)據(jù)進(jìn)行處理Parallet通過(guò)JEXL語(yǔ)言，可以用編程的方式對(duì)記錄進(jìn)行處理，把抽取的數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要的數(shù)據(jù)格式Udf引入客戶自定義的java類處理特殊的業(yè)務(wù)要求數(shù)據(jù)流程-監(jiān)聽(tīng)節(jié)點(diǎn)通過(guò)設(shè)置監(jiān)聽(tīng)器對(duì)流程運(yùn)行狀態(tài)進(jìn)行監(jiān)控調(diào)度任務(wù)觸發(fā)器月、周、日、循環(huán)觸發(fā)可擴(kuò)展自定義觸發(fā)器參數(shù)綁定到ETL流程的變量名和變量值可設(shè)定數(shù)據(jù)日期和偏移量執(zhí)行自動(dòng)根據(jù)觸發(fā)器執(zhí)行手動(dòng)單個(gè)執(zhí)行批量運(yùn)行數(shù)據(jù)日期區(qū)間批量運(yùn)行最后一次到目前為止未執(zhí)行的任務(wù)調(diào)度任務(wù)時(shí)間觸發(fā)器設(shè)置：可以按照小時(shí)、天、周、月設(shè)置觸發(fā)條件，設(shè)置觸發(fā)器開(kāi)始執(zhí)行時(shí)間及失效時(shí)間事件觸發(fā)器設(shè)置：通過(guò)開(kāi)發(fā)自定義接口，實(shí)現(xiàn)在滿足業(yè)務(wù)邏輯的情況下觸發(fā)任務(wù)執(zhí)行設(shè)置流程中定義類所使用的參數(shù)調(diào)度任務(wù)-任務(wù)組

各個(gè)流程之間可能存在依賴關(guān)系，平臺(tái)提供任務(wù)組管理，以流程化、圖形化的配置能力把相互之間有關(guān)系的流程，在同一任務(wù)組中通過(guò)連線、屬性配置等方式實(shí)現(xiàn)流程間依賴關(guān)系管理平臺(tái)監(jiān)控-任務(wù)監(jiān)控對(duì)所有已經(jīng)發(fā)起的流程以圖形化方式進(jìn)行，監(jiān)控。流程整體監(jiān)控：可以監(jiān)控管轄范圍內(nèi)所有流程的整體執(zhí)行情況、異常情況；流程監(jiān)控：可以監(jiān)控某個(gè)流程的執(zhí)行情況，以流程圖的方式查看運(yùn)行到哪一步；短信提醒：調(diào)度出現(xiàn)了異常，可以短信形式發(fā)送給相關(guān)負(fù)責(zé)人；調(diào)度事件日志：記錄調(diào)度日志信息，包括調(diào)度開(kāi)始、結(jié)束時(shí)間、調(diào)度異常等

平臺(tái)監(jiān)控-集群監(jiān)控監(jiān)控整個(gè)Hadoop集群設(shè)備狀況，包括設(shè)備可用性，設(shè)備整體負(fù)載情況(CPU、網(wǎng)絡(luò)、內(nèi)存、IO等)平臺(tái)監(jiān)控-集群監(jiān)控Hive管理–hive簡(jiǎn)介（1）用戶接口，包括CLI，Client，WUI。（2）元數(shù)據(jù)存儲(chǔ)，通常是存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)如mysql,derby中。（3）解釋器、編譯器、優(yōu)化器、執(zhí)行器。（4）Hadoop：用HDFS進(jìn)行存儲(chǔ)，利用MapReduce

進(jìn)行計(jì)算Hive是建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)。Hive定義了簡(jiǎn)單的類SQL查詢語(yǔ)言，稱為HQL，允許熟悉SQL的用戶查詢數(shù)據(jù)。同時(shí)，這個(gè)語(yǔ)言也允許熟悉MapReduce開(kāi)發(fā)者的開(kāi)發(fā)自定義的mapper和reducer來(lái)處理內(nèi)建的mapper和reducer無(wú)法完成的復(fù)雜的分析工作。橘云平臺(tái)對(duì)Hive服務(wù)的優(yōu)化改進(jìn)

Hive底層調(diào)整，支持Hive任務(wù)與Map/Reduce任務(wù)的關(guān)聯(lián)跟蹤。Hive支持GBK字符集和雙字符分隔符。

提供Hive數(shù)據(jù)倉(cāng)庫(kù)的圖形化管理和HQL執(zhí)行能力。Hadoop:用HDFS來(lái)存儲(chǔ)；用MAPREDUCE來(lái)計(jì)算；用HIVE查詢；類庫(kù)表的數(shù)據(jù)管理機(jī)制為了方便數(shù)據(jù)運(yùn)維管理，橘云分布式計(jì)算產(chǎn)品將基于文件、目錄結(jié)構(gòu)的分布式文件，映射為類數(shù)據(jù)庫(kù)表的數(shù)據(jù)管理方式?？梢砸詳?shù)據(jù)庫(kù)實(shí)例、數(shù)據(jù)庫(kù)表的方式，方便地進(jìn)行數(shù)據(jù)的創(chuàng)建、修改和查詢。并支持類似數(shù)據(jù)庫(kù)的分區(qū)、分表機(jī)制，提升數(shù)據(jù)處理效能。類SQL的數(shù)據(jù)處理邏輯基于表方式的數(shù)據(jù)管理，橘云分布式計(jì)算平臺(tái)支持類SQL語(yǔ)句的ETL數(shù)據(jù)處理邏輯編輯方式，可以將現(xiàn)有的數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程非常便捷地遷移到云平臺(tái)。并支持通過(guò)SQL執(zhí)行隨時(shí)查詢分布式文件系統(tǒng)中的數(shù)據(jù)。Hive管理–庫(kù)表管理平臺(tái)應(yīng)用流程定義元數(shù)據(jù)的類型及格式定義數(shù)據(jù)抽取及加載的平臺(tái)信息2配置流程3配置調(diào)度監(jiān)控流程任務(wù)監(jiān)控集群硬件環(huán)境4監(jiān)控系統(tǒng)配置數(shù)據(jù)處理流程，抽取、轉(zhuǎn)換、加載根據(jù)項(xiàng)目實(shí)際場(chǎng)景定義轉(zhuǎn)換流程（自定義類）定義流程觸發(fā)機(jī)制，定時(shí)觸發(fā)、自定義觸發(fā)器配置任務(wù)組，定義不同流程間的觸發(fā)關(guān)系1基礎(chǔ)信息23橘云大數(shù)據(jù)處理平臺(tái)功能與特點(diǎn)橘云大數(shù)據(jù)處理平臺(tái)部署方案1橘云大數(shù)據(jù)處理平臺(tái)簡(jiǎn)介4橘云大數(shù)據(jù)處理平臺(tái)二次開(kāi)發(fā)接口5橘云大數(shù)據(jù)處理平臺(tái)業(yè)務(wù)場(chǎng)景示例提綱主機(jī)支持：支持HP、IBM、Cisco、Dell等任意廠商主機(jī)設(shè)備，建議基于x86架構(gòu)的刀片機(jī)PC服務(wù)器。存儲(chǔ)支持：支持集中式的磁盤(pán)陣列存儲(chǔ)，也支持基于本地硬盤(pán)的存儲(chǔ)方式。網(wǎng)絡(luò)要求：主節(jié)點(diǎn)和子節(jié)點(diǎn)之間需支持千兆及以上網(wǎng)絡(luò)帶寬。操作系統(tǒng)：支持各類操作系統(tǒng)如Unix、Linux。建議采用Linux系列（Redhat、CentOS等）。擴(kuò)容方式：支持通過(guò)擴(kuò)容方式線性增加ETL平臺(tái)處理能力，支持設(shè)備的動(dòng)態(tài)擴(kuò)容。平臺(tái)部署計(jì)算能力線性擴(kuò)容云計(jì)算集群增加新的節(jié)點(diǎn)存儲(chǔ)和運(yùn)算能力得到擴(kuò)展提綱23橘云大數(shù)據(jù)處理平臺(tái)功能與特點(diǎn)橘云大數(shù)據(jù)處理平臺(tái)部署方案1橘云大數(shù)據(jù)處理平臺(tái)簡(jiǎn)介4橘云大數(shù)據(jù)處理平臺(tái)二次開(kāi)發(fā)接口5橘云大數(shù)據(jù)處理平臺(tái)業(yè)務(wù)場(chǎng)景示例二次開(kāi)發(fā)接口方式：支持WebService、Rest、JavaAPI、Jar包Plugin等多種接口輸入輸出方式。接口種類：內(nèi)置與網(wǎng)管、4A等管理類系統(tǒng)的接口，同時(shí)支持其它調(diào)度工具向OCDC平臺(tái)發(fā)送調(diào)度請(qǐng)求。開(kāi)放性：支持?jǐn)?shù)據(jù)格式、接入平臺(tái)、ETL算法等單元的自定義開(kāi)發(fā)、可以靈活擴(kuò)充平臺(tái)的抽取、轉(zhuǎn)換、裝載能力。提綱23橘云大數(shù)據(jù)處理平臺(tái)功能與特點(diǎn)橘云大數(shù)據(jù)處理平臺(tái)部署方案1橘云大數(shù)據(jù)處理平臺(tái)簡(jiǎn)介4橘云大數(shù)據(jù)處理平臺(tái)二次開(kāi)發(fā)接口5橘云大數(shù)據(jù)處理平臺(tái)業(yè)務(wù)場(chǎng)景示例功能描述：Oracle、DB2等數(shù)據(jù)庫(kù)抽取FTP從接口機(jī)指定目錄抽取主要處理流程：1FTP傳輸（或DB