數(shù)據(jù)立方與Hadoop生態(tài)圈

1、旗開(kāi)得勝數(shù)據(jù)立方與HadooP生態(tài)數(shù)據(jù)立方與Hadoop生態(tài)圈數(shù)據(jù)立方提供了結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)和實(shí)時(shí)在線查詢(xún)功能，在整個(gè)生態(tài)圈中與HBase具有相同的地位。不同的是數(shù)據(jù)立方提供了多維度的實(shí)時(shí)查詢(xún)，下圖為整個(gè)生態(tài)圈的結(jié)構(gòu)。Mahout.口數(shù)據(jù)挖掘.匚和據(jù)隹MapReduce分布式計(jì)算Hbase.數(shù)據(jù)立方買(mǎi)N亦ql數(shù)據(jù)庫(kù)時(shí)、分布式、HDFS大數(shù)據(jù)分布式文件系統(tǒng)在傳統(tǒng)的Hadoop生態(tài)圈中，主要解決的問(wèn)題是大數(shù)據(jù)的存儲(chǔ)、檢索以及分析。對(duì)于數(shù)據(jù)的存儲(chǔ)一般采用HDFS乍為底層的分布式文件系統(tǒng)，隨著HDFS版本的不斷升級(jí)，目前Hfds基本趨向于穩(wěn)定。而數(shù)據(jù)存儲(chǔ)一般采用HBase乍為結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，對(duì)于海

2、量數(shù)據(jù)的分析采用MapReduceMahout提供了對(duì)大數(shù)據(jù)的數(shù)據(jù)挖掘功能，免去了我們自己編寫(xiě)分布式程序的問(wèn)題。同時(shí)提供的其他組件也很方便的給開(kāi)發(fā)者提供快捷的開(kāi)發(fā)。數(shù)據(jù)立方與HDFS數(shù)據(jù)立方作為大數(shù)據(jù)的存儲(chǔ)，底層采用了HDFS乍為底層的存儲(chǔ)。這樣可以*»很大程度上避免對(duì)于文件可靠性、數(shù)據(jù)一致性等存儲(chǔ)問(wèn)題。數(shù)據(jù)立方與HBaseHBase乍為目前開(kāi)源的NoSql,可以提供結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)以及基于RowKey的實(shí)時(shí)查詢(xún)業(yè)務(wù)。數(shù)據(jù)立方同樣提供了對(duì)于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，可以進(jìn)行多維度的業(yè)務(wù)查詢(xún)。而HBase目前只要對(duì)于RowKey的人查詢(xún)是實(shí)時(shí)的，而其余字段的查詢(xún)會(huì)導(dǎo)致FullScan,導(dǎo)致整個(gè)

3、集群的大量10操作。數(shù)據(jù)立方目前支持SQL操作，開(kāi)發(fā)人員可以很方便的使用數(shù)據(jù)立方開(kāi)發(fā)。數(shù)據(jù)立方與MapReduce數(shù)據(jù)立方提供基本的實(shí)時(shí)查詢(xún)業(yè)務(wù)，對(duì)于批量的離線分析可以采用MapReduce目前數(shù)據(jù)立方支持MapReduce提供了MapRedue的文件InputFormat和OutPutFormat。用戶(hù)同樣可以采用數(shù)據(jù)立方作為MapReduce的數(shù)據(jù)源，相比文件作為數(shù)據(jù)源。數(shù)據(jù)立方可以更快的數(shù)據(jù)源，可以提高M(jìn)apReduc附勺運(yùn)行速度。同時(shí)數(shù)據(jù)立方還會(huì)支持Spark等其他計(jì)算框架。數(shù)據(jù)立方與Sqoop常用的數(shù)據(jù)存儲(chǔ)多采用關(guān)系數(shù)據(jù)庫(kù)，數(shù)據(jù)立方目前支持Sqoop的數(shù)據(jù)導(dǎo)入導(dǎo)出功能。可以提供關(guān)系數(shù)

4、據(jù)庫(kù)和數(shù)據(jù)立方的導(dǎo)入導(dǎo)出以及|HDFS的導(dǎo)入導(dǎo)出。數(shù)據(jù)立方優(yōu)勢(shì)實(shí)時(shí)性：各類(lèi)基本的數(shù)據(jù)查詢(xún)操作基本都在秒級(jí)完成，大規(guī)?；驈?fù)雜的分析計(jì)算在分鐘級(jí)完成，實(shí)現(xiàn)傳統(tǒng)數(shù)據(jù)庫(kù)所難以達(dá)到的處理能力和處理效率。高可靠性：避免系統(tǒng)主節(jié)點(diǎn)的單點(diǎn)失效，并具有存儲(chǔ)和計(jì)算節(jié)點(diǎn)失效檢測(cè)和恢復(fù)的容錯(cuò)處理能力，保證不出現(xiàn)系統(tǒng)癱瘓和數(shù)據(jù)出錯(cuò)現(xiàn)象。高可擴(kuò)展性：應(yīng)用系統(tǒng)規(guī)模擴(kuò)大時(shí)能根據(jù)需要隨時(shí)增加節(jié)點(diǎn)以擴(kuò)大系統(tǒng)的數(shù)7讀萬(wàn)卷書(shū)行萬(wàn)里路3旗開(kāi)得勝據(jù)存儲(chǔ)能力和計(jì)算能力；并能在不停機(jī)的情況下增加節(jié)點(diǎn)，續(xù)以保證應(yīng)用服務(wù)的連性。全業(yè)務(wù)支持：海量數(shù)據(jù)分布存儲(chǔ)，少量數(shù)據(jù)關(guān)系復(fù)雜或?qū)崟r(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫(kù)，采用這種分布式海量數(shù)據(jù)存儲(chǔ)為主、

5、關(guān)系數(shù)據(jù)庫(kù)為輔的混合式數(shù)據(jù)存儲(chǔ)模式，可存儲(chǔ)各種不同規(guī)模和不同媒體和類(lèi)型的數(shù)據(jù)，滿(mǎn)足各種不同的數(shù)據(jù)處理和應(yīng)用業(yè)務(wù)需求。數(shù)據(jù)立方對(duì)比HBase比較特性數(shù)據(jù)乂萬(wàn)HBase支持索引支持無(wú)（二級(jí)索引不夠完善）數(shù)據(jù)立方支持多維索引，可以滿(mǎn)足任意字段的查詢(xún)，而HBase是基于主鍵的查詢(xún)，如果條件不包含主鍵會(huì)全表掃描，整體性能非常低下支持SQL支持無(wú)HBase目前是提供專(zhuān)有API的方式，開(kāi)發(fā)人員需要再次學(xué)習(xí)。數(shù)據(jù)立方提供JDBC支持SQL對(duì)于開(kāi)發(fā)人員來(lái)說(shuō)學(xué)習(xí)成本非常低。圖形化管理支持支持?jǐn)?shù)據(jù)立方有監(jiān)控系統(tǒng)，HBase目前不包含。監(jiān)控與告警支持無(wú)數(shù)據(jù)立方有監(jiān)控系統(tǒng)，HBase目前不包含。安全性支持無(wú)數(shù)據(jù)立方支持用戶(hù)的權(quán)限認(rèn)證登錄，而HBase不支持。只要知道訪問(wèn)地址