CDHHDPMAPRDKH星環(huán)組件比較

1、序號(hào)組件名稱CDH（美國Cloudera ）HDP（美國Hortonworks ）MAPR（美國MapRDKH（中國大快）Transwarp（中國星環(huán)）1HadoopVVVVV2HBaseVVVV3ZookeeperVVVVV4SparkVVVV5HiveVVVV6HueVVV7ImpalaVV8SqoopVVVVV9FlumeVVVVV10OozieVVVVV11SolrVVV12IsilonV13KVindexerV14ClouderaManagerV15kafkaVV16StormVVV17ElasticsearchVV18DK-ESSQLV19DK-NLPV20DK-SPIDERV21

2、DKMV22DK-DMYSQLV23FalconV24KnoxV25PhoenixV26PigVV27RangerV28SliderV29TezV30DrillV31MapR-DBV32MapRStreamsV33MahoutVV34HttpFSV35SentryV36SaharaV37MyriadV38TranswarpInceptorV39TranswarpHyperbaseV40TranswarpStreamV41AmbariV二、組件簡介：Hadoop簡介：集群基礎(chǔ)組件，分為存儲(chǔ)(HDFS和計(jì)算(Mapreduce)兩大部分。apache社區(qū)開源。技術(shù)來源于的GFS口 Mapreduc

3、e。Hbase簡介：鍵-值非關(guān)系型數(shù)據(jù)庫，apache社區(qū)開源。是的Bigtable 一個(gè)的實(shí)現(xiàn)Zookeeper簡介：集群協(xié)調(diào)組件，已開源。是的Chubby一個(gè)的實(shí)現(xiàn)。4、Spark簡介：內(nèi)存計(jì)算框架，伯克利首先提出，現(xiàn)已開源。5、Hive簡介：基于HDFS勺SQLX具,facebook開發(fā)，后開源。6、Hue簡介：圖形化集群工具，cloudera開發(fā)，后開源。7、Impala簡介：基于HDFS勺SQLX具,cloudera開發(fā)，后開源。Sqoop簡介：用于關(guān)系型數(shù)據(jù)庫與 NOSQ數(shù)據(jù)庫之間的數(shù)據(jù)導(dǎo)入導(dǎo)出。Cloudera開發(fā)，已開源。9、Flume簡介：用于數(shù)據(jù)流的導(dǎo)入，Cloudera開

4、發(fā)，已開源。10、Oozie簡介：工作流系統(tǒng)，用于提交、監(jiān)控集群作業(yè)。Cloudera開發(fā)，已開源。11、Solr簡介：基于Lucene的全文搜索服務(wù)器。已開源。12、Isilon簡介：基于OneFs操作系統(tǒng)的存儲(chǔ)產(chǎn)品，美國賽龍公司開發(fā)，后屬于 EMC 一種集群存儲(chǔ)方案13、K-Vstoreindexer簡介：為HBase到solr的索引中間件，為 NGDAT於司開發(fā)，已開源。14、ClouderaManager簡介：CDH1群安裝管理工具。Cloudera開發(fā)。15、kafka簡介：消息隊(duì)列組件。已經(jīng)開源。16、Storm簡介：流數(shù)據(jù)處理組件。17、Elasticsearch簡介：基于Luc

5、ene的全文搜索服務(wù)器。已開源。18、ESSQL簡介：基于Elasticsearch 的SQL工具，大快開發(fā)19、DK-NLP簡介：自然語言處理組件。大快開發(fā)，已開源。20、DK-SPIDER簡介：分布式爬蟲組件。大快開發(fā)。21、DKM簡介：集群安裝管理工具。大快開發(fā)。22、DK-DMYSQL簡介：分布式MYSQ組件，大快改寫23、ApacheFalcon簡介：Falcon是一個(gè)面向Hadoop的、新的數(shù)據(jù)處理和管理平臺(tái)，設(shè)計(jì)用于數(shù)據(jù)移動(dòng)、數(shù)據(jù)管道協(xié)調(diào)、生命周期管理和數(shù)據(jù) 發(fā)現(xiàn)。24、ApacheKnox簡介：Apacheknox是一個(gè)訪問hadoop集群的restapi網(wǎng)關(guān)，它為所有rest

6、訪問提供了一個(gè)簡單的訪問接口點(diǎn)。25、ApachePhoenix簡介：Phoenix是HBase的SQL驅(qū)動(dòng)。26、ApachePig簡介：Pig定義了數(shù)據(jù)流語言PigLatin ,它是MapReduc編程抽象。27、ApacheRanger簡介：ranger是一個(gè)hadoop集群權(quán)限框架，提供操作、監(jiān)控、管理復(fù)雜的數(shù)據(jù)權(quán)限，它提供一個(gè)集中的管理機(jī)制，管理基于yarn的hadoop生態(tài)圈的所有數(shù)據(jù)權(quán)限。28、ApacheSlider簡介：Slider是一個(gè)YARNS用，用于發(fā)布已有的分布式應(yīng)用到Y(jié)ARNt,并對(duì)這些應(yīng)用進(jìn)行監(jiān)控以及根據(jù)需要調(diào)整規(guī)模。Tez簡介：Tez支持DAG乍業(yè)的計(jì)算框架，它

7、直接源于 MapReduce匡架，核心思想是將 Map和Reduce兩個(gè)操作進(jìn)一步拆分形成一個(gè)大的DAG乍業(yè)。30、ApacheDrill簡介：ApacheDrill是一個(gè)低延遲的分布式海量數(shù)據(jù)（涵蓋結(jié)構(gòu)化、半結(jié)構(gòu)化以及嵌套數(shù)據(jù)）交互式查詢引擎，使用ANSISQL兼容語法。31、MapR-DB簡介：MapRff發(fā)32、MapRStreams簡介：MapRff發(fā)33、Mahout簡介：機(jī)器學(xué)習(xí)算法庫，現(xiàn)已停止更新。34、HttpFS簡介：Cloudera開發(fā)的基于http協(xié)議的HDFSt作組件。35、Sentry簡介：ApacheSentry是Cloudera公司發(fā)布的一個(gè) Hadoop開源組件

8、，截止目前還是 Apache的孵化項(xiàng)目，它提供了細(xì)粒度級(jí)、 基于角色的授權(quán)以及多租戶的管理模式。36、Sahara簡介：Sahara旨在為用戶提供簡單部署 Hadoop集群的能力，提供在 OpenStack上快速配置和部署 Hadoop集群的能力。37、Myriad 0.1.0簡介：Myriad是一個(gè)Mesos框架用來動(dòng)態(tài)擴(kuò)展 YARNNft群，并支持運(yùn)行 Hadoop應(yīng)用，如Spark和非Hadoop應(yīng)用，如Node.js、 Memcached RoR等。38、TranswarpInceptor簡介：由ApacheSpark改寫，TranswarpInceptor 交互式分析引擎提供高速 S

9、QL分析和R語言數(shù)據(jù)挖掘能力，可幫助企業(yè)建立高速可擴(kuò)展的數(shù)據(jù)倉庫和/或數(shù)據(jù)集市，結(jié)合多種報(bào)表工具提供交互式數(shù)據(jù)分析、即時(shí)報(bào)表和可視化能力。星環(huán)開發(fā)。39、TranswarpHyperbase簡介：TranswarpHyperbase實(shí)時(shí)數(shù)據(jù)庫是建立在 ApacheHBaseSS礎(chǔ)之上，融合了多種索引技術(shù)、分布式事務(wù)處理、全文實(shí)時(shí)搜索、圖形數(shù)據(jù)庫在內(nèi)的實(shí)時(shí)NoSQl據(jù)庫。星環(huán)開發(fā)。40、TranswarpStream簡介：TranswarpStream實(shí)時(shí)流處理引擎提供了強(qiáng)大的流計(jì)算表達(dá)能力，支持復(fù)雜的應(yīng)用邏輯，生產(chǎn)系統(tǒng)的消息通過實(shí)時(shí)消息隊(duì)列進(jìn)入計(jì)算集群，在集群內(nèi)以流水線方式被依次處理，完成數(shù)據(jù)轉(zhuǎn)換、特