比較全的大數(shù)據(jù)技術組件整理以及相關理論論文整理

比較全的大數(shù)據(jù)技術組件整理以及相關理論論文整理框架ApacheHadoop：分布式處理架構，結合了MapReduce(并行處理)、YARN(作業(yè)調度)和HDFS(分布式文件系統(tǒng));Tigon：高吞吐量實時流處理框架。分布式編程AddThisHydra：最初在AddThis上開發(fā)的分布式數(shù)據(jù)處理和存儲系統(tǒng);AMPLabSIMR：用在HadoopMapReducev1上運行Spark;ApacheBeam：為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語言;ApacheCrunch：一個簡單的JavaAPI，用于執(zhí)行在普通的MapReduce實現(xiàn)時比較單調的連接、數(shù)據(jù)聚合等任務;ApacheDataFu：由LinkedIn開發(fā)的針對Hadoopand和Pig的用戶定義的函數(shù)集合;ApacheFlink：具有高性能的執(zhí)行時間和自動程序優(yōu)化;ApacheGora：內存中的數(shù)據(jù)模型和持久性框架;ApacheHama：BSP(整體同步并行)計算框架;ApacheMapReduce：在集群上使用并行、分布式算法處理大數(shù)據(jù)集的編程模型;ApachePig：Hadoop中，用于處理數(shù)據(jù)分析程序的高級查詢語言;ApacheREEF：用來簡化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評估執(zhí)行框架;ApacheS4：S4中流處理與實現(xiàn)的框架;ApacheSpark：內存集群計算框架;ApacheSparkStreaming：流處理框架，同時是Spark的一部分;ApacheStorm：Twitter流處理框架，也可用于YARN;ApacheSamza：基于Kafka和YARN的流處理框架;ApacheTez：基于YARN，用于執(zhí)行任務中的復雜DAG(有向無環(huán)圖);ApacheTwill：基于YARN的抽象概念，用于減少開發(fā)分布式應用程序的復雜度;Cascalog：數(shù)據(jù)處理和查詢庫;Cheetah：在MapReduce之上的高性能、自定義數(shù)據(jù)倉庫;ConcurrentCascading：在Hadoop上的數(shù)據(jù)管理/分析框架;DamballaParkour：用于Clojure的MapReduce庫;DatasaltPangool：可選擇的MapReduce范例;DataTorrentStrAM：為實時引擎，用于以盡可能暢通的方式、最小的開支和對性能最小的影響，實現(xiàn)分布式、異步、實時的內存大數(shù)據(jù)計算;FacebookCorona：為Hadoop做優(yōu)化處理，從而消除單點故障;FacebookPeregrine：MapReduce框架;FacebookScuba：分布式內存數(shù)據(jù)存儲;GoogleDataflow：創(chuàng)建數(shù)據(jù)管道，以幫助其分析框架;NetflixPigPen：為MapReduce，用于編譯成ApachePig;NokiaDisco：由Nokia開發(fā)的MapReduc獲取、轉換和分析數(shù)據(jù);GoogleMapReduce：MapReduce框架;GoogleMillWheel：容錯流處理框架;JAQL：用于處理結構化、半結構化和非結構化數(shù)據(jù)工作的聲明性編程語言;Kite：為一組庫、工具、實例和文檔集，用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易;MetamarketsDruid：用于大數(shù)據(jù)集的實時e框架;Onyx：分布式云計算;PinterestPinlater：異步任務執(zhí)行系統(tǒng);Pydoop：用于Hadoop的PythonMapReduce和HDFSAPI;RackerlabsBlueflood：多租戶分布式測度處理系統(tǒng);Stratosphere：通用集群計算框架;Streamdrill：用于計算基于不同時間窗口的事件流的活動，并找到最活躍的一個;Tuktu：易于使用的用于分批處理和流計算的平臺，通過Scala、Akka和Play所建;TwitterScalding：基于Cascading，用于MapReduce工作的Scala庫;TwitterSummingbird：在Twitter上使用Scalding和Storm串流MapReduce;TwitterTSAR：Twitter上的時間序列聚合器。分布式文件系統(tǒng)ApacheHDFS：在多臺機器上存儲大型文件的方式;BeeGFS：以前是FhGFS，并行分布式文件系統(tǒng);CephFilesystem：設計的軟件存儲平臺;DiscoDDFS：分布式文件系統(tǒng);FacebookHaystack：對象存儲系統(tǒng);GoogleColossus：分布式文件系統(tǒng)(GFS2);GoogleGFS：分布式文件系統(tǒng);GoogleMegastore：可擴展的、高度可用的存儲;GridGain：兼容GGFS、Hadoop內存的文件系統(tǒng);Lustrefilesystem：高性能分布式文件系統(tǒng);QuantcastFileSystemQFS：開源分布式文件系統(tǒng);RedHatGlusterFS：向外擴展的附網(wǎng)存儲(Network-attachedStorage)文件系統(tǒng);Seaweed-FS：簡單的、高度可擴展的分布式文件系統(tǒng);Alluxio：以可靠的存儲速率在跨集群框架上文件共享;Tahoe-LAFS：分布式云存儲系統(tǒng);文件數(shù)據(jù)模型ActianVersant：商用的面向對象數(shù)據(jù)庫管理系統(tǒng);CrateData：是一個開源的大規(guī)模可擴展的數(shù)據(jù)存儲，需要零管理模式;FacebookApollo：Facebook的Paxos算法，類似于NoSQL數(shù)據(jù)庫;jumboDB：基于Hadoop的面向文檔的數(shù)據(jù)存儲;LinkedInEspresso：可橫向擴展的面向文檔的NoSQL數(shù)據(jù)存儲;MarkLogic：模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫技術;MongoDB：面向文檔的數(shù)據(jù)庫系統(tǒng);RavenDB：一個事務性的，開源文檔數(shù)據(jù)庫;RethinkDB：支持連接查詢和群組依據(jù)等查詢的文檔型數(shù)據(jù)庫。KeyMap數(shù)據(jù)模型注意：業(yè)界存在一些術語混亂，有兩個不同的東西都叫做“列式數(shù)據(jù)庫”。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式、持續(xù)型數(shù)據(jù)庫，其中所有的數(shù)據(jù)都有(可能綜合了)鍵，并與映射中的鍵-值對相關聯(lián)。在一些系統(tǒng)中，多個這樣的值映射可以與鍵相關聯(lián)，并且這些映射被稱為“列族”(具有映射值的鍵被稱為“列”)。另一組也可稱為“列式數(shù)據(jù)庫”的技術因其存儲數(shù)據(jù)的方式而有別于前一組，它在磁盤上或在存儲器中——而不是以傳統(tǒng)方式，即所有既定鍵的鍵值都相鄰著、逐行存儲。這些系統(tǒng)也彼此相鄰來存儲所有列值，但是要得到給定列的所有值卻不需要以前那么繁復的工作。前一組在這里被稱為“keymap數(shù)據(jù)模型”，這兩者和Key-value數(shù)據(jù)模型之間的界限是相當模糊的。后者對數(shù)據(jù)模型有更多的存儲格式，可在列式數(shù)據(jù)庫中列出。若想了解更多關于這兩種模型的區(qū)分，可閱讀DanielAbadi的博客：DistinguishingtwomajortypesofColumnStores。ApacheAccumulo：內置在Hadoop上的分布式鍵/值存儲;ApacheCassandra：由BigTable授權，面向列的分布式數(shù)據(jù)存儲;ApacheHBase：由BigTable授權，面向列的分布式數(shù)據(jù)存儲;FacebookHydraBase：Facebook所開發(fā)的HBase的衍化品;GoogleBigTable：面向列的分布式數(shù)據(jù)存儲;GoogleCloudDatastore：為完全管理型的無模式數(shù)據(jù)庫，用于存儲在BigTable上非關系型數(shù)據(jù);Hypertable：由BigTable授權，面向列的分布式數(shù)據(jù)存儲;InfiniDB：通過MySQL的接口訪問，并使用大規(guī)模并行處理進行并行查詢;Tephra：用于HBase處理;TwitterManhattan：Twitter的實時、多租戶分布式數(shù)據(jù)庫。鍵-值數(shù)據(jù)模型Aerospike：支持NoSQL的閃存優(yōu)化，數(shù)據(jù)存儲在內存。開源，“'C’(不是Java或Erlang)中的服務器代碼可精確地調整從而避免上下文切換和內存拷貝”。AmazonDynamoDB：分布式鍵/值存儲，Dynamo論文的實現(xiàn);Edis：為替代Redis的協(xié)議兼容的服務器;ElephantDB：專門研究Hadoop中數(shù)據(jù)導出的分布式數(shù)據(jù)庫;EventStore：分布式時間序列數(shù)據(jù)庫;GridDB：適用于存儲在時間序列中的傳感器數(shù)據(jù);LinkedInKrati：簡單的持久性數(shù)據(jù)存儲，擁有低延遲和高吞吐量;LinkedinVoldemort：分布式鍵/值存儲系統(tǒng);OracleNoSQLDatabase：Oracle公司開發(fā)的分布式鍵值數(shù)據(jù)庫;Redis：內存中的鍵值數(shù)據(jù)存儲;Riak：分散式數(shù)據(jù)存儲;Storehaus：Twitter開發(fā)的異步鍵值存儲的庫;Tarantool：一個高效的NoSQL數(shù)據(jù)庫和Lua應用服務器;TiKV：由GoogleSpanner和HBase授權，Rust提供技術支持的分布式鍵值數(shù)據(jù)庫;TreodeDB：可復制、共享的鍵-值存儲，能提供多行原子寫入。圖形數(shù)據(jù)模型ApacheGiraph：基于Hadoop的Pregel實現(xiàn);ApacheSparkBagel：可實現(xiàn)Pregel，為Spark的一部分;ArangoDB：多層模型分布式數(shù)據(jù)庫;DGraph：一個可擴展的、分布式、低時延、高吞吐量的圖形數(shù)據(jù)庫，旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲，用于TB級的結構化數(shù)據(jù)的實時用戶查詢;FacebookTAO：TAO是facebook廣泛用來存儲和服務于社交圖形的分布式數(shù)據(jù)存儲;GCHQGaffer：GCHQ中的Gaffer是一個易于存儲大規(guī)模圖形的框架，其中節(jié)點和邊緣都有統(tǒng)計數(shù)據(jù);GoogleCayley：開源圖形數(shù)據(jù)庫;GooglePregel：圖形處理框架;GraphLabPowerGraph：核心C++GraphLabAPI和建立在GraphLabAPI之上的高性能機器學習和數(shù)據(jù)挖掘工具包的集合;GraphX：Spark中的彈性分布式圖形系統(tǒng);Gremlin：圖形追蹤語言;Infovore：以RDF為中心的Map/Reduce框架;IntelGraphBuilder：在Hadoop上構建大規(guī)模圖形的工具;MapGraph：用于在GPU上大規(guī)模并行圖形處理;Neo4j：完全用Java寫入的圖形數(shù)據(jù)庫;OrientDB：文檔和圖形數(shù)據(jù)庫;Phoebus：大型圖形處理框架;Titan：建于Cassandra的分布式圖形數(shù)據(jù)庫;TwitterFlockDB：分布式圖形數(shù)據(jù)庫。NewSQL數(shù)據(jù)庫ActianIngres：由商業(yè)支持，開源的SQL關系數(shù)據(jù)庫管理系統(tǒng);AmazonRedShift：基于PostgreSQL的數(shù)據(jù)倉庫服務;BayesDB：面向統(tǒng)計數(shù)值的SQL數(shù)據(jù)庫;CitusDB：通過分區(qū)和復制橫向擴展PostgreSQL;Cockroach：可擴展、地址可復制、交易型的數(shù)據(jù)庫;Datomic：旨在產(chǎn)生可擴展、靈活的智能應用的分布式數(shù)據(jù)庫;FoundationDB：由F1授意的分布式數(shù)據(jù)庫;GoogleF1：建立在Spanner上的分布式SQL數(shù)據(jù)庫;GoogleSpanner：全球性的分布式半關系型數(shù)據(jù)庫;H-Store：是一個實驗性主存并行數(shù)據(jù)庫管理系統(tǒng)，用于聯(lián)機事務處理(OLTP)應用的優(yōu)化;Haeinsa：基于Percolator，HBase的線性可擴展多行多表交易庫;HandlerSocket：MySQL/MariaDB的NoSQL插件;InfiniSQL：無限可擴展的RDBMS;MemSQL：內存中的SQL數(shù)據(jù)庫，其中有優(yōu)化的閃存列存儲;NuoDB：SQL/ACID兼容的分布式數(shù)據(jù)庫;OracleTimesTenin-MemoryDatabase：內存中具有持久性和可恢復性的關系型數(shù)據(jù)庫管理系統(tǒng);PivotalGemFireXD：內存中低延時的分布式SQL數(shù)據(jù)存儲，可為內存列表數(shù)據(jù)提供SQL接口，在HDFS中較持久化;SAPHANA：是在內存中面向列的關系型數(shù)據(jù)庫管理系統(tǒng);SenseiDB：分布式實時半結構化的數(shù)據(jù)庫;Sky：用于行為數(shù)據(jù)的靈活、高性能分析的數(shù)據(jù)庫;SymmetricDS：用于文件和數(shù)據(jù)庫同步的開源軟件;Map-D：為GPU內存數(shù)據(jù)庫，也為大數(shù)據(jù)分析和可視化平臺;TiDB：TiDB是分布式SQL數(shù)據(jù)庫，基于谷歌F1的設計靈感;VoltDB：自稱為最快的內存數(shù)據(jù)庫。列式數(shù)據(jù)庫ColumnarStorage：解釋什么是列存儲以及何時會需要用到它;ActianVector：面向列的分析型數(shù)據(jù)庫;C-Store：面向列的DBMS;MonetDB：列存儲數(shù)據(jù)庫;Parquet：Hadoop的列存儲格式;PivotalGreenplum：專門設計的、專用的分析數(shù)據(jù)倉庫，類似于傳統(tǒng)的基于行的工具，提供了一個列式工具;Vertica：用來管理大規(guī)模、快速增長的大量數(shù)據(jù)，當用于數(shù)據(jù)倉庫時，能夠提供非?？斓牟樵冃阅?GoogleBigQuery：谷歌的云產(chǎn)品，由其在Dremel的創(chuàng)始工作提供支持;AmazonRedshift：亞馬遜的云產(chǎn)品，它也是基于柱狀數(shù)據(jù)存儲后端。時間序列數(shù)據(jù)庫Cube：使用MongoDB來存儲時間序列數(shù)據(jù);AxibaseTimeSeriesDatabase：在HBase之上的分布式時間序列數(shù)據(jù)庫，它包括內置的RuleEngine、數(shù)據(jù)預測和可視化;Heroic：基于Cassandra和Elasticsearch的可擴展的時間序列數(shù)據(jù)庫;InfluxDB：分布式時間序列數(shù)據(jù)庫;Kairosdb：類似于OpenTSDB但會考慮到Cassandra;OpenTSDB：在HBase上的分布式時間序列數(shù)據(jù)庫;Prometheus：一種時間序列數(shù)據(jù)庫和服務監(jiān)測系統(tǒng);Newts：一種基于ApacheCassandra的時間序列數(shù)據(jù)庫。類SQL處理ActianSQLforHadoop：高性能交互式的SQL，可訪問所有的Hadoop數(shù)據(jù);ApacheDrill：由Dremel授意的交互式分析框架;ApacheHCatalog：Hadoop的表格和存儲管理層;ApacheHive：Hadoop的類SQL數(shù)據(jù)倉庫系統(tǒng);ApacheOptiq：一種框架，可允許高效的查詢翻譯，其中包括異構性及聯(lián)合性數(shù)據(jù)的查詢;ApachePhoenix：ApachePhoenix是HBase的SQL驅動;ClouderaImpala：由Dremel授意的交互式分析框架;ConcurrentLingual：Cascading中的類SQL查詢語言;DatasaltSploutSQL：用于大數(shù)據(jù)集的完整的SQL查詢工具;FacebookPrestoDB：分布式SQL查詢工具;GoogleBigQuery：交互式分析框架，Dremel的實現(xiàn);PivotalHAWQ：Hadoop的類SQL的數(shù)據(jù)倉庫系統(tǒng);RainstorDB：用于存儲大規(guī)模PB級結構化和半結構化數(shù)據(jù)的數(shù)據(jù)庫;SparkCatalyst：用于Spark和Shark的查詢優(yōu)化框架;SparkSQL：使用Spark操作結構化數(shù)據(jù);SpliceMachine：一個全功能的Hadoop上的SQLRDBMS，并帶有ACID事務;Stinger：用于Hive的交互式查詢;Tajo：Hadoop的分布式數(shù)據(jù)倉庫系統(tǒng);Trafodion：為企業(yè)級的SQL-on-HBase針對大數(shù)據(jù)的事務或業(yè)務工作負載的解決方案。數(shù)據(jù)攝取AmazonKinesis：大規(guī)模數(shù)據(jù)流的實時處理;ApacheChukwa：數(shù)據(jù)采集系統(tǒng);ApacheFlume：管理大量日志數(shù)據(jù)的服務;ApacheKafka：分布式發(fā)布-訂閱消息系統(tǒng);ApacheSqoop：在Hadoop和結構化的數(shù)據(jù)存儲區(qū)之間傳送數(shù)據(jù)的工具;ClouderaMorphlines：幫助Solr、HBase和HDFS完成ETL的框架;FacebookScribe：流日志數(shù)據(jù)聚合器;Fluentd：采集事件和日志的工具;GooglePhoton：實時連接多個數(shù)據(jù)流的分布式計算機系統(tǒng)，具有高可擴展性和低延遲性;Heka：開源流處理軟件系統(tǒng);HIHO：用Hadoop連接不同數(shù)據(jù)源的框架;Kestrel：分布式消息隊列系統(tǒng);LinkedInDatabus：對數(shù)據(jù)庫更改捕獲的事件流;LinkedInKamikaze：壓縮已分類整型數(shù)組的程序包;LinkedInWhiteElephant：日志聚合器和儀表板;Logstash：用于管理事件和日志的工具;NetflixSuro：像基于Chukwa的Storm和Samza一樣的日志聚合器;PinterestSecor：是實現(xiàn)Kafka日志持久性的服務;LinkedinGobblin：LinkedIn的通用數(shù)據(jù)攝取框架;Skizze：是一種數(shù)據(jù)存儲略圖，使用概率性數(shù)據(jù)結構來處理計數(shù)、略圖等相關的問題;StreamSetsDataCollector：連續(xù)大數(shù)據(jù)采集的基礎設施，可簡單地使用IDE。服務編程AkkaToolkit：JVM中分布性、容錯事件驅動應用程序的運行時間;ApacheAvro：數(shù)據(jù)序列化系統(tǒng);ApacheCurator：ApacheZooKeeper的Java庫;ApacheKaraf：在任何OSGi框架之上運行的OSGi運行時間;ApacheThrift：構建二進制協(xié)議的框架;ApacheZookeeper：流程管理集中式服務;GoogleChubby：一種松耦合分布式系統(tǒng)鎖服務;LinkedinNorbert：集群管理器;OpenMPI：消息傳遞框架;Serf：服務發(fā)現(xiàn)和協(xié)調的分散化解決方案;SpotifyLuigi：一種構建批處理作業(yè)的復雜管道的Python包，它能夠處理依賴性解析、工作流管理、可視化、故障處理、命令行一體化等等問題;SpringXD：數(shù)據(jù)攝取、實時分析、批量處理和數(shù)據(jù)導出的分布式、可擴展系統(tǒng);TwitterElephantBird：LZO壓縮數(shù)據(jù)的工作庫;TwitterFinagle：JVM的異步網(wǎng)絡堆棧。調度ApacheAurora：在ApacheMesos之上運行的服務調度程序;ApacheFalcon：數(shù)據(jù)管理框架;ApacheOozie：工作流作業(yè)調度程序;Chronos：分布式容錯調度;LinkedinAzkaban：批處理工作流作業(yè)調度;Schedoscope：Hadoop作業(yè)敏捷調度的ScalaDSL;Sparrow：調度平臺;Airflow：一個以編程方式編寫、調度和監(jiān)控工作流的平臺。機器學習ApacheMahout：Hadoop的機器學習庫;brain：JavaScript中的神經(jīng)網(wǎng)絡;ClouderaOryx：實時大規(guī)模機器學習;ConcurrentPattern：Cascading的機器學習庫;convnetjs：Javascript中的機器學習，在瀏覽器中訓練卷積神經(jīng)網(wǎng)絡(或普通網(wǎng)絡);Decider：Ruby中靈活、可擴展的機器學習;ENCOG：支持多種先進算法的機器學習框架，同時支持類的標準化和處理數(shù)據(jù);etcML：機器學習文本分類;EtsyConjecture：Scalding中可擴展的機器學習;GoogleSibyl：Google中的大規(guī)模機器學習系統(tǒng);GraphLabCreate：Python的機器學習平臺，包括ML工具包、數(shù)據(jù)工程和部署工具的廣泛集合;H2O：Hadoop統(tǒng)計性的機器學習和數(shù)學運行時間;MLbase：用于BDAS堆棧的分布式機器學習庫;MLPNeuralNet：針對iOS和MacOSX的快速多層感知神經(jīng)網(wǎng)絡庫;MonkeyLearn：使文本挖掘更為容易，從文本中提取分類數(shù)據(jù);nupic：智能計算的Numenta平臺，它是一個啟發(fā)大腦的機器智力平臺，基于皮質學習算法的精準的生物神經(jīng)網(wǎng)絡;PredictionIO：建于Hadoop、Mahout和Cascading上的機器學習服務器;SAMOA：分布式流媒體機器學習框架;scikit-learn：scikit-learn為Python中的機器學習;SparkMLlib：Spark中一些常用的機器學習(ML)功能的實現(xiàn);VowpalWabbit：微軟和雅虎發(fā)起的學習系統(tǒng);WEKA：機器學習軟件套件;BidMach：CPU和加速GPU的機器學習庫。基準測試ApacheHadoopBenchmarking：測試Hadoop性能的微基準;BerkeleySWIMBenchmark：現(xiàn)實大數(shù)據(jù)工作負載基準測試;IntelHiBench：Hadoop基準測試套件;PUMABenchmarking：MapReduce應用的基準測試套件;YahooGridmix3：雅虎工程師團隊的Hadoop集群基準測試。安全性ApacheKnoxGateway：Hadoop集群安全訪問的單點;ApacheSentry：存儲在Hadoop的數(shù)據(jù)安全模塊。系統(tǒng)部署ApacheAmbari：Hadoop管理的運作框架;ApacheBigtop：Hadoop生態(tài)系統(tǒng)的部署框架;ApacheHelix：集群管理框架;ApacheMesos：集群管理器;ApacheSlider：一種YARN應用，用來部署YARN中現(xiàn)有的分布式應用程序;ApacheWhirr：運行云服務的庫集;ApacheYARN：集群管理器;Brooklyn：用于簡化應用程序部署和管理的庫;Buildoop：基于Groovy語言，和ApacheBigTop類似;ClouderaHUE：和Hadoop進行交互的Web應用程序;FacebookPrism：多數(shù)據(jù)中心復制系統(tǒng);GoogleBorg：作業(yè)調度和監(jiān)控系統(tǒng);GoogleOmega：作業(yè)調度和監(jiān)控系統(tǒng);HortonworksHOYA：可在YARN上部署HBase集群的應用;Marathon：用于長期運行服務的Mesos框架。應用程序Adobespindle：使用Scala、Spark和Parquet處理的下一代web分析;ApacheKiji：基于HBase，實時采集和分析數(shù)據(jù)的框架;ApacheNutch：開源網(wǎng)絡爬蟲;ApacheOODT：用于NASA科學檔案中數(shù)據(jù)的捕獲、處理和共享;ApacheTika：內容分析工具包;Argus：時間序列監(jiān)測和報警平臺;Countly：基于Node.js和MongoDB，開源的手機和網(wǎng)絡分析平臺;Domino：運行、規(guī)劃、共享和部署模型——沒有任何基礎設施;EclipseBIRT：基于Eclipse的報告系統(tǒng);Eventhub：開源的事件分析平臺;Hermes：建于Kafka上的異步消息代理;HIPILibrary：在Hadoop’sMapReduce上執(zhí)行圖像處理任務的API;Hunk：Hadoop的Splunk分析;Imhotep：大規(guī)模分析平臺;MADlib：RDBMS的用于數(shù)據(jù)分析的數(shù)據(jù)處理庫;Kylin：來自eBay的開源分布式分析工具;PivotalR：PivotalHD/HAWQ和PostgreSQL中的R;Qubole：為自動縮放Hadoop集群，內置的數(shù)據(jù)連接器;Sense：用于數(shù)據(jù)科學和大數(shù)據(jù)分析的云平臺;SnappyData：用于實時運營分析的分布式內存數(shù)據(jù)存儲，提供建立在Spark單一集成集群中的數(shù)據(jù)流分析、OLTP(聯(lián)機事務處理)和OLAP(聯(lián)機分析處理);Snowplow：企業(yè)級網(wǎng)絡和事件分析，由Hadoop、Kinesis、Redshift和Postgres提供技術支持;SparkR：Spark的R前端;Splunk：用于機器生成的數(shù)據(jù)的分析;SumoLogic：基于云的分析儀，用于分析機器生成的數(shù)據(jù);Talend：用于YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統(tǒng)一開源環(huán)境;Warp：利用大數(shù)據(jù)(OSXapp)的實例查詢工具。搜索引擎與框架ApacheLucene：搜索引擎庫;ApacheSolr：用于ApacheLucene的搜索平臺;ElasticSearch：基于ApacheLucene的搜索和分析引擎;Enigma.io：為免費增值的健壯性web應用，用于探索、篩選、分析、搜索和導出來自網(wǎng)絡的大規(guī)模數(shù)據(jù)集;FacebookUnicorn：社交圖形搜索平臺;GoogleCaffeine：連續(xù)索引系統(tǒng);GooglePercolator：連續(xù)索引系統(tǒng);TeraGoogle：大型搜索索引;HBaseCoprocessor：為Percolator的實現(xiàn)，HBase的一部分;LilyHBaseIndexer：快速、輕松地搜索存儲在HBase的任何內容;LinkedInBobo：完全由Java編寫的分面搜索的實現(xiàn)，為ApacheLucene的延伸;LinkedInCleo：為一個一個靈活的軟件庫，使得局部、無序、實時預輸入的搜索實現(xiàn)了快速發(fā)展;LinkedInGalene：LinkedIn搜索架構;LinkedInZoie：是用Java編寫的實時搜索/索引系統(tǒng);SphinxSearchServer：全文搜索引擎MySQL的分支和演化AmazonRDS：亞馬遜云的MySQL數(shù)據(jù)庫;Drizzle：MySQL的6.0的演化;GoogleCloudSQL：谷歌云的MySQL數(shù)據(jù)庫;MariaDB：MySQL的增強版嵌入式替代品;MySQLCluster：使用NDB集群存儲引擎的MySQL實現(xiàn);PerconaServer：MySQL的增強版嵌入式替代品;ProxySQL：MySQL的高性能代理;TokuDB：用于MySQL和MariaDB的存儲引擎;WebScaleSQL：運行MySQL時面臨類似挑戰(zhàn)的幾家公司，它們的工程師之間的合作。PostgreSQL的分支和演化YahooEverest-multi-peta-bytedatabase/MPPderivedbyPostgreSQL.HadoopDB：MapReduce和DBMS的混合體;IBMNetezza：高性能數(shù)據(jù)倉庫設備;Postgres-XL：基于PostgreSQL，可擴展的開源數(shù)據(jù)庫集群;RecDB：完全建立在PostgreSQL內部的開源推薦引擎;Stado：開源MPP數(shù)據(jù)庫系統(tǒng)，只針對數(shù)據(jù)倉庫和數(shù)據(jù)集市的應用程序;YahooEverest：PostgreSQL可以推導多字節(jié)P比特數(shù)據(jù)庫/MPP。Memcached的分支和演化FacebookMcDipper：閃存的鍵/值緩存;FacebookMemcached：Memcache的分支;Twemproxy：Memcached和Redis的快速、輕型代理;TwitterFatcache：閃存的鍵/值緩存;TwitterTwemcache：Memcache的分支。嵌入式數(shù)據(jù)庫ActianPSQL：PervasiveSoftware公司開發(fā)的ACID兼容的DBMS，在應用程序中嵌入了優(yōu)化;BerkeleyDB：為鍵/值數(shù)據(jù)提供一個高性能的嵌入式數(shù)據(jù)庫的一個軟件庫;HanoiDB：ErlangLSMBTree存儲;LevelDB：谷歌寫的一個快速鍵-值存儲庫，它提供了從字符串鍵到字符串值的有序映射;LMDB：Symas開發(fā)的超快、超緊湊的鍵-值嵌入的式數(shù)據(jù)存儲;RocksDB：基于性LevelDB，用于快速存儲的嵌入式持續(xù)性鍵-值存儲。商業(yè)智能BIMEAnalytics：商業(yè)智能云平臺;Chartio：精益業(yè)務智能平臺，用于可視化和探索數(shù)據(jù);datapine：基于云的自助服務商業(yè)智能工具;Jaspersoft：功能強大的商業(yè)智能套件;JedoxPalo：定制的商業(yè)智能平臺;Microsoft：商業(yè)智能軟件和平臺;Microstrategy：商業(yè)智能、移動智能和網(wǎng)絡應用軟件平臺;Pentaho：商業(yè)智能平臺;Qlik：商業(yè)智能和分析平臺;Saiku：開源的分析平臺;SpagoBI：開源商業(yè)智能平臺;Tableau：商業(yè)智能平臺;Zoomdata：大數(shù)據(jù)分析;Jethrodata：交互式大數(shù)據(jù)分析。數(shù)據(jù)可視化Airpal：用于PrestoDB的網(wǎng)頁UI;Arbor：利用網(wǎng)絡工作者和jQuery的圖形可視化庫;Banana：對存儲在Kibana中Solr.Port的日志和時戳數(shù)據(jù)進行可視化;Bokeh：一個功能強大的Python交互式可視化庫，它針對要展示的現(xiàn)代web瀏覽器，旨在為D3.js風格的新奇的圖形提供優(yōu)雅簡潔的設計，同時在大規(guī)模數(shù)據(jù)或流數(shù)據(jù)集中，通過高性能交互性來表達這種能力;C3：基于D3可重復使用的圖表庫;CartoDB：開源或免費增值的虛擬主機，用于帶有強大的前端編輯功能和API的地理空間數(shù)據(jù)庫;chartd：只帶Img標簽的反應靈敏、兼容Retina的圖表;Chart.js：開源的HTML5圖表可視化效果;Chartist.js：另一個開源HTML5圖表可視化效果;Crossfilter：JavaScript庫，用于在瀏覽器中探索多元大數(shù)據(jù)集，用Dc.js和D3.js.效果很好;Cubism：用于時間序列可視化的JavaScript庫;Cytoscape：用于可視化復雜網(wǎng)絡的JavaScript庫;DC.js：維度圖表，和Crossfilter一起使用，通過D3.js呈現(xiàn)出來，它比較擅長連接圖表/附加的元數(shù)據(jù)，從而徘徊在D3的事件附近;D3：操作文件的JavaScript庫;D3.compose：從可重復使用的圖表和組件構成復雜的、數(shù)據(jù)驅動的可視化;D3Plus：一組相當強大的可重用的圖表，還有D3.js的樣式;Echarts：百度企業(yè)場景圖表;Envisionjs：動態(tài)HTML5可視化;FnordMetric：寫SQL查詢，返回SVG圖表，而不是表;Freeboard：針對IOT和其他Web混搭的開源實時儀表盤構建;Gephi：屢獲殊榮的開源平臺，可視化和操縱大型圖形和網(wǎng)絡連接，有點像Photoshop，但是針對于圖表，適用于Windows和MacOSX;GoogleCharts：簡單的圖表API;Grafana：石墨儀表板前端、編輯器和圖形組合器;Graphite：可擴展的實時圖表;Highcharts：簡單而靈活的圖表API;IPython：為交互式計算提供豐富的架構;Kibana：可視化日志和時間標記數(shù)據(jù);Matplotlib：Python繪圖;Metricsgraphic.js：建立在D3之上的庫，針對時間序列數(shù)據(jù)進行最優(yōu)化;NVD3：d3.js的圖表組件;Peity：漸進式SVG條形圖，折線和餅圖;Plot.ly：易于使用的Web服務，它允許快速創(chuàng)建從熱圖到直方圖等復雜的圖表，使用圖表Plotly的在線電子表格上傳數(shù)據(jù)進行創(chuàng)建和設計;Plotly.js：支持plotly的開源JavaScript圖形庫;Recline：簡單但功能強大的庫，純粹利用JavaScript和HTML構建數(shù)據(jù)應用;Redash：查詢和可視化數(shù)據(jù)的開源平臺;Shiny：針對R的Web應用程序框架;Sigma.js：JavaScript庫，專門用于圖形繪制;Vega：一個可視化語法;Zeppelin：一個筆記本式的協(xié)作數(shù)據(jù)分析;ZingCharts：用于大數(shù)據(jù)的JavaScript圖表庫。物聯(lián)網(wǎng)和傳感器TempoIQ：基于云的傳感器分析;2lemetry：物聯(lián)網(wǎng)平臺;Pubnub：數(shù)據(jù)流網(wǎng)絡;ThingWorx：ThingWorx是讓企業(yè)快速創(chuàng)建和運行互聯(lián)應用程序平臺;IFTTT：IFTTT是一個被稱為“網(wǎng)絡自動化神器”的創(chuàng)新型互聯(lián)網(wǎng)服務，它的全稱是Ifthisthenthat，意思是“如果這樣，那么就那樣”;Evrythng：Evrythng則是一款真正意義上的大眾物聯(lián)網(wǎng)平臺，使得身邊的很多產(chǎn)品變得智能化。文章推薦NoSQLComparison(NoSQL比較)-CassandravsMongoDBvsCouchDBvsRedisvsRiakvsHBasevsCouchbasevsNeo4jvsHypertablevsElasticSearchvsAccumulovsVoltDBvsScalariscomparison;BigDataBenchmark(大數(shù)據(jù)基準)-Redshift,Hive,Shark,ImpalaandStiger/Tez的基準;Thebigdatasuccessorofthespreadsheet(電子表格的大數(shù)據(jù)繼承者)-電子表格的繼承者應該是大數(shù)據(jù)。論文2015-20162015-Facebook-OneTrillionEdges:GraphProcessingatFacebook-Scale.(一兆邊：Facebook規(guī)模的圖像處理)2013-20142014-Stanford-MiningofMassiveDatasets.(海量數(shù)據(jù)集挖掘)2013-AMPLab-Presto:DistributedMachineLearningandGraphProcessingwithSparseMatrices.(Presto：稀疏矩陣的分布式機器學習和圖像處理)2013-AMPLab-MLbase:ADistributedMachine-learningSystem.(MLbase：分布式機器學習系統(tǒng))2013-AMPLab-Shark:SQLandRichAnalyticsatScale.(Shark:大規(guī)模的SQL和豐富的分析)2013-AMPLab-GraphX:AResilientDistributedGraphSystemonSpark.(GraphX:基于Spark的彈性分布式圖計算系統(tǒng))2013-Google-HyperLogLoginPractice:AlgorithmicEngineeringofaStateofTheArtCardinalityEstimationAlgorithm.(HyperLogLog實踐:一個藝術形態(tài)的基數(shù)估算算法)2013-Microsoft-ScalableProgressiveAnalyticsonBigDataintheCloud.(云端大數(shù)據(jù)的可擴展性漸進分析)2013-Metamarkets-Druid:AReal-timeAnalyticalDataStore.(Druid：實時分析數(shù)據(jù)存儲)2013-Google-Online,AsynchronousSchemaChangeinF1.(F1中在線、異步模式的轉變)2013-Google-F1:ADistributedSQLDatabaseThatScales.(F1:分布式SQL數(shù)據(jù)庫)2013-Google-MillWheel:Fault-TolerantStreamProcessingatInternetScale.(MillWheel:互聯(lián)網(wǎng)規(guī)模下的容錯流處理)2013-Facebook-Scuba:DivingintoDataatFacebook.(Scuba:深入Facebook的數(shù)據(jù)世界)2013-Facebook-Unicorn:ASystemforSearchingtheSocialGraph.(Unicorn:一種搜索社交圖的系統(tǒng))2013-Facebook-ScalingMemcacheatFacebook.(Facebook對Memcache伸縮性的增強)2011-20122012-Twitter-TheUnifiedLoggingInfrastructureforDataAnalyticsatTwitter.(Twitter數(shù)據(jù)分析的統(tǒng)一日志基礎結構)2012-AMPLab–BlinkandIt’sDone:InteractiveQueriesonVeryLargeData.(Blink及其完成：超大規(guī)模數(shù)據(jù)的交互式查詢)2012-AMPLab–FastandInteractiveAnalyticsoverHadoopDatawithSpark.(Spark上Hadoop數(shù)據(jù)的快速交互式分析)2012-AMPLab–Shark:FastDataAnalysisUsingCoarse-grainedDistributedMemory.(Shark：使用粗粒度的分布式內存快速數(shù)據(jù)分析)2012-Microsoft–PaxosReplicatedStateMachinesastheBasisofaHigh-PerformanceDataStore.(Paxos的復制狀態(tài)機——高性能數(shù)據(jù)存儲的基礎)2012-Microsoft–PaxosMadeParallel.(Paxos算法實現(xiàn)并行)2012-AMPLab–BlinkDB：BlinkDB:QuerieswithBoundedErrorsandBoundedResponseTimesonVeryLargeData.(超大規(guī)模數(shù)據(jù)中有限誤差與有界響應時間的查詢)2012-Google–Processingatrillioncellspermouseclick.(每次點擊處理一兆個單元格)2012-Google–Sp