大數(shù)據(jù)架構(gòu)的未來

大數(shù)據(jù)架構(gòu)的未來名的由來。大數(shù)據(jù)的問題有效利用的話，我們能從這些數(shù)據(jù)中找到非常有價值的見40年前設計的，比如不足以創(chuàng)造“大數(shù)據(jù)”炒作所宣稱的商業(yè)價值。在大數(shù)據(jù)技級的關鍵功能至少包括下面這些能力：合并信息孤井外在因素與數(shù)據(jù)流； 控制數(shù)據(jù)訪問根據(jù)需要轉(zhuǎn)化數(shù)據(jù)； 整合數(shù)據(jù)； 為數(shù)據(jù)分析提供工具； 發(fā)布數(shù)據(jù)報告； 將見解體現(xiàn)在運營過程中；最小化工作完成的總擁有成本與響應時間。 用數(shù)據(jù)湖作為答案據(jù)平臺在合并信息孤井數(shù)據(jù)流以及在單獨的邏輯位置中執(zhí)行數(shù)據(jù)持久化方面具有靈活性，能夠從企業(yè)自身以及第三方的數(shù)據(jù)中挖掘出見解。將Spark在內(nèi)）據(jù)湖已成大勢所趨，原因很多：使用總擁有成本較低的普通收取SQL和普通語言構(gòu)建分布式處理層。此外，像雅虎和谷歌這樣的webscale公司都是早期標桿，借用這種架構(gòu)在解決網(wǎng)站索引相關的問題時獲得了巨大的成功。Hadoop中的數(shù)據(jù)持久化選項Hadoop的內(nèi)涵，你就會發(fā)Hadoop在數(shù)據(jù)湖中探測存儲的數(shù)據(jù)時，有兩個主要選項：HDFS和HBaseHDFS時，可以自行決定JSON、CSV、AvroHDFS決定。相反，HBase是一個數(shù)據(jù)庫，其特有的數(shù)據(jù)編碼方式的速度相對也很快。Hadoop的數(shù)據(jù)湖之魅力所在，它能實現(xiàn)真實情況Hadoop來執(zhí)行上面列出的Spark和HiveHadoop中，仍需用到分布式處理層，但不需HDFS或HBase此你可以從分布式處理層中選擇持久化層面。之前的博文中Spark在MongoDB中讀寫數(shù)據(jù)。MongoDB只是讀取數(shù)據(jù)的Hive表格。索引仍舊很重要RDBMSs索引，再到加速查詢?nèi)純r值巨大（RDBMSs作數(shù)據(jù)湖HDFS和HBase，就無法實現(xiàn)我們期待的數(shù)據(jù)庫臨時索引了，特別是遇到下面幾個限制時：X巨大，想要通過掃描找出最佳客戶都會令工作卡住。級時間內(nèi)響應客戶的需求，為他們提供有價值的數(shù)據(jù)報告花費等等。特別提到：MongoDBSQL的報告工BIConnector。象一下客服專員（CSR）告知消費者，因為數(shù)據(jù)湖僅支持這10分鐘時間。我們用慣的普通靈活索引不是很好么？MongoDB是一個有效數(shù)據(jù)湖的重要部分Hadoop3個問題。我們能否在架構(gòu)中另加一層持久化層面來解決這些問題，同時保持設計原則——使用低總擁有Hadoop分布式數(shù)據(jù)層——與之前一致呢？Hadoop-only數(shù)據(jù)庫，就會發(fā)現(xiàn)其中幾乎不含二級索引（導致無法同步數(shù)據(jù)，也沒有分組和聚合功能。你可以使用其果RDBMS，我們已經(jīng)說過，它們固的原則。因此，推薦使用下面的架構(gòu)來構(gòu)建數(shù)據(jù)湖。MongoDB對數(shù)據(jù)湖非常重要這個架構(gòu)將MongoDB作為持久化層面加入任何需要表達查詢的數(shù)據(jù)集中，正與你需要索引（上面列舉了HDFS和/或MongoDBfunctionHDFS或者MongoDBHive和Spark。不過如果數(shù)據(jù)在MongoDB上，因為篩選標準下放到數(shù)據(jù)庫中，不像在HDFS中那樣掃描文件，你就能在數(shù)據(jù)臨時切片上運行有效分析了。與此相似，MongoDB中的數(shù)據(jù)也可用于實時、低延遲報告，并為構(gòu)建的應用所用到的所有系統(tǒng)提供運營數(shù)據(jù)平臺服務。Hadoop中進行轉(zhuǎn)換，然后MongoDB可以將價值多次翻倍。結(jié)論HadoopMongoDB這樣的生態(tài)環(huán)境實現(xiàn)，據(jù)湖時，只花費一年時間清洗所有數(shù)據(jù)，然后將其寫入HDFS，希望在未來能用這些數(shù)據(jù)獲取價值。結(jié)果卻失望地另一種batchlayer層面。Hadoop與MongoDB是一個保持較低的總擁有成本，最快響應所有用戶（數(shù)據(jù)科學家、分析師、商業(yè)用戶、消費者自身）的靈活數(shù)據(jù)平臺。有了數(shù)據(jù)湖，公司和員工就能用它來獲取獨特的見解，與客（責編/錢曙光，關注架構(gòu)和算法領域，尋求報道或者投稿請發(fā)郵件HYPERLINK"mailto:qi