大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析

大數(shù)據(jù)分析的流程淺析之一：大數(shù)據(jù)采集過程分析數(shù)據(jù)采集，就是使用某種技術(shù)或手段，將數(shù)據(jù)收集起來并存儲(chǔ)在某種設(shè)備上，這種設(shè)備可以是磁盤或磁帶。區(qū)別于普通的數(shù)據(jù)分析，大數(shù)據(jù)分析的數(shù)據(jù)采集在數(shù)據(jù)收集和存儲(chǔ)技術(shù)上都是不同的。 具體情況如下：1.大數(shù)據(jù)收集過程在收集階段，大數(shù)據(jù)分析在時(shí)空兩個(gè)方面都有顯著的不同。在時(shí)間維度上，為了獲取更多的數(shù)據(jù)，大數(shù)據(jù)收集的時(shí)間頻度大一些，有時(shí)也叫數(shù)據(jù)采集的深度。在空間維度上，為了獲取更準(zhǔn)確的數(shù)據(jù)，數(shù)據(jù)采集點(diǎn)設(shè)置得會(huì)更密一些。以收集一個(gè)面積為 100平方米的葡萄園的平均溫度為例。小數(shù)據(jù)時(shí)代，由于成本的原因，葡萄園主只能在葡萄園的中央設(shè)置一個(gè)溫度計(jì)用來計(jì)算溫度，而且每一小時(shí)觀測一次，這樣一天就只有24個(gè)數(shù)據(jù)。而在大數(shù)據(jù)時(shí)代，在空間維度上，可以設(shè)置100個(gè)溫度計(jì)，即每個(gè)1平方米一個(gè)溫度計(jì)； 在時(shí)間維度上，每隔

1分鐘就觀測一次，這樣一天就有144000個(gè)數(shù)據(jù)，是原來的 6000倍。有了大量的數(shù)據(jù)，我們就可以更準(zhǔn)確地知道葡萄園的平均溫度，如果加上時(shí)間刻度的話，還可以得出一個(gè)時(shí)間序列的曲線，結(jié)果看起來使人很神往。2.大數(shù)據(jù)的存儲(chǔ)技術(shù)通過增加數(shù)據(jù)采集的深度和廣度，數(shù)據(jù)量越來越大，數(shù)據(jù)存儲(chǔ)問題就凸現(xiàn)。原來1TB的數(shù)據(jù)，可以使用一塊硬盤就可以實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)，而現(xiàn)在變成了6000TB，也就是需要6000塊硬盤來存放數(shù)據(jù)，而且這個(gè)數(shù)據(jù)是每天都是增加的。這個(gè)時(shí)候計(jì)算機(jī)技術(shù)中的分布式計(jì)算開始發(fā)揮優(yōu)勢，它可以將6000臺(tái)甚至更多的計(jì)算機(jī)組合在一起，讓它們的硬盤組合成一塊巨大的硬盤，這樣人們就不用再害怕大數(shù)據(jù)了，大數(shù)據(jù)再大，增加計(jì)算機(jī)就可以了。實(shí)現(xiàn)分布式計(jì)算的軟件有很多，名氣最大的，目前市場上應(yīng)用最廣的，就是hadoop技術(shù)了，更精確地說應(yīng)該是叫hadoop框架。hadoop框架由多種功能性軟件組成，其自身只是搭建一個(gè)和操作系統(tǒng)打交道的平臺(tái)。其中最核心的軟件有兩個(gè)，一個(gè)是 hdfs分布式文件系統(tǒng),另一個(gè)是mapreduce分布式計(jì)算。hdfs分布式文件系統(tǒng)完成的功能就是將 6000臺(tái)計(jì)算機(jī)組合在一起，使它們的硬盤組合成一塊巨大的硬盤，至于數(shù)據(jù)如何在硬盤上存放和讀取，這件事由hadoop和hdfs共同完成，不用我們操心，這就如我們?cè)谑褂靡慌_(tái)計(jì)算機(jī)時(shí)只管往硬盤上存放數(shù)據(jù)， 而數(shù)據(jù)存放在硬盤上的哪個(gè)磁道， 我們是不用關(guān)心的。mapredce分布式計(jì)算則就實(shí)現(xiàn)讓 6000臺(tái)計(jì)算機(jī)一起協(xié)同工作起來，hadoop在設(shè)計(jì)mapredce時(shí)，最基本的思想就是讓分析師不用操心程序設(shè)計(jì)問題，這些問題需要和最底層的程序打交道的， 且只有優(yōu)秀的程序員才能解決的，而是讓大數(shù)據(jù)分析師專注于業(yè)務(wù)流程進(jìn)行簡單的mapredce程序編寫，也就是說大數(shù)據(jù)分析師只需要知道簡單的mapreduce程序設(shè)計(jì)流程就可以了，不需要成為優(yōu)秀的JAVA、Python程序員。hadoop框架的這種簡單的設(shè)計(jì)思想，再加上它開源的特性，使其一開始就受到很多主流的互聯(lián)網(wǎng)公司所采用，接下來的事情就順理成章了，它成為全球最成功的解決大數(shù)據(jù)分析的分布式計(jì)算技術(shù)。區(qū)別于小數(shù)據(jù)采集，大數(shù)據(jù)采集不再僅僅使用問卷調(diào)查、信息系統(tǒng)的數(shù)據(jù)庫取得結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)的來源有很多，主要包括使用網(wǎng)絡(luò)爬蟲取得的網(wǎng)頁文本數(shù)據(jù)、使用日志收集器收集的日志數(shù)據(jù)、從關(guān)系型數(shù)據(jù)庫中取得的數(shù)據(jù)和由傳感器收集到的時(shí)空數(shù)據(jù)等等，而一些圖像和語音數(shù)據(jù)由于需要高端技術(shù)才能使其變成可以被普通的大數(shù)據(jù)分析師所需要的數(shù)據(jù)而變得不那么親切，因此從現(xiàn)有的應(yīng)用看可以暫時(shí)不用考慮。CDA-hadoop大數(shù)據(jù)分析師培訓(xùn)團(tuán)隊(duì)2015年5月7日想來生活，從來就不是陽春白雪的神話。光陰的陌上，總有風(fēng)自八方來，或許是憂凄，也許是歡喜 ,無論怎樣，都是歲月最真的饋贈(zèng)。待到老去的那一日，偶爾有回憶念及了過往，依舊還會(huì)有初初的心動(dòng)，流轉(zhuǎn)了眉眼。而那一路迤邐而來的美好，一步一步寫就兩個(gè)梅花小楷 ——日常。暖陽小窗，無事此靜坐。杯盞光陰，又在指間如風(fēng)輕過，回首，依稀還是那年秋，低低一低眉，卻已是春光葳蕤。光陰荏苒，而流年從來也不曾缺少錯(cuò)亂和猶疑。是否在這樣一個(gè)萬物復(fù)蘇的季節(jié)里，一切的紛擾是非，終究會(huì)給出一個(gè)水落石出的答案。輕倚初春的門楣，且把盞清風(fēng)，問心明月，讓來者可來，去者可去，宿命里的擁有，一一欣喜悅納。而我也只需以花香繞肩的美，步履從容的，走過生命里的山山水水。若說，那一程走舊的時(shí)光，已然溫暖了我的眉眼。那么，在明日那個(gè)花滿枝椏的清晨，我依舊愿意輕踮了腳尖，重行在與你初見的陌上，只待，與你折柳重逢。然后，在你溫?zé)岬亩?，把一些前生來世的故事，反?fù)的吟唱。只盼，你在莞爾低眉時(shí)，與我輕輕的相和。所謂素年錦時(shí)，或許就是這樣的一程光陰吧。私心里常想，最好的感覺，莫過于煨一味小眾煙火，暖一世紅塵時(shí)日，對(duì)坐心愛之人，行做歡喜之事。即使