認識大數(shù)據(jù)(一)

也談大數(shù)據(jù)（一）記錄中的世界2015年9月24日孫波今天去聽了個講座，關(guān)于大數(shù)據(jù)和云計算，主講老師主要圍繞大數(shù)據(jù)的一些基礎(chǔ)和應(yīng)用示例以及數(shù)據(jù)安全方面，有一點收獲，有一點想法，很多老師沒有提到的東西，還有些自己對大數(shù)據(jù)理解已經(jīng)沉淀很久了，特此寫下來。主要是關(guān)于大數(shù)據(jù)的認識。一、大數(shù)據(jù)的概念講座上，老師講的大數(shù)據(jù)概念，幾乎和百度百科上的一樣：大數(shù)據(jù)（bigdata），是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。然而這樣的“大數(shù)據(jù)”對我們又有什么價值呢？我覺得，我們所提到的大數(shù)據(jù)，必須是以能從中挖掘出一定價值的，能指導(dǎo)我們現(xiàn)實生活作為前提條件的。我理解的大數(shù)據(jù)有兩個層面：1、廣義的大數(shù)據(jù)概念。廣義的大數(shù)據(jù)，就是“人類通過信息化手段將現(xiàn)實世界記錄為數(shù)據(jù)的集合”?；蛘哒f，其本質(zhì)是在人類世界目前的所有信息化系統(tǒng)下，產(chǎn)生的數(shù)據(jù)集合，這些數(shù)據(jù)匯集成一個映射現(xiàn)實世界的虛擬信息世界。這個虛擬信息世界的所有數(shù)據(jù)，即廣義大數(shù)據(jù)，也就是說，廣義的大數(shù)據(jù)有且只有一個。2、狹義的大數(shù)據(jù)概念狹義的大數(shù)據(jù)概念，是指圍繞某一對象，以及某一時間范圍進行考察，該對象在該段時間內(nèi)通過各種信息化途徑產(chǎn)生的數(shù)據(jù)的集合，稱之為“大數(shù)據(jù)”。這里引入“對象”的概念，是建立在我前面提出的“大數(shù)據(jù)必須是有價值的”這一基礎(chǔ)上的，要讓大數(shù)據(jù)產(chǎn)生價值，就要有目的性的去挖掘、分析、統(tǒng)計，并為某些對象提供服務(wù)，就好像肉對狗有價值，草對羊有價值，考察對象至關(guān)重要。二、三個世界為了進一步闡述我的大數(shù)據(jù)觀點，這里我提出“三個世界”的觀點，所謂三個世界，是指“客觀世界”、“記錄世界”、“認知世界”1、客觀世界“客觀世界”指的是唯物主義理論中的世界，它不以人類的認知為界限，不為人類的意識所改變。是一個客觀現(xiàn)實，不管人類是否探索到，或者是否了解，是否理解。2、記錄世界“記錄世界”可以說是數(shù)字化的“客觀世界”，是人類在生產(chǎn)、生活過程中對“客觀世界”的發(fā)現(xiàn)和有意或者無意的信息記錄。一定程度上是對“客觀世界”的信息化映射。3、認知世界“認知世界”是指人類對客觀世界的認知，從而產(chǎn)生了一個在人類文明中的“世界”，這個世界里包含了人類各個歷史階段各個層次的文明，從地心說到日心說，牛頓定律到相對論等等，也是指人類科學(xué)和社會意識形態(tài)中所理解的“世界”?！罢J知世界”是人類試圖去探索“客觀世界”，去理解“客觀世界”的成果。通?！罢J知世界”是一部分人類專注于對“記錄世界”的分析研究和歸納總結(jié)后產(chǎn)生的。為了更好的說明這三個世界，我舉一個例子。描述1：孫波生活在地球上，地球上經(jīng)常有火山噴發(fā)。描述2：孫波每次打噴嚏都會寫進日記。地球上每次火山噴發(fā)也都有人類記錄。描述3：若干年后，通過這些記錄，人們有一個驚人的發(fā)現(xiàn)：孫波每打100個噴嚏，就正好會有一座火山噴發(fā)，于是科學(xué)家推導(dǎo)出這個理論：每當孫波打噴嚏的次數(shù)能被100整除，就會發(fā)生火山噴發(fā)。從此，每當孫波打90個噴嚏的時候，火山周圍的村民就會搬遷或者躲到地下。上面三個描述，描述1就是客觀世界，描述2就是記錄世界，描述3就是認知世界。雖然例子舉得荒誕，但是人類文明就是在這樣三個世界中輪轉(zhuǎn)進步的，比如太陽歷和月亮歷的建立，看云、看日暈、看月暈識天氣，等等那些古老的常識，就是通過對客觀世界的觀察記錄，然后再在記錄中分析總結(jié)，得出結(jié)論，人類對這些推導(dǎo)和理論，在一開始往往是知其然而不知其所以然的，新的研究會解答之前的疑問，卻會帶來新的問題。事實上，人類科學(xué)文明就好比在剝一個由客觀現(xiàn)實做成的洋蔥，每剝開一層就是科學(xué)文明有一次進步，這個洋蔥會越剝越小，但是永遠剝不到核心，可以一直剝下去。這個就像兒子問我的問題：“為什們蜻蜓低飛就是要下雨了？”，“因為下雨前氣壓低濕度大，飛蟲翅膀濕了飛不高”；“為什么翅膀濕了就飛不高？”，“因為小水珠比較重！”；“為什么小水珠重？”，“因為水的密度比空氣大！”；“為什么水的密度大就重？”，“因為萬有引力，質(zhì)量越大，引力越大！”，“什么是萬有引力？”“……”。其實，當年勞動人民看到低飛的蜻蜓就知道要下雨，根本不知道后面這么多為什么。而萬有引力也不是問題的終點，至少目前的相對論指出：萬有引力的根本是質(zhì)量對時空的扭曲。而即便是大名鼎鼎的“相對論”，我兒子也能大膽的問上更多個“為什么？”三、記錄世界的重要性很多時候，人類對客觀世界進行了記錄，然后要在很久之后才能發(fā)現(xiàn)其中的規(guī)律，產(chǎn)生新的認知理論。因此，記錄世界是人類主觀意識下，對客觀世界的映射，而其中蘊藏的秘密，或許等待著我們?nèi)グl(fā)現(xiàn)。如實、客觀、標準化的記錄，并且該記錄可以長期保存，準確還原，這樣的記錄具有最大的價值。四、“大數(shù)據(jù)”時代為什么現(xiàn)在到來進行捕捉、管理和處理”，但是讓“記錄世界”的各項記錄標準化，是更加有利于大數(shù)據(jù)融合的，前面說的，對什么地方的人的購物習(xí)慣的大數(shù)據(jù)分析就是基于身份證號碼和手機號碼的標準化。2、客觀記錄盡可能多和真實的數(shù)據(jù)比如淘寶系統(tǒng)，或者陽光太倉人才網(wǎng)。在開發(fā)設(shè)計系統(tǒng)時，用戶什么時候下單，求職者什么時候應(yīng)聘，數(shù)據(jù)記錄中可以精確到日，也能精確到秒，可以保留ip地址信息，也能不保留。但是，如今的信息技術(shù)，讓記錄更加精確的數(shù)據(jù)的代價變得很小，有些數(shù)據(jù)，雖然以目前的眼光或者以割裂的方式來看價值不大，但是還是應(yīng)該盡可能去記錄，也就是說，在代價不大的情況下“記錄世界”越詳細越好，越有利于大數(shù)據(jù)的應(yīng)用。3、找到融合點產(chǎn)生新價值我們知道，畫一個坐標系，如果橫坐標是時間，縱坐標是速度，記錄數(shù)據(jù)呈現(xiàn)的斜率就是加速度。如果橫坐標是時間，縱坐標是路程，那么記錄數(shù)據(jù)呈現(xiàn)的斜率就是速度。類似的二維表在統(tǒng)計學(xué)上經(jīng)常被使用，其實就是兩組數(shù)據(jù)的有機融合，產(chǎn)生了一個對我們有價值的信息。在人力資源方面，比如學(xué)歷+薪酬，年齡+工傷概率，籍貫+離職率，等等大數(shù)據(jù)融合，都能產(chǎn)生新的信息。要善于尋找融合點，很多看似無關(guān)的數(shù)據(jù)記錄把他們?nèi)诤掀饋?，可以得出奇妙的信息。并且大?shù)據(jù)的融合可以是多維的！（注：“信息”指有價值的數(shù)據(jù)）4、大數(shù)據(jù)挖掘的信息要發(fā)揮指