大數(shù)據(jù)時代讀書筆記

《大數(shù)據(jù)時代》讀書筆記“大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。就像望遠鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式，成為新發(fā)明和新服務的源泉，而更多的改變正蓄勢待發(fā)……”大數(shù)據(jù)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。本書作者舍恩伯格在大數(shù)據(jù)領域是最受人尊敬的權威發(fā)言人之一。他二十多年來一直致力于網(wǎng)絡經(jīng)濟、信息與創(chuàng)新、信息監(jiān)管、網(wǎng)絡規(guī)范與戰(zhàn)略管理方面的研究，從維也納大學到哈佛大學，從新加坡國立大學到牛津大學，世界上最著名的互聯(lián)網(wǎng)研究學府都留下了他的足跡。開闊的學術視野與系統(tǒng)的學術造詣，更讓他不斷為企業(yè)與商業(yè)應用提供強大的理論支持。他的咨詢客戶包括微軟、惠普、IBM、亞馬遜、facebook、twitter、VISA等大數(shù)據(jù)先鋒們，所以在《大數(shù)據(jù)時代》一書中，他將掌握的最前沿的大數(shù)據(jù)應用案例給予充分的分析，并對大數(shù)據(jù)的價值鏈與角色定位給予清晰的預見。作者將本書分為3個部分：大數(shù)據(jù)時代的思維變革、大數(shù)據(jù)時代的商業(yè)變革、大數(shù)據(jù)時代的管理變革。第一部分提出了大數(shù)據(jù)時代處理數(shù)據(jù)理念上的三大轉(zhuǎn)變：抽樣=全體；要效率不要絕對精確；要相關不要因果；第二部分作者從萬事萬物數(shù)據(jù)化和數(shù)據(jù)交叉復用的巨大價值兩個方面，講述驅(qū)動大數(shù)據(jù)戰(zhàn)車在材質(zhì)和智力方面向前滾動的最根本動力；最后一部分，作者描繪了大數(shù)據(jù)帝國前夜的脆弱和不安，包括產(chǎn)業(yè)生態(tài)環(huán)境、數(shù)據(jù)安全隱私、信息公正公開等問題。文中提出的一個觀點是，預測是大數(shù)據(jù)的核心。其實從過去的時代人們就利用掌握的數(shù)據(jù)進行各種分析，從而對經(jīng)濟等各方面進行預測、矯正。只是進入了大數(shù)據(jù)時代人們掌握的數(shù)據(jù)爆炸性的速度在增長，從而數(shù)據(jù)的存儲和分析數(shù)據(jù)分方法成了釋放大數(shù)據(jù)能量的關鍵。關于不是隨機樣本而是整體數(shù)據(jù)中。作者指出了隨機取樣是小數(shù)據(jù)時代用最少的數(shù)據(jù)獲取最大價值的做法。作者用大數(shù)據(jù)與喬布斯的癌癥治療例子說明了使用全部數(shù)據(jù)而非樣本的意義。喬布斯成為世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。喬布斯曾開玩笑說“我要么是第一個通過這種方式戰(zhàn)勝癌癥的人，要么就是最后一個因為這種方式死于癌癥的人”。雖然最后難免死于癌癥但這種獲得所有數(shù)據(jù)而不是僅樣本的方法將他的生命延長了幾年。同樣，從事跨境匯款業(yè)務的Xoom公司偵破一起犯罪集團的詐騙也是由于使用了整體數(shù)據(jù)。初此之外，他還列舉了日本“相撲”等來證明使用全體數(shù)據(jù)的重要性。另一個例子是2009年H1N1流行病毒背景下谷歌通過檢測檢索詞條，處理了4.5億個不同的數(shù)據(jù)模型，通過預測并與2007年、2008年美國疾控中心記錄的實際流感病例進行對比后，確定了45條檢索詞條組合，并將其用于一個特定的數(shù)學模型后，預測的結果與官方數(shù)據(jù)的相關系數(shù)高達97%。按照傳統(tǒng)的信息返回流程，通告新流感病毒病例將有一到兩周的延遲。對于飛速傳播的疾病，信息滯后兩周是致命的。而谷歌運用大數(shù)據(jù)技術，以前所未有的方式，通過海量數(shù)據(jù)分析得出流感所傳播的范圍，為世界預測流感提供了一種更快捷的預測工具。Farecast公司是一個成功的典型范例。該公司由奧倫埃齊奧尼創(chuàng)辦，利用機票的銷售數(shù)據(jù)來預測未來的機票價格，旨在幫助用戶在購買機票方面做出預測，并對機票價格走勢預測的可信度標示出來供消費者查考。Farecast系統(tǒng)利用近十萬億條價格記錄預測的準確度達75%，使得使用Farecast票價預測工具購買機票的旅客，平均每張機票節(jié)約50美元。而處理如此多的數(shù)據(jù)離開了大數(shù)據(jù)技術將無法進行。大數(shù)據(jù)給社會帶來的益處將是多方面的。因為大數(shù)據(jù)已經(jīng)成為解決緊迫世界性問題，如抑制全球變暖、消除疾病、提高執(zhí)政能力和發(fā)展經(jīng)濟的一個有力武器。但是大數(shù)據(jù)時代也向我們提出了挑戰(zhàn)，我們要做好充足的準備迎接大數(shù)據(jù)技術給我嘛的機構和自身帶來的改變也正是由于我們進入了一個前所未有的信息化時代，人們擁有了如此多的數(shù)據(jù)，才提供給我們利用大數(shù)據(jù)的分析處理手段，創(chuàng)造新的價值。也許有人以為我們大數(shù)據(jù)時代的還未來臨。其實大數(shù)據(jù)技術早已滲透到我們中間，它被應用在垃圾郵件的過濾，新浪微博技術平臺，谷歌翻譯以及輸入文字的自動糾錯等。作者同時也指出隨著數(shù)據(jù)使用的越來越多，其得出的結果并一定能越來越精確，畢竟數(shù)據(jù)不能保證百分之百的正確，特別是大數(shù)據(jù)時代各種結構化與非結構化類型的數(shù)據(jù)聚集在一起難免導致結果的不太精確。大數(shù)據(jù)時代要求我們重新審視精確性的優(yōu)劣。作者特別舉了谷歌翻譯成功的例子。谷歌翻譯之所以優(yōu)于IBM的Candide系統(tǒng)并不是因為它擁有更好的算法機制。和微軟的班科和布里爾一樣，谷歌翻譯增加了各種各樣的數(shù)據(jù)，并且接受了有錯誤的數(shù)據(jù)。（其語庫來自于未經(jīng)過濾的網(wǎng)頁內(nèi)容，會包含一些不完整的句子、拼寫錯誤、語法錯誤以及其他各種錯誤）在不是因果關系，而是相關關系的篇章中。作者指出在大數(shù)據(jù)時代往往知道是什么要比知道為什么來的更實在。作者列舉了林登的亞馬遜推薦系統(tǒng)的成功，證實了大數(shù)據(jù)在分析相關性方面的優(yōu)勢以及在銷售中獲得的成功。沃爾瑪也是充分利用并挖掘各類數(shù)據(jù)信息的先鋒和代表，從以前廣為人事的啤酒和尿布的案例，以及作者舉的有關蛋撻和颶風天氣的案例，都說明了掌握了相關關系對于其策略的幫助。建立在相關關系分析法基礎上的預測是大數(shù)據(jù)的核心。Aviva保險公司利用幾百種生活方式的數(shù)據(jù)，如愛好、長瀏覽網(wǎng)頁等間接的預測出哪些人更可能患高血壓、糖尿病和抑郁癥。UPS國家快遞公司通過使用預測性分析檢測其全美6萬輛車隊。進行防御性的修理，節(jié)約巨大得的成本。這些都充分顯示了大數(shù)據(jù)在預測方面的優(yōu)勢。谷歌翻譯增加了各種各樣的數(shù)據(jù)，并且接受了有錯誤的數(shù)據(jù)。（其語庫來自于未經(jīng)過濾的網(wǎng)頁內(nèi)容，會包含一些不完整的句子、拼寫錯誤、語法錯誤以及其他各種錯誤）在不是因果關系，而是相關關系的篇章中。作者指出在大數(shù)據(jù)時代往往知道是什么要比知道為什么來的更實在。作者列舉了林登的亞馬遜推薦系統(tǒng)的成功，證實了大數(shù)據(jù)在分析相關性方面的優(yōu)勢以及在銷售中獲得的成功。沃爾瑪也是充分利用并挖掘各類數(shù)據(jù)信息的先鋒和代表，從以前廣為人事的啤酒和尿布的案例，以及作者舉的有關蛋撻和颶風天氣的案例，都說明了掌握了相關關系對于其策略的幫助。建立在相關關系分析法基礎上的預測是大數(shù)據(jù)的核心。Aviva保險公司利用幾百種生活方式的數(shù)據(jù)，如愛好、長瀏覽網(wǎng)頁等間接的預測出哪些人更可能患高血壓、糖尿病和抑郁癥。UPS國家快遞公司通過使用預測性分析檢測其全美6萬輛車隊。進行防御性的修理，節(jié)約巨大得的成本。這些都充分顯示了大數(shù)據(jù)在預測方面的優(yōu)勢。大數(shù)據(jù)時代將要釋放的巨大價值使得我們選擇大數(shù)據(jù)的理念和方法不再是一種權衡，而是通往未來的必然改變。但是在我們達到目的之前，我們有必要了解怎樣才能到達。接下來進入本書第二部分：大數(shù)據(jù)時代的商業(yè)變革。莫里繪制導航圖的例子告訴我們，遠在信息數(shù)字化之前，對數(shù)據(jù)的運用就已經(jīng)開始了。莫里利用大量的人力去分析多年保存的航海記錄，他從這些大量的數(shù)據(jù)中獲取到新的利用價值。繪制的圖表幫助商人節(jié)約一大筆錢，使年輕的海員們間接獲取了成千上萬名經(jīng)驗豐富的航海家的指導。日本先進工業(yè)技術研究所越水重臣教授通過安裝壓力傳感器將人屁股特征數(shù)據(jù)化，進而形成對乘客身份的特征識別。這項技術為汽車防盜系統(tǒng)提供了方案。D公司，致力于為顧客預測商品的價格，通過收集處理海量的價格信息，預測準確率高達77%，幫助顧客在購買一個產(chǎn)品時節(jié)約了大約100美元。MasterCardd.Advisor部門通過分析來自210個國家的15億信用卡用戶的650億條交易記錄，分析得出商業(yè)發(fā)展和客戶消費趨勢，如通過分析發(fā)現(xiàn)如果一個人下午四點左右給汽車加油的話，他很可能在接下來的一個小時內(nèi)去購物或者去餐館吃飯，且在這一小時里大約花費35到40美元。商家正可以利用這個分析結果，在加油的小票背面附加上附近商店的優(yōu)惠券。這些例子都證明了大數(shù)據(jù)蘊藏著巨大的商業(yè)價值。收集信息固然至關重要，但還遠遠不夠，因為大部分的數(shù)據(jù)價值在于它的使用，而不是占有本身。數(shù)據(jù)的價值是其所有可能用途的總和。這些似乎無限的潛在用途就像是選擇，這里不是指金融工具意義上的選擇，而是實際意義上的選擇。這些選擇的總和就是數(shù)據(jù)的價值，即數(shù)據(jù)的“潛在意義”。根據(jù)提供價值的不同來源，大數(shù)據(jù)價值鏈包括三大構成部分。包括第一種是基于數(shù)據(jù)本身的公司。這些公司擁有大量數(shù)據(jù)或者至少可以收集到大量數(shù)據(jù)，卻不一定有從數(shù)據(jù)中提取價值或者用數(shù)據(jù)催生創(chuàng)新思想的技能。第二種是基于技能的公司。它們通常是咨詢公司、技術供應商或者分析公司。它們掌握了專業(yè)技能但并不一定擁有數(shù)據(jù)或者提出數(shù)據(jù)創(chuàng)性用途的才能。比如說，沃爾瑪和Pop-Tarts這兩個零售商就是借助天睿公司的分析來獲得營銷點子，天睿就是一家大數(shù)據(jù)分析公司。第三種是基于思維的公司。皮特.華登，Jetpac的聯(lián)合創(chuàng)始人，就是通過想法獲得價值的一個例子，他通過用戶分享到網(wǎng)上的旅行照片來為人們推薦下一次旅行目的地。對于某些公司來說，數(shù)據(jù)和技能并不是成功的關鍵。挖掘數(shù)據(jù)的新價值的創(chuàng)新思維才是這些公司脫穎而出的優(yōu)勢所在。大數(shù)據(jù)成為許多公司競爭力的來源，未來可能整個行業(yè)的結構會發(fā)生改變，大公司和小公司最有可能成為贏家。如今的核心競爭力在于快速而廉價地進行大量的數(shù)據(jù)存儲和處理。當然公司要根據(jù)自己的情況進行調(diào)整。大數(shù)據(jù)向小數(shù)據(jù)時代的贏家以及那些線下大公司（如沃爾瑪、聯(lián)邦快遞、寶潔公司、雀巢公司、波音公司）提出了挑戰(zhàn)。同時，大數(shù)據(jù)也為小公司帶來了機遇。大數(shù)據(jù)也將會影響國家競爭力。當制造業(yè)已經(jīng)大幅轉(zhuǎn)向發(fā)展中國家，而大家都爭相發(fā)展創(chuàng)新行業(yè)的時候，工業(yè)化國家因為掌握了數(shù)據(jù)以及大數(shù)據(jù)技術，所以仍然在全球競爭中占據(jù)優(yōu)勢，但這個優(yōu)勢很難持續(xù)。隨著技術的發(fā)展，西方世界在大數(shù)據(jù)技術的優(yōu)勢將會慢慢消失。對于大公司而言，好消息是大數(shù)據(jù)技術可以加劇優(yōu)勝劣汰。一旦公司掌握了大數(shù)據(jù)，它不但可能超過對手還可能遙遙領先。數(shù)據(jù)價值的關鍵是看似無限的再利用，即它的潛在價值。文章第三部分講了大數(shù)據(jù)帶來無數(shù)好處的同時帶來的不良影響以及如何面對這些影響。包括如數(shù)據(jù)的收益的處理問題以及數(shù)據(jù)中用戶資料的隱私和決策過程帶來的影響。作者在保護個人隱私方面提出了幾種想法。一種是使用數(shù)據(jù)時征詢數(shù)據(jù)所有個人的知曉和授權。第二個技術途徑就是匿名化。作者同時也指出了這兩種方式的難度。一方面收集到的數(shù)據(jù)可能會被后續(xù)的多次利用。另一方面，匿名化會在數(shù)據(jù)收集越來越多和數(shù)據(jù)的相互結合關聯(lián)使用時變得無效。作者列列舉電影《少數(shù)派報告》的情節(jié)說明越來越依賴數(shù)據(jù)時，大數(shù)據(jù)可能將我們禁錮在可能性之中。當然通過分析犯罪的常發(fā)地與常發(fā)時間，合理安排警力會對治安防范提供不小的幫助。作者還指出不能盡信數(shù)據(jù)的分析結果，因為不能保證獲取分析結果來源的數(shù)據(jù)準確性。大數(shù)據(jù)在給我們生活提供便利的同時，也讓隱私保護的法律手段失去了作用。我們必須杜絕對數(shù)據(jù)的過分依賴。在高速邁進大數(shù)據(jù)時代的同時，人類信息管理準則需要重新定位，這將帶動社會核心價值觀的轉(zhuǎn)變。大數(shù)據(jù)時代，對原有規(guī)范的修修補補已經(jīng)不足以抑制大數(shù)據(jù)帶來的風險。保護個人隱私就需要對個人數(shù)據(jù)處理器對其政策和行為承擔更多責任。同時必須重新定義公正的概念，以確保人類行為的自由。作者提出了解決這些問題的方向。如個人隱私保護方面，可以讓使用者承擔更多的社會責任。將責任從民眾轉(zhuǎn)移到數(shù)據(jù)使用者有很多意義，也有充分的理由。因為他們更清楚將如何使用數(shù)據(jù)且是數(shù)據(jù)應用最大的受益者。關于公正方面簡單的講就是個人可以并應為他們的行為而非傾向負責。就像公司有內(nèi)部會計和外部審計人員一樣，大數(shù)據(jù)時代，公司將設臵專門的人員--內(nèi)部和外部算法師對大數(shù)據(jù)活動進行監(jiān)督。還有可能出現(xiàn)第三方的機構對大數(shù)據(jù)行為進行監(jiān)督和衡量。作者甚至考慮到對大數(shù)據(jù)存在的壟斷情況進行分析并在反壟斷反面給了建議。最后結語中作者提出大數(shù)據(jù)提供給人們的只是參考答案，提醒我們在利用這個工具時要銘記人類的作用是無法完全替代的。大數(shù)據(jù)時代是信息化社會發(fā)展必然趨勢，我們只有緊緊跟隨時代發(fā)展的潮流，在技術上、制度上、價值觀念上做出迅速調(diào)整并牢牢跟進，才能在接下來新一輪的國際競爭中擺脫受制于人的弱勢境地，才能把握發(fā)展的方向，沖破與西方國家的差距。對于一個國家如此，對于一個企業(yè)亦是如此。在如此快速的到來的大數(shù)據(jù)時代，我們還有很多知識需要學習，許多思維需要轉(zhuǎn)變，許多技術需要研究。公司的規(guī)劃中，也需充分考慮到大數(shù)據(jù)對于公司的未來發(fā)展所帶來的機遇和挑戰(zhàn)。對于掌握大量數(shù)據(jù)的公司，需要考慮有多少數(shù)字化的數(shù)據(jù)，又有哪些可以通過大數(shù)據(jù)的分析處理而帶來有價值的用途？比如國內(nèi)目前的社交網(wǎng)站，購物網(wǎng)站等都掌握了用戶的大量的數(shù)據(jù)信息。對于沒有掌握數(shù)據(jù)的小公司來說，在大數(shù)據(jù)時代制勝的良藥也許是創(chuàng)新的點子，也許可以利用外部的數(shù)據(jù)，通過多維化、多層面的分析給其他企業(yè)或個人帶來價值。從國家層面來講，要做好各方面的規(guī)劃和政策調(diào)整的準備。如對隱私的保護等需新的法律法規(guī)進行規(guī)范。然而，在大數(shù)據(jù)時代，關于公正的概念需要重新定義以維護個人動因的想法：人們選擇自我行為的自由意志。簡單地說，就是個人可以并應該為他們的行為而非傾向負責。大數(shù)據(jù)時代，大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。大數(shù)據(jù)正在把我們變成新的物種，體驗新的世界。大數(shù)據(jù)改變了我們的思維模式、生產(chǎn)方式、生活方式。我們學著接受數(shù)據(jù)的混亂，探尋相關關系而不是因果關系，雖然實際上我們還是習慣于從因果關系尋求事物的關系?，F(xiàn)在互聯(lián)網(wǎng)技術的發(fā)展使得我們的生活更加便利，網(wǎng)上購物、網(wǎng)上繳費、娛樂、學習……正如書中所說，我們時刻都暴露在“第三只眼”之下：亞馬遜監(jiān)視著我們的購物習慣，谷歌監(jiān)視著我們的網(wǎng)頁瀏覽習慣，而微博似乎什么都知道，不僅竊聽到了我們心中的“TA”，還有我們的社交關系網(wǎng)。各種瀏覽器監(jiān)視著我們的網(wǎng)頁瀏覽習慣，淘寶、天貓、當當?shù)缺O(jiān)視著我們的購物習慣，微博、QQ等社交軟件監(jiān)視著我們的社交關系網(wǎng)，移動通訊器監(jiān)視著我們的位置……我們時刻暴露在“第三只眼”下，有時會造成我們的恐慌，我們會覺得自己的隱私不再“隱私”。因此，關于保護人的隱私的制度、方法也得與時俱進。匿名化、模糊化、