《大數據時代》個人心得筆記1720字

1、好書分享大數據時代個人心得筆記1720 字 通過讀 Viktor Mayer Schonberger 的大數據時代重新認真思考了大數據，全書以數據為核心，引導人們用數據的思維去理解世界，用數據的思維去解決問題， 是推薦讀物。 但個人認為本書叫 數據時代 更為合適，因其講了不少統(tǒng)計學、數據收集的故事， 大數據 的故事只占一小部分。維基百科說大數據由巨型數據集組成，這些數據集大小常超出常用軟件在可接受時間下的收集、庋用、管理和處理能力，或稱巨量數據、海量數據、大資料，大數據的常見特點是 3V ： Volume 、 Velocity 、 Variety 。規(guī)模巨大的數據未必是大數據，需滿足她的三個特

2、點。以研究擲硬幣概率的實驗為例，當傳統(tǒng)實驗次數達到一定規(guī)模后就能幫助實驗者分析正反面出現的概率，隨著實驗次數的增加，數據大量積累可能越來越支持這一結論，數據達到一定量，它的邊際效應就出現了，數據繼續(xù)增加對分析概率還有多少意義呢？按照現代概率學伯努利試驗去帶入函數計算就好了， 這僅算是概率學或者是統(tǒng)計學吧。 故大數據不是因為單純體積大而大，是因為雜而大，研究硬幣正反面的概率如引入天文學、心理學、材料學、物理學等領域的數據而使之變大，進而研究關聯關系（或因果關系，注：本書不認同因果關系的重要性），從而得出概率的分布，然而大量相關數據的引入， 按照傳統(tǒng)分析過程的時間是不可接受的， 需利用高效計算資源

3、，迅速把雜而大的處理結果呈現出來，并且實驗者對結果的預期不能要求100% 的精確。大數據并不是數據本身，而是一種思維方式。大數據令人著迷的地方在于用科學的辦法挑戰(zhàn)了 預測學 ， 幫助人們發(fā)現未知， 幫忙人們進行決策。 然而本書作者 Viktor Mayer Schonberger強調大數據不是因果關系，而是相關關系， 相關關系比因果關系更重要，此觀點不能認同，因果關系是宇宙的基本定律，且不說種瓜得瓜、善有善報之類哲學命題，若商家在發(fā)現電容器、釘子、高壓鍋有關聯購買關系而去做大量營銷的話豈不是有可能發(fā)生更多的波士頓爆炸案。關聯關系在大數據中被提取出來使用，而不去關心因果關系是一種粗暴的、倒退的處

4、理方式，是作者理解的現代社會浮躁的心里體現。我認為的大數據應該是把看起來不相干的數據放到一起分析，找到某些跨領域的關聯關系，進而推論因果關系，發(fā)現其中價值。作者引用了安德森的觀點 現在已經是一個有海量數據的時代， 應用數學已經取代了其他的所有學科工具，而且只要數據足夠，就能說明問題，數據和所有科學的關系，我覺得有點像現在互聯網和其他所有行業(yè)的關系一樣，互聯網終究還是一個工具。作者舉了沃爾瑪尿布與啤酒 。的故事，這也是大家熟知的一個數據分析的故事，但是沃爾瑪真的是這么做的嗎？大家可以去沃爾瑪的時候留意一下。一家大型的超市，如果為了這種所謂相關關系，所有商品用這種關聯關系去擺放，天哪，這將是一家多

5、么混亂的超市，顧客進去將難以區(qū)分食品在哪、生活用品在哪！有人可能說這種關聯關系更適合電子商務，是的，但是我還是比較看好已知原因的關聯關系，比如嬰幼兒智力玩具和孕婦減肥放到一起，比如在線播放器旁邊放衛(wèi)生紙的廣告（哈哈哈，你懂的）。本書用美國折扣零售店 塔吉特與懷孕預測。來佐證他的觀點，但恰恰是知道因果關系后商業(yè)價值才能更多的體現出來，未知因果關系前顧客的父親生氣并要求賠償，知道因果關系后才使得這種廣告理所應當并讓客戶接受。互聯網信息時代數據的積累以及BI 、數據倉庫、 人工智能、 HADOOP 、NOSQL 等技術的流行，使得人們考慮問題的方式已經發(fā)生變化，接下來我們要做的只有接受擁抱數據時代、大數據時代。軟件行業(yè)程序上線的變更差錯率是一個考核IT 水平的指標，為此很多公司引進了 CMMI 體系，以求他保障軟件的質量， 為此也收集了大量的過程數據。 若用數據的思維，是否可能根據之前的各種相關數據預測下次投產變更的成功率？若用大數據的思維， 是否可以根據CMMI 數據以及程序員開發(fā)期間上下班考勤數據、工資發(fā)放時間、上線當天天氣情況來綜合預測投產變更的成功率？用大數據的思維，訂餐網站不僅根據之前你定的是咸的還是辣的來給你推薦菜單，可能因為你微博上發(fā)了一句 每個月總有那么幾天修改了訂餐的推薦菜單（哈哈）！故在數據時代，提議童