大數(shù)據(jù)的十大來源及其應(yīng)用價值

大數(shù)據(jù)的十大來源及其應(yīng)用價值當你開車路過一家餐廳的停車場時，你的手機屏幕上彈出了這家餐廳的當日特價菜品推薦，這種體驗是不是很棒？如果賭場老板把發(fā)牌人忘記付給你的20美元親自送還給你，你的心里是不是有點兒小激動？如果在線視頻游戲能夠把和我們玩法相近的用戶即刻告知我們，這世界會不會變得很美妙？你是不是要下調(diào)汽車保險費率？大數(shù)據(jù)能讓這一切變成現(xiàn)實。網(wǎng)絡(luò)數(shù)據(jù)即使不是最原始的大數(shù)據(jù)源，也是使用最廣泛、認可度最高的大數(shù)據(jù)源。除此之外，還有很多大數(shù)據(jù)源，它們都有各自的使用價值。其中一些廣為人知，而另一些幾乎沒有名氣。我們在此要借用本章的篇幅一起來回顧除網(wǎng)絡(luò)數(shù)據(jù)以外的其他9種大數(shù)據(jù)源以及它們的用途。我們將站在一個較高的層次上講解這部分內(nèi)容，意圖是在簡單描述各類數(shù)據(jù)源的基礎(chǔ)上，回顧每種大數(shù)據(jù)源的應(yīng)用與商業(yè)含義。我們發(fā)現(xiàn)了一個非常明顯的趨勢，各行各業(yè)雖然生成了許多大數(shù)據(jù)源，但其底層的支撐技術(shù)卻是相同的。而且，不同行業(yè)還可以使用相同的大數(shù)據(jù)源。大數(shù)據(jù)并非只有單一的用途，它的影響將會非常深遠。我們將要討論以下幾種大數(shù)據(jù)源。汽車保險業(yè)：車載信息服務(wù)數(shù)據(jù)的價值。多個行業(yè)：文本數(shù)據(jù)的價值。多個行業(yè)：時間數(shù)據(jù)與位置數(shù)據(jù)的價值。零售制造業(yè)：RFID數(shù)據(jù)的價值。電力行業(yè)：智能電網(wǎng)數(shù)據(jù)的價值。博彩業(yè)：籌碼跟蹤數(shù)據(jù)的價值。工業(yè)發(fā)動機和設(shè)備：傳感器數(shù)據(jù)的價值。視頻游戲：遙測數(shù)據(jù)的價值。電信業(yè)與其他行業(yè)：社交網(wǎng)絡(luò)數(shù)據(jù)的價值。汽車保險業(yè)：車載信息服務(wù)數(shù)據(jù)的價值車載信息服務(wù)在汽車保險行業(yè)中的關(guān)注度非常高。車載信息服務(wù)是通過汽車內(nèi)置的傳感器和黑盒來收集和掌握車輛的相關(guān)信息。我們可以配置不同的方案，使用黑盒來監(jiān)測所有的汽車數(shù)據(jù)。我們可以監(jiān)測車速、行駛里程，以及汽車是否安裝了緊急制動系統(tǒng)。車載信息服務(wù)數(shù)據(jù)能夠幫助保險公司更好地理解客戶的風險等級，并設(shè)置合理的保險費率。如果徹底地忽略隱私問題，車載信息服務(wù)裝置可以跟蹤到汽車去過的所有地點、何時到達的、以多快的速度、使用了汽車的哪些功能等。車載信息服務(wù)可以潛在地降低司機的保險費率，并提升保險公司的收益。它是怎樣做到在降低費率的同時提升收益呢？答案就在于保險公司要根據(jù)風險評估來進行保險定價。傳統(tǒng)的風險評估方法使用的是年齡、人口統(tǒng)計特征以及個人意外傷害歷史這類數(shù)據(jù)，它們只能提供高層次的概要信息。對于駕駛記錄沒有任何問題的車主，傳統(tǒng)方法根本沒辦法把他們和附近的其他人區(qū)分開。保險公司要未雨綢繆，并做好最壞的打算。它們要弄清楚哪些人放在哪個風險范圍上是最安全的，一般情況下，它們會先假定這些人的風險是位于該風險范圍較高的一端。汽車保險公司對車主的行為習慣和實際風險了解得越詳細，風險范圍就會越窄，同時認定范圍內(nèi)出現(xiàn)需要提升費率的最壞情況的可能性就會比較小。這就是為什么可以同時降低保險費率和提升收益的原因。如果保險公司認為投保個體的風險較好，那么保險公司將可以更好地了解每個人的風險狀況，預計必須支出的保費就不會發(fā)生太大變化。全球很多國家的保險公司都在使用車載信息服務(wù)，而且數(shù)量越來越多。早期項目的注意力放在從汽車上收集最少的信息，例如，它們并不關(guān)心汽車去過什么地方。早期項目跟蹤的是汽車開了多遠、什么時候開的車、是否超速和是否使用了大量的緊急制動。這些信息都是非?；镜男畔?，不牽涉到個人隱私，是故意設(shè)計成這樣的。因為避免了收集高度敏感的信息，所以才會被廣泛地接受。這個道理也同樣適用于商業(yè)車隊。如果保險公司了解到公司車隊更多的用車情況，那么它為公司車隊確定保險費率也就更容易。車載信息服務(wù)數(shù)據(jù)最初是作為一種工具出現(xiàn)的，它可以幫助車主和公司獲得更好的、更有效的車輛保險。再過一段時間，等到許多交通工具都安裝了車載信息服務(wù)裝置后，那時保險業(yè)以外的行業(yè)也可以使用車載信息服務(wù)數(shù)據(jù)了?，F(xiàn)在，公共汽車已經(jīng)有了車載計算機管理系統(tǒng)，但是車載信息服務(wù)設(shè)備可以將其提升到一個新的層次。車載信息服務(wù)數(shù)據(jù)還有一些有趣的應(yīng)用，我們來看一下這些應(yīng)用。使用車載信息服務(wù)數(shù)據(jù)如果車載信息服務(wù)真的開始大規(guī)模應(yīng)用，一定會出現(xiàn)許多令人興奮的分析應(yīng)用。想象一下，以后全國有數(shù)以千萬計的汽車都安裝了車載信息服務(wù)裝置，那時候第三方研究公司會以匿名的方式為客戶收集非常詳細的車載通信數(shù)據(jù)。與為保險收集的有限數(shù)據(jù)不同，這時數(shù)據(jù)收集是以分鐘或秒為頻率，且收集內(nèi)容包括但不限于速度、位置、方向和其他有用的信息。無論交通是否阻塞，無論什么日期，這種數(shù)據(jù)反饋方式都會提供大量的車載通信信息。研究人員可以知道每輛車在道路上的行駛速度，他們還可以知道車流開始的時間、結(jié)束的時間，以及持續(xù)的時間。這種真實的交通流信息視圖將會多么令人驚訝！試想這會對交通阻塞和道路系統(tǒng)規(guī)劃的研究產(chǎn)生多么大的影響！無心插柳柳成陰車載信息服務(wù)數(shù)據(jù)的多種用途只是一個例子，它說明了可以用最初預見不到的方式來使用大數(shù)據(jù)。對于某種特定的數(shù)據(jù)源，我們最后發(fā)現(xiàn)它最有效的用途可能與其創(chuàng)建之初的用途大相徑庭。面對我們碰到的每一類大數(shù)據(jù)源，我們要開拓思路，多想想常規(guī)之外的其他用途。如果研究人員能夠掌握大量汽車在每一個高峰時段、每一天、每個城市中的動向，他們就能非常清晰地判斷出車流產(chǎn)生的前因后果。此外，還能查明下述問題的答案。一個在路中央的輪胎會對交通產(chǎn)生什么影響？左側(cè)車道堵車會發(fā)生什么？如果路口的交通燈不同步，會產(chǎn)生何種結(jié)果？看一些例子?？赡芎芸烊藗兙蜁诰炀趾拖啦块T注冊，并提供自己日常會去哪些地方的信息。這樣，如果遇到洪水、火災(zāi)或封路這類大事件，人們會收到警察局和消防部門發(fā)送的警告信息，告訴他們即將路過的地方有情況，提醒他們繞道。如果人們可以主動避開是非之地，就能使交通中斷的時間降到最低，這樣每個人的時間都能節(jié)省下來。最后，在得到你的許可后，當?shù)卣踔量梢越邮漳愕膶崟r位置信息。一種初露端倪的數(shù)據(jù)使用方法是開發(fā)對時間和位置信息敏感的消息通知，這個市場的未來空間很大。通知不再局限于當天或本周，而是根據(jù)客戶的時間和位置信息提供最適合的消息通知。現(xiàn)在的做法一般是由客戶簽到并告知他們的位置，這樣他們就能接收到通知信息了。公司能夠持續(xù)地跟蹤到客戶的動向，以做出相應(yīng)的反應(yīng)。例如，可能用戶會告訴你，他要在5:30分離開辦公室回家，大約5:45到6:00之間會開車通過5號出口。他要找地方吃飯，并且想了解你的商店或餐館那個時間有什么食物。你需要在那個時間那個地點提供匹配他的需求的可口飯菜。第二天早上才通過電子郵件告訴他相關(guān)的信息顯然已經(jīng)太遲了，我們要的是當他通過那個地方的那一刻就主動推送給他通知信息。按照地點和時間主動推送通知信息營銷領(lǐng)域漸漸顯露出來的一個趨勢是，只對剛好處在某個時間段和某個地點的客戶才針對性地推送通知信息。與根據(jù)大范圍的時間和地點發(fā)送的通知相比，這種通知的效果更好，針對性更強。早期采用這種作法的企業(yè)已經(jīng)取得了令人吃驚的效果。當然管理這種通知的復雜性要高不少，因為我們要做的不只是跟蹤每個人當周的服務(wù)推薦這么簡單。我們需要關(guān)心的是每個用戶每時每刻在什么地方，我們在這個時間點為他們推薦什么東西最合適。根據(jù)時間和位置推送通知確實大大地增加了復雜性，并且變得難以管理。但我們相信假以時日，如果我們做得不錯，這種方式的轉(zhuǎn)化率應(yīng)該會遠遠超過傳統(tǒng)的個性化推薦。歷史經(jīng)驗反復地告訴我們，如果通知信息越精準，轉(zhuǎn)化率就會越高。使用此類數(shù)據(jù)的另一種模式是增強型社交網(wǎng)絡(luò)分析。無線運營公司可以根據(jù)語音和文本交流信息識別出用戶間的關(guān)系，借助時間和位置數(shù)據(jù)可以識別出哪些人在同一時間出現(xiàn)在了同一個地方。例如，哪些人在聽音樂會或看電影？哪些人要去觀看某一場體育比賽？哪些人在同一時間同一餐館就餐？如果能識別出哪些人大約在同一時間同一地點出現(xiàn)，就能識別出有哪些彼此不認識或者在同一個社交圈子里的人，但是他們都有著很多共同的愛好。想象一下，如果婚介服務(wù)能用這樣的信息幫助我們找到自己的另一半那該有多好！我們可以鼓勵人們建立聯(lián)系，給他們提供符合個人身份或團體身份的產(chǎn)品推薦。時間和位置數(shù)據(jù)不僅可以幫助我們理解客戶的歷史模式，還可以準確地預測客戶未來會出現(xiàn)在什么地方。對于有固定習慣的客戶尤其如此。如果我們知道某個人會在哪里出現(xiàn)，要往哪里去，我們就能預測出他們10分鐘或一個小時以后會出現(xiàn)在哪里。如果我們知道客戶以前在同一條路上去過哪里，我們就能更準確地做出他現(xiàn)在要去往何處的預測。我們最差也能大大地減少列表上的候選路線，這樣就能支持更精準的營銷。未來幾年間，時間和位置數(shù)據(jù)的應(yīng)用會經(jīng)歷爆炸性的增長，面向消費者的選擇流程和激勵措施終將成熟?，F(xiàn)在我們要小心行事，并在我們使用這些信息之前，獲得用戶的許可。使用時間和位置數(shù)據(jù)的消息通知將會更有針對性、更個性化。在不遠的將來，如果通知信息不是根據(jù)時間和位置推送的，也許會被認為很土。零售制造業(yè)：RFID數(shù)據(jù)的價值無線射頻標簽，即RFID標簽，是安裝在裝運托盤或產(chǎn)品外包裝上的一種微型標簽。RFID標簽上有一個唯一的序列號，這個序列號與UPC類似的通用產(chǎn)品標識碼不同。換言之，RFID標簽不僅能夠識別出托盤上裝的是Model123電腦，還能識別出托盤上裝運的是獨一無二的、特定的一套Model123電腦。RFID讀卡器發(fā)出信號，RFID標簽返回響應(yīng)信息。如果多個標簽都在讀卡器讀取范圍內(nèi)，它們同樣會對同一查詢做出響應(yīng)，這樣辨識大量物品就會變得比較容易。即使當這些東西堆疊在一起或者放到了墻后面，只要信號可以穿透，我們就能得到響應(yīng)信息。有了RFID標簽，我們就不再需要人工記錄和盤點每個商品，這樣清點商品的時間就會縮短。多數(shù)用于高價值應(yīng)用外的RFID標簽都是被動式的無源標簽，意味著這些標簽是沒有內(nèi)置電池的。讀卡器的無線電波產(chǎn)生磁場，該磁場給標簽提供了足夠的能量，使得標簽可以將內(nèi)置信息發(fā)送出去。RFID技術(shù)已經(jīng)出現(xiàn)很長時間了，但成本問題限制了該應(yīng)用的進一步推廣。今天，無源標簽的成本只有幾美分，而且價格還在不斷下跌。隨著階格的不斷下跌，實際應(yīng)用情況將會出現(xiàn)持續(xù)增長?，F(xiàn)在的RFID技術(shù)還有一些問題，例如，液體會屏蔽標簽的信號。隨著時間的推移，這些技術(shù)問題都將會得到有效的解決。有些RFID應(yīng)用很多人都曾經(jīng)接觸過，其中之一就是自動收費標簽。有了它，司機通過高速公路收費站的時候就不需要再停車了。它的工作原理是，交通管理局在所發(fā)的卡中植入了RFID標簽，同時高速公路上安裝了讀卡器；當汽車開過時，標簽會把汽車數(shù)據(jù)傳到讀卡器，這樣我們開車通過收費站就被記錄下來了。RFID數(shù)據(jù)的另一個重要應(yīng)用是資產(chǎn)跟蹤。例如，一家公司想把其擁有的每一個PC、桌椅、電視等資產(chǎn)都貼上標簽。這些標簽可以很好地幫助我們進行庫存跟蹤。跟蹤這些物品。如果物品移出指定區(qū)域，它們就會發(fā)送警告信息。例如，我們可以把讀卡器放在出口處，如果公司資產(chǎn)在沒有被事先批準的情況下出門，警報很快就會響起來，這樣就能起到安全警示的作用了。這種作法類似于零售商店里的物品標簽，如果標簽變?yōu)闊o效，警報就會被拉響。RFID最大的應(yīng)用之一是制造業(yè)的托盤跟蹤和零售業(yè)的物品跟蹤。例如，制造商發(fā)往零售商的每一個托盤上都有標簽，這樣可以很方便地記錄哪些貨物在某個配送中心或者商店。最終，商店中價格很低的商品也可以配備RFID芯片，或者使用一種類似的新技術(shù)?，F(xiàn)在我們已經(jīng)明白了RFID數(shù)據(jù)是什么，下面我們來看一看RFID數(shù)據(jù)可以從哪些方面來改善當前的商業(yè)模式。使用無線射頻標簽數(shù)據(jù)RFID的一種增值應(yīng)用是識別零售商貨架上有沒有相應(yīng)的商品。如果讀卡器能夠連續(xù)不斷地確定貨架上每種商品的存量，當需要重新配貨的時候，我們就能得到準確的信息。使用RFID可以更好地跟蹤貨架的供應(yīng)狀況，因為商品脫銷和有商品可供應(yīng)的狀態(tài)是完全不同的。一種可能的情況是，商店貨架上沒有該商品了，但后面儲藏室里還有5件該商品。在這種情況下，任何傳統(tǒng)的商品脫銷分析都會顯示貨架上現(xiàn)在仍有存貨，因此不需要擔心。當銷售業(yè)績開始下滑時，人們才會發(fā)現(xiàn)問題所在。如果有RFID標簽，就可以跟蹤到儲藏室中還有5件該商品，但貨架上卻沒有該商品了。這樣，我們只需要簡單地從儲藏室把商品搬到貨架上就能解決問題。這個例子在成本和技術(shù)上有一些挑戰(zhàn)，但現(xiàn)在大家正在努力克服這些困難。RFID還能很好地幫助我們跟蹤促銷展示影響的效果。通常在促銷過程中，商品要擺在商店的許多地點進行展示。從傳統(tǒng)的POS數(shù)據(jù)中，我們可以知道促銷商品的銷量，但我們不知道銷售來自于哪個展示點。通過RFID標簽我們可以識別出商品是從哪個展示點銷售出去的，這樣我們就能評估不同的地點對銷售效果的影響。RFID如果和其他數(shù)據(jù)結(jié)合起來，就能發(fā)揮更大的威力。如果公司可以收集配送中心里的溫度數(shù)據(jù)，當出現(xiàn)掉電或者其他極端事件時，我們就能跟蹤到商品的損壞程度。也許倉庫某一區(qū)域在停電期間的溫度高達90攝氏度，且時間長達90分鐘。有了RFID，我們就能準確地知道在那個時刻哪些托盤位于配送中心的那個區(qū)域內(nèi)，然后我們就能采取相應(yīng)的行動。倉庫數(shù)據(jù)還可以和裝運數(shù)據(jù)匹配起來，如果商品發(fā)生了損壞，公司可以有針對性地召回商品，并通知零售商當商品抵達時再次對商品進行開箱檢查。組合顯神通就像許多其他大數(shù)據(jù)源一樣，RFID數(shù)據(jù)本身并不能發(fā)揮所有的威力。當與其他數(shù)據(jù)組合起來使用時，它們就能發(fā)揮作用。大數(shù)據(jù)戰(zhàn)略的目標是把大數(shù)據(jù)和其他數(shù)據(jù)整合到同一個處理流程中，這一點再怎么強調(diào)也不為過。使用大數(shù)據(jù)并不是一個孤立的工作。RFID還有一些操作型應(yīng)用。有些配送中心商品管理不嚴格，導致商品損壞程度很高。對于某些團隊，甚至某些工人來說確實如此。人力資源（HR）系統(tǒng)會報告誰在任意時間點上工作。當RFID數(shù)據(jù)和這類數(shù)據(jù)組合起來，就能顯示出商品何時被移動了，還能識別出損壞、損耗、偷竊商品概率更高的員工。數(shù)據(jù)的組合使用，使我們能夠采取更強大、質(zhì)量更高的行動。RFID有一種非常有趣的未來應(yīng)用是跟蹤商店購物活動，就像跟蹤Web購物行為一樣。如果RFID讀卡器植入購物車中，我們就能準確地知道哪些客戶把什么東西放進了購物車，也能準確地知道他們的放入順序。即使并非每種物品都配有標簽，我們?nèi)匀豢梢宰R別出購物車經(jīng)過的道路。通過在店面中使用RFID，Web數(shù)據(jù)所能帶來的諸多好處都將變成現(xiàn)實。最后兩個例子必須考慮隱私問題，因為也許顧客根本不想讓他們的購物行為被跟蹤。我們可以采用“匿名”購物的方法，不對產(chǎn)生數(shù)據(jù)的人進行方位識別。RFID的最后一種應(yīng)用是識別欺詐犯罪活動，歸還偷盜物品。如果物品貼有RFID標簽，零售商可以通過標簽的ID進行識別，確定返還物品是否屬于偷走的同一批產(chǎn)品，并采取適當?shù)男袆印Ｊ聦嵣?，關(guān)鍵在于RFID的ID可以作為收據(jù)的一部分，輔助返還流程。零售商知道購買商品上貼的是哪個RFID標簽，而不是像平常那樣只知道你購買了某種商品。當我們來到退貨臺，要把貼有那個標簽的商品退還。我們肯定不能從貨架上拿下來另外一個一模一樣的商品，假裝跟收據(jù)一起返還。以這種方式來使用RFID，欺詐將會變得無比困難。未來幾年RFID有可能會對制造業(yè)和零售業(yè)產(chǎn)生巨大的影響。與許多人的期望不同，RFID的接受速度要慢一些。但RFID標簽價格在持續(xù)下跌，標簽和讀卡器的質(zhì)量卻在不斷上升，從經(jīng)濟的角度考慮，RFID的應(yīng)用將會更加廣泛。電力行業(yè)：智能電網(wǎng)數(shù)據(jù)的價值智能電網(wǎng)是下一代電力基礎(chǔ)設(shè)施。與我們周圍經(jīng)常見到的高壓電傳輸相比，智能電網(wǎng)更先進更可靠。智能電網(wǎng)有非常復雜的監(jiān)控、通信和發(fā)電系統(tǒng)，可以提供穩(wěn)定如一的服務(wù)，如果出現(xiàn)停電和其他問題，可以更好更快地恢復。各類傳感器和監(jiān)控設(shè)備記錄了電網(wǎng)本身和流經(jīng)電流的許多信息。智能電網(wǎng)中的一個環(huán)節(jié)是我們經(jīng)常提到的智能電表。智能電表是一種傳統(tǒng)電表的替代品。從外觀上看，智能電表和我們一直使用的電表沒有什么不同，但智能電表的功能更強大。以前抄表人員都是每隔幾周或幾個月就挨家挨戶地抄電表，而智能電表可以每隔15分鐘到一個小時從每一個家庭或企業(yè)自動地收集數(shù)據(jù)，甚至可以跨區(qū)或者跨電網(wǎng)收集數(shù)據(jù)。雖然我們這里關(guān)注的是智能電表，但在智能電網(wǎng)中大量使用的傳感器也值得一提。這些遍布智能電網(wǎng)但我們卻看不到的傳感器，它們收集到的數(shù)據(jù)從規(guī)模上使智能電表數(shù)據(jù)相形見絀。傳感器每秒鐘要從發(fā)電系統(tǒng)讀取60次同步相量測量值，與記錄家用電器開關(guān)狀態(tài)的家庭網(wǎng)絡(luò)一樣，它們都是大數(shù)據(jù)的例子。普通人并不知道這些傳感器的存在，但它們對電網(wǎng)來說十分重要。傳感器要讀取所有的電流數(shù)據(jù)和智能電網(wǎng)的設(shè)備狀態(tài)，數(shù)據(jù)量非常非常大。智能電網(wǎng)技術(shù)已經(jīng)在歐洲和美洲的某些地方開始使用了。我們相信在不久的將來，世界上每一處電網(wǎng)都會被智能電網(wǎng)取代。電力公司因為使用了智能電網(wǎng)，它們所掌握的耗電數(shù)據(jù)量會以指數(shù)級增長。這類數(shù)據(jù)要怎樣使用？下面我們來看一下。使用智能電網(wǎng)數(shù)據(jù)從用電管理的角度來看，智能電表數(shù)據(jù)可以幫助人們更好地理解電網(wǎng)中客戶的需求層次。此外，這些數(shù)據(jù)也可以使消費者受益。例如業(yè)主可以選擇把待測試的電器打開，與此同時保持其他電器的穩(wěn)定，這時從智能電表處可以監(jiān)控到詳細的電力消耗情況，這樣我們就可以明確地測量出各種電器究竟消耗了多少電量。世界各國的電力公司現(xiàn)在都已經(jīng)在積極地轉(zhuǎn)向這樣的定價模型，即按時間或需求量的變化來定價，智能電網(wǎng)的出現(xiàn)加速了這種趨勢。電力公司的主要目標之一是利用新的定價程序來影響客戶行為，減少高峰時段的用電量。為了應(yīng)對用電高峰需要另建發(fā)電站，需要一大筆錢而且還會對環(huán)境造成很大的影響。如果用電成本可以靈活地根據(jù)時間來設(shè)定，并由智能電表來測量，我們就可以促使客戶改變他們的用電行為。較低的峰值和較為平穩(wěn)的用電需求等同于更少的對新基礎(chǔ)設(shè)施的需求和更低的成本。當然電力公司通過智能電表提供的數(shù)據(jù)還能識別出其他的各類趨勢。哪些地方的用電量有所回落？哪些消費者每天或每周的用電需求比較相同？電力公司可以根據(jù)使用模式對客戶進行分類，可以選擇針對某些特定的群體開發(fā)產(chǎn)品和活動。使用這些數(shù)據(jù)我們還可以識別模式出現(xiàn)異常的那些地方，它們揭示了需要解決的問題。實際上，電力公司有能力執(zhí)行其他行業(yè)已經(jīng)使用多年的客戶分析工作。例如，電話公司知道我們月底的所有賬單，但并不知道我們具體的通話。零售商店只知道整體銷售狀況，而不知道任何購買的細節(jié)信息。一家金融機構(gòu)知道我們的月終余額，但并不了解我們這個月的資金流動狀況。從很多方面講，電力公司面對的這類數(shù)據(jù)對于理解客戶而言仍略顯不足。它們也有簡單的月終匯總數(shù)據(jù)，但這種月結(jié)數(shù)據(jù)往往是估計值而不是實際的耗電量。大數(shù)據(jù)可以改變一個行業(yè)有時候，大數(shù)據(jù)真的可以改變一個行業(yè)，可以把分析應(yīng)用提升到一個全新的高度。電力行業(yè)使用的智能電網(wǎng)數(shù)據(jù)就是一個這樣的例子。不再受每月一次抄表的限制，耗電信息會以秒鐘或分鐘為間隔被測量。遍布電網(wǎng)的精巧傳感器，使數(shù)據(jù)的使用變得與以往完全不同。以此開展的數(shù)據(jù)分析會在費率套餐、用電管理等諸多方面產(chǎn)生很多創(chuàng)新。有了智能電表數(shù)據(jù)，我們就可以進行全新的分析，使大眾全都受益。消費者可以根據(jù)自己的使用模式定制費率套餐，就像車載信息服務(wù)支持個性化的汽車保險費率那樣。高峰時段用電客戶比非高峰時段用電客戶的收費要高。面對這樣的刺激政策，我們會改變自己的用電模式，可能我們會在下午晚些時候再使用洗碗機而不是吃完午飯就馬上使用。電力公司也會有更準確的需求預測，它們能更清晰地識別出需求來自于哪些地方。它們還能了解某一類客戶在某個時間的用電需求。電力公司可以使用不同的方法來驅(qū)動各種行為，使需求更加平穩(wěn)，并降低異常需求峰值出現(xiàn)的頻率。所有這些都會使對昂貴的新發(fā)電設(shè)備的需求受到抑制。每一個家庭、每一個行業(yè)都能感受到智能電表數(shù)據(jù)產(chǎn)生的威力，這些數(shù)據(jù)能夠讓我們更好地跟蹤、更積極地管理用電情況。我們不僅能節(jié)約用電，也能使這個世界更加低碳，還可以幫助大家省錢。如果我們能清楚地知道自己的耗電量比預期要多，我們肯定就會根據(jù)需要做出適當?shù)恼{(diào)整。如果只使用每月賬單，我們將無法識別出這種機會。但是，智能電表數(shù)據(jù)將使這一切變得簡單。博彩業(yè)：籌碼跟蹤數(shù)據(jù)的價值前面我們已經(jīng)討論了RFID技術(shù)是如何應(yīng)用在零售業(yè)和制造業(yè)的。RFID技術(shù)的用途實際上更廣泛，許多應(yīng)用都會產(chǎn)生大數(shù)據(jù)。RFID標簽的另外一種應(yīng)用是貼在賭場用的籌碼上面。每一個籌碼，特別是高價值的籌碼都有自己的內(nèi)置標簽，這樣賭場就可以通過標簽的串行編號實現(xiàn)唯一的識別。賭場里用的老虎機已經(jīng)被跟蹤了許多年。一旦我們在老虎機上刷了經(jīng)常使用的玩家卡或者信用卡，那我們每次搬動手柄按下按鍵的動作就會被跟蹤。當然你的賭注和你贏的錢也會被跟蹤。雖然老虎機模式的分析歷史悠久，但賭場仍然沒有從桌面游戲中捕捉到足夠多的細節(jié)?，F(xiàn)在這個過程正在發(fā)生變化，標簽已經(jīng)開始被植入游戲籌碼。以前賭場會用功能強大的安全攝像頭網(wǎng)絡(luò)跟蹤籌碼，地勤人員的工作是保證籌碼上下左右的移動是合理的。賭臺經(jīng)理要尋找?？?，估算他們的平均投注和玩的時間，并給這種常客獎勵。雖然賭臺經(jīng)理精于此道，同時還能獲得其他人員的幫助，但游戲獎勵多多少少總會不夠準確。如果被監(jiān)視的玩家碰巧比平常投注多那么一點或少那么一點，就會發(fā)生這種不準確的情況。有些玩家如果認為他們自己正在被監(jiān)視，他們會利用系統(tǒng)規(guī)則增加投注來牟利。同類技術(shù)可以驅(qū)動多種大數(shù)據(jù)流零售商和制造商都使用了RFID技術(shù)。博彩行業(yè)也是如此。它們使用RFID的方法有許多不同之處，但也有許多相似之處。最有趣的是，一種技術(shù)可以在不同的行業(yè)使用，形成各個行業(yè)獨特的大數(shù)據(jù)源。籌碼跟蹤是一種特殊的RFID應(yīng)用，除了這個例子外，RFID還有很多其他的應(yīng)用。這個例子說明了一些底層相同的技術(shù)可以支持不同的大數(shù)據(jù)流，這些大數(shù)據(jù)流本質(zhì)相同，但范圍和應(yīng)用卻完全不同。讓我們興奮的是，這種基礎(chǔ)技術(shù)有著完全不同的用處，產(chǎn)生了多種行業(yè)里形式各異的大數(shù)據(jù)。使用籌碼跟蹤數(shù)據(jù)使用籌碼標簽的一個明顯優(yōu)點是可以準確地跟蹤每位玩家下的賭注。標簽可以保證玩家在經(jīng)常性的玩家活動中賺到所有的積分，不會多也不會少。這就給玩家和賭場同時帶來了好處。對于賭場而言，資源可以更準確地配置給正確的玩家，過度獎勵錯誤的玩家和過少獎勵正確的玩家都會導致有限營銷資源的非最優(yōu)分配，而玩家當然希望他們的積分永遠準確無誤。有了玩家的賭注數(shù)據(jù)，賭場就可以更好地對玩家進行分類，以理解投注模式。誰會每次先下注5美元，但幾乎每隔一段時間就把投注升到100美元呢？誰會每次下注10美元？可以根據(jù)這些模式對玩家進行分類。投注模式還能揭示21點博彩游戲中誰在算牌，因為如果玩家使用算牌技巧的話，某種賭注模式就會凸顯出來。賭場使用籌碼跟蹤技術(shù)，玩家想要主動欺騙賭場將會變得更困難，甚至連莊家想犯錯都比較困難。因為籌碼的投注和分紅都可以被跟蹤到，我們可以很容易地回過頭來對比視頻，檢查21點某一次出牌或者分紅的結(jié)果。即使胳膊和頭擋住了我們的視線，看不清楚拿起來或者放下去的籌碼，但RFID數(shù)據(jù)依然可以提供細節(jié)信息。賭場可以識別發(fā)生的錯誤或者欺詐。譬如說當莊家往另一個方向看的時候，玩家放下了一筆籌碼。時段分析可以識別出莊家或玩家犯下異常錯誤的數(shù)目。它可以幫助我們處理欺詐活動，或者對犯下大量簡單錯誤的莊家進行額外培訓。籌碼計算錯誤也會因之而下降，統(tǒng)計大量各種面額的籌碼是非常單調(diào)的工作，人們往往會在這個過程中犯錯，RFID支持更快更準確的計算。將前面這個例子講得更深入一點兒，對小偷來說，跟蹤每個籌碼的舉措具有相當強的威懾作用。如果一摞籌碼被偷走了，那些籌碼的標識就會被標記成“已被偷”。如果有人進來兌換這些籌碼，甚至拿著這些籌碼坐到桌子旁邊，系統(tǒng)就會注意到，并拉響安全警報。如果小偷偷走或者更換了這些籌碼，那標簽就不能被讀取。賭場清楚籌碼的ID，它們希望所有的籌碼都報告一個合法的ID。如果某個籌碼沒有報告ID，或者報告的ID不合法，那它們就會采取措施。就像其他行業(yè)一樣，賭場對欺詐行為阻止得越多，分紅就會越合理，風險也就會越低。因為費用支出比較少，這樣我們就有能力給玩家提供更好的服務(wù)和投注賠率。對于賭場和玩家而言，這是雙贏。工業(yè)發(fā)動機和設(shè)備：傳感器數(shù)據(jù)的價值世界各地安裝了許多復雜的機器和發(fā)動機，例如，飛機、火車、軍車、建筑設(shè)備、鉆孔設(shè)備等。因為造價昂貴，保持這些設(shè)備的穩(wěn)定運轉(zhuǎn)是非常重要的。近些年來，從飛機發(fā)動機到坦克等各種機器上也開始使用嵌入式傳感器，目標是以秒或毫秒為單位來監(jiān)控設(shè)備的狀態(tài)。監(jiān)測工作可以做得相當細，特別是在測試和開發(fā)過程中。例如，當新的發(fā)動機開發(fā)出來，就得依靠獲取到的足夠多的細節(jié)信息，來檢查發(fā)動機是否可以按照預期設(shè)定的方式工作。一旦新發(fā)動機進入市場，再想更換有缺陷的部件的花費會相當高，因此我們需要事先詳細地進行性能分析。監(jiān)測是一項不斷持續(xù)的活動。也許我們并不需要持續(xù)收集每一毫秒的細節(jié)信息，但如果能夠收集到大量的細節(jié)信息，我們就可以評估該設(shè)備的生命周期，識別出重復出現(xiàn)的問題。例如，發(fā)動機傳感器可以收集到從溫度到每分鐘轉(zhuǎn)數(shù)、燃料攝入率再到油壓級別等信息，而數(shù)據(jù)可以根據(jù)預先設(shè)定的頻率獲取。當讀數(shù)頻率、讀取指標數(shù)量和監(jiān)控項目數(shù)量增加時，數(shù)據(jù)量會迅速增加。為什么我們要關(guān)心這一點？下面我們來看一些例子。使用傳感器數(shù)據(jù)發(fā)動機的結(jié)構(gòu)很復雜，有很多移動部件，必須在高溫下運轉(zhuǎn)，會經(jīng)歷各種各樣的運轉(zhuǎn)狀況。因為它們的成本太高，所以期望壽命越長越好。因此，穩(wěn)定的、可預測的性能就變得異常重要，因為機器的壽命依賴于此。例如，對故障飛機進行保養(yǎng)維修會花掉航空公司或者空軍部隊一筆不小的錢，但這種事情我們還必須做，因為我們要識別出飛機是否存在安全隱患。因此，飛機或者飛機發(fā)動機以及其他設(shè)備的停機時間一定要降到最低，航空公司或者空軍部隊對此都有非常迫切的需求。停機時間最小化策略包括準備備件或后備發(fā)動機快速割接時需要維修的設(shè)備、從診斷結(jié)果中快速識別需要更換的部件、針對問題部件投資開發(fā)更可靠的新版本。要想有效實施這3種策略，必須得有數(shù)據(jù)。我們要用數(shù)據(jù)生成診斷算法，或者用數(shù)據(jù)作為輸入來診斷某個特定的問題。工程部門可以使用傳感器數(shù)據(jù)準確地定位問題的原因，設(shè)計新的措施支持更長、更可靠的操作。不管發(fā)動機是飛機的，還是船只的，或者是陸地設(shè)備的，這些考慮因素都適用。通過提取和分析詳細的發(fā)動機運轉(zhuǎn)數(shù)據(jù)，我們可以精確地定位那些會導致立即失效的某些模式。然后我們就能識別出會降低發(fā)動機壽命的時間分段模式以及更加頻繁的維修。多個變量的排列組合數(shù)目，特別是一段時間內(nèi)的排列組合數(shù)目，使得這類數(shù)據(jù)分析活動變成了一項挑戰(zhàn)。這個過程不僅會涉及到大數(shù)據(jù)，就連隨之開發(fā)出來的分析也會變得異常復雜和困難。以下是我們可以研究的一些問題。壓力驟然下降是否表示一定就會出問題？溫度在幾小時內(nèi)持續(xù)下降是否意味著還有其他問題？振動水平異常是否意味著有問題？發(fā)動機啟動時的飛速轉(zhuǎn)動是否讓某些部件的性能嚴重受損，而且還會增加維修的次數(shù)？幾個月內(nèi)油壓一直比較低，是否會使發(fā)動機的某些部件受損？結(jié)構(gòu)化數(shù)據(jù)內(nèi)缺少結(jié)構(gòu)性傳感器數(shù)據(jù)給我們帶來了一個非常艱巨的挑戰(zhàn)。雖然我們收集到的數(shù)據(jù)是結(jié)構(gòu)化的，獨立的數(shù)據(jù)元素也很好理解，但元素之間的時間關(guān)系和模式卻根本無法理解。延時和無法測量的外部因素增加了問題的復雜性。如果要考慮所有的信息，識別各種數(shù)據(jù)長期的作用效果，這個過程會異常復雜。擁有結(jié)構(gòu)化數(shù)據(jù)并不一定能夠保證分析方法就是高度結(jié)構(gòu)化和標準化的。在出現(xiàn)嚴重問題的時候，先回頭去檢查當時發(fā)生了什么，一直檢查到問題自己露出馬腳，這種做法會非常奏效。傳感器的作用類似于依靠飛機黑匣子的幫助診斷失事原因。發(fā)動機傳感器數(shù)據(jù)可以用于診斷活動和研究行為。從概念上講，相對于先前我們講到的汽車保險案例中的信息服務(wù)設(shè)備，我們這里討論的傳感器是一種更復雜的形式。傳感器不斷感知周圍環(huán)境并獲得數(shù)據(jù)信息，這是大數(shù)據(jù)世界中反復討論的一個主題。雖然我們這里討論的是發(fā)動機，但傳感器還有數(shù)不清的各類用途，這里討論的原則也同樣適用。如果大量傳感器都長時間重復著傳感器數(shù)據(jù)收集流程，那會產(chǎn)生大量豐富的分析數(shù)據(jù)。只要好好地分析這些數(shù)據(jù)，就能發(fā)現(xiàn)設(shè)備的缺陷，就有機會主動修復這些問題。我們還可以把設(shè)備中的弱點先行識別出來。隨后，我們可以制定好流程，緩解這些發(fā)現(xiàn)帶來的問題。這些措施帶來的收益不止是安全級別的提升，還會讓我們的成本下降。使用傳感器數(shù)據(jù)，發(fā)動機和設(shè)備都會更加安全，能夠提供服務(wù)的時間就會比較長，這樣運營會比較平穩(wěn)，成本也會比較低。這是一種通贏的做法。視頻游戲：遙測數(shù)據(jù)的價值遙測數(shù)據(jù)是視頻游戲產(chǎn)業(yè)的一個術(shù)語，用來描述捕捉游戲活動的狀況。其概念與我們在第2章所講的網(wǎng)絡(luò)大數(shù)據(jù)無異，這是因為遙測數(shù)據(jù)收集的是玩家在游戲中的活動情況。遙測數(shù)據(jù)的收集對象多數(shù)情況是在線游戲而非掌上游戲。在曲棍球比賽中，遙測數(shù)據(jù)收集的是運動員在擊球進門時，何時進的球，用的哪種擊球方法，球速多少。在戰(zhàn)爭游戲中，遙測數(shù)據(jù)收集的是用哪種槍械開的火，在哪里開的火，向哪個方向開的火，槍械對各種東西的破壞程度。從理論上講，相關(guān)場景和活動的所有細節(jié)都能夠被收集到。視頻游戲制造商從中不僅可以很容易地了解到有多少客戶購買了游戲軟件，還能知道游戲被玩了多少個小時。使用遙測數(shù)據(jù)，游戲制造商可以了解到客戶的私人信息，他們實際的玩法，他們是如何與自己創(chuàng)建的游戲進行交互的。我們收集到的游戲數(shù)據(jù)可能會很大，但視頻游戲行業(yè)已經(jīng)開始積極地分析這些數(shù)據(jù)了。遙測數(shù)據(jù)對很多領(lǐng)域都產(chǎn)生了影響。從遙測數(shù)據(jù)的優(yōu)勢和用途來看，很容易發(fā)現(xiàn)它和網(wǎng)絡(luò)數(shù)據(jù)之間的相似性。下面我們來看一些例子。使用遙測數(shù)據(jù)許多游戲都通過訂閱模式掙錢，因此維持刷新率對這些游戲就會非常重要。通過挖掘玩家的游戲模式，我們就可以了解到哪些游戲行為是與刷新率相關(guān)的，哪些是無關(guān)的。例如，也許在體育游戲比賽時，使用某些輔助功能會大大提升刷新率。游戲制造商會采取措施來吸引玩家嘗試比賽，以誘使他們使用以前不曾使用過的功能。遙測數(shù)據(jù)只會越來越大現(xiàn)在，遙測數(shù)據(jù)捕捉的對象大多是控制手柄或鍵盤行為。隨著交互式游戲的發(fā)展，它們可以做到跟蹤玩家的動作，而不是依賴于控制手柄，數(shù)據(jù)量也會因此激增。了解玩家在什么時間按下了什么按鈕，這類數(shù)據(jù)量要比了解他身體上的某個部位在某個時刻的空間位置以及移動方向和速度小得多。比較新的游戲往往喜歡讓玩家花一點小錢在游戲過程中購買物品，這就是所謂的微交易（microtransaction）。例如，一種特殊的武器只賣10美分。我們可以對游戲進行分析，識別出在哪些地方這類微交易的成功率會比較高。也許游戲中的某個地點提供一種非常順手的武器，這種武器會引起玩家的瘋搶。我們可以使用屏幕的快速提示來告訴玩家現(xiàn)在有武器可以購買，這樣許多玩家都會選擇購買該武器裝備。與其他行業(yè)類似，在視頻游戲產(chǎn)業(yè)中，客戶滿意度同樣也是一個大問題。視頻游戲的獨特之處在于要設(shè)置一條非常非常精彩的行進路線。游戲要給玩家提供挑戰(zhàn)機會，但挑戰(zhàn)不能過度，過度的挑戰(zhàn)會讓玩家有挫敗感進而放棄游戲。如果游戲過于簡單或者過于復雜，玩家就會感到厭倦并轉(zhuǎn)向其他游戲。通過游戲分析，我們能夠識別出游戲中哪些關(guān)卡每名玩家都能輕松過關(guān)，哪些關(guān)卡即使是最頂級的玩家也很難過關(guān)。我們可以增加或減少這些地方的敵人，盡量使難度等級比較平衡。平衡的游戲難度等級可以為玩家提供更加一致的體驗，也會讓他們更有滿足感。這樣會導致更高的刷新率和更多的購買行為。通過遙測數(shù)據(jù)，玩家還可以根據(jù)游戲風格進行分類。使用這類信息既可以設(shè)計出更優(yōu)秀的游戲，又能交叉銷售現(xiàn)有的產(chǎn)品。其中某個玩家族群可以全身心地投入到游戲通關(guān)中，而另一個玩家族群可以負責在通關(guān)前收集所有的獎品，最后一個玩家族群則可以在收關(guān)前探索關(guān)卡中的所有角落。通過這種組合，每個玩家都可以在游戲中使用自己最喜歡的游戲方法進行訓練。遙測數(shù)據(jù)能夠了解到玩家的認知層次，基于此可以改變整個游戲業(yè)。游戲業(yè)已經(jīng)開始使用遙測數(shù)據(jù)，相信在不久的將來這個領(lǐng)域?qū)玫介L足的發(fā)展。依據(jù)遙測數(shù)據(jù)分析的效果，游戲制作和推廣的方式將會發(fā)生巨大的改變。電信業(yè)與其他行業(yè)：社交網(wǎng)絡(luò)數(shù)據(jù)的價值與傳統(tǒng)數(shù)據(jù)相比，社交網(wǎng)絡(luò)數(shù)據(jù)本身就是一種大數(shù)據(jù)源，即使從很多方面來看，它更像是一種分析方法學。其中的原因在于，執(zhí)行社交網(wǎng)絡(luò)分析的過程需要處理已經(jīng)無比龐大的數(shù)據(jù)集，此外，還要使用行之有效的方法將處理規(guī)模提升幾個數(shù)量級。有人會爭辯說，移動運營商拿到的全部移動電話的話單或者短信記錄本身就是大數(shù)據(jù)，且這種數(shù)據(jù)可以用于多種用途。但是，社交網(wǎng)絡(luò)分析關(guān)注多個關(guān)系維度而非單個維度，從而可以做到更上一層樓。這也就是社交網(wǎng)絡(luò)分析可以把傳統(tǒng)的數(shù)據(jù)源變成大數(shù)據(jù)的原因。對于現(xiàn)代電話公司，僅僅看通話量是不夠的，電話公司還需要把通話作為獨立實體進行分析。社交網(wǎng)絡(luò)分析首先要看有哪些人參與了通話，然后再用更深入的視角進行分析。我們不僅要知道自己給誰打了電話，還要知道我致電的那個人還給誰打了電話，這些人接下來又打給了什么人，依此類推。要想得到社交網(wǎng)絡(luò)的全景圖，我們就得觸及系統(tǒng)能夠處理的上限。多層客戶與客戶之間的導航關(guān)聯(lián)以及多層通話都會使得數(shù)據(jù)量倍增。此外，它還增加了分析的難度，尤其是使用傳統(tǒng)工具時的分析難度。同樣的概念也適用于社交網(wǎng)絡(luò)站點。通過分析社交網(wǎng)絡(luò)中的某個成員，不難分析出這個成員有多少關(guān)聯(lián)關(guān)系，她發(fā)短信的頻率，她訪問站點的頻率，以及其他一些指標。但是，當成員與其朋友、與朋友的朋友、與朋友的朋友的朋友都有關(guān)聯(lián)關(guān)系時，這時了解網(wǎng)絡(luò)邊界所需要的處理量就會大得多。一千個成員或用戶不難跟蹤。但是，他們之間的直接關(guān)聯(lián)關(guān)系會上升到百萬級別，而再考慮到“朋友的朋友”則會升至十億級別。這就是社交網(wǎng)絡(luò)分析是一個大數(shù)據(jù)問題的原因所在。今天，已經(jīng)有了大量的應(yīng)用來分析這種關(guān)聯(lián)關(guān)系。使用社交網(wǎng)絡(luò)數(shù)據(jù)社交網(wǎng)絡(luò)數(shù)據(jù)及分析有一些影響深遠的應(yīng)用，其中一種重要的應(yīng)用正在改變著公司評價客戶的行為。和以前只看個人的情況不同，現(xiàn)在參考的是他們的網(wǎng)絡(luò)整體價值。我們這里談的例子也同樣適用于許多其他的行業(yè)，在這些行業(yè)里我們同樣需要了解人與人或者群體與群體之間的關(guān)系，但現(xiàn)在我們關(guān)注的是手機用戶，因為在這里這種方法的應(yīng)用范圍最廣。假定電信運營商有一個價值相對較低的用戶。這名用戶只有基本的通話需求，不會為運營商帶來任何增值收入。事實也是，不能創(chuàng)造利潤的客戶就是沒有價值的。運營商以往的作法是，只根據(jù)他或她的個人賬戶來對其進行評價。以前如果這名客戶打電話投訴或者威脅要更換運營商，公司可能不會挽留他，因為它們認為這名客戶并不值得挽留。使用社交網(wǎng)絡(luò)分析技術(shù)，雖然我們的客戶通話賬單看似價值不高，但我們可以識別出客戶曾經(jīng)和某些人通過電話，而這些人是有著廣泛交際圈的重量級人物。換句話說，客戶聯(lián)系對運營商而言是非常有價值的信息。研究表明，一旦某位成員離開通話的圈子，其他成員很可能會跟著離開，更多的成員開始離開，就像傳染病一樣。很快，圈內(nèi)成員開始雪崩般地離開，顯然這是壞事一樁。超越個人價值社交網(wǎng)絡(luò)數(shù)據(jù)非常吸引人的一個好處是，它能夠識別出客戶能影響的整體收入，而不僅僅是他或她自己提供的直接收入。不同的角度會大大影響投資某個客戶的決策。能夠產(chǎn)生高影響力的客戶需要被細心照料，因為他們能產(chǎn)生本身直接價值以外的更大價值。如果要使其網(wǎng)絡(luò)整體利益最大化，這種最大化的優(yōu)先級要高于其個體利益的最大化。使用社交網(wǎng)絡(luò)分析，我們可以理解本例中客戶對企業(yè)的總體價值而非只是其所產(chǎn)生的直接價值。這種處理客戶的決策完全不同。電信運營商對客戶過度投資的原因是要維護客戶網(wǎng)絡(luò)。我們可以準備好商業(yè)案例來維護更廣的客戶圈，而不只是保護客戶個體的價值。上面的這個例子非常棒，它解釋了大數(shù)據(jù)分析是怎樣在以往未曾出現(xiàn)過的新決策環(huán)境中產(chǎn)生重大價值的。如果沒有大數(shù)據(jù)，客戶會被批準更換運營商，當他的朋友們也隨之而去，電信運營商將看到雪崩般的損失。現(xiàn)在目標已經(jīng)從個體賬戶的利益最大化轉(zhuǎn)向了客戶社交網(wǎng)絡(luò)利益的最大化。識別有著廣泛聯(lián)系的客戶也