實戰(zhàn)：面對風險如何駕馭大數(shù)據(jù)

實戰(zhàn)：面對風險如何駕馭大數(shù)據(jù)？

1140億美元。這是2018年全球組織在大數(shù)據(jù)方面的開銷，僅僅5年的時間就增長了300%以上。但是這些投入有多少是值得的呢？過去10年，我們目睹了大數(shù)據(jù)管理新方法的廣泛應用，如MapReduce、供大規(guī)模存儲使用的非模式化數(shù)據(jù)庫，以及用于存儲和處理的Hadoop、Storm和Spark等。但是大數(shù)據(jù)的使用不僅僅是特定平臺或范例的部署而已：通常這意味著公司對數(shù)據(jù)的建構(gòu)和組織進行徹底的重新設計。但據(jù)調(diào)查發(fā)現(xiàn)，目前還沒有多少組織為新的數(shù)據(jù)平臺和能力做好基本準備。只有35%的組織擁有了“健壯的數(shù)據(jù)捕捉、管理、驗證及保存流程”，更有67%“缺乏衡量定義明確的大數(shù)據(jù)行動成功的標準?！蹦切┐髷?shù)據(jù)解決方案基本都是被動集成進來的。但時間可不等人，根據(jù)2014年IDC的報告，到2020年，全球的數(shù)據(jù)總量將達44ZB，整整是2013年的10倍。面對著下一波的數(shù)據(jù)大爆發(fā)，那些未做好準備的公司將可能就會有背負運營和技術(shù)雙重債務的風險，并因數(shù)據(jù)落后而被淘汰出局。具體而言，這些風險體現(xiàn)在以下幾個方面：企業(yè)喪失透明度業(yè)界將面臨大規(guī)模的技能短缺問題——很少有IT專業(yè)人士有經(jīng)驗管理大規(guī)模的大數(shù)據(jù)平臺。根據(jù)麥肯錫的分析，到2018年，美國將出現(xiàn)150萬名有能力做出基于數(shù)據(jù)決策的經(jīng)理。為了縮短這一鴻溝，麥肯錫估計企業(yè)將需要把數(shù)據(jù)和分析預算的50%投入到一線經(jīng)理的培訓上面。但是還沒有多少公司意識到這一點。隨著數(shù)據(jù)需求的擴大，如果對信息管理缺乏深刻理解，對數(shù)據(jù)擴展性缺乏最佳實踐，那么在管理數(shù)據(jù)驅(qū)動的系統(tǒng)時就會遭遇到重大挑戰(zhàn)。而糟糕的運營透明度會導致企業(yè)很難識別出數(shù)據(jù)何時不準確和無意義，甚至連關(guān)鍵報表和指標是否正確運行都不知道。理清這些錯綜復雜并對數(shù)據(jù)提出正確的問題將成為IT人員的必備技能。否則就會缺乏對企業(yè)運營的可視性，無法有效做出知情決策并削弱企業(yè)的競爭優(yōu)勢。人工成本飆升據(jù)估計2014年時數(shù)據(jù)科學家50-80%的工作時間花在了數(shù)據(jù)集清理和處理上。近期公司往往傾向把數(shù)據(jù)準備工作的自動化外包給離岸或近岸的數(shù)據(jù)專家。對CloudFactory、MobileWorks及Samasource這類微工作平臺的需求已經(jīng)爆發(fā)，據(jù)估計，到2018年這類業(yè)務的規(guī)模將達到50億美元。但是外包無法規(guī)模滿足需求。鑒于未來的數(shù)據(jù)量將達到44ZB，數(shù)據(jù)的這種快速增長會需要成千上萬具備長期可行的解決方案的離岸或近岸外包團隊。而任何可持續(xù)的解決方案都離不開顯著的自動化。通信障礙現(xiàn)在企業(yè)間的交互依靠的是經(jīng)過組織的數(shù)據(jù)，但與未來20年發(fā)生的事情相比，這種組織數(shù)據(jù)的過程將會顯得蒼白無力。未來將會出現(xiàn)新的企業(yè)數(shù)據(jù)網(wǎng)絡標準以及相應的算法和元數(shù)據(jù)。未能參與到這一全球數(shù)據(jù)市場的公司將無法利用市面上銷售的這些數(shù)據(jù)產(chǎn)品。全球各個領域都在發(fā)生這種朝著大規(guī)模商業(yè)數(shù)據(jù)共享的演變。比方說，在要求第三方驗證其研究的壓力之下，像葛蘭素史克這樣的藥企最近都擬定了更廣泛共享實驗數(shù)據(jù)的計劃。奧巴馬總統(tǒng)已經(jīng)要求技術(shù)公司共享潛在黑客威脅的數(shù)據(jù)。Forrester最近的一項研究預測，數(shù)據(jù)服務將成為2015年的主流產(chǎn)品。按照這種節(jié)奏，10年后大數(shù)據(jù)的有效使用不僅會成為市場致勝的關(guān)鍵，而且還是參與市場的先決條件。這些風險就像一個個大數(shù)據(jù)的定時炸彈，對你構(gòu)成嚴峻挑戰(zhàn)。不過如果你采取下面的三個步驟，危險也許就可以解除。1、不要走一步看一步為了確保未來的分析能力，企業(yè)必須現(xiàn)在就開始投資一個能夠快速有效管理新數(shù)據(jù)集的平臺。應該考慮業(yè)務未來在數(shù)據(jù)攝入與聯(lián)合方面如何運作，如何從傳統(tǒng)的系統(tǒng)過渡到端到端的自動化的數(shù)據(jù)與分析。其核心是這個平臺要能夠有目的地、小心地、透明地擴充，而不是光收集數(shù)據(jù)，但對這些數(shù)據(jù)使用卻沒有明確的目的，或者在數(shù)據(jù)的解析上不做投入。2、再痛也要重建舊數(shù)據(jù)應用架構(gòu)許多公司過度依賴維護開銷很高的舊系統(tǒng)，導致升級或作出戰(zhàn)略變革的優(yōu)先性被貶低。甚至一些大公司也是如此，比方說三星的SmartHubTV是跑在云上面的，但是因為顧忌遷移成本，其所有的金融交易仍在本地處理。其結(jié)果就是在許多組織里面數(shù)據(jù)形成了一個個以部門為單位的煙囪。某些數(shù)據(jù)，比方說社交媒體方面的信息，甚至還保存在公司以外，這又增加了一層復雜性。要想大數(shù)據(jù)創(chuàng)新，企業(yè)必須以提高跨部門運營透明度為焦點對舊的數(shù)據(jù)應用進行翻新。3、模塊化、多顆粒度的數(shù)據(jù)管理要把裸數(shù)據(jù)