實(shí)戰(zhàn)：面對(duì)風(fēng)險(xiǎn)如何駕馭大數(shù)據(jù)

實(shí)戰(zhàn)：面對(duì)風(fēng)險(xiǎn)如何駕馭大數(shù)據(jù)？

1140億美元。這是2018年全球組織在大數(shù)據(jù)方面的開銷，僅僅5年的時(shí)間就增長(zhǎng)了300%以上。但是這些投入有多少是值得的呢？過(guò)去10年，我們目睹了大數(shù)據(jù)管理新方法的廣泛應(yīng)用，如MapReduce、供大規(guī)模存儲(chǔ)使用的非模式化數(shù)據(jù)庫(kù)，以及用于存儲(chǔ)和處理的Hadoop、Storm和Spark等。但是大數(shù)據(jù)的使用不僅僅是特定平臺(tái)或范例的部署而已：通常這意味著公司對(duì)數(shù)據(jù)的建構(gòu)和組織進(jìn)行徹底的重新設(shè)計(jì)。但據(jù)調(diào)查發(fā)現(xiàn)，目前還沒(méi)有多少組織為新的數(shù)據(jù)平臺(tái)和能力做好基本準(zhǔn)備。只有35%的組織擁有了“健壯的數(shù)據(jù)捕捉、管理、驗(yàn)證及保存流程”，更有67%“缺乏衡量定義明確的大數(shù)據(jù)行動(dòng)成功的標(biāo)準(zhǔn)。”那些大數(shù)據(jù)解決方案基本都是被動(dòng)集成進(jìn)來(lái)的。但時(shí)間可不等人，根據(jù)2014年IDC的報(bào)告，到2020年，全球的數(shù)據(jù)總量將達(dá)44ZB，整整是2013年的10倍。面對(duì)著下一波的數(shù)據(jù)大爆發(fā)，那些未做好準(zhǔn)備的公司將可能就會(huì)有背負(fù)運(yùn)營(yíng)和技術(shù)雙重債務(wù)的風(fēng)險(xiǎn)，并因數(shù)據(jù)落后而被淘汰出局。具體而言，這些風(fēng)險(xiǎn)體現(xiàn)在以下幾個(gè)方面：企業(yè)喪失透明度業(yè)界將面臨大規(guī)模的技能短缺問(wèn)題——很少有IT專業(yè)人士有經(jīng)驗(yàn)管理大規(guī)模的大數(shù)據(jù)平臺(tái)。根據(jù)麥肯錫的分析，到2018年，美國(guó)將出現(xiàn)150萬(wàn)名有能力做出基于數(shù)據(jù)決策的經(jīng)理。為了縮短這一鴻溝，麥肯錫估計(jì)企業(yè)將需要把數(shù)據(jù)和分析預(yù)算的50%投入到一線經(jīng)理的培訓(xùn)上面。但是還沒(méi)有多少公司意識(shí)到這一點(diǎn)。隨著數(shù)據(jù)需求的擴(kuò)大，如果對(duì)信息管理缺乏深刻理解，對(duì)數(shù)據(jù)擴(kuò)展性缺乏最佳實(shí)踐，那么在管理數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)時(shí)就會(huì)遭遇到重大挑戰(zhàn)。而糟糕的運(yùn)營(yíng)透明度會(huì)導(dǎo)致企業(yè)很難識(shí)別出數(shù)據(jù)何時(shí)不準(zhǔn)確和無(wú)意義，甚至連關(guān)鍵報(bào)表和指標(biāo)是否正確運(yùn)行都不知道。理清這些錯(cuò)綜復(fù)雜并對(duì)數(shù)據(jù)提出正確的問(wèn)題將成為IT人員的必備技能。否則就會(huì)缺乏對(duì)企業(yè)運(yùn)營(yíng)的可視性，無(wú)法有效做出知情決策并削弱企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。人工成本飆升據(jù)估計(jì)2014年時(shí)數(shù)據(jù)科學(xué)家50-80%的工作時(shí)間花在了數(shù)據(jù)集清理和處理上。近期公司往往傾向把數(shù)據(jù)準(zhǔn)備工作的自動(dòng)化外包給離岸或近岸的數(shù)據(jù)專家。對(duì)CloudFactory、MobileWorks及Samasource這類微工作平臺(tái)的需求已經(jīng)爆發(fā)，據(jù)估計(jì)，到2018年這類業(yè)務(wù)的規(guī)模將達(dá)到50億美元。但是外包無(wú)法規(guī)模滿足需求。鑒于未來(lái)的數(shù)據(jù)量將達(dá)到44ZB，數(shù)據(jù)的這種快速增長(zhǎng)會(huì)需要成千上萬(wàn)具備長(zhǎng)期可行的解決方案的離岸或近岸外包團(tuán)隊(duì)。而任何可持續(xù)的解決方案都離不開顯著的自動(dòng)化。通信障礙現(xiàn)在企業(yè)間的交互依靠的是經(jīng)過(guò)組織的數(shù)據(jù)，但與未來(lái)20年發(fā)生的事情相比，這種組織數(shù)據(jù)的過(guò)程將會(huì)顯得蒼白無(wú)力。未來(lái)將會(huì)出現(xiàn)新的企業(yè)數(shù)據(jù)網(wǎng)絡(luò)標(biāo)準(zhǔn)以及相應(yīng)的算法和元數(shù)據(jù)。未能參與到這一全球數(shù)據(jù)市場(chǎng)的公司將無(wú)法利用市面上銷售的這些數(shù)據(jù)產(chǎn)品。全球各個(gè)領(lǐng)域都在發(fā)生這種朝著大規(guī)模商業(yè)數(shù)據(jù)共享的演變。比方說(shuō)，在要求第三方驗(yàn)證其研究的壓力之下，像葛蘭素史克這樣的藥企最近都擬定了更廣泛共享實(shí)驗(yàn)數(shù)據(jù)的計(jì)劃。奧巴馬總統(tǒng)已經(jīng)要求技術(shù)公司共享潛在黑客威脅的數(shù)據(jù)。Forrester最近的一項(xiàng)研究預(yù)測(cè)，數(shù)據(jù)服務(wù)將成為2015年的主流產(chǎn)品。按照這種節(jié)奏，10年后大數(shù)據(jù)的有效使用不僅會(huì)成為市場(chǎng)致勝的關(guān)鍵，而且還是參與市場(chǎng)的先決條件。這些風(fēng)險(xiǎn)就像一個(gè)個(gè)大數(shù)據(jù)的定時(shí)炸彈，對(duì)你構(gòu)成嚴(yán)峻挑戰(zhàn)。不過(guò)如果你采取下面的三個(gè)步驟，危險(xiǎn)也許就可以解除。1、不要走一步看一步為了確保未來(lái)的分析能力，企業(yè)必須現(xiàn)在就開始投資一個(gè)能夠快速有效管理新數(shù)據(jù)集的平臺(tái)。應(yīng)該考慮業(yè)務(wù)未來(lái)在數(shù)據(jù)攝入與聯(lián)合方面如何運(yùn)作，如何從傳統(tǒng)的系統(tǒng)過(guò)渡到端到端的自動(dòng)化的數(shù)據(jù)與分析。其核心是這個(gè)平臺(tái)要能夠有目的地、小心地、透明地?cái)U(kuò)充，而不是光收集數(shù)據(jù)，但對(duì)這些數(shù)據(jù)使用卻沒(méi)有明確的目的，或者在數(shù)據(jù)的解析上不做投入。2、再痛也要重建舊數(shù)據(jù)應(yīng)用架構(gòu)許多公司過(guò)度依賴維護(hù)開銷很高的舊系統(tǒng)，導(dǎo)致升級(jí)或作出戰(zhàn)略變革的優(yōu)先性被貶低。甚至一些大公司也是如此，比方說(shuō)三星的SmartHubTV是跑在云上面的，但是因?yàn)轭櫦蛇w移成本，其所有的金融交易仍在本地處理。其結(jié)果就是在許多組織里面數(shù)據(jù)形成了一個(gè)個(gè)以部門為單位的煙囪。某些數(shù)據(jù)，比方說(shuō)社交媒體方面的信息，甚至還保存在公司以外，這又增加了一層復(fù)雜性。要想大數(shù)據(jù)創(chuàng)新，企業(yè)必須以提高跨部門運(yùn)營(yíng)透明度為焦點(diǎn)對(duì)舊的數(shù)據(jù)應(yīng)用進(jìn)行翻新。3、模塊化、多顆粒度的數(shù)據(jù)管理要把裸數(shù)據(jù)