大數(shù)據(jù)管理洪憲培20131026

大數(shù)據(jù)管理：概念、挑戰(zhàn)、機遇及商務(wù)管理研究前沿問題1隨著以博客、社交網(wǎng)絡(luò)、基于位置的服務(wù)（LocationBasedServices,LBS）為代表的新型信息發(fā)布方式的不斷涌現(xiàn)以及云計算、物聯(lián)網(wǎng)等技術(shù)的興起，數(shù)據(jù)正以前所未有的速度在不斷地增長和累積，大數(shù)據(jù)時代已經(jīng)來到。學(xué)術(shù)界工業(yè)界甚至于政府機構(gòu)都已經(jīng)開始密切關(guān)注大數(shù)據(jù)問題，并對其產(chǎn)生濃厚的興趣。2全球知名的咨詢公司麥肯錫（McKinsey）2011年6份發(fā)布一份關(guān)于大數(shù)據(jù)的詳盡報告“Bigdata:Thenextfrontierforinnovation,competitionandproductivity”對大數(shù)據(jù)的影響關(guān)鍵技術(shù)和應(yīng)用領(lǐng)域等都進(jìn)行了詳盡的分析。32012年3月美國奧巴馬政府發(fā)布了“大數(shù)據(jù)研究和發(fā)展倡議”（Bigdataresearchanddevelopmentinitiative），投資2億美元正式啟動“大數(shù)據(jù)發(fā)展計劃”，計劃在科學(xué)研究、環(huán)境、生物醫(yī)學(xué)等領(lǐng)域利用大數(shù)據(jù)技術(shù)進(jìn)行突破，奧巴馬政府的這一計劃被視為美國政府繼信息高速公路（InformationHighway）計劃之后在信息科學(xué)領(lǐng)域的又一重大舉措。4定義維基百科對大數(shù)據(jù)的定義:大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。Gartner公司將大數(shù)據(jù)定義為“在一個或多個維度上超出傳統(tǒng)信息技術(shù)的處理能力的極端信息管理和處理問題”。美國國家科學(xué)基金會（NSF）將大數(shù)據(jù)定義為“由科學(xué)儀器、傳感設(shè)備、互聯(lián)網(wǎng)交易、電子郵件、音視頻軟件、網(wǎng)絡(luò)點擊流等各種數(shù)據(jù)源生成的大規(guī)模、多元化、復(fù)雜、長期的分布式數(shù)據(jù)集”。5十大戰(zhàn)略技術(shù)全球技術(shù)研究和咨詢公司Gartner近日發(fā)布了2013年對眾多公司和組織機構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢。Gartner將戰(zhàn)略技術(shù)定義為將在未來三年對企業(yè)產(chǎn)生重大影響的技術(shù)。這些具有重大影響的因素包括使IT或業(yè)務(wù)中斷的高潛在風(fēng)險、主要投資需求，或是延遲采用的風(fēng)險。6戰(zhàn)略技術(shù)可能是已經(jīng)成熟的現(xiàn)有技術(shù)，和/或適合更廣范圍采用的技術(shù)，也有可能是能為早期采用者帶來戰(zhàn)略業(yè)務(wù)優(yōu)勢的新興技術(shù)，或者有潛力在未來五年中對市場帶來重大變革的新興技術(shù)。因此，這些技術(shù)將對企業(yè)長期規(guī)劃、項目和新方案的制定帶來重大影響。72013年十大戰(zhàn)略技術(shù)移動設(shè)備戰(zhàn)役移動應(yīng)用和HTML5個人云企業(yè)應(yīng)用商店物聯(lián)網(wǎng)混合IT和云計算戰(zhàn)略大數(shù)據(jù)

可行性分析內(nèi)存計算整合的生態(tài)系統(tǒng)8技術(shù)時代沿革大型機（60’s）→PC（80’s）→互聯(lián)網(wǎng)（90’s）→社會網(wǎng)絡(luò)Web2.0（00’s）→云計算/大數(shù)據(jù)/物聯(lián)網(wǎng)（現(xiàn)在）。學(xué)習(xí)曲線不連續(xù)（需要重新學(xué)習(xí)）9新興IT應(yīng)用特征移動泛在性虛擬性個性化社會性極端數(shù)據(jù)（富媒體/大數(shù)據(jù)）10麥肯錫幾個研究團(tuán)隊曾研究過全世界產(chǎn)生、存儲和消費的數(shù)據(jù)總量。盡管他們的估計數(shù)字以及由此產(chǎn)生的結(jié)果各不相同，所有研究都表明，未來數(shù)年會呈現(xiàn)指數(shù)增長。麥肯錫全球研究院（MGI）估計，全球企業(yè)2010年在硬盤上存儲了超過7EB（1EB等于10億GB）的新數(shù)據(jù)，同時，消費者在PC和筆記本等設(shè)備上存儲了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當(dāng)于美國國會圖書館中存儲的數(shù)據(jù)的4000多倍。事實上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲下來。例如，醫(yī)療衛(wèi)生提供商會處理掉他們所產(chǎn)生的90%的數(shù)據(jù)（比如手術(shù)過程中產(chǎn)生的幾乎所有實時視頻圖像）。11BigData“大數(shù)據(jù)”是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。對國家治理模式、對企業(yè)的決策、組織和業(yè)務(wù)流程、對個人生活方式都將產(chǎn)生巨大的影響。12大數(shù)據(jù)時代網(wǎng)民和消費者的界限正在消弭；企業(yè)的疆界變得模糊；數(shù)據(jù)成為核心的資產(chǎn)，并將深刻影響企業(yè)的業(yè)務(wù)模式，甚至重構(gòu)其文化和組織。大數(shù)據(jù)時代順昌逆亡。如果不能利用大數(shù)據(jù)更加貼近消費者、深刻理解需求、高效分析信息并作出預(yù)判，所有傳統(tǒng)的產(chǎn)品公司都只能淪為新型用戶平臺級公司的附庸，其衰落不是管理能扭轉(zhuǎn)的。13云計算的核心是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道。如何盤活數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計算內(nèi)在的靈魂和必然的升級方向。14企業(yè)內(nèi)部的經(jīng)營交易信息，物聯(lián)網(wǎng)世界中商品、物流信息，互聯(lián)網(wǎng)世界中人與人交互信息、位置信息等等是大數(shù)據(jù)的三個主要來源。其信息量遠(yuǎn)遠(yuǎn)超越了現(xiàn)有企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，其實時性要求則大大超越現(xiàn)有的計算能力。如果計劃在大數(shù)據(jù)時代獲益，必將引發(fā)新一輪的信息化投資和建設(shè)熱潮。15企業(yè)在大數(shù)據(jù)時代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時也迎來重大的轉(zhuǎn)型機遇和飛躍契機。我們看好擁有大數(shù)據(jù)處理、挖掘技術(shù)的公司，看好擁有數(shù)據(jù)資產(chǎn)公司，看好擁有數(shù)據(jù)分析人才的公司16從Ipad和微博中，我似乎看到了一點點未來……——默多克微博最強大的力量來自于“小眾的社會認(rèn)同效應(yīng)”。獨立的網(wǎng)民因為某種興趣、愛好、觀點而集聚在一起，通過消息轉(zhuǎn)發(fā)、評論的機制，廣為擴(kuò)散，其他網(wǎng)民迅速跟進(jìn)，短時間內(nèi)形成類似“颶風(fēng)”的傳播效應(yīng)，從而形成廣泛的社會影響力。

17微博顛覆了傳統(tǒng)的信息傳播路徑，使幾千年來，單中心、單向的傳播方式，向多中心、網(wǎng)狀裂變傳播方式轉(zhuǎn)變。對企業(yè)而言，不管是主動擁抱這個變化，還是被動接受，都宣告了一個時代的大幕真正開啟，消費者站上了舞臺中央。18消費者是數(shù)字化的，他生活在網(wǎng)絡(luò)中，他并不會直接告訴你他的需求，企業(yè)必須自己去收集、分析、跟蹤、對比他在互聯(lián)網(wǎng)上留下的各種“足跡”、評論、圖片、視頻等。誰首先在海量數(shù)據(jù)中沙里淘金，誰首先嫁接互聯(lián)網(wǎng)基因，誰將在這輪技術(shù)變革中，脫穎而出。這就是大數(shù)據(jù)時代的核心命題！19新浪微博截止到2011年第三季度已經(jīng)擁有2.5億注冊用戶，新浪市值一度達(dá)到94億美元。微博上最具人氣的明星姚晨擁有1400多萬粉絲。超過前五名報紙發(fā)行量的總和。20社會化的網(wǎng)絡(luò)，為大數(shù)據(jù)提供了額外的價值維度。關(guān)系本身就是價值。一件商品，被筆者關(guān)注，和被姚晨關(guān)注，其效果完全不可同日而語。廠商可能會給姚晨付費，對于我最多只有一句“謝謝關(guān)注”而已。酒類企業(yè)采用一種“盤中盤”的營銷策略，就是主攻有社會地位人士，由他輻射其有“關(guān)系”的人，從而打開銷路。這些人映射到微博空間，就是“意見領(lǐng)袖”、“草根大號”。21社會化關(guān)系之于數(shù)據(jù)的價值，是乘數(shù)的關(guān)系。數(shù)據(jù)價值X社會化關(guān)系=微博影響力。借助微博的關(guān)系屬性，流言更是飛速傳播，真相也會加速浮出水面。22用戶在線的每一次點擊，每一次評論，每一個視頻點播，就是大數(shù)據(jù)的典型來源?；ヂ?lián)網(wǎng)企業(yè)之所以取得令人矚目的成績，其核心的本質(zhì)就是對包括用戶網(wǎng)絡(luò)操作的大數(shù)據(jù)進(jìn)行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實的需求，形成預(yù)測。這是傳統(tǒng)企業(yè)花費重金都難以企及的夢想，所有傳統(tǒng)的產(chǎn)品公司都只能淪為這個新型用戶平臺級公司的附庸。23大數(shù)據(jù)無疑是有價值的。但是挖掘大數(shù)據(jù)的價值類似沙里淘金。譬如視頻監(jiān)控，每天產(chǎn)生24小時的視頻數(shù)據(jù)，絕大部分都沒有利用價值?？赡苁菐酌腌R頭捕捉到某罪犯體貌特征，對公安部門而言就是彌足珍貴的。為了這幾秒鐘，必須要保存全部的24小時。這也是大數(shù)據(jù)的一個典型特征。用術(shù)語來說，就是價值密度比較低。24Google是大數(shù)據(jù)技術(shù)的奠基人，但是他停留在滿足用戶需求這一步，我們難以將谷歌和傳統(tǒng)企業(yè)聯(lián)系起來，因此還稱不上對傳統(tǒng)企業(yè)顛覆性的影響。發(fā)展到Facebook時代，我們發(fā)現(xiàn)網(wǎng)民和消費者的界限正在消弭，借助社會化傳播的影響，消費者獲得空前的地位和關(guān)注。研究、利用消費者在網(wǎng)上的行為，對于傳統(tǒng)制造企業(yè)而言，無疑具備了預(yù)測未來的能力。大數(shù)據(jù)恰恰是為傳統(tǒng)企業(yè)嫁接了互聯(lián)網(wǎng)基因，為互聯(lián)網(wǎng)企業(yè)深度介入供應(yīng)鏈打開了方便之門。25前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌是免費經(jīng)濟(jì)的最佳代表，對于個人用戶而言，所有的應(yīng)用都是免費的。Gmail、日歷、照片、聯(lián)系人、文檔編輯等等，產(chǎn)品眾多。26谷歌如何盈利呢？答案在于所有的軟件應(yīng)用都是在線的。用戶在免費使用這些產(chǎn)品的同時，把個人的行為、喜好等信息業(yè)免費的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費的軟件產(chǎn)品，換取對用戶的理解；通過精準(zhǔn)的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘。27Facebook創(chuàng)造需求——微力改變世界讓這個世界上的人們自己組織起來，才是最重要的事情——馬克·扎克伯格智者的思想總是能穿越時空！托夫勒在《第三次浪潮》中的預(yù)言正在Facebook中成為現(xiàn)實。第三次浪潮的特征是小眾、體驗化，而非第二次浪潮（工業(yè)革命）以來的大眾化、標(biāo)準(zhǔn)化。Facebook恰恰把“小眾”們組織起來，借助“社會認(rèn)同”效應(yīng)，迅速放大他們的影響。甚至成為影響大選結(jié)果、影響組織決策的有力工具。具備了顛覆性的力量。28為了對Facebook有直觀的印象，我還是用一些數(shù)字描述這個帝國，名副其實的帝國。截止到2011年2月份，它擁有8億用戶，分布在除南極洲外的所有大陸，如果它是一個國家，僅次于中國、印度而位列第三大人口大國；3.5億用戶通過移動設(shè)備訪問Facebook；平均每天上傳2.5億張照片。29Facebook通過精心的控制與良好的用戶體驗，打造了一個實名帝國。用戶在上面“生活”，產(chǎn)生大量的“內(nèi)容”。因此Facebook不必像Google那樣開發(fā)各種各樣、豐富多彩的應(yīng)用程序，而是吸引用戶、第三方公司自主創(chuàng)造。30

大數(shù)據(jù)賦予我們洞悉未來的能力

馬云成功預(yù)測2008年經(jīng)濟(jì)危機，并幫助成千上萬的中小制造商準(zhǔn)備過冬的糧食。讓馬云贏得了崇高的聲譽。2008年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而有些企業(yè)提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了。31馬云對未來的預(yù)測，是建立在對用戶行文分析的基礎(chǔ)上。通常而言，買家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降32大數(shù)據(jù)四個主要特征大數(shù)據(jù)有4個典型的特征。所謂的4個“V”，多樣性(variety)、體量(volume)、速度(velocity)和價值（Value）。多樣性是指，數(shù)據(jù)應(yīng)包含結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)。體量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的。而速度則是指數(shù)據(jù)處理的速度必須很快。33多樣性Variety:多源異構(gòu)性：不同形式、無模式、不連貫語法或句義。體量Volume:海量數(shù)據(jù)：比傳統(tǒng)數(shù)據(jù)倉庫增長速度快10-50倍。價值密度Value:低價值密度：大量的不相關(guān)信息、需要深度分析。速度Velocity:實時分析：而非批量分析、事后見效。34關(guān)鍵技術(shù)分析大數(shù)據(jù)價值的完整體現(xiàn)需要多種技術(shù)的協(xié)同。云計算大數(shù)據(jù)的基礎(chǔ)平臺與支撐技術(shù)Google技術(shù)演化圖35大數(shù)據(jù)處理工具Hadoop是目前最為流行的大數(shù)據(jù)處理平臺。Hadoop最先是DougCutting模仿GFSMapReduce實現(xiàn)的一個云計算開源平臺，后貢獻(xiàn)給Apache，Hadoop已經(jīng)發(fā)展成為包括文件系統(tǒng)（HDFS）、數(shù)據(jù)庫（HBase、Cassandra）、數(shù)據(jù)處理（MapReduce）等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)（Ecosystem）。某種程度上可以說Hadoop已經(jīng)成為大數(shù)據(jù)處理工具事實上的標(biāo)準(zhǔn)。36大數(shù)據(jù)時代面臨的新挑戰(zhàn)大數(shù)據(jù)集成數(shù)據(jù)的廣泛存在性使得數(shù)據(jù)越來越多地散布于不同的數(shù)據(jù)管理系統(tǒng)中，為了便于進(jìn)行數(shù)據(jù)分析需要進(jìn)行數(shù)據(jù)的集成，數(shù)據(jù)集成看起來并不是一個新的問題，但是大數(shù)據(jù)時代的數(shù)據(jù)集成卻有了新的需求，因此也面臨著新的挑戰(zhàn)。1）廣泛的異構(gòu)性2）數(shù)據(jù)質(zhì)量37大數(shù)據(jù)分析大數(shù)據(jù)隱私問題大數(shù)據(jù)能耗問題大數(shù)據(jù)處理與硬件的協(xié)同大數(shù)據(jù)管理易用性（usability）問題性能的測試基準(zhǔn)（benchmark）38大數(shù)據(jù)伴生的大機遇這是一個偉大的機會，我明白該把自己的錢投向哪里

——前網(wǎng)景公司創(chuàng)始人馬克·安德森39產(chǎn)業(yè)規(guī)模大數(shù)據(jù)將在政府公共服務(wù)、醫(yī)療服務(wù)、零售業(yè)、制造業(yè)、以及涉及個人位臵服務(wù)等領(lǐng)域得到廣泛應(yīng)用，并產(chǎn)生巨大的社會價值和產(chǎn)業(yè)空間。以麥肯錫評估西方產(chǎn)業(yè)數(shù)據(jù)為例，美國醫(yī)療服務(wù)業(yè)價值約3000億美元，歐洲公共部門管理支出約為3500億歐元，GIS服務(wù)商收入將在1000億美元左右，而位置服務(wù)中個人最終的價值將達(dá)到7000億美元。大數(shù)據(jù)將使得美國零售業(yè)凈利潤增長水平可達(dá)到60%。降低制造業(yè)產(chǎn)品開發(fā)、組裝成本達(dá)50%。4041企業(yè)的投入傳統(tǒng)企業(yè)如果有效利用大數(shù)據(jù)，需要重構(gòu)其IT架構(gòu)，投資包括租用足夠空間、購買分析軟件，并聘用合適的人才。第一波受益者將是具備提供大數(shù)據(jù)服務(wù)能力信息服務(wù)企業(yè)。重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計算中心資產(chǎn)。把原來大規(guī)模投資產(chǎn)業(yè)園，物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程，改造成智慧工程。

42在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提高應(yīng)急處置能力和安全防范能力。在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運作效率，以及個性化的服務(wù)。如醫(yī)療、衛(wèi)生、教育等部門。在金融、電信領(lǐng)域，數(shù)據(jù)分析一直得到極大的重視。但囿于存儲能力和計算能力的限制，局限在交易型數(shù)據(jù)的統(tǒng)計分析。據(jù)我們了解，部分銀行已經(jīng)開始用戶行為分析。無疑，這兩個領(lǐng)域?qū)⑹谴髷?shù)據(jù)施展拳腳的舞臺。政府投入將形成示范效應(yīng)，大大推動大數(shù)據(jù)的發(fā)展43研究和發(fā)展現(xiàn)狀大數(shù)據(jù)相關(guān)的研究與應(yīng)用目前仍然處于起步階段，學(xué)術(shù)研究大多局限于宏觀層面；基于互聯(lián)網(wǎng)和社會媒體的企業(yè)大數(shù)據(jù)研究與應(yīng)用亟需進(jìn)一步的深入開展；現(xiàn)有的大數(shù)據(jù)研究大多立足于信息科學(xué)，側(cè)重于大數(shù)據(jù)的獲取、存儲、處理、挖掘和信息安全等方面，鮮有從管理學(xué)的角度探討大數(shù)據(jù)對于現(xiàn)代企業(yè)生產(chǎn)管理和商務(wù)運營決策等方面帶來的變革與沖擊的研究。44大數(shù)據(jù)背景下管理科學(xué)的若干前沿問題面對大數(shù)據(jù)環(huán)境下現(xiàn)代企業(yè)運營管理與商務(wù)決策的重大需求，在理論和應(yīng)用層面開展企業(yè)大數(shù)據(jù)研究顯得十分重要把握領(lǐng)域動態(tài)，凝練科學(xué)問題，研發(fā)關(guān)鍵技術(shù)，是學(xué)術(shù)界當(dāng)前面臨的機遇與挑戰(zhàn)圍繞大數(shù)據(jù)特征和上述三個研究視角，可以進(jìn)一步概括出四個研究方向(見下圖)和若干研究課題。4546社會化網(wǎng)絡(luò)環(huán)境中的行為機理與社會資本結(jié)構(gòu)

大數(shù)據(jù)和社會網(wǎng)絡(luò)應(yīng)用的發(fā)展使得當(dāng)今的網(wǎng)絡(luò)環(huán)境成為了一個巨大的精準(zhǔn)映射并持續(xù)記錄人類行為特征的數(shù)字世界這一數(shù)字世界所蘊藏并不斷積累的大量數(shù)據(jù)已成為深刻理解人在社會和商務(wù)活動中的行為規(guī)律的必要依托（Borgattietal.,2009）。因此，未來的研究應(yīng)特別重視社會化網(wǎng)絡(luò)環(huán)境中的行為機理研究，特別是新型一體化的社會網(wǎng)絡(luò)中社會資本結(jié)構(gòu)及其在商務(wù)領(lǐng)域中的意義和影響這方面的研