淺析：錢景與挑戰(zhàn)并存,如何應(yīng)對(duì)大數(shù)據(jù)時(shí)代

淺析：錢景與挑戰(zhàn)并存,如何應(yīng)對(duì)大數(shù)據(jù)時(shí)代？

大數(shù)據(jù)錢景巨大倘若把2012年比作大數(shù)據(jù)落地扎根之年，那么2013年其將迎來其萌芽成長，乃至遍地開花結(jié)果的一年。多家IT調(diào)查機(jī)構(gòu)預(yù)測稱，大數(shù)據(jù)市場每年至少40%以上的速度高增，2012年大數(shù)據(jù)市場規(guī)模約為50億美元，到今年將翻一番。大數(shù)據(jù)技術(shù)商機(jī)巨大，錢景十分光明。據(jù)不完全統(tǒng)計(jì)的數(shù)據(jù)顯示，大數(shù)據(jù)產(chǎn)業(yè)每年將為美國醫(yī)療系統(tǒng)帶來3000億美元的增益;為歐洲公共管理部門帶來2500億歐元的凈收入;為世界零售業(yè)增加30%的純利潤;為全球制造業(yè)減少50%的產(chǎn)品研發(fā)等成本;而個(gè)人地理位置信息的利用，也將為服務(wù)商帶來超過1000億美元的收益，為“地球村”用戶帶來超過7000億美元的價(jià)值。當(dāng)前，我國正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)的挖掘與運(yùn)用，是實(shí)現(xiàn)“四化”同步發(fā)展的重要保證。而大數(shù)據(jù)是新一代信息技術(shù)的集中反映，是一個(gè)應(yīng)用驅(qū)動(dòng)性很強(qiáng)的服務(wù)領(lǐng)域，具有無窮潛力的新興產(chǎn)業(yè)領(lǐng)域，這是我國實(shí)現(xiàn)跨越式發(fā)展的寶貴機(jī)會(huì)。然而如今大數(shù)據(jù)競爭日益激烈，機(jī)會(huì)稍縱即逝，如何把控大數(shù)據(jù)的走勢、演變，未雨綢繆運(yùn)籌帷幄，捷足先登抓住“壁虎的尾巴”，關(guān)系一個(gè)IT廠商、一個(gè)用戶單位乃至一個(gè)國家的競爭力與前途。技術(shù)決定產(chǎn)品的發(fā)展，更是決定大數(shù)據(jù)的命運(yùn)。作為大數(shù)據(jù)一項(xiàng)根本技術(shù)，Hadoop技術(shù)今年市場將達(dá)到前所未有的高峰，Hadoop技術(shù)將深入地應(yīng)用到企業(yè)的軟件架構(gòu)中，大規(guī)模地使用Hadoop是個(gè)必然趨勢。調(diào)查顯示，以Hadoop為代表的分布式存儲(chǔ)與計(jì)算成為最受關(guān)注的數(shù)據(jù)管理新技術(shù)，比例達(dá)到29.86%;其次是以SAPHANA為代表的內(nèi)存數(shù)據(jù)庫技術(shù)，占到23.30%;云數(shù)據(jù)庫排名第三，比例為16.29%。此外，列式數(shù)據(jù)庫技術(shù)、NoSQL也將獲得發(fā)展。另外其它相關(guān)大數(shù)據(jù)的技術(shù)，數(shù)據(jù)可視化服務(wù)、眾包模式(CrowdsourcingModel)也將成為應(yīng)用趨勢，RDBMS(關(guān)系型數(shù)據(jù)庫管理系統(tǒng))供應(yīng)商將東山再起?？梢哉f，大數(shù)據(jù)產(chǎn)品化、市場化、應(yīng)用化將日益明顯，逐漸成形。大數(shù)據(jù)與云計(jì)算作為一對(duì)十分搶眼的“姊妹花”，今年將深度融合。大數(shù)據(jù)處理離不開云計(jì)算技術(shù)，云計(jì)算為大數(shù)據(jù)提供彈性可擴(kuò)展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式;大數(shù)據(jù)則為云計(jì)算提供了新的商業(yè)價(jià)值與應(yīng)用技術(shù)。二者將形影不離，完美融合。而作為大數(shù)據(jù)的硬件基礎(chǔ)與支撐，數(shù)據(jù)管理集成產(chǎn)品--大數(shù)據(jù)一體機(jī)將加快推出與逐步成熟。自云計(jì)算和大數(shù)據(jù)概念被提出后，針對(duì)該市場推出的軟硬件一體化設(shè)備就呼聲四起，產(chǎn)品開發(fā)不斷。在這一兩年里，數(shù)據(jù)倉庫一體機(jī)、NoSQL一體機(jī)和其它一些將多種技術(shù)結(jié)合的一體化設(shè)備將進(jìn)一步快速發(fā)展。IBM的PureSystems、SAP的HANAAppliance、Oracle的Exadata正上演一體機(jī)市場的“三國演義”，而浪潮、華為、太極等國產(chǎn)IT商也在全力搶食一體機(jī)市場。可以預(yù)見的是，今年大數(shù)據(jù)市場規(guī)模將進(jìn)一步膨脹，一些新的細(xì)分市場今年將出現(xiàn)。例如，以數(shù)據(jù)分析和處理為主的高級(jí)數(shù)據(jù)服務(wù)，將出現(xiàn)以數(shù)據(jù)分析作為服務(wù)產(chǎn)品提交的分析即服務(wù)(AnalyzeasaService)業(yè)務(wù);將多種信息整合管理，創(chuàng)造對(duì)大數(shù)據(jù)統(tǒng)一的訪問和分析的組件產(chǎn)品;基于社交網(wǎng)絡(luò)的社交大數(shù)據(jù)分析;甚至?xí)霈F(xiàn)基于大數(shù)據(jù)的技能培訓(xùn)、人才教育及教授數(shù)據(jù)分析課程等市場業(yè)務(wù)。大數(shù)據(jù)問題與挑戰(zhàn)仍不小不過作為一個(gè)新生領(lǐng)域，盡管大數(shù)據(jù)意味著大機(jī)遇，擁有巨大的應(yīng)用價(jià)值，但同時(shí)也遭遇工程技術(shù)、管理政策、資金投入、人才培養(yǎng)等諸多領(lǐng)域的大挑戰(zhàn)。只有解決這些基礎(chǔ)性的挑戰(zhàn)問題，才能充分利用這個(gè)大機(jī)遇，讓大數(shù)據(jù)為企業(yè)為社會(huì)充分發(fā)揮的最大價(jià)值與貢獻(xiàn)。一、當(dāng)今大數(shù)據(jù)的運(yùn)用仍面臨多種技術(shù)難關(guān)的束縛。主要有大數(shù)據(jù)的去冗降噪技術(shù);大數(shù)據(jù)的新型表示方法;高效率低成本的大數(shù)據(jù)存儲(chǔ);大數(shù)據(jù)的有效融合;非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理;適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開發(fā)環(huán)境;大幅度降低數(shù)據(jù)處理、存儲(chǔ)和通信能耗的新技術(shù)等。這些技術(shù)問題目前都難于有效解決與完善。有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，而當(dāng)前技術(shù)尚難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大。二、全社會(huì)開放與共享數(shù)據(jù)還很難，這讓數(shù)據(jù)質(zhì)量大打折扣。數(shù)據(jù)增值的關(guān)鍵在于整合，但自由整合的前提是數(shù)據(jù)的開放。在大數(shù)據(jù)的時(shí)代，開放數(shù)據(jù)的意義，不僅僅是滿足公民的知情權(quán)，更在于讓大數(shù)據(jù)時(shí)代最重要的生產(chǎn)資料、生活數(shù)據(jù)自由地流動(dòng)起來，準(zhǔn)確全面應(yīng)用起來，以推動(dòng)知識(shí)經(jīng)濟(jì)和網(wǎng)絡(luò)經(jīng)濟(jì)的發(fā)展，促進(jìn)中國的經(jīng)濟(jì)增長由粗放型向精細(xì)型轉(zhuǎn)型升級(jí)。然而戰(zhàn)略觀念上的缺失、政府機(jī)構(gòu)協(xié)調(diào)困難、企業(yè)對(duì)數(shù)據(jù)共享的認(rèn)識(shí)不足及投入不夠、科學(xué)家對(duì)大數(shù)據(jù)的渴望無法滿足等都是大數(shù)據(jù)在當(dāng)前我國發(fā)展應(yīng)用中不得不面對(duì)的困難。三、大數(shù)據(jù)應(yīng)用領(lǐng)域仍窄小，應(yīng)用費(fèi)用過高，制約大數(shù)據(jù)應(yīng)用。國內(nèi)能利用大數(shù)據(jù)背后產(chǎn)業(yè)價(jià)值的行業(yè)主要集中在金融、電信、能源、證券、煙草等超大型、壟斷型企業(yè)，其他行業(yè)談大數(shù)據(jù)價(jià)值為時(shí)尚早。隨著企業(yè)內(nèi)部的資料量愈來愈大，日后大數(shù)據(jù)將成為IT支出中的主要因素，特別是數(shù)據(jù)儲(chǔ)存所耗費(fèi)的成本，很可能造成企業(yè)負(fù)擔(dān)，甚至望而卻步。因此有遠(yuǎn)見的CIO必須預(yù)先做好準(zhǔn)備。四、開放與隱私如何平衡，亦是一大難題。任何技術(shù)都是雙刃劍，大數(shù)據(jù)也不例外。如何在推動(dòng)數(shù)據(jù)全面開放、應(yīng)用和共享的同時(shí)有效地保護(hù)公民、企業(yè)隱私，逐步加強(qiáng)隱私立法，將是大數(shù)據(jù)時(shí)代的一個(gè)重大挑戰(zhàn)。大數(shù)據(jù)時(shí)代，當(dāng)如何應(yīng)對(duì)?可以說，真正啟動(dòng)大數(shù)據(jù)在企業(yè)和社會(huì)的全面應(yīng)用，面臨的不僅僅是技術(shù)和工具問題，更重要的是要轉(zhuǎn)變經(jīng)營思維和組織架構(gòu)，才能真正地挖掘這座大數(shù)據(jù)“金礦”。那么在大數(shù)據(jù)時(shí)代，我們要做哪些應(yīng)對(duì)之策，以握戰(zhàn)略制勝之點(diǎn)?確定企業(yè)的短中期目標(biāo)和標(biāo)準(zhǔn)大數(shù)據(jù)的資源極大繁雜豐富，如果企業(yè)沒有明確的目標(biāo)，就算沒有走入迷途至少會(huì)覺得非常迷茫。因此，首先，要確定企業(yè)運(yùn)用大數(shù)據(jù)的短中期目標(biāo)，定義企業(yè)的價(jià)值數(shù)據(jù)標(biāo)準(zhǔn)，之后再使用那些能夠解決特定領(lǐng)域問題的工具。逐步推廣，步步為營，不要把理想定得太高，否則失望會(huì)愈大。儲(chǔ)備好大數(shù)據(jù)相關(guān)技術(shù)人才企業(yè)運(yùn)用大數(shù)據(jù)為營銷管理服務(wù)之前，技術(shù)團(tuán)隊(duì)要到位是基礎(chǔ)。企業(yè)管理團(tuán)隊(duì)要能夠非常自如地玩轉(zhuǎn)數(shù)據(jù)。許多人認(rèn)為社交媒體營銷人是個(gè)有趣的工作，其實(shí)它是個(gè)艱苦的活兒。社交化空間非常注重?cái)?shù)據(jù)、衡量標(biāo)準(zhǔn)和數(shù)據(jù)可視化等問題。要能熟悉駕馭，首先要確保企業(yè)技術(shù)人員已經(jīng)接受過相關(guān)技能培訓(xùn)，了解如何最大化利用大數(shù)據(jù)的作用和潛力為企業(yè)營銷管理服務(wù)。解決碎片化問題企業(yè)啟動(dòng)大數(shù)據(jù)營銷管理一個(gè)最重要的挑戰(zhàn)，是數(shù)據(jù)的碎片化、零雜化。許多公司組織中，數(shù)據(jù)都散落在互不連通的數(shù)據(jù)庫中，而且相應(yīng)的數(shù)據(jù)技術(shù)也都存在于不同部門中，如何將這些孤立錯(cuò)位的數(shù)據(jù)庫打通、互聯(lián)，并且實(shí)現(xiàn)技術(shù)共享，才是能夠最大化大數(shù)據(jù)價(jià)值的關(guān)鍵。管理者當(dāng)留意的是，數(shù)據(jù)策略要成功提升網(wǎng)絡(luò)營銷管理成效，要訣在于無縫對(duì)接網(wǎng)絡(luò)企業(yè)管理與營銷的每一步驟，從數(shù)據(jù)收集、到數(shù)據(jù)挖掘、應(yīng)用、提取洞悉、報(bào)表等。培養(yǎng)內(nèi)部整合能力要做好大數(shù)據(jù)的應(yīng)用管理，其一，要有較強(qiáng)的整合數(shù)據(jù)的能力，整合與來自企業(yè)各種不同的數(shù)據(jù)源、各種不同結(jié)構(gòu)的數(shù)據(jù)，如客戶關(guān)系管理、搜索、移動(dòng)、社交媒體、網(wǎng)絡(luò)分析工具、普查數(shù)據(jù)以及離線數(shù)據(jù)，這些整合而得的數(shù)據(jù)是定向更大目標(biāo)受眾的基礎(chǔ);其二，要有研究探索數(shù)據(jù)背后價(jià)值的能力。未來營銷管理成功的關(guān)鍵將取決于如何在大數(shù)據(jù)庫中挖掘更豐富的營銷價(jià)值。像是站內(nèi)、站外的數(shù)據(jù)整合、多方平臺(tái)的數(shù)據(jù)接軌、結(jié)合人口與行為數(shù)據(jù)去建立優(yōu)化算法等都是未來的發(fā)展重點(diǎn);其三，探索出來之后給予精確行動(dòng)的管理指導(dǎo)綱領(lǐng)，同時(shí)通過此綱領(lǐng)進(jìn)行精確快速實(shí)時(shí)性行動(dòng)。而從社會(huì)、國家領(lǐng)域而言，我國亟須在國家層面對(duì)大數(shù)據(jù)給予高度重視，特別需要從政策制定、資源投入、人才培養(yǎng)等