大數據行業(yè)開展現狀和未來前景分析

...wd......wd......wd...大數據行業(yè)開展現狀與未來前景分析摘要：大數據時代的出現簡單的講是海量數據同完美計算能力結合的結果。確切的說是移動互聯網、物聯網產生了海量的數據，大數據計算技術完美地解決了海量數據的收集、存儲、計算、分析的問題。大數據時代開啟人類社會利用數據價值的另一個時代。首先來介紹一下大數據時代中新出現的數據類型：1)過去一些記錄是以模擬形式方式存在的，或者以數據形式存在但是存貯在本地，不是公開數據資源，沒有開放給互聯網用戶，例如音樂、照片、視頻、監(jiān)控錄像等影音資料。現在這些數據不但數據量巨大，并且共享到了互聯網上，面對所有互聯網用戶，其數量之大是前所未有。舉個例子Facebook每天有18億張照片上傳或被傳播，形成了海量的數據。2)移動互聯網出現后，移動設備的很多傳感器收集了大量的用戶點擊行為數據,IPHONE有3個傳感器，三星有6個傳感器。它們每天產生了大量的點擊數據，這些數據被某些公司所有擁有，形成用戶大量行為數據。3)電子地圖如高德、百度、Google地圖出現后，其產生了大量的數據流數據，這些數據不同于傳統數據，傳統數據代表一個屬性或一個度量值，但是這些地圖產生的流數據代表著一種行為、一種習慣，這些流數據經頻率分析后會產生巨大的商業(yè)價值。基于地圖產生的數據流是一種新型的數據類型，在過去是不存在的。4)進入了社交網絡的年代后，互聯網行為主要由用戶參與創(chuàng)造，大量的互聯網用戶創(chuàng)造出海量的社交行為數據，這些數據是過去未曾出現的。其提醒了人們行為特點和生活習慣。5)電商戶崛起產來了大量網上交易數據，包含支付數據，查詢行為，物流運輸、購置喜好，點擊順序，評價行為等，其是信息流和資金流數據。6)傳統的互聯網入口轉向搜索引擎之后，用戶的搜索行為和提問行為聚集了海量數據。單位存儲價格的下降也為存儲這些數據提供了經濟上的可能。我們所指的大數據不同與過去傳統的數據，其產生方式、存儲載體、訪問方式、表現形式、來源特點等都同傳統數據不同。大數據更接近于某個群體行為數據，它是全面的數據、準確的數據、有價值的數據。一、大數據時代帶給我們的思考1)大數據計算提高數據處理效率，增加人類認知盈余大數據技術就像其他的技術革命一樣，是從效率提升入手。大數據技術平臺的出現提升了數據處理效率。其效率的提升是幾何級數增長的，過去需要幾天或更多時間處理的數據，現在可能在幾分鐘之內就會完成。大數據的高效計算能力，為人類節(jié)省了更多的時間。我們都知道效率提升是人類社會進步的典型標志，可以推斷大數據技術將帶著人類社會進入另外一個階段。通過大數據計算節(jié)省下來的時間，人們可以去消費，娛樂和創(chuàng)造。未來大數據計算將釋放人類社會巨大的產能，增加人類認知盈余，幫助人類更好地改造世界。2)大數據通過全局的數據讓人類了解事物背后的真相相對于過去的樣本代替全體的統計方法，大數據將使用全局的數據，其統計出來的結果更為準確，更接事物真相，幫助科學家了解事物背后的真相。大數據帶來的統計結果將糾正過去人們對事物錯誤的認識，影響過去人類行為、社會行為的結論，帶來全新的認知。有利于政府、企業(yè)、科學家對過去人類社會的各種歷史行為真正原因的了解，大數據統計將糾正樣本統計誤差，為統計結論不斷糾錯。大數據可以讓人類更加接近了解大自然，增加對自然災害原因的了解。3)大數據有助于了解事物開展的客觀規(guī)律，利于科學決策大數據收集了全局的數據，準確的數據，通過大數據計算統計出了解事物開展過程中的真相，通過數據分析出人類社會的開展規(guī)律，自然界開展規(guī)律。利用大數據提供的分析結果來歸納和演繹出事物的開展規(guī)律，通過掌握事物開展規(guī)律來幫助人們進展科學決策，大數據時代的精準營銷就是典型的應用。4)大數據提供了同事物的連接，客觀了解人類行為在沒有大數據之前，我們了解人類行為的數據往往來源于一些被動的調查表格及滯后的統計數據。擁有了大數據技術之后，大量的傳感器如手機APP、攝像頭、分享的圖片和視頻等讓我們更加客觀的了解人類的行為。大數據技術連接了人類行為，通過大數據將人類的行為數據收集起來，經過一定的分析后來統計人類行為，幫助我們了解人類的行為?？梢哉f大數據的一個重要作用就是將人類行為數據進展收集分析，了解人類行為特點，為數據價值的商業(yè)運用提供根基資產。5)大數據改變過去的經歷思維，幫助人們建設數據思維人類社會的開展一直都在依賴著數據，無論是各國文明的演化，農業(yè)的規(guī)劃，工業(yè)的開展，軍事戰(zhàn)役及政治事件等。但是出現大數據之后，我們將會面對著海量的數據，多種維度的數據、行為的數據、情緒的數據、實時的數據。這些數據是過去沒有了解到的，通過大數據計算和分析技術，人們將會得到不同的事物真相，不同的事物開展規(guī)律。依靠大數據提供的數據分析報告，人們將會發(fā)現決定一件事、判斷一件事、了解一件事不再變得困難。各國政府和企業(yè)將借助于大數據來了解民眾需求，拋棄過去的經歷思維和慣性思維，掌握客觀規(guī)律，跳出歷史預測未來的困境。二、大數據的企業(yè)應用場景大數據時代的最大意義就是利用大數據及大數據技術創(chuàng)造價值，大數據的企業(yè)應用場景就是介紹大數據在行業(yè)的應用，表達大數據商業(yè)價值。大數據的應用場景會將提升企業(yè)對大數據的關注，鼓勵企業(yè)大數據產業(yè)中投入更多的資源，利用大數據這個工具，為人類社會造福。大數據的應用可以分為企業(yè)應用和政府應用，其關注點有所不同，我們分開介紹，先從大數據在企業(yè)應用開場談起。1)醫(yī)療行業(yè)醫(yī)療行業(yè)擁有大量的病例，病理報告，治愈方案，藥物報告等等。如果這些數據可以被整理和應用將會極大地幫助醫(yī)生和病人。我們面對的數目及種類眾多的病菌、病毒，以及腫瘤細胞，其都處于不斷的進化的過程中。在發(fā)現診斷疾病時，疾病確實診和治療方案確實定是最困難的。在未來，借助于大數據平臺我們可以收集不同病例和治療方案，以及病人的根本特征，可以建設針對疾病特點的數據庫。如果未來基因技術開展成熟，可以根據病人的基因序列特點進展分類，建設醫(yī)療行業(yè)的病人分類數據庫。在醫(yī)生診斷病人時可以參考病人的疾病特征、化驗報告和檢測報告，參考疾病數據庫來快速幫助病人確診，明確定位疾病。在制定治療方案時，醫(yī)生可以依據病人的基因特點，調取相似基因、年齡、人種、身體情況一樣的有效治療方案，制定出適合病人的治療方案，幫助更多人及時進展治療。同時這些數據也有利于醫(yī)藥行業(yè)開發(fā)出更加有效的藥物和醫(yī)療器械。醫(yī)療行業(yè)的數據應用一直在進展，但是數據沒有打通，都是孤島數據，沒有方法起大規(guī)模應用。未來需要將這些數據統一收集起來，納入統一的大數據平臺，為人類安康造福。政府和醫(yī)療行業(yè)是推動這一趨勢的重要動力。2)生物技術主要是指大數據技術在基因分析上的應用，通過大數據平臺人類可以將自身和生物體基因分析的結果進展記錄和存儲，利用建設基于大數據技術的基因數據庫。大數據技術將會加速基因技術的研究，快速幫助科學家進展模型的建設和基因組合模擬計算。基因技術是人類未來戰(zhàn)勝疾病的重要武器，借助于大數據技術的應用，人們將會加快自身基因和其它他生物的基因的研究進程。未來利用生物基因技術來改進農作物，利用基因技術來培養(yǎng)人類器官，利用基因技術來消滅害蟲都即將實現。3)金融行業(yè)大數據在金融行業(yè)應用范圍較廣，典型的案例有花旗銀行利用IBM沃森電腦為財富管理客戶推薦產品，美國銀行利用客戶點擊數據集為客戶提供特色服務，如有競爭的信用額度。招商銀行利用客戶刷卡、存取款、電子銀行轉帳、微信評論等行為數據進展分析，每周給客戶發(fā)送針對性廣告信息，里面有顧客可能感興趣的產品和優(yōu)惠信息。大數據在金融行業(yè)的應用可以總結為以下五個方面：精準營銷：依據客戶消費習慣、地理位置、消費時間進展推薦風險管控：依據客戶消費和現金流提供信用評級或融資支持，利用客戶社交行為記錄實施信用卡反欺詐決策支持：利用抉策樹技術進抵押貸款管理，利用數據分析報告實施產業(yè)信貸風險控制效率提升：利用金融行業(yè)全局數據了解業(yè)務運營薄弱點，利用大數據技術加快內部數據處理速度產品設計：利用大數據計算技術為財富客戶推薦產品，利用客戶行為數據設計滿足客戶需求的金融產品4)零售行業(yè)零售行業(yè)大數據應用有兩個層面，一個層面是零售行業(yè)可以了解客戶消費喜好和趨勢，進展商品的精準營銷，降低營銷本錢。另一層面是依據客戶購置產品，為客戶提供可能購置的其它產品，擴大銷售額，也屬于精準營銷范疇。另外零售行業(yè)可以通過大數據掌握未來消費趨勢，有利于熱銷商品的進貨管理和過季商品的處理。零售行業(yè)的數據對于產品生產廠家是非常珍貴的，零售商的數據信息將會有助于資源的有效利用，降低產能過剩，廠商依據零售商的信息按實際需求進展生產，減少不必要的生產浪費。5)電商電商是最早利用大數據進展精準營銷的行業(yè)，除了精準營銷，電商可以依據客戶消費習慣來提前為客戶備貨，并利用便利店作為貨物中轉點，在客戶下單15分鐘內將貨物送上門，提高客戶體驗。馬云的菜鳥網絡宣稱的24小時完成在中國境內的送貨，以及京的劉強東宣傳未來京東將在15分鐘完成送貨上門都是基于客戶消費習慣的大數據分析和預測。電商可以利用其交易數據和現金流數據，為其生態(tài)圈內的商戶提供基于現金流的小額貸款，電商業(yè)也可以將此數據提供應銀行，同銀行合作為中小企業(yè)提供信貸支持。由于電商的數據較為集中，數據量足夠大，數據種類較多，因此未來電商數據應用將會有更多的想象空間，包括預測流行趨勢，消費趨勢、地域消費特點、客戶消費習慣、各種消費行為的相關度、消費熱點、影響消費的重要因素等。依托大數據分析，電商的消費報告將有利于品牌公司產品設計，生產企業(yè)的庫存管理和方案生產，物流企業(yè)的資源配制，生產資料提供方產能安排等等，有利于精細化社會化大生產，有利于精細化社會的出現。6)農牧業(yè)大數據在農業(yè)上的應用主要是指依據未來商業(yè)需求的預測來進展農牧產品生產，降低菜賤傷農的概率。同時大數據的分析將會更見準確預測未來的天氣氣候，幫助農牧民做好自然災害的預防工作。大數據同時也會幫助農民依據消費者消費習慣決定來增加哪些品種的種植，減少哪些品種農作物的生產，提高單位種植面積的產值，同時有助于快速銷售農產品，完成資金回流。牧民可以通過大數據分析來安排放牧范圍，有效利用牧場。漁民可以利用大數據安排休漁期、定位捕魚范圍等。三、大數據的政府應用場景大數據另外一個重要應用領域就是在政府。利用提供的全局的數據、準確的數據、高效的數據，政府可以實現精細化管理。政府過去一直都在利用數據來進展管理，但是過去由于沒有高效的數據處理平臺，造成了很多數據只是在收集，沒有表達其社會價值。由于缺少全局的數據和完善的數據，數據自身沒有表達其應用的價值，所以在過去政府不重視數據價值。依托于大數據和大數據技術，政府可以及時得到更加準確信息，利用這些信息，政府可以更加高效的管理國家這部機器，實現精細化資源配置和宏觀調控。1)交通交通的大數據應用主要在兩個方面，一方面可以利用大數據傳感器數據來了解車輛通行密度，合理進展道路規(guī)劃包括單行線路規(guī)劃。另一方面可以利用大活數據來實現即時信號燈調度，提高已有線路運行能力。科學的安排信號燈是一個復雜的系統工程，必須利用大數據計算平臺才能計算出一個較為合理的方案?？茖W的信號燈安排將會提高30%左右已有道路的通行能力。在美國，政府依據某一路段的交通事故信息來增設信號燈，降低了50%以上的交通事故率。機場的航班起降依靠大數據將會提高航班管理的效率，航空公司利用大數據可以提高上座率，降低運行本錢。鐵路利用大數據可以有效安排客運和貨運列車，提高效率、降低本錢。2)天氣預報借助于大數據技術，天氣預報的準確性和實效性將會大大提高，預報的及時性將會大大提升，同時對于重大自然災害，例如龍卷風，通過大數據計算平臺，人們將會更加準確地了解其運動軌跡和危害的等級，有利于幫助人們提高應對自然災害的能力。天氣預報的準確度的提升和預測周期的延長將會有利于農業(yè)生產的安排。3)農牧業(yè)由于農產品不容易保存，因此合理種植和養(yǎng)殖農產品對十分重要。如果沒有規(guī)劃好，容易產生菜賤傷農的悲劇。過去出現的豬肉過剩、卷心菜過剩、香蕉過剩的原因就是農牧業(yè)沒有規(guī)劃好。借助于大數據提供的消費趨勢報告和消費習慣報告，政府將為農牧業(yè)生產提供合理引導，建議依據需求進展生產，防止產能過剩，造成不必要的資源和社會財富浪費。農業(yè)關乎到國計民生，科學的規(guī)劃將有助于社會整體效率提升。大數據技術可以幫助政府實現農業(yè)的精細化管理，實現科學決策。在數據驅動下，結合無人機技術，農民可以采集農產品生長信息，病蟲害信息。相對于過去雇傭飛機本錢將大大降低，同時精度也將大大提高。4)醫(yī)藥衛(wèi)生食品安全問題直是國家的重點關注問題，關系大人們的身體安康和國家安全。最近幾年外國旅游者減少了到中國旅游，進口食品大幅度增加，食品安全問題是其中的一個重要原因。在數據驅動下，采集人們在互聯網上提供的舉報信息，國家可以掌握局部鄉(xiāng)村和城市的死角信息，挖出不法加工點，提高執(zhí)法透明度，降低執(zhí)法本錢。國家可以參考醫(yī)院提供的就診信息，分析出涉及食品安全的信息，及時進展監(jiān)視檢查，第一時間進展處理，降低已有不安全食品的危害。參考個體在互聯網的搜索信息，掌握流行疾病在某些區(qū)域和季節(jié)的爆發(fā)趨勢，及時進展干預，降低其流行危害。政府可以提供不安全食品廠商信息，不安全食品信息，幫助人們提高食品安全意識。5)宏觀調控和財政支出政府利用大數據技術可以了解各地區(qū)的經濟開展情況，各產業(yè)開展情況，消費支出和產品銷售情況，依據數據分析結果，科學地制定宏觀政策，平衡各產業(yè)開展，防止產能過剩，有效利用自然資源和社會資源，提高社會生產效率。大數據還還可以幫助政府進展監(jiān)控自然資源的管理，無論是國土資源、水資源、礦產資源、能源等，大數據通過各種傳感器來提高其管理的精準度。同時大數據技術也能幫助政府進展支出管理，透明合理的財政支出將有利于提高公信力和監(jiān)視財政支出。大數據及大數據技術帶給政府的不僅僅是效率提升、科學決策、精細管理，更重要的是數據治國、科學管理的意識改變，未來大數據將會從各個方面來幫助政府實施高效和精細化管理。政府運作效率的提升，決策的科學客觀，財政支出合理透明都將大大提升國家整體實力，成為國家競爭優(yōu)勢。大數據帶個國家和社會的益處將會具有極大的想象空間。6)社會群體自助及犯罪管理國家正在將大數據技術用于輿情監(jiān)控，其收集到的數據除了解民眾訴求，降低群體事件之外，還可以用于犯罪管理。大量的社會行為正逐步走向互聯網，人們更愿意借助于互聯網平臺來表述自己的想法和宣泄情緒。社交媒體和朋友圈正成為追蹤人們社會行為的平臺，正能量的東西有，負能量的東西也不少。一些好心人通過微博來幫助別人尋找走失的親人或提供可能被拐賣人口的信息，這些都是社會群體互助的例子。國家可以利用社交媒體分享的圖片和交流信息，來收集個體情緒信息，預防個體犯罪行為和反社會行為。最近警方通過微搏信息抓獲了聚眾吸毒的人，處分了虐待小孩的家長。四、大數據產業(yè)鏈介紹由于大數據及大數據技術是一個工具，無法像互聯網企業(yè)那樣形成一個大數據生態(tài)圈，形成閉環(huán)。但從數據的收集，存貯，處理，分析，銷毀等方面分析，可以形成大數據產業(yè)鏈。數據收集。主要是指各種數據通過傳感器或其他方式被采集，大數據的的采集除了傳統的互連網入口、社交平臺、搜索引擎、電商交易數據、在線問答、企業(yè)業(yè)務數據外，移動互聯網的App將是一個重要的數據入口，例如通過手機APP內嵌的SDK將手機App上的用戶行為數據集中進展收集和處理，TalkingData目前是這一領域的領先的大數據廠商，他們既有大數據又有數據管理平臺DMP。攝像頭采集的數據、導航地圖的軌跡數據、物流信息、移動互聯網App的LBS位置數據等都大數據的重要來源。在這個階段主要是指擁有大數據的公司例如BAT，通訊行業(yè)、互聯網企業(yè)、物流行業(yè)、零售行業(yè)、醫(yī)療行業(yè)等，它們需要大數據采集和存儲產品。數據存儲。主要是指利用何種方式進展數據存貯，對于中小企業(yè)，云存儲是以個不錯的原則，對于金融行業(yè)和其他對數據保有權較為重視的企業(yè)，私有云將是一個不錯的選擇。政府主導的大數據存儲平臺可以作為參考。如果認為云平臺無法采用時，采用低端的并行計算機可能是一個經濟的方案，但是由于沒有云操作系統，其存儲的效率是個較大的挑戰(zhàn)。EMC、NetAPP、日立的NAS存儲可以考慮。SAN存儲由于本錢過高，不建議用于大數據存儲，但是土豪除外。數據處理。數據處理主要是指數據處理平臺，采用了SAAS概念的大數據處理平臺都可以考慮，企業(yè)在考慮處理平臺時建議，循序漸進，以未來2年內的數據處理量為參考，千萬不要一次投資到位，因為數據處理的技術開展是幾何級數的，兩年后采用新的技術平臺，其ROI將會大大降低。數據分析。主要是指如何對處理完的數據進展商業(yè)分析，業(yè)務需求和技術需求必須有本企業(yè)技術和商業(yè)人員主導，外部廠商很難了解企業(yè)自身的商業(yè)需求，但是數據展現形式和分析方式可以交給廠商來做，主要涉及的廠商是傳統的商業(yè)智能產品和可視化應用等。數據銷毀。主要是指數據如何進展安全管理，對于不再需要的數據如何進展銷毀，鑒于數據的數量較大，存儲需要重用，因此數據索引刪除、數據空間7次重寫，數據混淆、數據對稱加密等方式都可以用作數據銷毀，目前此階段市場需求不多，因此還沒有較為成熟的方案和廠商，未來將會用安全廠商進入此領域。由于目前大數據產業(yè)的商業(yè)模式和盈利模式還在探索之中，大數據帶來的直接收益還沒有明確，目前主要的商業(yè)形式還是大數企業(yè)自身的大數據應用(例如，大數據計算平臺，大數據采集和分析，數據分析報告)，行業(yè)應用處于一個探索的階段，在大數據較為集中的電信行業(yè)，并沒有成立數據事業(yè)部，數據被當作資產良好的保存起來，國外的大數據投資`在2005年就開場了，很多高科技企業(yè)已經大數產業(yè)鏈上投入巨資進展技術開發(fā)和行業(yè)應用。五、大數據隱私保護大數據的隱私和倫理已經爭論了很多年，由于其涉及我們每個人的自身利益，大數據隱私保護是大數據產業(yè)需要正面面對的問題。大數據在采集過程中必定會涉及到隱私數據的收集，如果其保護的不好將會造成嚴重的后果，成為大數據產業(yè)開展的瓶頸。過度強調大數據的商業(yè)應用而無視了大數據產業(yè)的隱私保護，將會產生災難性的后果，大數據產業(yè)的開展可能會因此被制止。過度強調隱私保護而不開展大數據產業(yè)也是一個錯誤的選擇，人類可能會錯失一個高速開展的機遇。大數據產業(yè)開展要建設在隱私保護根基之上