大數(shù)據(jù)產(chǎn)業(yè)發(fā)展及應(yīng)對(duì)措施

大數(shù)據(jù)產(chǎn)業(yè)發(fā)展及應(yīng)對(duì)措施一、大數(shù)據(jù)產(chǎn)業(yè)的基本內(nèi)容1.定義2008年秦皇島開發(fā)區(qū)確定把大數(shù)據(jù)產(chǎn)業(yè)作為龍頭產(chǎn)業(yè)發(fā)展，提出建設(shè)“中國(guó)數(shù)谷”的目標(biāo)，并在全國(guó)范圍內(nèi)率先提出大數(shù)據(jù)產(chǎn)業(yè)的概念。大數(shù)據(jù)產(chǎn)業(yè)是指關(guān)于數(shù)據(jù)一系列服務(wù)的產(chǎn)業(yè)的總稱。分為兩個(gè)層次，一層是數(shù)據(jù)的采集、加工、存儲(chǔ)、傳播等相關(guān)的數(shù)據(jù)服務(wù)，另一層是進(jìn)行這些數(shù)據(jù)服務(wù)的軟、硬件研發(fā)部門和制造業(yè)。大數(shù)據(jù)產(chǎn)業(yè)是一種新型的現(xiàn)代服務(wù)業(yè)，主要內(nèi)容有以下三個(gè)方面：（1）數(shù)據(jù)內(nèi)容業(yè)以信息為主要產(chǎn)品，可以關(guān)聯(lián)到社會(huì)的各個(gè)領(lǐng)域，指從事數(shù)據(jù)的存儲(chǔ)、采集、加工、傳播等基本數(shù)據(jù)服務(wù)的產(chǎn)業(yè)群體，如數(shù)據(jù)存儲(chǔ)部門（各檔案室、情報(bào)部門、各大數(shù)據(jù)中心等)。（2）數(shù)據(jù)服務(wù)業(yè)指用專業(yè)的知識(shí)和技能給顧客提供策略解決問題的服務(wù)。例如數(shù)據(jù)以及數(shù)據(jù)庫(kù)的咨詢、數(shù)據(jù)庫(kù)建立以及升級(jí)、系統(tǒng)的創(chuàng)建和升級(jí)、增值網(wǎng)絡(luò)服務(wù)等。數(shù)據(jù)服務(wù)業(yè)是專門以數(shù)據(jù)產(chǎn)品為社會(huì)服務(wù)的行業(yè)總稱，是開發(fā)利用大數(shù)據(jù)資源并且實(shí)現(xiàn)其商業(yè)化、市場(chǎng)化、社會(huì)化的基礎(chǔ)。（3）數(shù)據(jù)軟、硬件制造業(yè)指從事數(shù)據(jù)相關(guān)的基礎(chǔ)設(shè)備和軟件的研發(fā)和制造的行業(yè)。大數(shù)據(jù)產(chǎn)業(yè)的概念從國(guó)際視角來看有狹義和廣義之分。廣義的大數(shù)據(jù)產(chǎn)業(yè)即信息產(chǎn)業(yè)，其主要是與數(shù)據(jù)相關(guān)的服務(wù)的硬件制造、軟件研發(fā)、軟硬件相結(jié)合的網(wǎng)絡(luò)工程建設(shè)、數(shù)據(jù)采集加工和相關(guān)數(shù)據(jù)服務(wù)，即包括了從數(shù)據(jù)相關(guān)軟硬件的制造到數(shù)據(jù)服務(wù)的總過程所涉及到的一切業(yè)務(wù)。狹義的大數(shù)據(jù)產(chǎn)業(yè)指數(shù)據(jù)采集、加工與相關(guān)服務(wù)業(yè)，即對(duì)大量數(shù)據(jù)進(jìn)行采集加工處理轉(zhuǎn)化為顧客需要的數(shù)據(jù)產(chǎn)品的產(chǎn)業(yè)。一般情況下的大數(shù)據(jù)產(chǎn)業(yè)指狹義的數(shù)據(jù)產(chǎn)業(yè)。2.主要特征（1）大數(shù)據(jù)產(chǎn)業(yè)相對(duì)工業(yè)產(chǎn)業(yè)來講，占地面積小而且環(huán)保，不會(huì)產(chǎn)生空氣以及液體污染物，造成環(huán)境污染。例如鋼鐵、化工行業(yè)，生產(chǎn)過程中涉及到的原料輔料眾多，且各個(gè)生產(chǎn)環(huán)節(jié)都可能會(huì)對(duì)環(huán)境造成或大或小的污染，其本身就是一個(gè)巨大的污染源，同時(shí)占地面積較大。顯然大數(shù)據(jù)產(chǎn)業(yè)在積極響應(yīng)節(jié)能綠色環(huán)保的國(guó)際新形勢(shì)上更具優(yōu)勢(shì)。（2）大數(shù)據(jù)產(chǎn)業(yè)需要大量的專業(yè)數(shù)據(jù)人才。據(jù)相關(guān)統(tǒng)計(jì)，在全球以40%的數(shù)據(jù)增長(zhǎng)速度和每?jī)赡陻?shù)據(jù)總量就翻一倍的大數(shù)據(jù)時(shí)代形勢(shì)下，新數(shù)據(jù)的加工利用能力的增長(zhǎng)率卻不到5%。同時(shí)新產(chǎn)生的大量非結(jié)構(gòu)化的數(shù)據(jù)對(duì)技術(shù)水平和人才提出了更高的要求，需要不斷的研究和創(chuàng)新技術(shù)來迎合大數(shù)據(jù)時(shí)代的需求。（3）大數(shù)據(jù)產(chǎn)業(yè)幾乎可以為各行業(yè)產(chǎn)生巨大的經(jīng)濟(jì)效益。據(jù)統(tǒng)計(jì)，歐洲零售商利用數(shù)據(jù)產(chǎn)品（消費(fèi)者喜好、消費(fèi)者購(gòu)買欲望的具體時(shí)間等信息）使利潤(rùn)得到60%的增幅；制造業(yè)的裝配成本在數(shù)據(jù)產(chǎn)業(yè)的服務(wù)下將會(huì)降低一半等等。目前利用大數(shù)據(jù)產(chǎn)業(yè)的相關(guān)服務(wù)為自己謀利的企業(yè)有很多，比如現(xiàn)行的網(wǎng)上購(gòu)物平臺(tái)，通過利用新老顧客或者潛在顧客對(duì)商品的點(diǎn)擊率、評(píng)價(jià)、交易量等數(shù)據(jù)做分析，掌握消費(fèi)者的消費(fèi)心理和趨向，來提高交易總量。由此可見大數(shù)據(jù)將會(huì)給產(chǎn)生它的個(gè)體和組織帶來價(jià)值。二、大數(shù)據(jù)產(chǎn)業(yè)的國(guó)內(nèi)外發(fā)展現(xiàn)狀1.國(guó)外發(fā)展現(xiàn)狀美國(guó)是世界上第一個(gè)發(fā)展大數(shù)據(jù)產(chǎn)業(yè)的國(guó)家，也是目前為止發(fā)展大數(shù)據(jù)產(chǎn)業(yè)比較成功的國(guó)家，現(xiàn)在美國(guó)的大數(shù)據(jù)產(chǎn)業(yè)鏈已經(jīng)基本完整。美國(guó)的大數(shù)據(jù)產(chǎn)業(yè)的基本格局是縱向三個(gè)層次，橫向兩個(gè)層次。縱向即處于底層的一些開源項(xiàng)目以及基于這些開源項(xiàng)目的基礎(chǔ)架構(gòu)、分析和應(yīng)用。橫向就是基礎(chǔ)架構(gòu)、分析和應(yīng)用。美國(guó)安全局和聯(lián)邦調(diào)查局早在2007年秘密開啟名叫“棱鏡”的監(jiān)控項(xiàng)目，其主要是用于數(shù)據(jù)收集、存儲(chǔ)、分析，破解密碼和打擊恐怖分子。2012年3月，奧巴馬當(dāng)局宣布“大數(shù)據(jù)發(fā)展戰(zhàn)略”。2013年5月，為提高大數(shù)據(jù)獲取知識(shí)的能力，加強(qiáng)國(guó)家安全，奧巴馬又宣布了“大數(shù)據(jù)的研究和發(fā)展計(jì)劃”。2013年11月，美國(guó)政府發(fā)布涉及科研部門、企業(yè)部門、各級(jí)政府部門等多個(gè)大數(shù)據(jù)研究項(xiàng)目。美國(guó)國(guó)家衛(wèi)生研究院、國(guó)家科學(xué)基金會(huì)等研究機(jī)構(gòu)都參與其中，有人稱這是美國(guó)大數(shù)據(jù)戰(zhàn)略的升級(jí)版。英國(guó)最近雖然經(jīng)濟(jì)不景氣，但是大數(shù)據(jù)產(chǎn)業(yè)也是其政府重點(diǎn)發(fā)展的科技領(lǐng)域。英國(guó)政府為了提高數(shù)據(jù)采集、存儲(chǔ)、分析等能力并且吸引企業(yè)在數(shù)據(jù)產(chǎn)業(yè)方面的投資在基礎(chǔ)設(shè)施方面投入大量資金，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)鏈的形成和發(fā)展以在數(shù)據(jù)革命中搶占先機(jī)。2013年，英國(guó)牛津大學(xué)成立首個(gè)應(yīng)用大數(shù)據(jù)技術(shù)的醫(yī)療衛(wèi)生研究中心。該研究中心通過搜集數(shù)據(jù)，對(duì)大量的醫(yī)療信息分析整合，準(zhǔn)確地了解病人病患處，為新的治療方法提供靈感，精準(zhǔn)定位新藥品的研制導(dǎo)向，大大區(qū)別于之前的摸索實(shí)驗(yàn)階段，節(jié)約了藥物研發(fā)成本。英國(guó)的醫(yī)學(xué)研究和治療由于大數(shù)據(jù)的應(yīng)用迎來革命性的改變。日本政府為了擺脫經(jīng)濟(jì)低迷的現(xiàn)狀決定大力發(fā)展IT產(chǎn)業(yè)，尤其是大大數(shù)據(jù)產(chǎn)業(yè)的興起加快了產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型的進(jìn)程。隨著大數(shù)據(jù)時(shí)代的到來，部分產(chǎn)業(yè)界已經(jīng)逐漸把重點(diǎn)轉(zhuǎn)向把傳統(tǒng)產(chǎn)業(yè)和大數(shù)據(jù)產(chǎn)業(yè)相結(jié)合的發(fā)展模式。對(duì)于傳統(tǒng)工業(yè)，采用大數(shù)據(jù)處理方法進(jìn)行新需求的探索和新材料的研發(fā)，既可降低研發(fā)成本，又能提高新產(chǎn)品研發(fā)的準(zhǔn)確性；對(duì)于傳統(tǒng)農(nóng)業(yè)，利用大數(shù)據(jù)處理方法，可以培育新品種。大數(shù)據(jù)將會(huì)帶來新一浪潮的生產(chǎn)力增長(zhǎng)和消費(fèi)者需求。計(jì)算機(jī)行業(yè)也從開始只關(guān)注運(yùn)算速度轉(zhuǎn)移到提高大數(shù)據(jù)的處理分析能力上來，變成真正的信息行業(yè)。大數(shù)據(jù)時(shí)代的發(fā)展迫使軟硬件的不斷更新從而能夠推進(jìn)信息行業(yè)不斷發(fā)展，這為信息產(chǎn)業(yè)提供了又一大的發(fā)展機(jī)遇。2.大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用領(lǐng)域大數(shù)據(jù)產(chǎn)業(yè)可以為各個(gè)領(lǐng)域進(jìn)行服務(wù)。在農(nóng)業(yè)中應(yīng)用。通過連接多個(gè)農(nóng)業(yè)數(shù)據(jù)集網(wǎng)站進(jìn)行數(shù)據(jù)搜集和專業(yè)的數(shù)據(jù)分析，美國(guó)農(nóng)業(yè)部可以確定農(nóng)作物最適宜的濕度、溫度、土壤、光照時(shí)間來準(zhǔn)確判斷它們是否需要澆水、打藥或者施肥。在軍事領(lǐng)域中應(yīng)用。據(jù)調(diào)查，美國(guó)反恐組織會(huì)對(duì)打網(wǎng)游的大數(shù)據(jù)進(jìn)行分析獲得情報(bào)，由于恐怖分子之間不能通過正常的手段進(jìn)行溝通，網(wǎng)游中存在另一個(gè)世界，有真實(shí)的場(chǎng)景，所以恐怖分子可以利用虛擬的網(wǎng)游世界來傳遞信息和情報(bào)。在電視播放領(lǐng)域的應(yīng)用。通過分析每天觀眾的播放行為（前進(jìn)、暫停、播放）和評(píng)論，來預(yù)測(cè)觀眾對(duì)下期節(jié)目的期待，從而獲得高收視率。其中2013年2月份的美劇《紙牌屋》就是利用網(wǎng)友評(píng)論的大數(shù)據(jù)分析最終取得了9.9的好評(píng),在繼第一季利用大數(shù)據(jù)取得較大利益之后，《紙牌屋》第二季在2014年2月14號(hào)開播，迅速吸引了來自世界各地的觀眾的點(diǎn)播，《紙牌屋》其制作商N(yùn)etflix的股票更是一路飆升，創(chuàng)造了巨大的利益。在政治領(lǐng)域的應(yīng)用。我們根據(jù)大數(shù)據(jù)繪制出對(duì)中國(guó)兩會(huì)的關(guān)注程度圖，其中分析結(jié)果表明對(duì)中國(guó)兩會(huì)關(guān)注程度最大的地區(qū)是亞洲?！爸腔鄢鞘小币呀?jīng)成為現(xiàn)代城市發(fā)展的方向，智慧城市的建設(shè)離不開大數(shù)據(jù)產(chǎn)業(yè)中強(qiáng)大的技術(shù)支撐。近些年日本政府推出了以醫(yī)療衛(wèi)生電子化、教育人才電子化、各級(jí)政府政務(wù)電子化為核心的“i－japan（智慧日本）戰(zhàn)略2015”。廣東省2013年發(fā)布的城市建設(shè)規(guī)劃中也提到在2020年基本建成智慧廣東的目標(biāo)。2014年3月6日，杭州召開“智慧城市建設(shè)”座談會(huì)，提出發(fā)展智慧城市的目標(biāo)。智慧城市不僅是云計(jì)算的深度應(yīng)用，而且是大數(shù)據(jù)的綜合應(yīng)用，更是大數(shù)據(jù)產(chǎn)業(yè)的重點(diǎn)發(fā)展項(xiàng)目。五、大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)從大數(shù)據(jù)產(chǎn)業(yè)的技術(shù)層面上來講主要有以下幾個(gè)發(fā)展趨勢(shì)：（1）以HadoopMapReduce為主的處理方式將與現(xiàn)有的批處理、流處理、圖處理等其他數(shù)據(jù)處理方式并存，混合數(shù)據(jù)計(jì)算模式將成為主要處理手段。目前Hadoop已經(jīng)成為一種比較流行的數(shù)據(jù)處理方式，要將HadoopMapReduce不斷改進(jìn)，增強(qiáng)其數(shù)據(jù)處理功能和兼容性；（2）更大規(guī)模的數(shù)據(jù)處理與分析，對(duì)數(shù)據(jù)實(shí)時(shí)分析的需求越來越大；（3）基于數(shù)據(jù)分析的方法多種多樣，數(shù)據(jù)分析檢測(cè)系統(tǒng)將極大地被需要；（4）數(shù)據(jù)保密技術(shù)和方法越來越完善。大數(shù)據(jù)時(shí)代，數(shù)據(jù)以驚人的速度傳播，數(shù)據(jù)泄露的幾率也在不斷增大，數(shù)據(jù)安全問題越來越被關(guān)注。從大數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)來看，目前我國(guó)大數(shù)據(jù)產(chǎn)業(yè)主要是處于基礎(chǔ)設(shè)備服務(wù)階段，主要是進(jìn)行數(shù)據(jù)存儲(chǔ)和災(zāi)備的簡(jiǎn)單數(shù)據(jù)業(yè)務(wù)，未來大數(shù)據(jù)產(chǎn)業(yè)將會(huì)向以數(shù)據(jù)分析產(chǎn)品和規(guī)模數(shù)據(jù)服務(wù)系統(tǒng)的方向發(fā)展。在大數(shù)據(jù)產(chǎn)業(yè)發(fā)展到一定規(guī)模，數(shù)據(jù)分析能力有極大提高時(shí)，將會(huì)為企業(yè)界、政府提供規(guī)模系統(tǒng)數(shù)據(jù)服務(wù)平臺(tái)，最終形成完整的大數(shù)據(jù)產(chǎn)業(yè)鏈。六、大數(shù)據(jù)產(chǎn)業(yè)發(fā)展面臨的挑戰(zhàn)及對(duì)策1.大數(shù)據(jù)產(chǎn)業(yè)面臨的挑戰(zhàn)（1）技術(shù)人才方面的挑戰(zhàn)大數(shù)據(jù)時(shí)代的數(shù)據(jù)不僅僅是多，而且數(shù)據(jù)類型多種多樣，大都是非結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理技術(shù)及設(shè)備已經(jīng)不能滿足大數(shù)據(jù)發(fā)展的要求。對(duì)數(shù)據(jù)分析能力提出了挑戰(zhàn)。而且數(shù)據(jù)的實(shí)時(shí)變化，要保證數(shù)據(jù)的有效性就必須加快數(shù)據(jù)分析和應(yīng)用的能力。大數(shù)據(jù)時(shí)代，數(shù)據(jù)數(shù)量大但價(jià)值密度小。同時(shí)，大數(shù)據(jù)所體現(xiàn)出來的信息不一定是真實(shí)可靠的，人為因素的故意干涉會(huì)導(dǎo)致數(shù)據(jù)失真。大數(shù)據(jù)的發(fā)展使得數(shù)據(jù)的獲取變得越來越容易，個(gè)人隱私以及安全問題變得日益棘手。面對(duì)大數(shù)據(jù)產(chǎn)生的各種問題，關(guān)鍵在于技術(shù)。這對(duì)技術(shù)提出了更高的要求，其根本是對(duì)人才的需求。目前號(hào)稱21世紀(jì)最性感的職業(yè)的“數(shù)據(jù)科學(xué)家”在此之前還沒有成為一種真正的職業(yè)，由此可見需求之急、量之大。（2）信息壁壘的挑戰(zhàn)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展要依托海量的數(shù)據(jù)，這些數(shù)據(jù)不僅需要自己搜集，同時(shí)要從別處獲取。各個(gè)行業(yè)的企業(yè)之間的部分信息也應(yīng)該共享，提高資源利用率。尤其要打破政府部門的信息壁壘，政府部門是大數(shù)據(jù)應(yīng)用的潛力較大的部門，掌握著大量的數(shù)據(jù)。美國(guó)日本等國(guó)政府在政府信息公開方面已經(jīng)做出了表率，2009年至今美國(guó)政府承諾的開放政府?dāng)?shù)據(jù)庫(kù)D全面開放了涵蓋農(nóng)業(yè)、醫(yī)療、交通、教育、金融等50個(gè)門類的388529項(xiàng)原始數(shù)據(jù)。日本政府2013年的新ICT戰(zhàn)略實(shí)現(xiàn)行政信息全部公開化。在數(shù)據(jù)開放方面，中國(guó)顯然比其他國(guó)家落后很多。從企業(yè)來講，主要是沒有大數(shù)據(jù)的意識(shí)，認(rèn)為數(shù)據(jù)是屬于自己的，不愿意共享，徒有數(shù)據(jù)卻不知如何把數(shù)據(jù)變成財(cái)富。在政府層面，我國(guó)政府大部分機(jī)關(guān)仍對(duì)數(shù)據(jù)封鎖不放，外界看不到更利用不了有用信息。所以打破信息壁壘是數(shù)據(jù)產(chǎn)業(yè)發(fā)展的必要過程。2.大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的對(duì)策(1)加強(qiáng)企校研三者之間的合作大學(xué)是人才的搖籃，大數(shù)據(jù)產(chǎn)業(yè)不僅需要專業(yè)的技術(shù)人才，而且需要具有經(jīng)濟(jì)分析能力和管理能力的人才?？梢栽诖髮W(xué)建立大數(shù)據(jù)研究院，將大數(shù)據(jù)技術(shù)直接引入到大學(xué)的科學(xué)研究當(dāng)中。加強(qiáng)學(xué)校、企業(yè)和各研究院之間的合作，充分利用三者的資源達(dá)到共贏最終促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。比如吸引企業(yè)對(duì)學(xué)校和研究院大數(shù)據(jù)相關(guān)專業(yè)的投資、助學(xué)；安排學(xué)生到企業(yè)進(jìn)行實(shí)地考察和研究；聘請(qǐng)企業(yè)或研究院的專家到學(xué)校兼職，傳授最新的科研成果和知識(shí)給學(xué)生，培養(yǎng)出與社會(huì)和企業(yè)對(duì)口的專業(yè)人才。（2）配套發(fā)展相關(guān)教育培訓(xùn)產(chǎn)業(yè)除了與高校合作獲取人才，也可以直接建立與大數(shù)據(jù)產(chǎn)業(yè)相關(guān)的教育培訓(xùn)產(chǎn)業(yè)，所謂“對(duì)癥下藥”。這樣便于對(duì)企業(yè)現(xiàn)有員工知識(shí)和技能的不斷更新和提升，以順應(yīng)時(shí)代和科技的快速發(fā)展。也可以直接從外部招生，針對(duì)大數(shù)據(jù)產(chǎn)業(yè)相關(guān)技能進(jìn)行專業(yè)培訓(xùn)，縮短大學(xué)培養(yǎng)人才的周期來滿足數(shù)據(jù)產(chǎn)業(yè)對(duì)人才的需求。（3）加強(qiáng)國(guó)際學(xué)術(shù)交流加強(qiáng)國(guó)際間的學(xué)術(shù)交流與溝通是加快數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新和發(fā)展的基礎(chǔ)。通過舉辦國(guó)際學(xué)術(shù)交流活動(dòng)，加強(qiáng)技術(shù)交流。在學(xué)術(shù)論文方面，各國(guó)關(guān)于大數(shù)據(jù)的最新研究和發(fā)現(xiàn)應(yīng)該進(jìn)行共享和交流。2008年，由美國(guó)雜志Nature提供的?？峁┝撕芎玫慕涣髌脚_(tái)，隨后在2011年Science推出專刊，不斷加強(qiáng)大數(shù)據(jù)國(guó)際學(xué)術(shù)交流的機(jī)會(huì)和力度。（4）出臺(tái)扶持政策發(fā)展大數(shù)據(jù)產(chǎn)業(yè)最關(guān)鍵且有效的途徑是政府在大數(shù)據(jù)的應(yīng)用方面應(yīng)率先做出行動(dòng)，將政府信息公開化。以美國(guó)為首的西方發(fā)達(dá)國(guó)家已經(jīng)將數(shù)據(jù)產(chǎn)業(yè)的戰(zhàn)