大數(shù)據(jù)數(shù)據(jù)科學(xué)和數(shù)據(jù)產(chǎn)業(yè)

1、大數(shù)據(jù)、數(shù)據(jù)科學(xué)和數(shù)據(jù)產(chǎn)業(yè)復(fù)旦大學(xué) 趙衛(wèi)東 博士議程大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的主流應(yīng)用經(jīng)典案例公共安全領(lǐng)域車(chē)牌被摘除，識(shí)別困難大卡口視頻、圖像、標(biāo)簽數(shù)據(jù)總量驚人，大海撈針識(shí)別實(shí)時(shí)性要求極高大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的應(yīng)用領(lǐng)域（1）匯聚融合醫(yī)療、環(huán)境、氣象、藥品和社交網(wǎng)絡(luò)數(shù)據(jù)等資源庫(kù)，開(kāi)展相關(guān)指標(biāo)體系及模型的研究，提供疾病就醫(yī)導(dǎo)航、健康自我檢查、臨床診療精細(xì)決策、醫(yī)療資源配置、流行病跟蹤與分析、疫情與突發(fā)事件監(jiān)測(cè)及處置等服務(wù)。醫(yī)療衛(wèi)生匯聚融合全市道路交通、公共交通、對(duì)外交通以及相關(guān)領(lǐng)域30TB以上的大數(shù)據(jù)資源，提供跨行業(yè)交通大數(shù)據(jù)挖掘分析、短期交通狀況預(yù)測(cè)等功能，實(shí)現(xiàn)支撐政府快速交通部署、交通行業(yè)管理和智慧出行服

2、務(wù)；研發(fā)覆蓋全國(guó)機(jī)場(chǎng)的流量管理系統(tǒng)（CDM）,實(shí)現(xiàn)機(jī)場(chǎng)協(xié)同決策。交通出行大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的應(yīng)用領(lǐng)域（2）匯聚融合公共安全領(lǐng)域人口、視頻、人臉、指紋、情報(bào)等數(shù)據(jù)，研發(fā)圖像與視頻智能解析、結(jié)構(gòu)化存儲(chǔ)和智能搜索技術(shù)，面向圖像智能處理的大數(shù)據(jù)一體機(jī)，提升快速應(yīng)急響應(yīng)、突發(fā)事件監(jiān)測(cè)處理等能力。公共安全匯聚融合A股、B股、港股和美股近百萬(wàn)筆/秒的交易數(shù)據(jù)等，近2萬(wàn)家專(zhuān)業(yè)媒體100萬(wàn)條/天的實(shí)時(shí)資訊，實(shí)時(shí)跟蹤微博、微信等互聯(lián)網(wǎng)輿情數(shù)據(jù)，提供更快、更全、更準(zhǔn)的風(fēng)險(xiǎn)預(yù)警、預(yù)測(cè)和個(gè)性化金融信息服務(wù)。金融證券大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的應(yīng)用領(lǐng)域（3）匯聚融合互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)，用戶(hù)行為交互數(shù)據(jù)，互聯(lián)網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù)，研究語(yǔ)義理解、

3、人群識(shí)別、智能推薦等智能分析技術(shù)，構(gòu)建互聯(lián)網(wǎng)領(lǐng)域知識(shí)庫(kù)和用戶(hù)行為模型；開(kāi)發(fā)面向互聯(lián)網(wǎng)營(yíng)銷(xiāo)的大數(shù)據(jù)管理、分析、決策與服務(wù)等支撐平臺(tái)，提供互聯(lián)網(wǎng)營(yíng)銷(xiāo)服務(wù)，促進(jìn)企業(yè)從傳統(tǒng)營(yíng)銷(xiāo)模式向互聯(lián)網(wǎng)營(yíng)銷(xiāo)模式轉(zhuǎn)型?；ヂ?lián)網(wǎng)營(yíng)銷(xiāo)匯聚城市各類(lèi)道路、橋梁、隧道、商業(yè)樓宇等監(jiān)測(cè)數(shù)據(jù)，為公共設(shè)施規(guī)劃、養(yǎng)護(hù)決策提供依據(jù)、實(shí)現(xiàn)對(duì)公共設(shè)施的實(shí)時(shí)監(jiān)測(cè)。公共設(shè)施大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的應(yīng)用領(lǐng)域（4）匯集各類(lèi)農(nóng)業(yè)數(shù)據(jù)，建立農(nóng)產(chǎn)品供求信息實(shí)時(shí)預(yù)測(cè)模型，設(shè)計(jì)災(zāi)害預(yù)警與應(yīng)急處置預(yù)案，為保障農(nóng)產(chǎn)品的數(shù)量安全提供宏觀決策依據(jù)，構(gòu)建農(nóng)產(chǎn)品質(zhì)量追溯機(jī)制，提升農(nóng)產(chǎn)品質(zhì)量監(jiān)管能力；實(shí)時(shí)追蹤農(nóng)業(yè)三資數(shù)據(jù)，打造農(nóng)村民生數(shù)據(jù)平臺(tái)，為資源合理調(diào)配、資產(chǎn)安全監(jiān)管提供可靠

4、的數(shù)據(jù)支撐農(nóng)業(yè)整合已有的建模數(shù)據(jù)，建立仿真工廠(chǎng)，對(duì)已有的生產(chǎn)實(shí)績(jī)數(shù)據(jù)進(jìn)行生產(chǎn)仿真，模擬工廠(chǎng)運(yùn)行，為工廠(chǎng)實(shí)際建設(shè)提供決策依據(jù)。收集產(chǎn)品生產(chǎn)過(guò)程各環(huán)節(jié)的實(shí)時(shí)質(zhì)量數(shù)據(jù)，實(shí)現(xiàn)敏捷的一體化質(zhì)量監(jiān)測(cè)和管控，并支持產(chǎn)品質(zhì)量追溯。制造大數(shù)據(jù)應(yīng)用大數(shù)據(jù)的應(yīng)用領(lǐng)域（5）收集發(fā)電廠(chǎng)實(shí)時(shí)運(yùn)行數(shù)據(jù)，建立發(fā)電廠(chǎng)數(shù)字仿真模型，為提高生產(chǎn)安全性、提高發(fā)電效率提供決策依據(jù)。實(shí)時(shí)收集電網(wǎng)電力資產(chǎn)狀態(tài)數(shù)據(jù)，實(shí)現(xiàn)電力資產(chǎn)在線(xiàn)狀態(tài)檢測(cè)和電網(wǎng)運(yùn)行監(jiān)控，主動(dòng)安全預(yù)警和調(diào)度、維保，保障電網(wǎng)可靠高效運(yùn)行，最終實(shí)現(xiàn)堅(jiān)強(qiáng)智能電網(wǎng)；快速收集用電數(shù)據(jù)，為需求響應(yīng)、負(fù)荷預(yù)測(cè)、調(diào)度優(yōu)化、投資決策提供支持。電力匯聚服裝、餐飲、住宿、出行等各類(lèi)數(shù)字化生活和消

5、費(fèi)服務(wù)信息，結(jié)合流行時(shí)尚、行業(yè)發(fā)展指數(shù)、用戶(hù)消費(fèi)習(xí)慣、地理位置等信息的分析挖掘，提供面向消費(fèi)者的實(shí)時(shí)、在線(xiàn)、互動(dòng)的個(gè)性化衣食住行生活信息數(shù)字生活議程數(shù)據(jù)科學(xué)數(shù)據(jù)學(xué)（數(shù)據(jù)學(xué)（DataologyDataology）和數(shù)據(jù)科學(xué)（）和數(shù)據(jù)科學(xué)（DataScienceDataScience）是關(guān)于數(shù)據(jù)的科學(xué)，定義為研究）是關(guān)于數(shù)據(jù)的科學(xué)，定義為研究探索探索CyberspaceCyberspace中數(shù)據(jù)界奧秘的理論、方法和技術(shù)。主要有兩個(gè)內(nèi)涵：一個(gè)是研究數(shù)中數(shù)據(jù)界奧秘的理論、方法和技術(shù)。主要有兩個(gè)內(nèi)涵：一個(gè)是研究數(shù)據(jù)本身；另一個(gè)是為自然科學(xué)和社會(huì)科學(xué)研究提供一種新方法，稱(chēng)為科學(xué)研究的數(shù)據(jù)據(jù)本身；另一個(gè)是為

6、自然科學(xué)和社會(huì)科學(xué)研究提供一種新方法，稱(chēng)為科學(xué)研究的數(shù)據(jù)方法。方法。數(shù)據(jù)學(xué)和數(shù)據(jù)科學(xué)數(shù)據(jù)科學(xué)數(shù)據(jù)科學(xué)在20世紀(jì)60年代已被提出，當(dāng)時(shí)并未獲得學(xué)術(shù)界的注意和認(rèn)可。1974年彼得.諾爾出版了計(jì)算機(jī)方法的簡(jiǎn)明調(diào)查中將數(shù)據(jù)科學(xué)定義為：“處理數(shù)據(jù)的科學(xué)，一旦數(shù)據(jù)與其代表事物的關(guān)系被建立起來(lái)，將為其他領(lǐng)域與科學(xué)提供借鑒”。1996年在日本召開(kāi)的“數(shù)據(jù)科學(xué)、分類(lèi)和相關(guān)方法”，已經(jīng)將數(shù)據(jù)科學(xué)作為會(huì)議的主題詞。2001年美國(guó)統(tǒng)計(jì)學(xué)教授威廉.s.克利夫蘭發(fā)表了數(shù)據(jù)科學(xué)：拓展統(tǒng)計(jì)學(xué)的技術(shù)領(lǐng)域的行動(dòng)計(jì)劃，因此有人認(rèn)為是克利夫蘭首次將數(shù)據(jù)科學(xué)作為一個(gè)單獨(dú)的學(xué)科，并把數(shù)據(jù)科學(xué)定義為統(tǒng)計(jì)學(xué)領(lǐng)域擴(kuò)展到以數(shù)據(jù)作為現(xiàn)金計(jì)算對(duì)象相

7、結(jié)合的部分，奠定了數(shù)據(jù)科學(xué)的理論基礎(chǔ)。發(fā)展歷史數(shù)據(jù)科學(xué)在在CCF 大數(shù)據(jù)專(zhuān)家委員大數(shù)據(jù)專(zhuān)家委員會(huì)于會(huì)于2013 年年12月發(fā)布的月發(fā)布的2014 年大數(shù)據(jù)發(fā)展趨勢(shì)預(yù)測(cè)年大數(shù)據(jù)發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告中都預(yù)測(cè)數(shù)據(jù)科學(xué)將報(bào)告中都預(yù)測(cè)數(shù)據(jù)科學(xué)將作為一門(mén)新的交叉學(xué)科逐步作為一門(mén)新的交叉學(xué)科逐步興起。甚至類(lèi)似波色子的發(fā)興起。甚至類(lèi)似波色子的發(fā)現(xiàn)，數(shù)學(xué)、生物、物理、化現(xiàn)，數(shù)學(xué)、生物、物理、化學(xué)、材料等領(lǐng)域?qū)⒃谝欢ǔ虒W(xué)、材料等領(lǐng)域?qū)⒃谝欢ǔ潭壬弦蕾?lài)數(shù)據(jù)科學(xué)才能取得度上依賴(lài)數(shù)據(jù)科學(xué)才能取得突破性進(jìn)展。突破性進(jìn)展。目標(biāo)數(shù)據(jù)科學(xué)內(nèi)涵n數(shù)據(jù)科學(xué)作為一項(xiàng)新的科學(xué)，還有很多根本數(shù)據(jù)科學(xué)作為一項(xiàng)新的科學(xué)，還有很多根本問(wèn)題沒(méi)有解決

8、，甚至很多問(wèn)題還沒(méi)有被提出問(wèn)題沒(méi)有解決，甚至很多問(wèn)題還沒(méi)有被提出。n國(guó)家自然科學(xué)基金委員會(huì)在國(guó)家自然科學(xué)基金委員會(huì)在2014 2014 年組織的年組織的未來(lái)五年的未來(lái)五年的“十三五十三五”規(guī)劃中，特別嘗試設(shè)規(guī)劃中，特別嘗試設(shè)立了立了“數(shù)據(jù)與計(jì)算科學(xué)數(shù)據(jù)與計(jì)算科學(xué)”這一專(zhuān)門(mén)面向大數(shù)這一專(zhuān)門(mén)面向大數(shù)據(jù)的學(xué)科方向，還具體定義該方向是研究數(shù)據(jù)的學(xué)科方向，還具體定義該方向是研究數(shù)據(jù)的感知、收集、傳輸、管理、分析與應(yīng)用據(jù)的感知、收集、傳輸、管理、分析與應(yīng)用的交叉性學(xué)科，旨在揭示數(shù)據(jù)的內(nèi)在規(guī)律，的交叉性學(xué)科，旨在揭示數(shù)據(jù)的內(nèi)在規(guī)律，探索數(shù)據(jù)計(jì)算理論，實(shí)現(xiàn)從數(shù)據(jù)到知識(shí)的轉(zhuǎn)探索數(shù)據(jù)計(jì)算理論，實(shí)現(xiàn)從數(shù)據(jù)到知識(shí)的轉(zhuǎn)

9、化，為大數(shù)據(jù)的科學(xué)計(jì)算以及在重要應(yīng)用領(lǐng)化，為大數(shù)據(jù)的科學(xué)計(jì)算以及在重要應(yīng)用領(lǐng)域的預(yù)測(cè)、決策與應(yīng)用提供基礎(chǔ)。域的預(yù)測(cè)、決策與應(yīng)用提供基礎(chǔ)。數(shù)據(jù)科學(xué)大數(shù)據(jù)和數(shù)據(jù)科學(xué)數(shù)據(jù)科學(xué)基礎(chǔ)問(wèn)題體系本身就是大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)。數(shù)據(jù)科學(xué)基礎(chǔ)問(wèn)題體系本身就是大數(shù)據(jù)領(lǐng)域的研究熱點(diǎn)。數(shù)據(jù)科學(xué)將帶動(dòng)多學(xué)科融合。數(shù)據(jù)科學(xué)將帶動(dòng)多學(xué)科融合。數(shù)據(jù)科學(xué)是作為一個(gè)與大數(shù)據(jù)相關(guān)的新興學(xué)科出現(xiàn)的，在大數(shù)據(jù)處理的理論研究方面，新型數(shù)據(jù)科學(xué)是作為一個(gè)與大數(shù)據(jù)相關(guān)的新興學(xué)科出現(xiàn)的，在大數(shù)據(jù)處理的理論研究方面，新型的概率和統(tǒng)計(jì)模型將是主要的研究工具。的概率和統(tǒng)計(jì)模型將是主要的研究工具。谷歌無(wú)人駕駛汽車(chē)數(shù)據(jù)科學(xué)科學(xué)研究的第四范式數(shù)據(jù)科學(xué)從經(jīng)驗(yàn)

10、思維到實(shí)證思維大多數(shù)人以經(jīng)驗(yàn)思維為主，判斷多而論證少?；跀?shù)據(jù)的實(shí)證更少。大多數(shù)人以經(jīng)驗(yàn)思維為主，判斷多而論證少。基于數(shù)據(jù)的實(shí)證更少。憑經(jīng)驗(yàn)得出的判斷往往難以證明。將經(jīng)驗(yàn)思維轉(zhuǎn)變?yōu)閷?shí)證思維是通向數(shù)據(jù)科學(xué)時(shí)代，通向數(shù)據(jù)驅(qū)動(dòng)的管理決策的關(guān)鍵步驟。數(shù)據(jù)科學(xué)機(jī)器翻譯自然語(yǔ)言的機(jī)器翻譯是人工智能研究的一個(gè)重要題目。語(yǔ)言學(xué)家不辭勞自然語(yǔ)言的機(jī)器翻譯是人工智能研究的一個(gè)重要題目。語(yǔ)言學(xué)家不辭勞苦地編撰大型詞典和與語(yǔ)法、句法、語(yǔ)義學(xué)有關(guān)的規(guī)則，數(shù)十萬(wàn)詞匯構(gòu)苦地編撰大型詞典和與語(yǔ)法、句法、語(yǔ)義學(xué)有關(guān)的規(guī)則，數(shù)十萬(wàn)詞匯構(gòu)成詞庫(kù)，語(yǔ)法規(guī)則高達(dá)數(shù)萬(wàn)條，考慮各種情景、語(yǔ)境，窮舉式的做法根成詞庫(kù)，語(yǔ)法規(guī)則高達(dá)數(shù)萬(wàn)條，考慮

11、各種情景、語(yǔ)境，窮舉式的做法根本達(dá)不到最基本的翻譯質(zhì)量。本達(dá)不到最基本的翻譯質(zhì)量。1960年代后科學(xué)家發(fā)現(xiàn)以年代后科學(xué)家發(fā)現(xiàn)以“模擬人腦模擬人腦”的方式來(lái)定義人工智能走入一條的方式來(lái)定義人工智能走入一條死胡同。采用匹配法，同時(shí)結(jié)合機(jī)器學(xué)習(xí)，依賴(lài)于海量的數(shù)據(jù)及其相關(guān)死胡同。采用匹配法，同時(shí)結(jié)合機(jī)器學(xué)習(xí)，依賴(lài)于海量的數(shù)據(jù)及其相關(guān)相關(guān)統(tǒng)計(jì)信息，不管語(yǔ)法和規(guī)則，將原文與互聯(lián)網(wǎng)上的翻譯數(shù)據(jù)對(duì)比，相關(guān)統(tǒng)計(jì)信息，不管語(yǔ)法和規(guī)則，將原文與互聯(lián)網(wǎng)上的翻譯數(shù)據(jù)對(duì)比，找到最相近、引用最頻繁的翻譯結(jié)果做為輸出。找到最相近、引用最頻繁的翻譯結(jié)果做為輸出。計(jì)算機(jī)“深藍(lán)”議程數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè) 大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)、移

12、動(dòng)互聯(lián)網(wǎng)之后的又一個(gè)具有國(guó)家戰(zhàn)略意義的新興產(chǎn)業(yè)。如今，大數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素。 大數(shù)據(jù)產(chǎn)業(yè)鏈的形成：大數(shù)據(jù)產(chǎn)業(yè)包括與大數(shù)據(jù)的生產(chǎn)與集聚、組織與管理、分析與發(fā)現(xiàn)、應(yīng)用與服務(wù)相關(guān)的所有活動(dòng)。數(shù)據(jù)產(chǎn)業(yè)鏈按照數(shù)據(jù)價(jià)值實(shí)現(xiàn)流程，包括生產(chǎn)與集聚層、組織與管理層、分析與發(fā)現(xiàn)層、應(yīng)用與服務(wù)層四大層級(jí)，每一層都包含相應(yīng)的IT技術(shù)設(shè)施、軟件與信息服務(wù)。數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)的價(jià)值產(chǎn)生數(shù)據(jù)產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)鏈根據(jù)數(shù)據(jù)從產(chǎn)生到應(yīng)用，繼而產(chǎn)生新數(shù)據(jù)的過(guò)程，大數(shù)據(jù)產(chǎn)業(yè)形成了一個(gè)環(huán)形產(chǎn)業(yè)鏈。從數(shù)據(jù)產(chǎn)生到應(yīng)用，參與企業(yè)逐漸增多，數(shù)據(jù)價(jià)值逐級(jí)增加。環(huán)形產(chǎn)業(yè)鏈主要包括以下幾個(gè)方面：以云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)而不斷生產(chǎn)交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)的大數(shù)據(jù)生產(chǎn)活動(dòng)；以搭建大數(shù)據(jù)平臺(tái)、支撐大數(shù)據(jù)組織與管