《大數(shù)據(jù)通識教程》 課件 第13、14章 數(shù)據(jù)科學(xué)與職業(yè)技能、大數(shù)據(jù)的未來

數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識教程第13章楊武劍周蘇主編數(shù)據(jù)科學(xué)與職業(yè)技能01計算思維02數(shù)據(jù)工程師的社會責(zé)任03數(shù)據(jù)科學(xué)與職業(yè)技能目錄/CONTENTSPART01計算思維所謂數(shù)據(jù)素養(yǎng)，是指具備數(shù)據(jù)意識和數(shù)據(jù)敏感性，能夠有效且恰當(dāng)?shù)孬@取、分析、處理、利用和展現(xiàn)數(shù)據(jù)，它是對統(tǒng)計素養(yǎng)、媒介素養(yǎng)和信息素養(yǎng)的一種延伸和擴展?？梢詮奈鍌€方面的維度來思考數(shù)據(jù)素養(yǎng)，即對數(shù)據(jù)的敏感性；數(shù)據(jù)的收集能力；數(shù)據(jù)的分析、處理能力；利用數(shù)據(jù)進(jìn)行決策的能力；對數(shù)據(jù)的批判性思維。13.1計算思維計算思維是運用計算機科學(xué)的基礎(chǔ)概念進(jìn)行問題求解、系統(tǒng)設(shè)計、以及人類行為理解等涵蓋計算機科學(xué)之廣度的一系列思維活動。13.1.1計算思維的概念為了讓人們更易于理解，可以將計算思維進(jìn)一步定義為：通過約簡、嵌入、轉(zhuǎn)化和仿真等方法，把一個看來困難的問題重新闡釋成一個我們知道問題怎樣解決的方法；是一種遞歸思維、并行處理，把代碼譯成數(shù)據(jù)又能把數(shù)據(jù)譯成代碼的方法，是一種多維分析推廣的類型檢查方法；是一種采用抽象和分解來控制龐雜的任務(wù)或進(jìn)行巨大復(fù)雜系統(tǒng)設(shè)計的方法，是基于關(guān)注分離的方法，即在系統(tǒng)中為達(dá)到目的而對軟件元素進(jìn)行劃分與對比，通過適當(dāng)?shù)年P(guān)注分離，將復(fù)雜的東西變成可管理的。13.1.1計算思維的概念計算思維也是一種選擇合適的方式去陳述一個問題，或?qū)σ粋€問題的相關(guān)方面建模使其易于處理的思維方法；是按照預(yù)防、保護(hù)及通過冗余、容錯、糾錯的方式，并從最壞情況進(jìn)行系統(tǒng)恢復(fù)的一種思維方法；是利用啟發(fā)式推理尋求解答，也即在不確定情況下的規(guī)劃、學(xué)習(xí)和調(diào)度的思維方法；是利用海量數(shù)據(jù)來加快計算，在時間和空間之間，在處理能力和存儲容量之間進(jìn)行折衷的思維方法。13.1.1計算思維的概念計算思維吸取了問題解決所采用的一般數(shù)學(xué)思維方法，現(xiàn)實世界中巨大復(fù)雜系統(tǒng)的設(shè)計與評估的一般工程思維方法，以及復(fù)雜性、智能、心理、人類行為的理解等的一般科學(xué)思維方法。計算思維建立在計算過程的能力和限制之上。計算方法和模型使我們敢于去處理那些原本無法由個人獨立完成的問題求解和系統(tǒng)設(shè)計。計算思維直面機器智能的不解之謎：什么人類比計算機做得好？什么計算機比人類做得好？最基本的問題是：什么是可計算的？13.1.1計算思維的概念計算思維最根本的內(nèi)容，即其本質(zhì)是抽象和自動化。計算思維中的抽象完全超越物理的時空觀，并完全用符號來表示，其中，數(shù)字抽象只是一類特例。與數(shù)學(xué)和物理科學(xué)相比，計算思維中的抽象顯得更為豐富，也更為復(fù)雜。數(shù)學(xué)抽象的最大特點是拋開現(xiàn)實事物的物理、化學(xué)和生物學(xué)等特性，而僅保留其量的關(guān)系和空間的形式，而計算思維中的抽象卻不僅僅如此。13.1.1計算思維的概念計算思維是每個人的基本技能，在培養(yǎng)學(xué)生解析能力時，不僅要掌握閱讀、寫作和算術(shù)（Reading，wRiting，andaRithmetic——3R），還要學(xué)會計算思維。正如印刷出版促進(jìn)了3R的普及，計算和計算機也以類似的正反饋促進(jìn)了計算思維的傳播。

圖13-3計算之樹：計算思維教育空間13.1.2計算思維的作用當(dāng)我們必須求解一個特定問題時，首先會問：解決這個問題有多么困難？怎樣才是最佳的解決方法？計算機科學(xué)根據(jù)堅實的理論基礎(chǔ)來準(zhǔn)確地回答這些問題。表述問題的難度就是工具的基本能力，必須考慮的因素包括機器的指令系統(tǒng)、資源約束和操作環(huán)境。為了有效地求解一個問題，我們可能要進(jìn)一步問：一個近似解是否就夠了，是否可以利用一下隨機化，以及是否允許誤報和漏報。計算思維就是通過約簡、嵌入、轉(zhuǎn)化和仿真等方法，把一個看來困難的問題重新闡釋成一個我們知道怎樣解決的問題。13.1.2計算思維的作用計算思維是一種遞歸思維，它是并行處理，它把代碼譯成數(shù)據(jù)又把數(shù)據(jù)譯成代碼。它是由廣義量綱分析進(jìn)行的類型檢查。對于別名或賦予人與物多個名字的做法，它既知道其益處又了解其害處。對于間接尋址和程序調(diào)用的方法，它既知道其威力又了解其代價。它評價一個程序時，不僅僅根據(jù)其準(zhǔn)確性和效率，還有美學(xué)的考量，而對于系統(tǒng)的設(shè)計，還考慮簡潔和優(yōu)雅。13.1.2計算思維的作用計算思維通過抽象和分解來迎接龐雜的任務(wù)或者設(shè)計巨大復(fù)雜的系統(tǒng)。它是關(guān)注的分離，它選擇合適的方式去陳述一個問題，或者是選擇合適的方式對一個問題的相關(guān)方面建模使其易于處理。它是利用不變量簡明扼要且表述性地刻畫系統(tǒng)的行為。它使我們在不必理解每一個細(xì)節(jié)的情況下就能夠安全地使用、調(diào)整和影響一個大型復(fù)雜系統(tǒng)的信息。它就是為預(yù)期的未來應(yīng)用而進(jìn)行的預(yù)取和緩存。13.1.2計算思維的作用計算思維是按照預(yù)防、保護(hù)及通過冗余、容錯、糾錯的方式從最壞情形恢復(fù)的一種思維。它稱堵塞為“死鎖”，稱約定為“界面”。計算思維就是學(xué)習(xí)在同步相互會合時如何避免“競爭條件”（亦稱“競態(tài)條件”）的情形。計算思維利用啟發(fā)式推理來尋求解答，就是在不確定情況下的規(guī)劃、學(xué)習(xí)和調(diào)度。它就是搜索、搜索、再搜索，結(jié)果是一系列的網(wǎng)頁，一個贏得游戲的策略，或者一個反例。計算思維利用海量數(shù)據(jù)來加快計算，在時間和空間之間，在處理能力和存儲容量之間進(jìn)行權(quán)衡。13.1.2計算思維的作用計算思維將滲透到我們每個人的生活之中，到那時，諸如算法和前提條件這些詞匯將成為每個人日常語言的一部分，對“非確定論”和“垃圾收集”這些詞的理解會和計算機科學(xué)里的含義驅(qū)近，而樹已常常被倒過來畫了。我們已經(jīng)見證了計算思維在其他學(xué)科中的影響。例如，機器學(xué)習(xí)改變了統(tǒng)計學(xué)。就數(shù)學(xué)尺度和維數(shù)而言，統(tǒng)計學(xué)習(xí)用于各類問題的規(guī)模僅在幾年前還是不可想象的。各種組織的統(tǒng)計部門都聘請了計算機科學(xué)家。計算機院系正在與統(tǒng)計學(xué)系聯(lián)姻。13.1.2計算思維的作用計算機科學(xué)家們對生物科學(xué)越來越感興趣，因為他們堅信生物學(xué)家能夠從計算思維中獲益。計算機科學(xué)對生物學(xué)的貢獻(xiàn)決不限于其能夠在海量序列數(shù)據(jù)中搜索尋找模式規(guī)律的本領(lǐng)。最終希望是數(shù)據(jù)結(jié)構(gòu)和算法（我們自身的計算抽象和方法）能夠以其體現(xiàn)自身功能的方式來表示蛋白質(zhì)的結(jié)構(gòu)。計算生物學(xué)正在改變著生物學(xué)家的思考方式。類似地，計算博弈理論正改變著經(jīng)濟(jì)學(xué)家的思考方式，納米計算改變著化學(xué)家的思考方式，量子計算改變著物理學(xué)家的思考方式。13.1.2計算思維的作用這種思維將成為每個人的技能組合成分，而不僅僅限于科學(xué)家。普適計算之于今天就如計算思維之于明天。普適計算是已成為今日現(xiàn)實的昨日之夢，而計算思維就是明日現(xiàn)實。13.1.2計算思維的作用計算思維有以下幾個特點：（1）概念化，不是程序化。計算機科學(xué)不是計算機編程。像計算機科學(xué)家那樣去思維意味著遠(yuǎn)不止能為計算機編程，還要求能夠在抽象的多個層次上思維。許多人將計算機科學(xué)等同于計算機編程。許多人為主修計算機科學(xué)的學(xué)生們看到的只是一個狹窄的就業(yè)范圍。許多人認(rèn)為計算機科學(xué)的基礎(chǔ)研究已經(jīng)完成，剩下的只是工程問題。當(dāng)我們行動起來去改變這一領(lǐng)域的社會形象時，計算思維就是一個引導(dǎo)著計算機教育家、研究者和實踐者的宏大愿景。13.1.3計算思維的特點（2）根本的，不是刻板的技能。根本技能是每一個人為了在現(xiàn)代社會中發(fā)揮職能所必須掌握的?？贪寮寄芤馕吨鴻C械的重復(fù)。具有諷刺意味的是，當(dāng)計算機像人類一樣思考之后，思維可就真的變成機械的了。（3）是人的，不是計算機的思維方式。計算思維是人類求解問題的一條途徑，但決非要使人類像計算機那樣地思考。計算機枯燥且沉悶，人類聰穎且富有想象力。是人類賦予計算機激情。配置了計算設(shè)備，我們就能用自己的智慧去解決那些在計算時代之前不敢嘗試的問題，實現(xiàn)“只有想不到，沒有做不到”的境界。13.1.3計算思維的特點（4）數(shù)學(xué)和工程思維的互補與融合。計算機科學(xué)在本質(zhì)上源自數(shù)學(xué)思維，因為像所有的科學(xué)一樣，其形式化基礎(chǔ)建筑于數(shù)學(xué)之上。計算機科學(xué)又從本質(zhì)上源自工程思維，因為我們建造的是能夠與實際世界互動的系統(tǒng)，基本計算設(shè)備的限制迫使計算機學(xué)家必須計算性地思考，不能只是數(shù)學(xué)性地思考。構(gòu)建虛擬世界的自由使我們能夠設(shè)計超越物理世界的各種系統(tǒng)。13.1.3計算思維的特點（5）是思想，不是人造物。不只是我們生產(chǎn)的軟件硬件等人造物將以物理形式到處呈現(xiàn)并時時刻刻觸及我們的生活，更重要的是還將有我們用以接近和求解問題、管理日常生活、與他人交流和互動的計算概念；而且，面向所有的人，所有地方。當(dāng)計算思維真正融入人類活動的整體以致不再表現(xiàn)為一種顯式之哲學(xué)的時候，它就將成為一種現(xiàn)實。13.1.3計算思維的特點因此，特別需要向人們傳送下面兩個主要信息：（1）智力上的挑戰(zhàn)和引人入勝的科學(xué)問題依舊亟待理解和解決。這些問題和解答僅僅受限于我們自己的好奇心和創(chuàng)造力。一個人可以主修英語或者數(shù)學(xué)，接著從事各種各樣的職業(yè)。計算機科學(xué)也一樣。一個人可以主修計算機科學(xué)，接著從事醫(yī)學(xué)、法律、商業(yè)、政治，以及任何類型的科學(xué)和工程，甚至藝術(shù)工作。13.1.3計算思維的特點（2）應(yīng)該讓“怎么像計算機科學(xué)家一樣思維”這樣的課程，面向所有專業(yè)，而不僅僅是計算機科學(xué)專業(yè)的學(xué)生。應(yīng)當(dāng)使廣大學(xué)生接觸計算的方法和模型，設(shè)法激發(fā)公眾對計算機領(lǐng)域科學(xué)探索的興趣。應(yīng)當(dāng)傳播計算機科學(xué)的快樂、崇高和力量，致力于使計算思維成為常識。13.1.3計算思維的特點PART02數(shù)據(jù)工程師的社會責(zé)任計算機、網(wǎng)絡(luò)、大數(shù)據(jù)和人工智能技術(shù)正在使世界經(jīng)歷一場巨大的變革，這種變革不但體現(xiàn)在人們的日常工作和生活中，而且深刻地反映在社會經(jīng)濟(jì)、文化等各個方面。比如：網(wǎng)絡(luò)信息的膨脹正在逐步瓦解信息集中控制的現(xiàn)狀；與傳統(tǒng)的通信方式相比，計算機通信更有利于不同性別、種族、文化和語言的人們之間的交流，更有助于減少交流中的偏見和誤解。13.2數(shù)據(jù)工程師的社會責(zé)任“職業(yè)化”通常也被稱為“職業(yè)特性”、“職業(yè)作風(fēng)”或“專業(yè)精神”等，應(yīng)該視為從業(yè)人員、職業(yè)團(tuán)體及其服務(wù)對象——公眾之間的三方關(guān)系準(zhǔn)則。該準(zhǔn)則是從事某一職業(yè)，并得以生存和發(fā)展的必要條件。實際上，該準(zhǔn)則隱含地為從業(yè)人員、職業(yè)團(tuán)體（由雇主作為代表）和公眾（或社會）擬訂了一個三方協(xié)議，其中規(guī)定的各方的需求、期望和責(zé)任就構(gòu)成了職業(yè)化的基本內(nèi)涵。如從業(yè)人員希望職業(yè)團(tuán)體能夠抵制來自社會的不合理要求，能夠?qū)β殬I(yè)目標(biāo)、指導(dǎo)方針和技能要求不斷進(jìn)行檢查、評價和更新，從而保持該職業(yè)的吸引力。13.2.1職業(yè)化和道德責(zé)任反過來，職業(yè)團(tuán)體也對從業(yè)人員提出了要求，要求從業(yè)人員具有與職業(yè)理想相稱的價值觀念，具有足夠的、完成規(guī)定服務(wù)所要求的知識和技能。類似地，社會對職業(yè)團(tuán)體以及職業(yè)團(tuán)體對社會都具有一定的期望和需求。任何領(lǐng)域提供的任何一項專業(yè)服務(wù)都應(yīng)該達(dá)到三方的滿意，至少能夠使三方彼此接受對方?！奥殬I(yè)化”是一個適用于所有職業(yè)的一個總的原則性協(xié)議，但具體到某一個行業(yè)時，還應(yīng)考慮其自身特殊的要求。雖然職業(yè)道德規(guī)范沒有法律法規(guī)所具有的強制性，但遵守這些規(guī)范對行業(yè)的健康發(fā)展是至關(guān)重要的。13.2.1職業(yè)化和道德責(zé)任道德準(zhǔn)則被設(shè)計來幫助計算機專業(yè)人士決定其有關(guān)道德問題的判斷。許多專業(yè)機構(gòu)（諸如美國計算機協(xié)會、英國計算機協(xié)會、澳大利亞計算機協(xié)會以及美國計算機倫理研究所等）都頒布了道德準(zhǔn)則，每種準(zhǔn)則在細(xì)節(jié)上存在著差別，為專業(yè)人士行為提供了整體指南準(zhǔn)則。13.2.1職業(yè)化和道德責(zé)任計算機倫理研究所頒布的最短準(zhǔn)則如下。（1）不要使用計算機來傷害他人。（2）不要干擾他人的計算機工作。（3）不要監(jiān)控他人的文件。（4）不要使用計算機來偷竊。（5）不要使用計算機來提供假證詞。（6）不要使用或者復(fù)制你沒有付費的軟件。13.2.1職業(yè)化和道德責(zé)任（7）不要在沒有獲得允許的情況下使用他人的計算機資源。（8）不要盜用他人的智能成果。（9）應(yīng)該考慮到自己所編寫程序的社會后果。（10）使用計算機時應(yīng)該體現(xiàn)出對信息的尊重。13.2.1職業(yè)化和道德責(zé)任美國計算機協(xié)會（ACM）為專業(yè)人士行為制訂的道德準(zhǔn)則包含21條，包括“必須遵守現(xiàn)有的本地、地區(qū)、國家以及國際法律，除非有明確準(zhǔn)則要求不必這樣做。”13.2.2ACM職業(yè)道德責(zé)任在計算機日益成為各個領(lǐng)域及各項社會事務(wù)中心角色的今天，那些直接或間接從事軟件設(shè)計和軟件開發(fā)的人員，有著既可從善也可從惡的極大機會，同時還可影響周圍其他從事該職業(yè)的人的行為。為能保證使其盡量發(fā)揮有益的作用，這就必須要求軟件工程師致力于使軟件工程成為一個有益的和受人尊敬的職業(yè)。為此，1998年，IEEE-CS和ACM聯(lián)合特別工作組在對多個計算學(xué)科和工程學(xué)科規(guī)范進(jìn)行廣泛研究的基礎(chǔ)上，制訂了軟件工程師職業(yè)化的一個關(guān)鍵規(guī)范《軟件工程資格和專業(yè)規(guī)范》。該規(guī)范不代表立法，它只是向?qū)嵺`者指明社會期望他們達(dá)到的標(biāo)準(zhǔn)，以及同行們的共同追求和相互的期望。13.2.2ACM職業(yè)道德責(zé)任該規(guī)范要求軟件工程師應(yīng)該堅持以下8項道德規(guī)范。原則1：公眾。從職業(yè)角色來說，軟件工程師應(yīng)當(dāng)始終關(guān)注公眾的利益，按照與公眾的安全、健康和幸福相一致的方式發(fā)揮作用。原則2：客戶和雇主。軟件工程師應(yīng)當(dāng)有一個認(rèn)知，什么是其客戶和雇主的最大利益。他們應(yīng)該總是以職業(yè)的方式擔(dān)當(dāng)他們的客戶或雇主的忠實代理人和委托人。原則3：產(chǎn)品。軟件工程師應(yīng)當(dāng)盡可能地確保他們開發(fā)的軟件對于公眾、雇主、客戶以及用戶是有用的，在質(zhì)量上是可接受的，在時間上要按期完成并且費用合理，同時沒有錯誤。13.2.2ACM職業(yè)道德責(zé)任原則4：判斷。軟件工程師應(yīng)當(dāng)完全堅持自己獨立自主的專業(yè)判斷并維護(hù)其判斷的聲譽。原則5：管理。軟件工程的管理者和領(lǐng)導(dǎo)應(yīng)當(dāng)通過規(guī)范的方法贊成和促進(jìn)軟件管理的發(fā)展與維護(hù)，并鼓勵他們所領(lǐng)導(dǎo)的人員履行個人和集體的義務(wù)。原則6：職業(yè)。軟件工程師應(yīng)該提高他們職業(yè)的正直性和聲譽，并與公眾的興趣保持一致。13.2.2ACM職業(yè)道德責(zé)任原則7：同事。軟件工程師應(yīng)該公平合理地對待他們的同事，并應(yīng)該采取積極的步驟支持社團(tuán)的活動。原則8：自身。軟件工程師應(yīng)當(dāng)在他們的整個職業(yè)生涯中，積極參與有關(guān)職業(yè)規(guī)范的學(xué)習(xí)，努力提高從事自己的職業(yè)所應(yīng)該具有的能力，以推進(jìn)職業(yè)規(guī)范的發(fā)展。13.2.2ACM職業(yè)道德責(zé)任在軟件開發(fā)的過程中，軟件工程師及工程管理人員不可避免地會在某些與工程相關(guān)的事務(wù)上產(chǎn)生沖突。軟件工程師應(yīng)該以符合道德的方式減少和妥善地處理這些沖突。13.2.3軟件工程師道德基礎(chǔ)1996年11月，IEEE道德規(guī)范委員會指定并批準(zhǔn)了《工程師基于道德基礎(chǔ)提出異議的指導(dǎo)方針》，提出了9條指導(dǎo)方針：（1）確立清晰的技術(shù)基礎(chǔ)：盡量弄清事實，充分理解技術(shù)上的不同觀點，而且一旦證實對方的觀點是正確的，就要毫不猶豫地接受。（2）使自己的觀點具有較高的職業(yè)水準(zhǔn)，盡量使其客觀和不帶有個人感情色彩，避免涉及無關(guān)的事務(wù)和感情沖動。（3）及早發(fā)現(xiàn)問題，盡量在最低層的管理部門解決問題。13.2.3軟件工程師道德基礎(chǔ)（4）在因為某事務(wù)而決定單干之前，要確保該事務(wù)足夠重要，值得為此冒險。（5）利用組織的爭端裁決機制解決問題。（6）保留記錄，收集文件。當(dāng)認(rèn)識到自己處境嚴(yán)峻的時候，應(yīng)著手制作日志，記錄自己采取的每一項措施及其時間，并備份重要文件，防止突發(fā)事件。（7）辭職：當(dāng)在組織內(nèi)無法化解沖突的時候，要考慮自己是去還是留。選擇辭職既有好處也有缺點，作出決定之前要慎重考慮。13.2.3軟件工程師道德基礎(chǔ)（8）匿名：工程師在認(rèn)識到組織內(nèi)部存在嚴(yán)重危害，而且公開提請組織的注意可能會招致有關(guān)人員超出其限度的強烈反應(yīng)時，對該問題的反映可以考慮采用匿名報告的形式。（9）外部介入：組織內(nèi)部化解沖突的努力失敗后，如果工程人員決定讓外界人員或機構(gòu)介入該事件，那么不管他是否決定辭職，都必須認(rèn)真考慮讓誰介入?？赡艿倪x擇有：執(zhí)法機關(guān)、政府官員、立法人員或公共利益組織等。13.2.3軟件工程師道德基礎(chǔ)PART03數(shù)據(jù)科學(xué)的職業(yè)技能數(shù)據(jù)科學(xué)可以簡單地理解為預(yù)測分析和數(shù)據(jù)挖掘，是統(tǒng)計分析和機器學(xué)習(xí)技術(shù)的結(jié)合，用于獲取數(shù)據(jù)中的推斷和洞察力。相關(guān)方法包括回歸分析、關(guān)聯(lián)規(guī)則（比如市場購物車分析）、優(yōu)化技術(shù)和仿真（比如蒙特卡羅仿真用于構(gòu)建場景結(jié)果）。數(shù)據(jù)科學(xué)的典型技術(shù)和數(shù)據(jù)類型包括：（1）優(yōu)化模型、預(yù)測模型、預(yù)報、統(tǒng)計分析；（2）結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、多種類型數(shù)據(jù)源、超大數(shù)據(jù)集。13.3數(shù)據(jù)科學(xué)的職業(yè)技能商業(yè)智能和數(shù)據(jù)科學(xué)都是企業(yè)所需要的，用于應(yīng)對不斷出現(xiàn)的各種商業(yè)挑戰(zhàn)。商業(yè)智能和數(shù)據(jù)科學(xué)有不同的定位和范疇，商業(yè)智能更關(guān)注于過去的舊數(shù)據(jù)，其結(jié)果的商業(yè)價值相對較低；而數(shù)據(jù)科學(xué)更著眼于新數(shù)據(jù)和對未來的預(yù)測，其商業(yè)價值相對更高。但是，它們并不存在一個明確的劃分，只是各有偏重而己。13.3數(shù)據(jù)科學(xué)的職業(yè)技能大數(shù)據(jù)需要數(shù)據(jù)科學(xué)，數(shù)據(jù)科學(xué)要做到的不僅是存儲和管理，而是預(yù)測式的分析（比如如果這樣做，會發(fā)生什么）。數(shù)據(jù)學(xué)科是統(tǒng)計學(xué)的論證，真正利用到統(tǒng)計學(xué)的力量。只有這樣才能夠從數(shù)據(jù)中獲得經(jīng)驗和未來方向的指導(dǎo)。但是，數(shù)據(jù)科學(xué)并非簡單的統(tǒng)計學(xué)，需要新的應(yīng)用、新的平臺和新的數(shù)據(jù)觀，而不僅是現(xiàn)有的傳統(tǒng)的基礎(chǔ)架構(gòu)與軟件平臺。13.3數(shù)據(jù)科學(xué)的職業(yè)技能通常，數(shù)據(jù)科學(xué)的實踐需要三個一般領(lǐng)域的技能，即：商業(yè)洞察、計算機技術(shù)/編程和統(tǒng)計學(xué)/數(shù)學(xué)。而另一方面，不同的工作對象，他的具體技能集合會有所不同。為探索數(shù)據(jù)科學(xué)家應(yīng)該具有的職業(yè)技能，多個研究項目進(jìn)行了不同的探索，綜合得出數(shù)據(jù)科學(xué)從業(yè)人員相關(guān)的25項技能（表13-1）。13.3.1數(shù)據(jù)科學(xué)重要技能表13-1數(shù)據(jù)科學(xué)中25項技能13.3.1數(shù)據(jù)科學(xué)重要技能表13-1列出的25項技能反映了通常與數(shù)據(jù)科學(xué)家相關(guān)的技能集合。在進(jìn)行針對數(shù)據(jù)科學(xué)家的調(diào)查中，調(diào)查者要求數(shù)據(jù)專業(yè)人員指出他們在25項不同數(shù)據(jù)科學(xué)技能上的熟練程度。研究中，選擇“中等了解”水平作為數(shù)據(jù)專業(yè)人員擁有該技能的標(biāo)準(zhǔn)?！爸械攘私狻闭f明一個數(shù)據(jù)專業(yè)人員能夠按照要求完成任務(wù)，并且通常不需要他人的幫助。一項基于620名數(shù)據(jù)專業(yè)人士的研究表明了這樣的數(shù)字：商業(yè)經(jīng)理=250；開發(fā)人員=222；創(chuàng)意人員=221；專業(yè)研究人員=353。13.3.1數(shù)據(jù)科學(xué)重要技能以擁有該技能的數(shù)據(jù)專業(yè)人員百分比對表13-1的25項技能進(jìn)行排序。分析表明，所有數(shù)據(jù)專業(yè)人員中最常見的數(shù)據(jù)科學(xué)十大技能是：統(tǒng)計–溝通（87%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（75%）數(shù)學(xué)&建模–數(shù)學(xué)（71%）

商業(yè)–項目管理（71%）統(tǒng)計–數(shù)據(jù)挖掘和可視化工具（71%）

統(tǒng)計–科學(xué)/科學(xué)方法（65%）統(tǒng)計–數(shù)據(jù)管理（65%）

商業(yè)–產(chǎn)品設(shè)計和開發(fā)（59%）統(tǒng)計–統(tǒng)計學(xué)和統(tǒng)計建模（59%）商業(yè)–商業(yè)開發(fā)（53%）13.3.2常見的數(shù)據(jù)科學(xué)十大技能許多重要的數(shù)據(jù)科學(xué)技能都屬于統(tǒng)計領(lǐng)域：所有的五項與統(tǒng)計相關(guān)的技能都出現(xiàn)在前10項中，包括溝通、數(shù)據(jù)挖掘和可視化工具、科學(xué)/科學(xué)方法、以及統(tǒng)計學(xué)和統(tǒng)計建模；另外，與商業(yè)洞察力相關(guān)的三項技能出現(xiàn)在前10，包括項目管理、產(chǎn)品設(shè)計以及開發(fā)；而沒有編程技能出現(xiàn)在前10中。13.3.2常見的數(shù)據(jù)科學(xué)十大技能我們按不同的職業(yè)角色（商業(yè)經(jīng)理、開發(fā)人員、創(chuàng)意人員、研究人員）來看看他們的十大技能。分析中指出了對于每個職業(yè)角色的數(shù)據(jù)專業(yè)人士所擁有每項技能的頻率?？梢钥吹剑恍┲匾獢?shù)據(jù)科學(xué)技能在不同角色中是通用的。這包括溝通、管理結(jié)構(gòu)化數(shù)據(jù)、數(shù)學(xué)、項目管理、數(shù)據(jù)挖掘和可視化工具、數(shù)據(jù)管理、以及產(chǎn)品設(shè)計和開發(fā)。然而，除了這些相似之處還有相當(dāng)大的差異。13.3.3技能因職業(yè)角色而異（1）商業(yè)經(jīng)理：那些認(rèn)為自己是商業(yè)經(jīng)理（尤其是領(lǐng)導(dǎo)者、商務(wù)人士和企業(yè)家）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計–溝通（91%）

商業(yè)–項目管理（86%）商業(yè)–商業(yè)開發(fā)（77%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（74%）商業(yè)–預(yù)算（71%）

商業(yè)–產(chǎn)品設(shè)計和開發(fā)（70%）數(shù)學(xué)&建模–數(shù)學(xué)（65%）

統(tǒng)計–數(shù)據(jù)管理（64%）統(tǒng)計--數(shù)據(jù)挖掘和可視化工具（64%）商業(yè)–管理和兼容性（61%）只與商業(yè)經(jīng)理相關(guān)的重要技能毫無疑問的是商業(yè)領(lǐng)域的。這些技能包括商業(yè)開發(fā)、預(yù)算、以及管理和兼容性。13.3.3技能因職業(yè)角色而異（2）開發(fā)人員：那些認(rèn)為自己是開發(fā)工作者（尤其是開發(fā)者和工程師）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：技術(shù)–管理結(jié)構(gòu)化數(shù)據(jù)（91%）

統(tǒng)計–溝通（85%）統(tǒng)計–數(shù)據(jù)挖掘和可視化工具（76%）商業(yè)–產(chǎn)品設(shè)計（75%）數(shù)學(xué)&建模–數(shù)學(xué)（75%）

統(tǒng)計–數(shù)據(jù)管理（75%）商業(yè)–項目管理（74%）

編程–數(shù)據(jù)庫管理（73%）編程–后端編程（70%）

編程–系統(tǒng)管理（65%）13.3.3技能因職業(yè)角色而異只與開發(fā)者相關(guān)的技能是技術(shù)和編程。這些重要的技能包括后端編程、系統(tǒng)管理以及數(shù)據(jù)庫管理。雖然這些數(shù)據(jù)專業(yè)人員具備這些技能，但是他們中只有少數(shù)人擁有那些在大數(shù)據(jù)世界中很重要的，更加技術(shù)化、更加依賴編程的技能。例如，少于一半人掌握云管理（42%），大數(shù)據(jù)和分布式數(shù)據(jù)（48%）和NLP以及文本挖掘（42%）。思考這些百分比是否會隨著更多數(shù)據(jù)科學(xué)項目的畢業(yè)生開始就業(yè)而上升。13.3.3技能因職業(yè)角色而異（3）創(chuàng)意人員：那些認(rèn)為自己是創(chuàng)意工作者（尤其是藝術(shù)家和黑客）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計–溝通（87%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（79%）商業(yè)–項目管理（77%）

統(tǒng)計–數(shù)據(jù)挖掘和可視化工具（77%）數(shù)學(xué)&建模–數(shù)學(xué)（75%）

商業(yè)–產(chǎn)品設(shè)計和開發(fā)（68%）統(tǒng)計–科學(xué)/科學(xué)方法（68%）

統(tǒng)計–數(shù)據(jù)管理（67%）統(tǒng)計–統(tǒng)計學(xué)和統(tǒng)計建模（63%）

商業(yè)–商業(yè)開發(fā)（58%）這里并沒有指針對創(chuàng)意人員的重要技能。事實上，他們的重要數(shù)據(jù)科學(xué)技能列表與那些研究者緊密匹配，十項中有八項一致。13.3.3技能因職業(yè)角色而異（4）研究人員：那些認(rèn)為自己是研究工作者（尤其是研究員、科學(xué)家和統(tǒng)計學(xué)家）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計–溝通（90%）

統(tǒng)計–數(shù)據(jù)挖掘和可視化工具（81%）數(shù)學(xué)&建模–數(shù)學(xué)（80%）

統(tǒng)計–科學(xué)/科學(xué)方法（78%）統(tǒng)計–統(tǒng)計學(xué)和統(tǒng)計建模（75%）技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（73%）統(tǒng)計–數(shù)據(jù)管理（69%）

商業(yè)–項目管理（68%）技術(shù)–機器學(xué)習(xí)（58%）

數(shù)學(xué)–最優(yōu)化（56%）研究人員的重要數(shù)據(jù)科學(xué)技能主要在統(tǒng)計領(lǐng)域。另外，只在研究工作者上體現(xiàn)的重要數(shù)據(jù)科學(xué)技能是高度定量性質(zhì)，包括機器學(xué)習(xí)和最優(yōu)化。13.3.3技能因職業(yè)角色而異上述研究所列舉的重要數(shù)據(jù)科學(xué)技能取決于你正在考慮成為哪種類型的數(shù)據(jù)科學(xué)家。雖然一些技能看起來在不同專業(yè)人士間通用（尤其是溝通、處理結(jié)構(gòu)化數(shù)據(jù)、數(shù)學(xué)、項目管理、數(shù)據(jù)挖掘和可視化工具、數(shù)據(jù)管理，以及產(chǎn)品設(shè)計和開發(fā)），但是其他數(shù)據(jù)科學(xué)技能對特定領(lǐng)域也有獨特之處。開發(fā)人員的重要技能包含編程技能，研究人員則包含數(shù)學(xué)相關(guān)的技能，當(dāng)然商業(yè)經(jīng)理的重要技能包含商業(yè)相關(guān)的技能。13.3.3技能因職業(yè)角色而異這些結(jié)果對數(shù)據(jù)專業(yè)人員感興趣的領(lǐng)域和他們的招聘者及組織都有影響。數(shù)據(jù)專業(yè)人員可以使用結(jié)果來了解不同類型工作需要具備的技能種類。如果你有較強的統(tǒng)計能力，你可能會尋找一個有較強研究成分的工作。了解你的技能并找那些對應(yīng)的工作。13.3.3技能因職業(yè)角色而異通常，企業(yè)自身業(yè)務(wù)所產(chǎn)生的數(shù)據(jù)，再加上政府公開的統(tǒng)計數(shù)據(jù)，還有與數(shù)據(jù)聚合商等其他公司結(jié)成的戰(zhàn)略聯(lián)盟等，通過這些手段就可以獲得業(yè)務(wù)上所需的數(shù)據(jù)了。從技術(shù)方面來看，硬盤價格下降，NoSQL數(shù)據(jù)庫等技術(shù)的出現(xiàn)，使得和過去相比，大量數(shù)據(jù)能夠以廉價高效的方式進(jìn)行存儲。此外，像Hadoop這樣能夠在通用性服務(wù)器上工作的分布式處理技術(shù)的出現(xiàn)，也使得對龐大的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)計處理的工作比以往更快速且更廉價。13.3.4大數(shù)據(jù)生態(tài)系統(tǒng)關(guān)鍵角色然而，就算所擁有的工具再完美，工具本身是不可能讓數(shù)據(jù)產(chǎn)生價值的。事實上，我們還需要能夠運用這些工具的專門人才，他們能夠從堆積如山的大量數(shù)據(jù)中找到金礦，并將數(shù)據(jù)的價值以易懂的形式傳達(dá)給決策者，最終得以在業(yè)務(wù)上實現(xiàn)。大數(shù)據(jù)的出現(xiàn)，催生了新的數(shù)據(jù)生態(tài)系統(tǒng)。為了提供有效的數(shù)據(jù)服務(wù)，它需要3種典型角色。表13-2介紹了這3種角色，以及每種角色具有代表性的專業(yè)人員舉例。13.3.4大數(shù)據(jù)生態(tài)系統(tǒng)關(guān)鍵角色表13-2新數(shù)據(jù)生態(tài)系統(tǒng)中的三個關(guān)鍵角色13.3.4大數(shù)據(jù)生態(tài)系統(tǒng)關(guān)鍵角色數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識教程第14章楊武劍周蘇主編大數(shù)據(jù)的未來01連接開放數(shù)據(jù)02大數(shù)據(jù)資產(chǎn)的崛起03大數(shù)據(jù)發(fā)展趨勢04大數(shù)據(jù)技術(shù)展望目錄/CONTENTSPART01連接開放數(shù)據(jù)曾提出萬維網(wǎng)方案、被譽為“WWW之父”的英國計算機科學(xué)家蒂姆·伯納斯-李（1955-）爵士說，當(dāng)初他創(chuàng)建世界上第一個網(wǎng)絡(luò)瀏覽器以及服務(wù)器的時候，動力在于一種挫折感。那時他跟一班優(yōu)秀的科學(xué)家一起工作，可是不同的人用不同的機器，他們所使用的文件格式也不完全一樣。要想在這樣的數(shù)據(jù)之上有所創(chuàng)建，就需要不斷的轉(zhuǎn)換格式，唯有如此才能挖掘出數(shù)據(jù)底層的無限潛力。蒂姆說，當(dāng)時他給自己的老板寫了份備忘介紹互聯(lián)網(wǎng)的構(gòu)想，可是，蒂姆的老板給他的答復(fù)是“想法還很模糊，但是很讓人興奮”。14.1連接開放數(shù)據(jù)盡管今日的互聯(lián)網(wǎng)無限風(fēng)光，但是蒂姆依然對于不能高效地在網(wǎng)絡(luò)上獲取數(shù)據(jù)而耿耿于懷。盡管我們都知道網(wǎng)絡(luò)上有海量的數(shù)據(jù)，但是我們不懂得怎么去利用。14.1連接開放數(shù)據(jù)在2009年2月美國加利福尼亞州長灘市舉行的科技娛樂設(shè)計大會上，蒂姆面對會場中眾多的聽眾，喊出了“馬上給我原始數(shù)據(jù)！”這句話。蒂姆提出的將數(shù)據(jù)公開并連接起來以對社會產(chǎn)生巨大價值為目的進(jìn)行共享的主張，被稱為LOD（連接開放數(shù)據(jù)。LOD倡導(dǎo)將國家及地方政府等公職機構(gòu)所擁有的統(tǒng)計數(shù)據(jù)、地理信息數(shù)據(jù)、生命科學(xué)等科學(xué)數(shù)據(jù)開放出來并相互連接，以為社會整體帶來巨大價值為目的進(jìn)行共享。LOD與倡導(dǎo)積極公開政府信息及公民參與行政的“政府公開”運動緊密相連，正不斷在世界各國政府中推廣開來。14.1.1LOD運動針對政府機構(gòu)抱著數(shù)據(jù)不放而拒絕公開的狀況，蒂姆·伯納斯-李強烈呼吁：“請把未經(jīng)任何加工的原始數(shù)據(jù)交給我們。我們想要的正是這些數(shù)據(jù)。希望公開原始數(shù)據(jù)?！彪S即，他在演講中繼續(xù)談道：“從工作到娛樂，數(shù)據(jù)存在于我們生活的各個角落。然而，數(shù)據(jù)產(chǎn)生地的數(shù)量并不重要，更重要的是將數(shù)據(jù)連接起來。通過將數(shù)據(jù)相互連接，就可以獲得在傳統(tǒng)文檔網(wǎng)絡(luò)中所無法獲得的力量。這其中會產(chǎn)生出巨大的力量。如果你們認(rèn)為這個構(gòu)想很不錯，那么現(xiàn)在正是開始行動的時候了?！?4.1.1LOD運動所謂“傳統(tǒng)文檔網(wǎng)絡(luò)中所無法獲得的”，意思是說，傳統(tǒng)的Web是以人類參與為前提的，而通過計算機進(jìn)行自動化信息處理還相對落后。例如，HTML中所描述的信息，對人類是容易理解的，但對于計算機來說，處理起來就比較費力。LOD的前提是，利用Web的現(xiàn)有架構(gòu)，采用計算機容易處理的機器可讀格式來進(jìn)行信息的共享。蒂姆·伯納斯-李的設(shè)想是，“如果任何數(shù)據(jù)都可以在Web上公開，人們便可以使用這些數(shù)據(jù)實現(xiàn)過去所未曾想象過的壯舉”。14.1.1LOD運動例如，英國政府官員在官方博客中寫道：“我們有自行車事故發(fā)生地點的原始統(tǒng)計數(shù)據(jù)。”隨后僅僅過了兩天，《泰晤士報》就在其在線版“時代在線”上，利用這些原始數(shù)據(jù)和地圖數(shù)據(jù)相結(jié)合開發(fā)了相應(yīng)的服務(wù)并公開發(fā)布。蒂姆指出，互聯(lián)網(wǎng)上的數(shù)據(jù)都是地下的，我們要把它們帶到地上，讓整個世界通過相互連接的數(shù)據(jù)而變得更有意義。蒂姆的做法是：（1）以類似于html的格式來標(biāo)示數(shù)據(jù)。（2）獲取有價值的數(shù)據(jù)。（3）揭示數(shù)據(jù)間的關(guān)系。14.1.1LOD運動蒂姆說：我們需要獲得這樣的數(shù)據(jù)，因為這樣會有助于催生新的科學(xué)發(fā)現(xiàn)，“相互連接的數(shù)據(jù)越多，數(shù)據(jù)的價值也越大?！蔽覀兛梢宰寣W(xué)生去分析這樣的數(shù)據(jù)，理解政府運作的新機理。而要治療癌癥、老年癡呆癥、金融危機以至于氣候變暖的問題，我們都需要實現(xiàn)數(shù)據(jù)共享，而不是關(guān)起門來，各搞各的。應(yīng)當(dāng)撕開社交型網(wǎng)站間的商業(yè)屏障，開放政府的數(shù)據(jù)。14.1.1LOD運動某氣象服務(wù)公司的業(yè)務(wù)是向農(nóng)民銷售綜合氣候保險。所謂綜合氣候保險，是農(nóng)民為了預(yù)防惡劣氣候所造成的農(nóng)作物減產(chǎn)而購買的一種保險。該公司通過農(nóng)業(yè)部公開的過去60年的農(nóng)作物收獲量數(shù)據(jù)，與數(shù)據(jù)量達(dá)到14TB的土壤數(shù)據(jù)，以及政府在全國100萬個地點安裝的多普勒雷達(dá)所掃描的氣候信息相結(jié)合，對玉米、大豆、冬小麥的收獲量進(jìn)行預(yù)測。14.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司所有這些數(shù)據(jù)都是可以免費獲取的，因此是否能夠從這些數(shù)據(jù)中催生出有魅力的商品和服務(wù)才是關(guān)鍵。該公司的兩位創(chuàng)始人，其中一位曾負(fù)責(zé)過分布式計算。此外，該公司60名員工中，有12名擁有環(huán)境科學(xué)和應(yīng)用數(shù)據(jù)方面的博士學(xué)位，聚集了一大批能夠用數(shù)據(jù)來解決現(xiàn)實問題的人才。此外，該公司還自稱“世界上屈指可數(shù)的MapReduce駕馭者”，他們利用云計算服務(wù)來處理政府公開的龐大數(shù)據(jù)。14.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司有用的數(shù)據(jù)、具備高超技術(shù)的人才，再加上能夠廉價完成龐大數(shù)據(jù)處理的計算環(huán)境，該公司將這些條件結(jié)合起來，對土壤、水體、氣溫等條件對農(nóng)作物收成產(chǎn)生的影響進(jìn)行分析，從而催生出了氣候保險這一商品。該公司的CEO認(rèn)為：“只要能夠長期獲取高質(zhì)量的數(shù)據(jù)，無論是加拿大還是巴西，在任何地方都能夠提供我們的服務(wù)?！?4.1.2利用開放數(shù)據(jù)的創(chuàng)業(yè)型公司PART02大數(shù)據(jù)資產(chǎn)的崛起企業(yè)自身收集的大量數(shù)據(jù)稱為“大數(shù)據(jù)資產(chǎn)”，將數(shù)據(jù)轉(zhuǎn)化為優(yōu)勢的企業(yè)將有能力降低成本、提升價格、區(qū)分優(yōu)劣、吸引更多顧客并最終留住更多顧客。這主要包含兩層意思：（1）對初創(chuàng)公司來說，現(xiàn)在有大量的機會能夠使企業(yè)通過創(chuàng)建應(yīng)用來實現(xiàn)這種競爭優(yōu)勢，且這種方法一經(jīng)創(chuàng)建能立即被使用。企業(yè)無須自行創(chuàng)建這些可能性，它們能通過應(yīng)用程序獲取可能性。（2）將數(shù)據(jù)和依靠數(shù)據(jù)辦事的能力作為核心資產(chǎn)的企業(yè)（不管是初創(chuàng)還是大型公司）會擁有極大的競爭優(yōu)勢。14.2大數(shù)據(jù)資產(chǎn)的崛起在國家、地方政府等公職機關(guān)不斷努力強化開放數(shù)據(jù)的同時，民間組織為了促進(jìn)數(shù)據(jù)的順利流通，也設(shè)立了數(shù)據(jù)的交易場所——數(shù)據(jù)市場。所謂數(shù)據(jù)市場，就是將人口統(tǒng)計、環(huán)境、金融、零售、天氣、體育等數(shù)據(jù)集中到一起，使其能夠進(jìn)行交易的機制。換句話說，就是數(shù)據(jù)的一站式商店。14.2.1數(shù)據(jù)市場的興起數(shù)據(jù)市場的基本功能包括收費、認(rèn)證、數(shù)據(jù)格式管理、服務(wù)管理等，在所涉獵的數(shù)據(jù)對象、數(shù)據(jù)豐富程度、收費模式、數(shù)據(jù)模型、查詢語言、數(shù)據(jù)工具等方面則各有不同。14.2.1數(shù)據(jù)市場的興起各家運營數(shù)據(jù)市場的公司并沒有確立一個明確的商業(yè)模式，不過這些公司都設(shè)計了各自不同的收益模型，試圖建立依靠數(shù)據(jù)集本身來獲得收益的商業(yè)模式，他們所提供的數(shù)據(jù)除了從合作伙伴企業(yè)征集外，自己也會通過網(wǎng)頁抓取來收集。14.2.2不同的商業(yè)模式另一方面，IT大廠則不期望通過數(shù)據(jù)使用費本身來獲得收益。由于這兩家類公司都是在各自運營的云計算平臺上提供數(shù)據(jù)的，因此在云端工作的應(yīng)用程序可以很容易地集成數(shù)據(jù)市場中的數(shù)據(jù)，從而提升應(yīng)用價值，并通過收取云計算平臺的使用費來獲得收益。他們所提供的數(shù)據(jù)是由合作伙伴企業(yè)提供的。從數(shù)據(jù)市場的性質(zhì)上看，其數(shù)據(jù)量必然隨著時間的推移而不斷增長。因此，作為支撐的基礎(chǔ)架構(gòu)必須擁有足夠的可擴放性。當(dāng)數(shù)據(jù)調(diào)用集中時，需要足夠承受大量訪問的可用性。微軟和亞馬遜通過運用云計算來平穩(wěn)運營數(shù)據(jù)市場的服務(wù)，展現(xiàn)了自身云計算平臺的堅固性。14.2.2不同的商業(yè)模式未來的發(fā)展趨勢，應(yīng)該是將連接開放數(shù)據(jù)與數(shù)據(jù)市場的思路進(jìn)行融合，從而確保數(shù)據(jù)市場之間的兼容性。14.2.2不同的商業(yè)模式無論是與其他公司結(jié)成聯(lián)盟，還是利用數(shù)據(jù)聚合商，如果自己的公司擁有原創(chuàng)數(shù)據(jù)的話，接下來就可以通過與其他公司的數(shù)據(jù)進(jìn)行整合，來催生出新的附加價值，從而升華成為增值數(shù)據(jù)，這樣能夠產(chǎn)生相乘的放大效果，這也是大數(shù)據(jù)運用的真正價值之一。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)選擇什么公司的數(shù)據(jù)與自己公司的原創(chuàng)數(shù)據(jù)整合，這需要想象力。在自己公司內(nèi)部認(rèn)為已經(jīng)沒什么用的數(shù)據(jù)，對于其他公司來說很可能就是求之不得的寶貝。例如，體育公司提供了一款面向智能手機的慢跑應(yīng)用APP，它可以通過使用北斗導(dǎo)航全球定位系統(tǒng)在地圖上記錄跑步的路線，將這些數(shù)據(jù)匿名化并進(jìn)行統(tǒng)計，就可以找出跑步者最喜歡的路線。在體育用品店看來，這樣的數(shù)據(jù)在討論門店選址計劃上是非常有效的。此外，在考慮具備淋浴、儲物柜功能的收費休息區(qū)以及自動售貨機的設(shè)置地點、售貨品種時，這樣的數(shù)據(jù)也是非常有用的。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)對于擁有原創(chuàng)數(shù)據(jù)的企業(yè)和數(shù)據(jù)聚合商來說，不應(yīng)該將目光局限在自己的行業(yè)中，而應(yīng)該以更加開闊的視野來制定數(shù)據(jù)運用的戰(zhàn)略。14.2.3將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)我們已經(jīng)見證了一系列大數(shù)據(jù)新應(yīng)用程序的誕生，而這些僅僅只是冰山一角?，F(xiàn)在，很多應(yīng)用程序都聚集在業(yè)務(wù)問題上，但是將來會出現(xiàn)更多的打破整個大環(huán)境和產(chǎn)業(yè)現(xiàn)狀的應(yīng)用程序。以加利福尼亞州圣克魯斯市的警局為例，他們通過分析歷史犯罪記錄，預(yù)測犯罪即將發(fā)生的地點。然后，他們派警員到有可能發(fā)生犯罪的地方。事實證明，這有利于降低犯罪率。也就是說，只要在一天中適當(dāng)?shù)臅r間或者一周中適當(dāng)?shù)囊惶欤ㄟ@取決于歷史數(shù)據(jù)分析），將警員安插在適當(dāng)?shù)牡胤?，就能減少犯罪。一家數(shù)據(jù)公司為警方提供協(xié)助——該公司通過分析處理犯罪活動這種類型的大數(shù)據(jù)，以使其能在這種特定用途上發(fā)揮效用。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序大數(shù)據(jù)催生一系列新應(yīng)用程序，這也意味著大數(shù)據(jù)不只為大公司所用，大數(shù)據(jù)將影響各種規(guī)模的公司，同時還會影響到我們的個人生活——從如何生活、如何相愛到如何學(xué)習(xí)。大數(shù)據(jù)再也不是有著大量數(shù)據(jù)分析師和數(shù)據(jù)工程師的大企業(yè)的專利。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序分析大數(shù)據(jù)的基礎(chǔ)架構(gòu)已經(jīng)具備（至少對企業(yè)來說），這些基礎(chǔ)架構(gòu)中的大部分都能在“云”中找到。起先實施起來是很容易的。有大量的公共數(shù)據(jù)可以利用，如此一來，企業(yè)家們將會創(chuàng)建大量的大數(shù)據(jù)應(yīng)用程序。企業(yè)家和投資者所面臨的挑戰(zhàn)就是找到有意義的數(shù)據(jù)組合，包括公開的和私人的數(shù)據(jù)，然后將其在具體的應(yīng)用中結(jié)合起來——這些應(yīng)用將在未來幾年內(nèi)為很多人帶來真正的好處。14.2.4大數(shù)據(jù)催生新的應(yīng)用程序大數(shù)據(jù)為創(chuàng)業(yè)和投資開辟了一些新的領(lǐng)域。你不需要是統(tǒng)計學(xué)家、工程師或者數(shù)據(jù)分析師，就可以輕松獲取數(shù)據(jù)，然后憑借分析和洞察力開發(fā)可行的產(chǎn)品。這是一個充滿機遇的主要領(lǐng)域。就像臉書讓照片分享變得更容易一樣，新產(chǎn)品不僅能使分析變得更簡單，還能將分析結(jié)果與人分享，并從這種協(xié)作中學(xué)到一些東西。14.2.5在大數(shù)據(jù)“空白”中提取最大價值將眾多內(nèi)部數(shù)據(jù)聚合到一個地方，或者將公共數(shù)據(jù)和個人數(shù)據(jù)源相結(jié)合，也能開辟出產(chǎn)品開發(fā)和投資的新機遇。新數(shù)據(jù)組合能帶來更優(yōu)的信用評級、更好的城市規(guī)劃，公司將有能力比競爭對手更快速、敏捷地發(fā)現(xiàn)市場變化并做出反應(yīng)。大數(shù)據(jù)也將會有新的信息和數(shù)據(jù)服務(wù)業(yè)務(wù)。雖然如今網(wǎng)上有大量數(shù)據(jù)——從學(xué)校的成績指標(biāo)、天氣信息到美國人口普查，數(shù)據(jù)應(yīng)有盡有，但是很多這些數(shù)據(jù)的原始數(shù)據(jù)依然很難獲取。14.2.5在大數(shù)據(jù)“空白”中提取最大價值收集數(shù)據(jù)、將數(shù)據(jù)標(biāo)準(zhǔn)化，并且要以一種能輕易獲取數(shù)據(jù)的方式呈現(xiàn)數(shù)據(jù)可不容易。信息服務(wù)的范圍已經(jīng)到了不得不細(xì)分的時刻，因為處理這些數(shù)據(jù)太難了。新數(shù)據(jù)服務(wù)也會因為我們生成的新數(shù)據(jù)而涌現(xiàn)。因為智能手機配備有全球定位系統(tǒng)、動力感應(yīng)和內(nèi)置聯(lián)網(wǎng)功能，它們就成為了生成低成本具體位置數(shù)據(jù)的完美選擇。研發(fā)者也已經(jīng)開始創(chuàng)建應(yīng)用程序來檢測路面異常情況，比方說基于震動來檢測路面坑洞。這需要大數(shù)據(jù)應(yīng)用程序中的最基本的應(yīng)用程序——如智能手機采用的這一類低成本傳感器來收集新數(shù)據(jù)。14.2.5在大數(shù)據(jù)“空白”中提取最大價值要從這樣的空白機遇里提煉出最大的價值，不僅需要金融市場理解大數(shù)據(jù)業(yè)務(wù)，還需要其訂閱大數(shù)據(jù)業(yè)務(wù)。在大數(shù)據(jù)、云計算、移動應(yīng)用以及社會因素等因素的影響下，不難想象，信息技術(shù)在未來20年的發(fā)展一定比過去更精彩。14.2.5在大數(shù)據(jù)“空白”中提取最大價值PART03大數(shù)據(jù)發(fā)展趨勢大數(shù)據(jù)是繼云計算、移動互聯(lián)網(wǎng)之后信息技術(shù)領(lǐng)域的又一大熱門話題。根據(jù)預(yù)測，大數(shù)據(jù)將繼續(xù)以每年40％的速度持續(xù)增加，而大數(shù)據(jù)所帶來的市場規(guī)模也將以每年翻一番的速度增長。有關(guān)大數(shù)據(jù)的話題也逐漸從討論大數(shù)據(jù)相關(guān)的概念，轉(zhuǎn)移到研究從業(yè)務(wù)和應(yīng)用出發(fā)如何讓大數(shù)據(jù)真正實現(xiàn)其所蘊含的價值。大數(shù)據(jù)無疑給眾多的IT企業(yè)帶來了新的成長機會，同時也帶來了前所未有的挑戰(zhàn)。14.3大數(shù)據(jù)發(fā)展趨勢隨著數(shù)據(jù)量的持續(xù)增大，學(xué)術(shù)界和工業(yè)界都在關(guān)注著大數(shù)據(jù)的發(fā)展，探索新的大數(shù)據(jù)技術(shù)、開發(fā)新的工具和服務(wù)，努力將“信息過載”轉(zhuǎn)換成“信息優(yōu)勢”。大數(shù)據(jù)將跟移動計算和云計算一起成為信息領(lǐng)域企業(yè)所“必須有”的競爭力。如何應(yīng)對大數(shù)據(jù)所帶來的挑戰(zhàn)，如何抓住機會真正實現(xiàn)大數(shù)據(jù)的價值，將是未來信息領(lǐng)域持續(xù)關(guān)注的課題，并同時會帶來信息領(lǐng)域里諸多方面的突破性發(fā)展。14.3.1信息領(lǐng)域的突破性發(fā)展（1）物聯(lián)網(wǎng)。是把所有物品通過信息傳感設(shè)備與互聯(lián)網(wǎng)連接起來，進(jìn)行信息交換，即物物相息，以實現(xiàn)智能化識別和管理。物聯(lián)網(wǎng)是新一代信息技術(shù)的重要組成部分，也是“信息化”時代的重要發(fā)展階段。物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴展的網(wǎng)絡(luò)；其用戶端延伸和擴展到了任何物品與物品之間，進(jìn)行信息交換和通信，也就是物物相息。14.3.1信息領(lǐng)域的突破性發(fā)展（2）智慧城市。是運用信息和通信技術(shù)手段感測、分析、整合城市運行核心系統(tǒng)的各項關(guān)鍵信息，對包括民生、環(huán)保、公共安全、城市服務(wù)、工商業(yè)活動在內(nèi)的各種需求做出智能響應(yīng)。智慧城市的實質(zhì)是利用先進(jìn)的信息技術(shù)，實現(xiàn)城市智慧式管理和運行，進(jìn)而為城市中的人創(chuàng)造更美好的生活，促進(jìn)城市的和諧、可持續(xù)成長。這個趨勢的成敗取決于數(shù)據(jù)量跟數(shù)據(jù)是否足夠，這有賴于政府部門與民營企業(yè)的合作。此外，發(fā)展中的5G網(wǎng)絡(luò)是全世界通用的規(guī)格，如果產(chǎn)品被一個智慧城市采用，將可以應(yīng)用在全世界的智慧城市。14.3.1信息領(lǐng)域的突破性發(fā)展（3）虛擬現(xiàn)實（VR）、增強現(xiàn)實（AR）與混合現(xiàn)實（MR）。虛擬現(xiàn)實技術(shù)是一種創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)，它利用計算機生成一種模擬環(huán)境；增強現(xiàn)實技術(shù)是一種多源信息融合的、交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真，使用戶沉浸到該環(huán)境中。14.3.1信息領(lǐng)域的突破性發(fā)展混合現(xiàn)實（MR）是虛擬現(xiàn)實技術(shù)的進(jìn)一步發(fā)展，該技術(shù)通過在現(xiàn)實場景呈現(xiàn)虛擬場景信息，在現(xiàn)實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。

圖14-4混合現(xiàn)實14.3.1信息領(lǐng)域的突破性發(fā)展混合現(xiàn)實是一組技術(shù)組合，不僅提供新的觀看方法，還提供新的輸入方法，而且所有方法相互結(jié)合，從而推動創(chuàng)新。輸入和輸出的結(jié)合對中小型企業(yè)而言是關(guān)鍵的差異化優(yōu)勢。這樣，混合現(xiàn)實就可以直接影響你的工作流程，幫助企業(yè)提高工作效率和創(chuàng)新能力。14.3.1信息領(lǐng)域的突破性發(fā)展（4）區(qū)塊鏈技術(shù)。區(qū)塊鏈?zhǔn)欠植际綌?shù)據(jù)存儲、點對點傳輸、共識機制、加密算法等計算機技術(shù)的新型應(yīng)用模式。所謂共識機制是區(qū)塊鏈系統(tǒng)中實現(xiàn)不同節(jié)點之間建立信任、獲取權(quán)益的數(shù)學(xué)算法。區(qū)塊鏈技術(shù)是指一種全民參與記賬的方式。所有的系統(tǒng)背后都有一個數(shù)據(jù)庫，你可以把數(shù)據(jù)庫看成是就是一個大賬本。區(qū)塊鏈有很多不同應(yīng)用方式，最常見的應(yīng)用是虛擬幣交易。14.3.1信息領(lǐng)域的突破性發(fā)展（5）語音識別技術(shù)。所涉及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽覺機理、人工智能等。人們預(yù)計，語音識別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費電子產(chǎn)品等各個領(lǐng)域，是信息技術(shù)領(lǐng)域重要的科技發(fā)展技術(shù)之一。（6）人工智能（AI）。是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門技術(shù)科學(xué)。AI需要匯入很多信息才能進(jìn)化，進(jìn)而產(chǎn)生一些意想不到的結(jié)果，它對經(jīng)濟(jì)發(fā)展會產(chǎn)生劇烈影響。14.3.1信息領(lǐng)域的突破性發(fā)展（7）數(shù)字匯流。在不同的使用情境之下，人們會需要不一樣的數(shù)字裝置——光是屏幕大小就有好多種選項，音響效果、攝影機等都需要不同的配套。所有的裝置會存取同一個遠(yuǎn)端資料庫，讓人們的數(shù)字生活可以完全同步，隨時、無縫的切換使用情境。除了設(shè)備的匯流，人們更應(yīng)關(guān)心的是數(shù)字匯流，這是一個網(wǎng)絡(luò)商業(yè)模式的匯流，或者更明確的說，它是“內(nèi)容”與“電子商務(wù)”的匯流。14.3.1信息領(lǐng)域的突破性發(fā)展專家對大數(shù)據(jù)發(fā)展趨勢的一些預(yù)測是值得企業(yè)關(guān)注的。很多人都認(rèn)為大數(shù)據(jù)是一種流行技術(shù)，很多新興技術(shù)正在迅速發(fā)展。（1）更加關(guān)注數(shù)據(jù)治理。隨著企業(yè)不斷收集大量數(shù)據(jù)，濫用這些數(shù)據(jù)的風(fēng)險也隨之增加。這就是許多專家期望重新強調(diào)數(shù)據(jù)治理的原因。數(shù)據(jù)治理將回到最前沿，“隨著分析和診斷平臺的擴展，來自數(shù)據(jù)的衍生事實將在業(yè)務(wù)中更加無縫地共享，因為數(shù)據(jù)治理工具將有助于確保數(shù)據(jù)的機密性、正確使用和完整性?！?4.3.2未來發(fā)展趨勢的專家預(yù)測（2）增強分析將加速制定決策。高德納公司分析師認(rèn)為，增強分析會影響大數(shù)據(jù)的未來趨勢。它涉及將人工智能、機器學(xué)習(xí)和自然語言處理等技術(shù)應(yīng)用于大數(shù)據(jù)平臺，這有助于企業(yè)更快地做出決策，并更有效地識別趨勢?！斑@種趨勢確實是使分析民主化……這實際上是在短時間內(nèi)采用更少的技能獲得洞察力。”14.3.2未來發(fā)展趨勢的專家預(yù)測（3）大數(shù)據(jù)將補充而不是取代研究人員的工作。如今許多大數(shù)據(jù)平臺是如此先進(jìn)，以至于人們開始期待不久之后可以取代人類的辛勤工作，這是可以理解的。但是，有專家認(rèn)為，這一結(jié)果不太可能實現(xiàn)，尤其是在使用大數(shù)據(jù)協(xié)助市場研究等應(yīng)用領(lǐng)域。14.3.2未來發(fā)展趨勢的專家預(yù)測數(shù)據(jù)科學(xué)有助于識別相關(guān)性。因此，數(shù)據(jù)科學(xué)家可以提供以前未曾知道的模式、網(wǎng)絡(luò)、依賴性。但是，要使數(shù)據(jù)科學(xué)真正增加附加值，需要研究人員了解信息的場景，并解釋其原因?！笆袌鲅芯繉嶋H上是在理解人類的行為和動機。數(shù)據(jù)科學(xué)無法獨立滲透?！崩纾逞芯科髽I(yè)在其全球團(tuán)隊中擁有1000多名數(shù)據(jù)科學(xué)家，但還雇用了其他專業(yè)人員，包括民族專家和行為科學(xué)家。14.3.2未來發(fā)展趨勢的專家預(yù)測（4）云計算數(shù)據(jù)將塑造客戶體驗。當(dāng)人們權(quán)衡大數(shù)據(jù)趨勢時，云計算成為一個主要的討論話題。知情人士希望從中了解一些當(dāng)前情況以及當(dāng)用戶將大數(shù)據(jù)與云計算結(jié)合在一起時可能會發(fā)生的情況。大數(shù)據(jù)分析的未來趨勢之一是使用信息來增強客戶體驗。擁有云優(yōu)先的心態(tài)將會有所幫助，“越來越多的品牌互動是通過數(shù)字服務(wù)進(jìn)行的，因此，企業(yè)必須找到改進(jìn)更新的方法，并以前所未有的速度提供新產(chǎn)品和服務(wù)?！?4.3.2未來發(fā)展趨勢的專家預(yù)測那么云計算技術(shù)如何融入其中？有專家預(yù)測：“考慮到速度，企業(yè)將采用現(xiàn)代的云原生模式，該模式通過使用最新方法來開發(fā)和管理的現(xiàn)代微服務(wù)架構(gòu)來促進(jìn)容器化部署?！?4.3.2未來發(fā)展趨勢的專家預(yù)測（5）公共云和私有云的共存性不斷提高。如今，許多公司已經(jīng)考慮或正在使用云計算技術(shù)，企業(yè)認(rèn)識到可以同時選擇公共云和私有云的元年，而不是只能選擇其中之一?！肮苍坪退接性瓶梢怨泊娴南敕▽⒊蔀楝F(xiàn)實。在混合云架構(gòu)的支持下，多云IT戰(zhàn)略將在確保企業(yè)具有更好的數(shù)據(jù)管理和可見性，同時確保其數(shù)據(jù)保持可訪問性和安全性方面發(fā)揮關(guān)鍵作用?！?/p>

圖14-5私有云14.3.2未來發(fā)展趨勢的專家預(yù)測人們期待私有云在未來不僅存在于數(shù)據(jù)中心，還將出現(xiàn)在邊緣?！半S著5G和邊緣部署的繼續(xù)推出，私有混合云將出現(xiàn)在邊緣，以確保實時監(jiān)控和管理數(shù)據(jù)。這意味著企業(yè)將期望更多的云計算服務(wù)提供商確保他們能夠在所有環(huán)境中支持其混合云需求?！?4.3.2未來發(fā)展趨勢的專家預(yù)測（6）云計算技術(shù)將使大數(shù)據(jù)更易于訪問。云計算的主要優(yōu)點之一是，它使人們可以從任何地方訪問應(yīng)用程序。在這個時代，大多數(shù)員工都會知道如何使用自助式大數(shù)據(jù)應(yīng)用程序。“大數(shù)據(jù)分析可能會在企業(yè)的應(yīng)用更加廣泛。企業(yè)IT團(tuán)隊經(jīng)理和IT人員都被認(rèn)為具有勝任大數(shù)據(jù)工作的能力，就像當(dāng)今大多數(shù)員工都被認(rèn)為了解電子表格和演示文稿一樣。大型數(shù)據(jù)集的分析將成為幾乎每個業(yè)務(wù)決策的前提，就像現(xiàn)在的成本和收益分析一樣?！?4.3.2未來發(fā)展趨勢的專家預(yù)測但“這并不意味著每個人都必須成為數(shù)據(jù)科學(xué)家。自助服務(wù)工具將使大數(shù)據(jù)分析更容易實現(xiàn)。管理者將使用簡化的、類似電子表格的界面來利用云計算的計算能力，并從任何設(shè)備運行高級分析?！?4.3.2未來發(fā)展趨勢的專家預(yù)測大數(shù)據(jù)是時代發(fā)展一個必然的產(chǎn)物，而且大數(shù)據(jù)正在加速滲透到我們的日常生活中，從衣食住行各個層面均有體現(xiàn)。大數(shù)據(jù)時代，一切可量化、可分析。大數(shù)據(jù)未來的發(fā)展趨勢，一定是以多種技術(shù)為依托且相互結(jié)合，才能釋放大數(shù)據(jù)的“洪荒之力”。14.3.2未來發(fā)展趨勢的專家預(yù)測PART04大數(shù)據(jù)技術(shù)展望如今，人們尋求獲得更多的數(shù)據(jù)有著充分的理由，因為數(shù)據(jù)分析推動了數(shù)字創(chuàng)新。然而，將這些龐大的數(shù)據(jù)集轉(zhuǎn)化為可操作的洞察力仍然是一個難題。而那些獲得應(yīng)對強大數(shù)據(jù)挑戰(zhàn)的解決方案的組織將能夠更好地從數(shù)字創(chuàng)新的成果中獲得經(jīng)濟(jì)利益。14.4大數(shù)據(jù)技術(shù)展望大數(shù)據(jù)分析有著相當(dāng)明確的重要思想：找到隱藏在大量數(shù)據(jù)中的信息模式，訓(xùn)練機器學(xué)習(xí)模型以發(fā)現(xiàn)這些模式，并將這些模型實施到生產(chǎn)中以自動對其進(jìn)行操作。需要清理數(shù)據(jù)，并在必要時進(jìn)行重復(fù)。然而，將這些數(shù)據(jù)投入生產(chǎn)的現(xiàn)實要比看上去困難得多。對于初學(xué)者來說，收集來自不同孤島的數(shù)據(jù)很困難，需要提取、轉(zhuǎn)換和加載（ETL）和數(shù)據(jù)庫技能。清理和標(biāo)記機器學(xué)習(xí)培訓(xùn)的數(shù)據(jù)也需要花費大量的時間和費用，特別是在使用深度學(xué)習(xí)技術(shù)時。此外，以安全可靠的方式將這樣的系統(tǒng)大規(guī)模投入生產(chǎn)需要另外一套技能。14.4.1數(shù)據(jù)管理仍然很難有些人將數(shù)據(jù)稱之為“新石油”，也被稱為“新貨幣”。無論怎樣比喻，大家都認(rèn)為數(shù)據(jù)具有價值，并且如果對此不重視將會帶來更大的風(fēng)險。歐盟通過頒布GDPR法規(guī)闡明了數(shù)據(jù)治理不善的財務(wù)后果。美國公司也必須遵守由美國聯(lián)邦、各州等創(chuàng)建的80個不同的數(shù)據(jù)制授權(quán)法規(guī)。數(shù)據(jù)泄露正在引發(fā)問題。大多數(shù)組織已經(jīng)意識到無序發(fā)展的大數(shù)據(jù)時代即將結(jié)束，社會對數(shù)據(jù)濫用或隱私泄露行為不再容忍。出于這些原因，數(shù)據(jù)管理仍然是一個巨大的挑戰(zhàn)，數(shù)據(jù)工程師將繼續(xù)成為大數(shù)據(jù)團(tuán)隊中最受歡迎的角色之一。14.4.1數(shù)據(jù)管理仍然很難在最初Hadoop的開發(fā)熱潮中，人們認(rèn)為可以將所有數(shù)據(jù)（包括分析和事務(wù)工作負(fù)載）整合到一個平臺上。但由于各種原因，這個想法從未真正實現(xiàn)過。其面臨的最大挑戰(zhàn)是不同的數(shù)據(jù)類型具有不同的存儲要求，關(guān)系數(shù)據(jù)庫、圖形數(shù)據(jù)庫、時間序列數(shù)據(jù)庫、HDF（用于存儲和分發(fā)科學(xué)數(shù)據(jù)的一種自我描述、多對象文件格式）和對象存儲都有各自的優(yōu)缺點。如果開發(fā)人員將所有數(shù)據(jù)塞進(jìn)一個適合所有數(shù)據(jù)的數(shù)據(jù)湖中，他們就無法最大限度地發(fā)揮其優(yōu)勢。14.4.2數(shù)據(jù)孤島繼續(xù)激增在某些情況下，將大量數(shù)據(jù)集中到一個地方確實有意義。例如，云數(shù)據(jù)存儲庫為企業(yè)提供了靈活且經(jīng)濟(jì)高效的存儲，而Hadoop仍然是非結(jié)構(gòu)化數(shù)據(jù)存儲和分析的經(jīng)濟(jì)高效的存儲。但對于大多數(shù)公司而言，這些只是必須管理的額外的重要孤島，但它們不是唯一的。在缺乏強大集權(quán)的情況下，數(shù)據(jù)倉庫將會繼