《大數(shù)據(jù)通識(shí)教程》 課件 第13章 數(shù)據(jù)科學(xué)與職業(yè)技能

數(shù)字文明與數(shù)字治理大數(shù)據(jù)通識(shí)教程第13章楊武劍周蘇主編數(shù)據(jù)科學(xué)與職業(yè)技能01計(jì)算思維02數(shù)據(jù)工程師的社會(huì)責(zé)任03數(shù)據(jù)科學(xué)與職業(yè)技能目錄/CONTENTSPART01計(jì)算思維所謂數(shù)據(jù)素養(yǎng)，是指具備數(shù)據(jù)意識(shí)和數(shù)據(jù)敏感性，能夠有效且恰當(dāng)?shù)孬@取、分析、處理、利用和展現(xiàn)數(shù)據(jù)，它是對(duì)統(tǒng)計(jì)素養(yǎng)、媒介素養(yǎng)和信息素養(yǎng)的一種延伸和擴(kuò)展?？梢詮奈鍌€(gè)方面的維度來思考數(shù)據(jù)素養(yǎng)，即對(duì)數(shù)據(jù)的敏感性；數(shù)據(jù)的收集能力；數(shù)據(jù)的分析、處理能力；利用數(shù)據(jù)進(jìn)行決策的能力；對(duì)數(shù)據(jù)的批判性思維。13.1計(jì)算思維計(jì)算思維是運(yùn)用計(jì)算機(jī)科學(xué)的基礎(chǔ)概念進(jìn)行問題求解、系統(tǒng)設(shè)計(jì)、以及人類行為理解等涵蓋計(jì)算機(jī)科學(xué)之廣度的一系列思維活動(dòng)。13.1.1計(jì)算思維的概念為了讓人們更易于理解，可以將計(jì)算思維進(jìn)一步定義為：通過約簡、嵌入、轉(zhuǎn)化和仿真等方法，把一個(gè)看來困難的問題重新闡釋成一個(gè)我們知道問題怎樣解決的方法；是一種遞歸思維、并行處理，把代碼譯成數(shù)據(jù)又能把數(shù)據(jù)譯成代碼的方法，是一種多維分析推廣的類型檢查方法；是一種采用抽象和分解來控制龐雜的任務(wù)或進(jìn)行巨大復(fù)雜系統(tǒng)設(shè)計(jì)的方法，是基于關(guān)注分離的方法，即在系統(tǒng)中為達(dá)到目的而對(duì)軟件元素進(jìn)行劃分與對(duì)比，通過適當(dāng)?shù)年P(guān)注分離，將復(fù)雜的東西變成可管理的。13.1.1計(jì)算思維的概念計(jì)算思維也是一種選擇合適的方式去陳述一個(gè)問題，或?qū)σ粋€(gè)問題的相關(guān)方面建模使其易于處理的思維方法；是按照預(yù)防、保護(hù)及通過冗余、容錯(cuò)、糾錯(cuò)的方式，并從最壞情況進(jìn)行系統(tǒng)恢復(fù)的一種思維方法；是利用啟發(fā)式推理尋求解答，也即在不確定情況下的規(guī)劃、學(xué)習(xí)和調(diào)度的思維方法；是利用海量數(shù)據(jù)來加快計(jì)算，在時(shí)間和空間之間，在處理能力和存儲(chǔ)容量之間進(jìn)行折衷的思維方法。13.1.1計(jì)算思維的概念計(jì)算思維吸取了問題解決所采用的一般數(shù)學(xué)思維方法，現(xiàn)實(shí)世界中巨大復(fù)雜系統(tǒng)的設(shè)計(jì)與評(píng)估的一般工程思維方法，以及復(fù)雜性、智能、心理、人類行為的理解等的一般科學(xué)思維方法。計(jì)算思維建立在計(jì)算過程的能力和限制之上。計(jì)算方法和模型使我們敢于去處理那些原本無法由個(gè)人獨(dú)立完成的問題求解和系統(tǒng)設(shè)計(jì)。計(jì)算思維直面機(jī)器智能的不解之謎：什么人類比計(jì)算機(jī)做得好？什么計(jì)算機(jī)比人類做得好？最基本的問題是：什么是可計(jì)算的？13.1.1計(jì)算思維的概念計(jì)算思維最根本的內(nèi)容，即其本質(zhì)是抽象和自動(dòng)化。計(jì)算思維中的抽象完全超越物理的時(shí)空觀，并完全用符號(hào)來表示，其中，數(shù)字抽象只是一類特例。與數(shù)學(xué)和物理科學(xué)相比，計(jì)算思維中的抽象顯得更為豐富，也更為復(fù)雜。數(shù)學(xué)抽象的最大特點(diǎn)是拋開現(xiàn)實(shí)事物的物理、化學(xué)和生物學(xué)等特性，而僅保留其量的關(guān)系和空間的形式，而計(jì)算思維中的抽象卻不僅僅如此。13.1.1計(jì)算思維的概念計(jì)算思維是每個(gè)人的基本技能，在培養(yǎng)學(xué)生解析能力時(shí)，不僅要掌握閱讀、寫作和算術(shù)（Reading，wRiting，andaRithmetic——3R），還要學(xué)會(huì)計(jì)算思維。正如印刷出版促進(jìn)了3R的普及，計(jì)算和計(jì)算機(jī)也以類似的正反饋促進(jìn)了計(jì)算思維的傳播。

圖13-3計(jì)算之樹：計(jì)算思維教育空間13.1.2計(jì)算思維的作用當(dāng)我們必須求解一個(gè)特定問題時(shí)，首先會(huì)問：解決這個(gè)問題有多么困難？怎樣才是最佳的解決方法？計(jì)算機(jī)科學(xué)根據(jù)堅(jiān)實(shí)的理論基礎(chǔ)來準(zhǔn)確地回答這些問題。表述問題的難度就是工具的基本能力，必須考慮的因素包括機(jī)器的指令系統(tǒng)、資源約束和操作環(huán)境。為了有效地求解一個(gè)問題，我們可能要進(jìn)一步問：一個(gè)近似解是否就夠了，是否可以利用一下隨機(jī)化，以及是否允許誤報(bào)和漏報(bào)。計(jì)算思維就是通過約簡、嵌入、轉(zhuǎn)化和仿真等方法，把一個(gè)看來困難的問題重新闡釋成一個(gè)我們知道怎樣解決的問題。13.1.2計(jì)算思維的作用計(jì)算思維是一種遞歸思維，它是并行處理，它把代碼譯成數(shù)據(jù)又把數(shù)據(jù)譯成代碼。它是由廣義量綱分析進(jìn)行的類型檢查。對(duì)于別名或賦予人與物多個(gè)名字的做法，它既知道其益處又了解其害處。對(duì)于間接尋址和程序調(diào)用的方法，它既知道其威力又了解其代價(jià)。它評(píng)價(jià)一個(gè)程序時(shí)，不僅僅根據(jù)其準(zhǔn)確性和效率，還有美學(xué)的考量，而對(duì)于系統(tǒng)的設(shè)計(jì)，還考慮簡潔和優(yōu)雅。13.1.2計(jì)算思維的作用計(jì)算思維通過抽象和分解來迎接龐雜的任務(wù)或者設(shè)計(jì)巨大復(fù)雜的系統(tǒng)。它是關(guān)注的分離，它選擇合適的方式去陳述一個(gè)問題，或者是選擇合適的方式對(duì)一個(gè)問題的相關(guān)方面建模使其易于處理。它是利用不變量簡明扼要且表述性地刻畫系統(tǒng)的行為。它使我們?cè)诓槐乩斫饷恳粋€(gè)細(xì)節(jié)的情況下就能夠安全地使用、調(diào)整和影響一個(gè)大型復(fù)雜系統(tǒng)的信息。它就是為預(yù)期的未來應(yīng)用而進(jìn)行的預(yù)取和緩存。13.1.2計(jì)算思維的作用計(jì)算思維是按照預(yù)防、保護(hù)及通過冗余、容錯(cuò)、糾錯(cuò)的方式從最壞情形恢復(fù)的一種思維。它稱堵塞為“死鎖”，稱約定為“界面”。計(jì)算思維就是學(xué)習(xí)在同步相互會(huì)合時(shí)如何避免“競爭條件”（亦稱“競態(tài)條件”）的情形。計(jì)算思維利用啟發(fā)式推理來尋求解答，就是在不確定情況下的規(guī)劃、學(xué)習(xí)和調(diào)度。它就是搜索、搜索、再搜索，結(jié)果是一系列的網(wǎng)頁，一個(gè)贏得游戲的策略，或者一個(gè)反例。計(jì)算思維利用海量數(shù)據(jù)來加快計(jì)算，在時(shí)間和空間之間，在處理能力和存儲(chǔ)容量之間進(jìn)行權(quán)衡。13.1.2計(jì)算思維的作用計(jì)算思維將滲透到我們每個(gè)人的生活之中，到那時(shí)，諸如算法和前提條件這些詞匯將成為每個(gè)人日常語言的一部分，對(duì)“非確定論”和“垃圾收集”這些詞的理解會(huì)和計(jì)算機(jī)科學(xué)里的含義驅(qū)近，而樹已常常被倒過來畫了。我們已經(jīng)見證了計(jì)算思維在其他學(xué)科中的影響。例如，機(jī)器學(xué)習(xí)改變了統(tǒng)計(jì)學(xué)。就數(shù)學(xué)尺度和維數(shù)而言，統(tǒng)計(jì)學(xué)習(xí)用于各類問題的規(guī)模僅在幾年前還是不可想象的。各種組織的統(tǒng)計(jì)部門都聘請(qǐng)了計(jì)算機(jī)科學(xué)家。計(jì)算機(jī)院系正在與統(tǒng)計(jì)學(xué)系聯(lián)姻。13.1.2計(jì)算思維的作用計(jì)算機(jī)科學(xué)家們對(duì)生物科學(xué)越來越感興趣，因?yàn)樗麄儓?jiān)信生物學(xué)家能夠從計(jì)算思維中獲益。計(jì)算機(jī)科學(xué)對(duì)生物學(xué)的貢獻(xiàn)決不限于其能夠在海量序列數(shù)據(jù)中搜索尋找模式規(guī)律的本領(lǐng)。最終希望是數(shù)據(jù)結(jié)構(gòu)和算法（我們自身的計(jì)算抽象和方法）能夠以其體現(xiàn)自身功能的方式來表示蛋白質(zhì)的結(jié)構(gòu)。計(jì)算生物學(xué)正在改變著生物學(xué)家的思考方式。類似地，計(jì)算博弈理論正改變著經(jīng)濟(jì)學(xué)家的思考方式，納米計(jì)算改變著化學(xué)家的思考方式，量子計(jì)算改變著物理學(xué)家的思考方式。13.1.2計(jì)算思維的作用這種思維將成為每個(gè)人的技能組合成分，而不僅僅限于科學(xué)家。普適計(jì)算之于今天就如計(jì)算思維之于明天。普適計(jì)算是已成為今日現(xiàn)實(shí)的昨日之夢，而計(jì)算思維就是明日現(xiàn)實(shí)。13.1.2計(jì)算思維的作用計(jì)算思維有以下幾個(gè)特點(diǎn)：（1）概念化，不是程序化。計(jì)算機(jī)科學(xué)不是計(jì)算機(jī)編程。像計(jì)算機(jī)科學(xué)家那樣去思維意味著遠(yuǎn)不止能為計(jì)算機(jī)編程，還要求能夠在抽象的多個(gè)層次上思維。許多人將計(jì)算機(jī)科學(xué)等同于計(jì)算機(jī)編程。許多人為主修計(jì)算機(jī)科學(xué)的學(xué)生們看到的只是一個(gè)狹窄的就業(yè)范圍。許多人認(rèn)為計(jì)算機(jī)科學(xué)的基礎(chǔ)研究已經(jīng)完成，剩下的只是工程問題。當(dāng)我們行動(dòng)起來去改變這一領(lǐng)域的社會(huì)形象時(shí)，計(jì)算思維就是一個(gè)引導(dǎo)著計(jì)算機(jī)教育家、研究者和實(shí)踐者的宏大愿景。13.1.3計(jì)算思維的特點(diǎn)（2）根本的，不是刻板的技能。根本技能是每一個(gè)人為了在現(xiàn)代社會(huì)中發(fā)揮職能所必須掌握的?？贪寮寄芤馕吨鴻C(jī)械的重復(fù)。具有諷刺意味的是，當(dāng)計(jì)算機(jī)像人類一樣思考之后，思維可就真的變成機(jī)械的了。（3）是人的，不是計(jì)算機(jī)的思維方式。計(jì)算思維是人類求解問題的一條途徑，但決非要使人類像計(jì)算機(jī)那樣地思考。計(jì)算機(jī)枯燥且沉悶，人類聰穎且富有想象力。是人類賦予計(jì)算機(jī)激情。配置了計(jì)算設(shè)備，我們就能用自己的智慧去解決那些在計(jì)算時(shí)代之前不敢嘗試的問題，實(shí)現(xiàn)“只有想不到，沒有做不到”的境界。13.1.3計(jì)算思維的特點(diǎn)（4）數(shù)學(xué)和工程思維的互補(bǔ)與融合。計(jì)算機(jī)科學(xué)在本質(zhì)上源自數(shù)學(xué)思維，因?yàn)橄袼械目茖W(xué)一樣，其形式化基礎(chǔ)建筑于數(shù)學(xué)之上。計(jì)算機(jī)科學(xué)又從本質(zhì)上源自工程思維，因?yàn)槲覀兘ㄔ斓氖悄軌蚺c實(shí)際世界互動(dòng)的系統(tǒng)，基本計(jì)算設(shè)備的限制迫使計(jì)算機(jī)學(xué)家必須計(jì)算性地思考，不能只是數(shù)學(xué)性地思考。構(gòu)建虛擬世界的自由使我們能夠設(shè)計(jì)超越物理世界的各種系統(tǒng)。13.1.3計(jì)算思維的特點(diǎn)（5）是思想，不是人造物。不只是我們生產(chǎn)的軟件硬件等人造物將以物理形式到處呈現(xiàn)并時(shí)時(shí)刻刻觸及我們的生活，更重要的是還將有我們用以接近和求解問題、管理日常生活、與他人交流和互動(dòng)的計(jì)算概念；而且，面向所有的人，所有地方。當(dāng)計(jì)算思維真正融入人類活動(dòng)的整體以致不再表現(xiàn)為一種顯式之哲學(xué)的時(shí)候，它就將成為一種現(xiàn)實(shí)。13.1.3計(jì)算思維的特點(diǎn)因此，特別需要向人們傳送下面兩個(gè)主要信息：（1）智力上的挑戰(zhàn)和引人入勝的科學(xué)問題依舊亟待理解和解決。這些問題和解答僅僅受限于我們自己的好奇心和創(chuàng)造力。一個(gè)人可以主修英語或者數(shù)學(xué)，接著從事各種各樣的職業(yè)。計(jì)算機(jī)科學(xué)也一樣。一個(gè)人可以主修計(jì)算機(jī)科學(xué)，接著從事醫(yī)學(xué)、法律、商業(yè)、政治，以及任何類型的科學(xué)和工程，甚至藝術(shù)工作。13.1.3計(jì)算思維的特點(diǎn)（2）應(yīng)該讓“怎么像計(jì)算機(jī)科學(xué)家一樣思維”這樣的課程，面向所有專業(yè)，而不僅僅是計(jì)算機(jī)科學(xué)專業(yè)的學(xué)生。應(yīng)當(dāng)使廣大學(xué)生接觸計(jì)算的方法和模型，設(shè)法激發(fā)公眾對(duì)計(jì)算機(jī)領(lǐng)域科學(xué)探索的興趣。應(yīng)當(dāng)傳播計(jì)算機(jī)科學(xué)的快樂、崇高和力量，致力于使計(jì)算思維成為常識(shí)。13.1.3計(jì)算思維的特點(diǎn)PART02數(shù)據(jù)工程師的社會(huì)責(zé)任計(jì)算機(jī)、網(wǎng)絡(luò)、大數(shù)據(jù)和人工智能技術(shù)正在使世界經(jīng)歷一場巨大的變革，這種變革不但體現(xiàn)在人們的日常工作和生活中，而且深刻地反映在社會(huì)經(jīng)濟(jì)、文化等各個(gè)方面。比如：網(wǎng)絡(luò)信息的膨脹正在逐步瓦解信息集中控制的現(xiàn)狀；與傳統(tǒng)的通信方式相比，計(jì)算機(jī)通信更有利于不同性別、種族、文化和語言的人們之間的交流，更有助于減少交流中的偏見和誤解。13.2數(shù)據(jù)工程師的社會(huì)責(zé)任“職業(yè)化”通常也被稱為“職業(yè)特性”、“職業(yè)作風(fēng)”或“專業(yè)精神”等，應(yīng)該視為從業(yè)人員、職業(yè)團(tuán)體及其服務(wù)對(duì)象——公眾之間的三方關(guān)系準(zhǔn)則。該準(zhǔn)則是從事某一職業(yè)，并得以生存和發(fā)展的必要條件。實(shí)際上，該準(zhǔn)則隱含地為從業(yè)人員、職業(yè)團(tuán)體（由雇主作為代表）和公眾（或社會(huì)）擬訂了一個(gè)三方協(xié)議，其中規(guī)定的各方的需求、期望和責(zé)任就構(gòu)成了職業(yè)化的基本內(nèi)涵。如從業(yè)人員希望職業(yè)團(tuán)體能夠抵制來自社會(huì)的不合理要求，能夠?qū)β殬I(yè)目標(biāo)、指導(dǎo)方針和技能要求不斷進(jìn)行檢查、評(píng)價(jià)和更新，從而保持該職業(yè)的吸引力。13.2.1職業(yè)化和道德責(zé)任反過來，職業(yè)團(tuán)體也對(duì)從業(yè)人員提出了要求，要求從業(yè)人員具有與職業(yè)理想相稱的價(jià)值觀念，具有足夠的、完成規(guī)定服務(wù)所要求的知識(shí)和技能。類似地，社會(huì)對(duì)職業(yè)團(tuán)體以及職業(yè)團(tuán)體對(duì)社會(huì)都具有一定的期望和需求。任何領(lǐng)域提供的任何一項(xiàng)專業(yè)服務(wù)都應(yīng)該達(dá)到三方的滿意，至少能夠使三方彼此接受對(duì)方。“職業(yè)化”是一個(gè)適用于所有職業(yè)的一個(gè)總的原則性協(xié)議，但具體到某一個(gè)行業(yè)時(shí)，還應(yīng)考慮其自身特殊的要求。雖然職業(yè)道德規(guī)范沒有法律法規(guī)所具有的強(qiáng)制性，但遵守這些規(guī)范對(duì)行業(yè)的健康發(fā)展是至關(guān)重要的。13.2.1職業(yè)化和道德責(zé)任道德準(zhǔn)則被設(shè)計(jì)來幫助計(jì)算機(jī)專業(yè)人士決定其有關(guān)道德問題的判斷。許多專業(yè)機(jī)構(gòu)（諸如美國計(jì)算機(jī)協(xié)會(huì)、英國計(jì)算機(jī)協(xié)會(huì)、澳大利亞計(jì)算機(jī)協(xié)會(huì)以及美國計(jì)算機(jī)倫理研究所等）都頒布了道德準(zhǔn)則，每種準(zhǔn)則在細(xì)節(jié)上存在著差別，為專業(yè)人士行為提供了整體指南準(zhǔn)則。13.2.1職業(yè)化和道德責(zé)任計(jì)算機(jī)倫理研究所頒布的最短準(zhǔn)則如下。（1）不要使用計(jì)算機(jī)來傷害他人。（2）不要干擾他人的計(jì)算機(jī)工作。（3）不要監(jiān)控他人的文件。（4）不要使用計(jì)算機(jī)來偷竊。（5）不要使用計(jì)算機(jī)來提供假證詞。（6）不要使用或者復(fù)制你沒有付費(fèi)的軟件。13.2.1職業(yè)化和道德責(zé)任（7）不要在沒有獲得允許的情況下使用他人的計(jì)算機(jī)資源。（8）不要盜用他人的智能成果。（9）應(yīng)該考慮到自己所編寫程序的社會(huì)后果。（10）使用計(jì)算機(jī)時(shí)應(yīng)該體現(xiàn)出對(duì)信息的尊重。13.2.1職業(yè)化和道德責(zé)任美國計(jì)算機(jī)協(xié)會(huì)（ACM）為專業(yè)人士行為制訂的道德準(zhǔn)則包含21條，包括“必須遵守現(xiàn)有的本地、地區(qū)、國家以及國際法律，除非有明確準(zhǔn)則要求不必這樣做。”13.2.2ACM職業(yè)道德責(zé)任在計(jì)算機(jī)日益成為各個(gè)領(lǐng)域及各項(xiàng)社會(huì)事務(wù)中心角色的今天，那些直接或間接從事軟件設(shè)計(jì)和軟件開發(fā)的人員，有著既可從善也可從惡的極大機(jī)會(huì)，同時(shí)還可影響周圍其他從事該職業(yè)的人的行為。為能保證使其盡量發(fā)揮有益的作用，這就必須要求軟件工程師致力于使軟件工程成為一個(gè)有益的和受人尊敬的職業(yè)。為此，1998年，IEEE-CS和ACM聯(lián)合特別工作組在對(duì)多個(gè)計(jì)算學(xué)科和工程學(xué)科規(guī)范進(jìn)行廣泛研究的基礎(chǔ)上，制訂了軟件工程師職業(yè)化的一個(gè)關(guān)鍵規(guī)范《軟件工程資格和專業(yè)規(guī)范》。該規(guī)范不代表立法，它只是向?qū)嵺`者指明社會(huì)期望他們達(dá)到的標(biāo)準(zhǔn)，以及同行們的共同追求和相互的期望。13.2.2ACM職業(yè)道德責(zé)任該規(guī)范要求軟件工程師應(yīng)該堅(jiān)持以下8項(xiàng)道德規(guī)范。原則1：公眾。從職業(yè)角色來說，軟件工程師應(yīng)當(dāng)始終關(guān)注公眾的利益，按照與公眾的安全、健康和幸福相一致的方式發(fā)揮作用。原則2：客戶和雇主。軟件工程師應(yīng)當(dāng)有一個(gè)認(rèn)知，什么是其客戶和雇主的最大利益。他們應(yīng)該總是以職業(yè)的方式擔(dān)當(dāng)他們的客戶或雇主的忠實(shí)代理人和委托人。原則3：產(chǎn)品。軟件工程師應(yīng)當(dāng)盡可能地確保他們開發(fā)的軟件對(duì)于公眾、雇主、客戶以及用戶是有用的，在質(zhì)量上是可接受的，在時(shí)間上要按期完成并且費(fèi)用合理，同時(shí)沒有錯(cuò)誤。13.2.2ACM職業(yè)道德責(zé)任原則4：判斷。軟件工程師應(yīng)當(dāng)完全堅(jiān)持自己獨(dú)立自主的專業(yè)判斷并維護(hù)其判斷的聲譽(yù)。原則5：管理。軟件工程的管理者和領(lǐng)導(dǎo)應(yīng)當(dāng)通過規(guī)范的方法贊成和促進(jìn)軟件管理的發(fā)展與維護(hù)，并鼓勵(lì)他們所領(lǐng)導(dǎo)的人員履行個(gè)人和集體的義務(wù)。原則6：職業(yè)。軟件工程師應(yīng)該提高他們職業(yè)的正直性和聲譽(yù)，并與公眾的興趣保持一致。13.2.2ACM職業(yè)道德責(zé)任原則7：同事。軟件工程師應(yīng)該公平合理地對(duì)待他們的同事，并應(yīng)該采取積極的步驟支持社團(tuán)的活動(dòng)。原則8：自身。軟件工程師應(yīng)當(dāng)在他們的整個(gè)職業(yè)生涯中，積極參與有關(guān)職業(yè)規(guī)范的學(xué)習(xí)，努力提高從事自己的職業(yè)所應(yīng)該具有的能力，以推進(jìn)職業(yè)規(guī)范的發(fā)展。13.2.2ACM職業(yè)道德責(zé)任在軟件開發(fā)的過程中，軟件工程師及工程管理人員不可避免地會(huì)在某些與工程相關(guān)的事務(wù)上產(chǎn)生沖突。軟件工程師應(yīng)該以符合道德的方式減少和妥善地處理這些沖突。13.2.3軟件工程師道德基礎(chǔ)1996年11月，IEEE道德規(guī)范委員會(huì)指定并批準(zhǔn)了《工程師基于道德基礎(chǔ)提出異議的指導(dǎo)方針》，提出了9條指導(dǎo)方針：（1）確立清晰的技術(shù)基礎(chǔ)：盡量弄清事實(shí)，充分理解技術(shù)上的不同觀點(diǎn)，而且一旦證實(shí)對(duì)方的觀點(diǎn)是正確的，就要毫不猶豫地接受。（2）使自己的觀點(diǎn)具有較高的職業(yè)水準(zhǔn)，盡量使其客觀和不帶有個(gè)人感情色彩，避免涉及無關(guān)的事務(wù)和感情沖動(dòng)。（3）及早發(fā)現(xiàn)問題，盡量在最低層的管理部門解決問題。13.2.3軟件工程師道德基礎(chǔ)（4）在因?yàn)槟呈聞?wù)而決定單干之前，要確保該事務(wù)足夠重要，值得為此冒險(xiǎn)。（5）利用組織的爭端裁決機(jī)制解決問題。（6）保留記錄，收集文件。當(dāng)認(rèn)識(shí)到自己處境嚴(yán)峻的時(shí)候，應(yīng)著手制作日志，記錄自己采取的每一項(xiàng)措施及其時(shí)間，并備份重要文件，防止突發(fā)事件。（7）辭職：當(dāng)在組織內(nèi)無法化解沖突的時(shí)候，要考慮自己是去還是留。選擇辭職既有好處也有缺點(diǎn)，作出決定之前要慎重考慮。13.2.3軟件工程師道德基礎(chǔ)（8）匿名：工程師在認(rèn)識(shí)到組織內(nèi)部存在嚴(yán)重危害，而且公開提請(qǐng)組織的注意可能會(huì)招致有關(guān)人員超出其限度的強(qiáng)烈反應(yīng)時(shí)，對(duì)該問題的反映可以考慮采用匿名報(bào)告的形式。（9）外部介入：組織內(nèi)部化解沖突的努力失敗后，如果工程人員決定讓外界人員或機(jī)構(gòu)介入該事件，那么不管他是否決定辭職，都必須認(rèn)真考慮讓誰介入?？赡艿倪x擇有：執(zhí)法機(jī)關(guān)、政府官員、立法人員或公共利益組織等。13.2.3軟件工程師道德基礎(chǔ)PART03數(shù)據(jù)科學(xué)的職業(yè)技能數(shù)據(jù)科學(xué)可以簡單地理解為預(yù)測分析和數(shù)據(jù)挖掘，是統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù)的結(jié)合，用于獲取數(shù)據(jù)中的推斷和洞察力。相關(guān)方法包括回歸分析、關(guān)聯(lián)規(guī)則（比如市場購物車分析）、優(yōu)化技術(shù)和仿真（比如蒙特卡羅仿真用于構(gòu)建場景結(jié)果）。數(shù)據(jù)科學(xué)的典型技術(shù)和數(shù)據(jù)類型包括：（1）優(yōu)化模型、預(yù)測模型、預(yù)報(bào)、統(tǒng)計(jì)分析；（2）結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)、多種類型數(shù)據(jù)源、超大數(shù)據(jù)集。13.3數(shù)據(jù)科學(xué)的職業(yè)技能商業(yè)智能和數(shù)據(jù)科學(xué)都是企業(yè)所需要的，用于應(yīng)對(duì)不斷出現(xiàn)的各種商業(yè)挑戰(zhàn)。商業(yè)智能和數(shù)據(jù)科學(xué)有不同的定位和范疇，商業(yè)智能更關(guān)注于過去的舊數(shù)據(jù)，其結(jié)果的商業(yè)價(jià)值相對(duì)較低；而數(shù)據(jù)科學(xué)更著眼于新數(shù)據(jù)和對(duì)未來的預(yù)測，其商業(yè)價(jià)值相對(duì)更高。但是，它們并不存在一個(gè)明確的劃分，只是各有偏重而己。13.3數(shù)據(jù)科學(xué)的職業(yè)技能大數(shù)據(jù)需要數(shù)據(jù)科學(xué)，數(shù)據(jù)科學(xué)要做到的不僅是存儲(chǔ)和管理，而是預(yù)測式的分析（比如如果這樣做，會(huì)發(fā)生什么）。數(shù)據(jù)學(xué)科是統(tǒng)計(jì)學(xué)的論證，真正利用到統(tǒng)計(jì)學(xué)的力量。只有這樣才能夠從數(shù)據(jù)中獲得經(jīng)驗(yàn)和未來方向的指導(dǎo)。但是，數(shù)據(jù)科學(xué)并非簡單的統(tǒng)計(jì)學(xué)，需要新的應(yīng)用、新的平臺(tái)和新的數(shù)據(jù)觀，而不僅是現(xiàn)有的傳統(tǒng)的基礎(chǔ)架構(gòu)與軟件平臺(tái)。13.3數(shù)據(jù)科學(xué)的職業(yè)技能通常，數(shù)據(jù)科學(xué)的實(shí)踐需要三個(gè)一般領(lǐng)域的技能，即：商業(yè)洞察、計(jì)算機(jī)技術(shù)/編程和統(tǒng)計(jì)學(xué)/數(shù)學(xué)。而另一方面，不同的工作對(duì)象，他的具體技能集合會(huì)有所不同。為探索數(shù)據(jù)科學(xué)家應(yīng)該具有的職業(yè)技能，多個(gè)研究項(xiàng)目進(jìn)行了不同的探索，綜合得出數(shù)據(jù)科學(xué)從業(yè)人員相關(guān)的25項(xiàng)技能（表13-1）。13.3.1數(shù)據(jù)科學(xué)重要技能表13-1數(shù)據(jù)科學(xué)中25項(xiàng)技能13.3.1數(shù)據(jù)科學(xué)重要技能表13-1列出的25項(xiàng)技能反映了通常與數(shù)據(jù)科學(xué)家相關(guān)的技能集合。在進(jìn)行針對(duì)數(shù)據(jù)科學(xué)家的調(diào)查中，調(diào)查者要求數(shù)據(jù)專業(yè)人員指出他們?cè)?5項(xiàng)不同數(shù)據(jù)科學(xué)技能上的熟練程度。研究中，選擇“中等了解”水平作為數(shù)據(jù)專業(yè)人員擁有該技能的標(biāo)準(zhǔn)?！爸械攘私狻闭f明一個(gè)數(shù)據(jù)專業(yè)人員能夠按照要求完成任務(wù)，并且通常不需要他人的幫助。一項(xiàng)基于620名數(shù)據(jù)專業(yè)人士的研究表明了這樣的數(shù)字：商業(yè)經(jīng)理=250；開發(fā)人員=222；創(chuàng)意人員=221；專業(yè)研究人員=353。13.3.1數(shù)據(jù)科學(xué)重要技能以擁有該技能的數(shù)據(jù)專業(yè)人員百分比對(duì)表13-1的25項(xiàng)技能進(jìn)行排序。分析表明，所有數(shù)據(jù)專業(yè)人員中最常見的數(shù)據(jù)科學(xué)十大技能是：統(tǒng)計(jì)–溝通（87%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（75%）數(shù)學(xué)&建模–數(shù)學(xué)（71%）

商業(yè)–項(xiàng)目管理（71%）統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（71%）

統(tǒng)計(jì)–科學(xué)/科學(xué)方法（65%）統(tǒng)計(jì)–數(shù)據(jù)管理（65%）

商業(yè)–產(chǎn)品設(shè)計(jì)和開發(fā)（59%）統(tǒng)計(jì)–統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（59%）商業(yè)–商業(yè)開發(fā)（53%）13.3.2常見的數(shù)據(jù)科學(xué)十大技能許多重要的數(shù)據(jù)科學(xué)技能都屬于統(tǒng)計(jì)領(lǐng)域：所有的五項(xiàng)與統(tǒng)計(jì)相關(guān)的技能都出現(xiàn)在前10項(xiàng)中，包括溝通、數(shù)據(jù)挖掘和可視化工具、科學(xué)/科學(xué)方法、以及統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模；另外，與商業(yè)洞察力相關(guān)的三項(xiàng)技能出現(xiàn)在前10，包括項(xiàng)目管理、產(chǎn)品設(shè)計(jì)以及開發(fā)；而沒有編程技能出現(xiàn)在前10中。13.3.2常見的數(shù)據(jù)科學(xué)十大技能我們按不同的職業(yè)角色（商業(yè)經(jīng)理、開發(fā)人員、創(chuàng)意人員、研究人員）來看看他們的十大技能。分析中指出了對(duì)于每個(gè)職業(yè)角色的數(shù)據(jù)專業(yè)人士所擁有每項(xiàng)技能的頻率?？梢钥吹剑恍┲匾獢?shù)據(jù)科學(xué)技能在不同角色中是通用的。這包括溝通、管理結(jié)構(gòu)化數(shù)據(jù)、數(shù)學(xué)、項(xiàng)目管理、數(shù)據(jù)挖掘和可視化工具、數(shù)據(jù)管理、以及產(chǎn)品設(shè)計(jì)和開發(fā)。然而，除了這些相似之處還有相當(dāng)大的差異。13.3.3技能因職業(yè)角色而異（1）商業(yè)經(jīng)理：那些認(rèn)為自己是商業(yè)經(jīng)理（尤其是領(lǐng)導(dǎo)者、商務(wù)人士和企業(yè)家）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計(jì)–溝通（91%）

商業(yè)–項(xiàng)目管理（86%）商業(yè)–商業(yè)開發(fā)（77%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（74%）商業(yè)–預(yù)算（71%）

商業(yè)–產(chǎn)品設(shè)計(jì)和開發(fā)（70%）數(shù)學(xué)&建模–數(shù)學(xué)（65%）

統(tǒng)計(jì)–數(shù)據(jù)管理（64%）統(tǒng)計(jì)--數(shù)據(jù)挖掘和可視化工具（64%）商業(yè)–管理和兼容性（61%）只與商業(yè)經(jīng)理相關(guān)的重要技能毫無疑問的是商業(yè)領(lǐng)域的。這些技能包括商業(yè)開發(fā)、預(yù)算、以及管理和兼容性。13.3.3技能因職業(yè)角色而異（2）開發(fā)人員：那些認(rèn)為自己是開發(fā)工作者（尤其是開發(fā)者和工程師）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：技術(shù)–管理結(jié)構(gòu)化數(shù)據(jù)（91%）

統(tǒng)計(jì)–溝通（85%）統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（76%）商業(yè)–產(chǎn)品設(shè)計(jì)（75%）數(shù)學(xué)&建模–數(shù)學(xué)（75%）

統(tǒng)計(jì)–數(shù)據(jù)管理（75%）商業(yè)–項(xiàng)目管理（74%）

編程–數(shù)據(jù)庫管理（73%）編程–后端編程（70%）

編程–系統(tǒng)管理（65%）13.3.3技能因職業(yè)角色而異只與開發(fā)者相關(guān)的技能是技術(shù)和編程。這些重要的技能包括后端編程、系統(tǒng)管理以及數(shù)據(jù)庫管理。雖然這些數(shù)據(jù)專業(yè)人員具備這些技能，但是他們中只有少數(shù)人擁有那些在大數(shù)據(jù)世界中很重要的，更加技術(shù)化、更加依賴編程的技能。例如，少于一半人掌握云管理（42%），大數(shù)據(jù)和分布式數(shù)據(jù)（48%）和NLP以及文本挖掘（42%）。思考這些百分比是否會(huì)隨著更多數(shù)據(jù)科學(xué)項(xiàng)目的畢業(yè)生開始就業(yè)而上升。13.3.3技能因職業(yè)角色而異（3）創(chuàng)意人員：那些認(rèn)為自己是創(chuàng)意工作者（尤其是藝術(shù)家和黑客）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計(jì)–溝通（87%）

技術(shù)–處理結(jié)構(gòu)化數(shù)據(jù)（79%）商業(yè)–項(xiàng)目管理（77%）

統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化工具（77%）數(shù)學(xué)&建模–數(shù)學(xué)（75%）

商業(yè)–產(chǎn)品設(shè)計(jì)和開發(fā)（68%）統(tǒng)計(jì)–科學(xué)/科學(xué)方法（68%）

統(tǒng)計(jì)–數(shù)據(jù)管理（67%）統(tǒng)計(jì)–統(tǒng)計(jì)學(xué)和統(tǒng)計(jì)建模（63%）

商業(yè)–商業(yè)開發(fā)（58%）這里并沒有指針對(duì)創(chuàng)意人員的重要技能。事實(shí)上，他們的重要數(shù)據(jù)科學(xué)技能列表與那些研究者緊密匹配，十項(xiàng)中有八項(xiàng)一致。13.3.3技能因職業(yè)角色而異（4）研究人員：那些認(rèn)為自己是研究工作者（尤其是研究員、科學(xué)家和統(tǒng)計(jì)學(xué)家）的數(shù)據(jù)專業(yè)人士中的十大數(shù)據(jù)科學(xué)技能是：統(tǒng)計(jì)–溝通（90%）

統(tǒng)計(jì)–數(shù)據(jù)挖掘和可視化