大數(shù)據(jù)管理與應(yīng)用 課件 第十六章 大數(shù)據(jù)管理與應(yīng)用進展

第十六章大數(shù)據(jù)管理與應(yīng)用進展大數(shù)據(jù)管理與應(yīng)用——主編：王剛副主編：劉婧、邵臻01大數(shù)據(jù)產(chǎn)業(yè)發(fā)展動態(tài)02大數(shù)據(jù)管理與應(yīng)用相關(guān)職業(yè)03大數(shù)據(jù)管理與應(yīng)用挑戰(zhàn)04大數(shù)據(jù)管理與應(yīng)用發(fā)展趨勢目前，大數(shù)據(jù)以爆炸式的發(fā)展速度迅速蔓延至各行各業(yè)。隨著各國搶抓戰(zhàn)略布局，不斷加大扶持力度，全球大數(shù)據(jù)市場規(guī)模保持了高速增長態(tài)勢。據(jù)相關(guān)研究數(shù)據(jù)表明，全球大數(shù)據(jù)市場規(guī)模將從2018年的420億美元增長至2024年的840億美元，年復(fù)合增長率為12.3%。美國：大數(shù)據(jù)的先行者歐洲：積極擁抱大數(shù)據(jù)亞洲：大數(shù)據(jù)的新興力量1.1國際大數(shù)據(jù)產(chǎn)業(yè)發(fā)展?fàn)顩r大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模不斷擴大大數(shù)據(jù)產(chǎn)業(yè)形態(tài)基本形成數(shù)據(jù)資源：中國成為“世界數(shù)據(jù)中心”產(chǎn)品技術(shù)：跟隨全球開源趨勢，部分企業(yè)進入技術(shù)制高點應(yīng)用服務(wù)：政府和企業(yè)高度重視，政務(wù)服務(wù)、智能制造等領(lǐng)域取得成效大數(shù)據(jù)產(chǎn)業(yè)呈現(xiàn)區(qū)域聚集分布狀態(tài)初步形成互聯(lián)網(wǎng)巨頭引領(lǐng)的產(chǎn)業(yè)競爭格局互聯(lián)網(wǎng)巨頭：百度、阿里巴巴、騰訊、京東等優(yōu)勢：大量用戶數(shù)據(jù)、電子商務(wù)、定向廣告、多行業(yè)應(yīng)用1.2中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展?fàn)顩r隨著數(shù)據(jù)時代的到來，企業(yè)內(nèi)部產(chǎn)生了很多與大數(shù)據(jù)管理與應(yīng)用相關(guān)的職業(yè)，越來越多的人更愿意投身于這個行業(yè)成為其中的一員。接下來，我們主要介紹最重要的三個職業(yè)——數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師和數(shù)據(jù)分析師。2大數(shù)據(jù)管理與應(yīng)用相關(guān)職業(yè)數(shù)據(jù)科學(xué)家早在2012年便被《哈佛商業(yè)評論》稱為21世紀(jì)最性感的職業(yè)，具有十分廣闊的發(fā)展前景。領(lǐng)英的首席數(shù)據(jù)科學(xué)家丹尼爾圖恩克指出數(shù)據(jù)科學(xué)家是能夠利用各種信息獲取方式、統(tǒng)計學(xué)原理和機器的學(xué)習(xí)能力構(gòu)建分析模型并對其掌握的數(shù)據(jù)進行收集、去噪、分析并解讀的角色。數(shù)據(jù)科學(xué)家的主要職責(zé)包括進行數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析以及數(shù)據(jù)可視化，其中尤為重要的工作是用統(tǒng)計、機器學(xué)習(xí)、深度學(xué)習(xí)等方法建立模型分析數(shù)據(jù)，能夠設(shè)計算法，構(gòu)建模型，找岀模式。2.1數(shù)據(jù)科學(xué)家數(shù)據(jù)工程師，與數(shù)據(jù)庫工程師、數(shù)據(jù)架構(gòu)師相似，負(fù)責(zé)數(shù)據(jù)系統(tǒng)的建設(shè)、管理與優(yōu)化從而保證數(shù)據(jù)的可接收、可存儲、可轉(zhuǎn)換、可訪問。數(shù)據(jù)工程師的主要職責(zé)在于通過技術(shù)手段保證數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師專注于解決數(shù)據(jù)分析方面的問題。首先是日常管理與維護數(shù)據(jù)系統(tǒng)，監(jiān)控和測試系統(tǒng)保證性能優(yōu)化；其次，構(gòu)建和維護數(shù)據(jù)科學(xué)項目的數(shù)據(jù)架構(gòu)，在現(xiàn)存的數(shù)據(jù)管道中整合數(shù)據(jù)集；同時，為數(shù)據(jù)消費開發(fā)API供相關(guān)人員使用；最后是非功能性的基礎(chǔ)設(shè)施問題，如數(shù)據(jù)的可擴展性、可靠性、韌性、有效性，備份等也由數(shù)據(jù)工程師來負(fù)責(zé)。2.2數(shù)據(jù)工程師數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家有一定的相似之處，他們都要從數(shù)據(jù)中抽取信息并且解釋數(shù)據(jù)背后的意義，但在解決的任務(wù)層面存在較大差別。數(shù)據(jù)分析師解決的任務(wù)一般著眼于利用現(xiàn)有數(shù)據(jù)發(fā)現(xiàn)、解釋當(dāng)前岀現(xiàn)的問題，數(shù)據(jù)科學(xué)家解決的任務(wù)更具開放性，他們更專注于利用統(tǒng)計和算法工具來開發(fā)新的分析模型。數(shù)據(jù)分析師的主要職責(zé)是根據(jù)數(shù)據(jù)和業(yè)務(wù)情況，分析得出結(jié)論、制定業(yè)務(wù)策略或者建立模型，回答企業(yè)所遇到的運營問題，并通過數(shù)據(jù)化的交流方式幫助企業(yè)決策，核心職責(zé)是幫助其他人追蹤進展和優(yōu)化目標(biāo)。數(shù)據(jù)分析師的工作內(nèi)容一般包括數(shù)據(jù)清洗，執(zhí)行分析和數(shù)據(jù)可視化。2.3數(shù)據(jù)分析師這三種大數(shù)據(jù)相關(guān)職業(yè)都需要跟數(shù)據(jù)打交道，但是卻擁有不同的分工。數(shù)據(jù)科學(xué)家偏重于對現(xiàn)有的數(shù)據(jù)分析方法提出改良與優(yōu)化、針對實際的數(shù)據(jù)分析問題提出合理可行的新的數(shù)據(jù)分析方法，同時需要基于分析的發(fā)現(xiàn)和在更多可能性上的調(diào)查來獲得方向。數(shù)據(jù)工程師則偏重于數(shù)據(jù)的處理和凈化，將海量的數(shù)據(jù)進行整合，主要工作在后端，持續(xù)的提升數(shù)據(jù)管道來保證數(shù)據(jù)的精確和可獲取。數(shù)據(jù)分析師一般用數(shù)據(jù)工程師提供的現(xiàn)成的接口來和數(shù)據(jù)科學(xué)家構(gòu)建出的分析模型來抽取新的數(shù)據(jù)，然后發(fā)現(xiàn)數(shù)據(jù)中的趨勢、分析異常情況，以一種清晰的方式來概括和提出數(shù)據(jù)分析結(jié)果來讓非技術(shù)的團隊更好地理解，以輔助決策。2.4三者區(qū)別與聯(lián)系大數(shù)據(jù)在快速發(fā)展的同時，也受到一些技術(shù)方面的挑戰(zhàn)，包括基于數(shù)據(jù)倉庫的計算模式中的兩個問題、算法偏見、數(shù)據(jù)供應(yīng)鏈中的問題、數(shù)據(jù)碎片化以及異構(gòu)數(shù)據(jù)缺乏互操作性等，這些因素都為大數(shù)據(jù)管理與應(yīng)用進一步的發(fā)展帶來重要挑戰(zhàn)。數(shù)據(jù)倉庫的計算模式問題算法偏見數(shù)據(jù)供應(yīng)鏈中的問題數(shù)據(jù)碎片化異構(gòu)數(shù)據(jù)缺乏互操作性3.1大數(shù)據(jù)管理與應(yīng)用技術(shù)挑戰(zhàn)目前在企業(yè)內(nèi)部大數(shù)據(jù)的發(fā)展依然存在諸多挑戰(zhàn)，包括五大方面的挑戰(zhàn)：業(yè)務(wù)部門沒有清晰的大數(shù)據(jù)需求企業(yè)內(nèi)部數(shù)據(jù)孤島嚴(yán)重數(shù)據(jù)可用性低，數(shù)據(jù)質(zhì)量差大數(shù)據(jù)人才缺乏數(shù)據(jù)開放與隱私的權(quán)衡3.2大數(shù)據(jù)管理與應(yīng)用的企業(yè)內(nèi)挑戰(zhàn)近些年來，大數(shù)據(jù)技術(shù)的發(fā)展幾乎月新日異，一些最新的技術(shù)和方法也為大數(shù)據(jù)技術(shù)的發(fā)展注入活力，大數(shù)據(jù)技術(shù)在未來將越來越加緊與邊緣計算、區(qū)塊鏈技術(shù)和量子計算等最新技術(shù)的結(jié)合。開源繼續(xù)成為大數(shù)據(jù)技術(shù)的主流邊緣計算和云計算成為互補技術(shù)區(qū)塊鏈技術(shù)提升大數(shù)據(jù)應(yīng)用價值增強分析加速制定決策量子計算助力大數(shù)據(jù)分析4.1大數(shù)據(jù)技術(shù)發(fā)展趨勢總體而言，大數(shù)據(jù)產(chǎn)業(yè)存在五大發(fā)展方向，大數(shù)據(jù)在管理中將從概念化走向價值化，成為重要的戰(zhàn)略資源；大數(shù)據(jù)整合、共享和開放是發(fā)展的必然趨勢，唯有這樣才能發(fā)揮大數(shù)據(jù)的最大價值；人工智能的發(fā)展也將帶動管理與應(yīng)用創(chuàng)新；