高校大數(shù)據(jù)人才培養(yǎng)方案

高校大數(shù)據(jù)人才培養(yǎng)方案2016LenovoInternal.Allrightsreserved.2017/06全國(guó)高校大數(shù)據(jù)教育聯(lián)盟劉娜藝2016LenovoRestricted.Allrightsreserved.公司GoogleFacebook騰訊阿里巴巴百度總收入(億美元)817.62179.28158.41122.93102.23廣告營(yíng)收(億美元)732.23170.83114.0477.04100.78廣告占比89.6%95.3%71.9%62.7%98.6%大數(shù)據(jù)每年在營(yíng)銷行業(yè)能夠變現(xiàn)千億美元2016LenovoRestricted.Allrightsreserved.谷歌和百度憑此生意日進(jìn)斗金關(guān)鍵詞廣告價(jià)格（美元）關(guān)鍵詞廣告價(jià)格（美元）關(guān)鍵詞廣告價(jià)格（美元）CheapCarInsurance33.97PrepaidCellPhones25.38Giftbaskets3.53Legoactivitytable3.02CableInternetProviders8.6CheapOfficeSupplies10.28Entryleveljobs1.31Bridgetonestires5.03OfficeFurniture4.34Onlinenursingdegree18.11Flowerdelivery3.88Giftbaskets3.53上海浦東最好的婦科醫(yī)院是212.99元上海最好的婦科私立醫(yī)院145.19元上海市最好婦科醫(yī)院89.58元Sanantoniocarwreckattorney670.44Accidentattorneyriversideca626.90Drugrehabnyc286.63

搜索廣告內(nèi)容廣告廣告每天顯示數(shù)56億242億廣告點(diǎn)擊率3.47%0.18%平均每天點(diǎn)擊數(shù)1.93億0.45億廣告轉(zhuǎn)化率5.63%4.68%平均單擊價(jià)格$0.53$0.35平均每天收入1億美元1600萬美元谷歌和百度部分關(guān)鍵詞點(diǎn)擊一次廣告價(jià)格2016LenovoRestricted.Allrightsreserved.千億美元數(shù)據(jù)營(yíng)銷市場(chǎng)背后的邏輯2016LenovoRestricted.Allrightsreserved.基礎(chǔ)屬性特征：年齡、性別、單位等業(yè)務(wù)服務(wù)：投連賬戶狀態(tài)，其它產(chǎn)品狀態(tài)等購(gòu)買習(xí)慣：歷史購(gòu)買情況、位置出現(xiàn)規(guī)律、付費(fèi)習(xí)慣等行為特征：網(wǎng)上購(gòu)物、訂閱分析報(bào)告、搜索、郵件等偏好特征：美食、旅游、購(gòu)物、教育等旅游行為：接送服務(wù)，旅行社，酒店和景點(diǎn)偏好等位置信息：出沒規(guī)律、出行規(guī)律、商圈級(jí)別、差旅習(xí)慣等社交網(wǎng)絡(luò)：交往人群、圈子、影響力等家庭狀況：家人、親戚、家庭資產(chǎn)、消費(fèi)習(xí)慣等住酒店禮物上網(wǎng)活躍度：高武漢終端：iPhone男性36歲愛旅游喜愛理財(cái)經(jīng)常出差電子渠道喜歡某品牌銀行高端客戶微博控愛社交有個(gè)女兒人口統(tǒng)計(jì)學(xué)標(biāo)簽：網(wǎng)上ID：537821068，性別：男，生日：1985-02，工作狀態(tài)：一工作，教育程度：碩士，地域：湖北省；武漢市，活動(dòng)區(qū)域：武漢-漢陽(yáng)大道；武漢-江漢路步行街通用標(biāo)簽：余額寶，運(yùn)動(dòng)，籃球，橄欖球，愛美女，科比，易建聯(lián)。熱血，星座，雙子座，重口味，宅，品味一般，不重時(shí)尚，外語(yǔ)學(xué)習(xí)，游戲，流行音樂，網(wǎng)絡(luò)小說價(jià)值標(biāo)簽：房主：是，位置：市中心是否擁有奢飾品：是是否股民：是是否信托客戶：否長(zhǎng)期閱讀喜好：喜好類別1：體育新聞；瀏覽比例：49喜好類別2：軍事新聞；瀏覽比例：31喜好類別3：投資理財(cái)；瀏覽比例：12短期閱讀關(guān)注：關(guān)注類別1：家庭裝修；瀏覽比例：31關(guān)注類別2：出境旅游；瀏覽比例：26關(guān)注類別3：汽車報(bào)價(jià)；瀏覽比例：12長(zhǎng)期購(gòu)物喜好：喜好品類1：T恤；購(gòu)買比例：46；消費(fèi)等級(jí)：2級(jí)：50,1級(jí)；50；特征tag偏好：83，領(lǐng)型-圓領(lǐng)：66，領(lǐng)型-翻領(lǐng)：34，圖案-純色：50，圖案-條紋：50短期購(gòu)物場(chǎng)景：關(guān)注品類1：男士剃須刀；查看比例：31，消費(fèi)力等級(jí)：1級(jí)：63,2級(jí)：30；特征tag偏好：刀頭-旋轉(zhuǎn)式2刀頭：60，電源方式-充電式：43，刀頭-旋轉(zhuǎn)式3刀頭：33金融服務(wù)：貸款：房貸：額度；200萬；車貸：額度；15萬保險(xiǎn)：車險(xiǎn)；出境險(xiǎn)長(zhǎng)期游戲喜好：重度游戲、小游戲社交圈：社交圈屬性：IT，籃球，紅酒，軍事粉絲數(shù)：1503：關(guān)注數(shù)：423；影響力排名：34%社交圈口碑：78近期游戲喜好：魔獸世界；購(gòu)買可能性：49；消費(fèi)力等級(jí)：2級(jí)：72,1級(jí)：28每個(gè)人都有一個(gè)標(biāo)簽化的網(wǎng)絡(luò)畫像2016LenovoRestricted.Allrightsreserved.這一切，并不簡(jiǎn)單資料來源：百分點(diǎn)2016LenovoRestricted.Allrightsreserved.國(guó)民經(jīng)濟(jì)各行各業(yè)無不由數(shù)據(jù)驅(qū)動(dòng)2016LenovoRestricted.Allrightsreserved.上百家大數(shù)據(jù)企業(yè)的共同需求是什么來自：中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟陳新河調(diào)查報(bào)告2016LenovoRestricted.Allrightsreserved.資料來源：CSDN：《2015年中國(guó)軟件開發(fā)者白皮書》2025年中國(guó)大數(shù)據(jù)人才缺口200萬2016LenovoRestricted.Allrightsreserved.McKinsey預(yù)測(cè)：至2018年–美國(guó)需要400萬名具備基于大數(shù)據(jù)分析的經(jīng)理和分析師–人才缺口將達(dá)到150萬–至2018年將有60%的組織將會(huì)設(shè)置首席數(shù)據(jù)官（CDO)–未來八年將有19%的大數(shù)據(jù)人才需求增長(zhǎng)職位中等收入2024年發(fā)展展望報(bào)社記者$36,390-9%伐木工$35,160-4%廣播員$37,210-9%電臺(tái)DJ$29,010-11%現(xiàn)役軍人$27,936NA害蟲防治工$30,660-1%零售店店員$21,6707%廣告銷售員$47,890-3%出租車司機(jī)$23,21013%消防員$45,9705%職位中等收入2024年發(fā)展展望數(shù)據(jù)科學(xué)家$128,24016.02%統(tǒng)計(jì)師$79,99034%信息安全分析員$88,89018%聽力學(xué)家$73,06029%醫(yī)學(xué)診斷聲納員$62,54024%數(shù)學(xué)家$103,72021%軟件工程師$97,99017%計(jì)算機(jī)系統(tǒng)分析員$82,71021%語(yǔ)言病理學(xué)家$71,55021%精算師$96,70018%2016美國(guó)最不受歡迎的職業(yè)2016美國(guó)最受歡迎職業(yè)美國(guó)DT人才同樣嚴(yán)重不足2016LenovoRestricted.Allrightsreserved.DT人才是IT技能、數(shù)據(jù)科學(xué)、行業(yè)知識(shí)三棲動(dòng)物2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)科學(xué)家DataScientist數(shù)據(jù)工程師DataEngineer數(shù)據(jù)架構(gòu)師DataSteward數(shù)據(jù)產(chǎn)品經(jīng)理DataProductManager數(shù)據(jù)分析師DataAnalystDT大數(shù)據(jù)人才是具體崗位有什么2016LenovoRestricted.Allrightsreserved.20年前高科技企業(yè)看IT人員比例，20年后高科技企業(yè)看DS比例2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)開發(fā)工程師崗位：15871個(gè)數(shù)據(jù)來自：51job招聘看看，企業(yè)要什么樣的人2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)來自：51job招聘看看，企業(yè)要什么樣的人大數(shù)據(jù)挖掘工程師崗位：12168個(gè)2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)來自：51job招聘大數(shù)據(jù)分析師崗位：9739個(gè)看看，企業(yè)要什么樣的人2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)類型分析2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對(duì)學(xué)歷要求的分析2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對(duì)工作經(jīng)驗(yàn)的分析2016LenovoRestricted.Allrightsreserved.京東的崗位要求典型招聘崗位要求2016LenovoRestricted.Allrightsreserved.典型招聘崗位要求嘀嘀的崗位要求美團(tuán)的崗位要求2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對(duì)技能要求的分析2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對(duì)技能要求的分析2016LenovoRestricted.Allrightsreserved.國(guó)家在行動(dòng)2016LenovoRestricted.Allrightsreserved.教育部在行動(dòng)2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)專業(yè)申請(qǐng)情況2016LenovoRestricted.Allrightsreserved.已申請(qǐng)大數(shù)據(jù)專業(yè)院校-排名靠前24門課程開設(shè)數(shù)量對(duì)比2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)結(jié)構(gòu)分析算法34所高校云計(jì)算19所高校數(shù)據(jù)挖掘33所高校算法分析與應(yīng)用19所高校大數(shù)據(jù)導(dǎo)論26所高校數(shù)據(jù)庫(kù)原理18所高校數(shù)據(jù)可視化22所高校Hadoop18所高校已申請(qǐng)大數(shù)據(jù)專業(yè)院校-熱門課程2016LenovoRestricted.Allrightsreserved.課程名稱開課學(xué)校（所）課程名稱開課學(xué)校（所）數(shù)據(jù)結(jié)構(gòu)分析與算法34MapReduce編程技術(shù)4數(shù)據(jù)挖掘33Spark系統(tǒng)3大數(shù)據(jù)導(dǎo)論26社交網(wǎng)絡(luò)挖掘3數(shù)據(jù)可視化22Hive技術(shù)及應(yīng)用3云計(jì)算19數(shù)據(jù)庫(kù)與商業(yè)智能3算法分析與設(shè)計(jì)（應(yīng)用）19大數(shù)據(jù)平臺(tái)技術(shù)2數(shù)據(jù)庫(kù)原理18HBase2Hadoop18大數(shù)據(jù)管理中的統(tǒng)計(jì)方法與實(shí)踐2數(shù)據(jù)分析與處理17圖像視頻與非結(jié)構(gòu)化數(shù)據(jù)2分布式系統(tǒng)16OpenStack原理與應(yīng)用2數(shù)據(jù)庫(kù)技術(shù)及應(yīng)用15分析工具與應(yīng)用2機(jī)器學(xué)習(xí)14爬蟲理論與實(shí)踐1數(shù)據(jù)采集應(yīng)用存儲(chǔ)12物流數(shù)據(jù)分析1并行計(jì)算11實(shí)時(shí)數(shù)據(jù)處理與分析1R語(yǔ)言程序設(shè)計(jì)10大數(shù)據(jù)系統(tǒng)1大型數(shù)據(jù)庫(kù)系統(tǒng)開發(fā)10大數(shù)據(jù)科學(xué)與人類情感的分析1非關(guān)系型數(shù)據(jù)庫(kù)NoSQL9貝葉斯統(tǒng)計(jì)1python語(yǔ)言8圖像處理與機(jī)器識(shí)別1大數(shù)據(jù)與領(lǐng)域建模6ORACLE數(shù)據(jù)庫(kù)1人工智能5高級(jí)大數(shù)據(jù)開發(fā)1大數(shù)據(jù)安全技術(shù)5HDFS原理及應(yīng)用1搜索引擎技術(shù)5電商大數(shù)據(jù)分析1金融大數(shù)據(jù)5Spss的應(yīng)用1已申請(qǐng)大數(shù)據(jù)專業(yè)院校-課程開設(shè)詳細(xì)情況2016LenovoRestricted.Allrightsreserved.計(jì)算機(jī)領(lǐng)域，特別是互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)發(fā)展迅猛，很多學(xué)校在課程體系、實(shí)踐環(huán)境、及師資跟不上；高校人才的培養(yǎng)目標(biāo)與一般企業(yè)的用人要求是有差距的；高校人才培養(yǎng)的環(huán)境，缺乏真實(shí)的業(yè)務(wù)場(chǎng)景，一無真正的業(yè)務(wù)需求、二無真正的數(shù)據(jù)、三無真正的軟硬件環(huán)境；傳統(tǒng)的實(shí)驗(yàn)、實(shí)踐體系變革空間大。問題總結(jié)2016LenovoRestricted.Allrightsreserved.首家基于企業(yè)案例的大數(shù)據(jù)實(shí)踐教學(xué)平臺(tái)實(shí)踐教學(xué)平臺(tái)2016LenovoRestricted.Allrightsreserved.實(shí)踐為核心就業(yè)競(jìng)爭(zhēng)力核心理念2016LenovoRestricted.Allrightsreserved.建設(shè)目標(biāo)以大數(shù)據(jù)技能操作訓(xùn)練為主要目的以Hadoop和Spark為基礎(chǔ)的科研平臺(tái)真實(shí)企業(yè)的大數(shù)據(jù)應(yīng)用場(chǎng)景與案例輔助教學(xué)的實(shí)驗(yàn)環(huán)境及實(shí)驗(yàn)指導(dǎo)書運(yùn)用云計(jì)算和互聯(lián)網(wǎng)+思想、結(jié)合網(wǎng)絡(luò)與實(shí)操，以基礎(chǔ)知識(shí)學(xué)習(xí)、在線視頻教學(xué)、仿真操作、線上學(xué)習(xí)、線下實(shí)操等為主線的一系列方法。構(gòu)建具備主流分析平臺(tái)，如Hadoop和Spark集群實(shí)驗(yàn)教學(xué)、數(shù)據(jù)分析挖掘能力的大數(shù)據(jù)科研系統(tǒng)，提供可靠的大數(shù)據(jù)集群環(huán)境。提供超過十五個(gè)行業(yè)的業(yè)務(wù)數(shù)據(jù)和算法實(shí)現(xiàn)，結(jié)合大數(shù)據(jù)分析的應(yīng)用場(chǎng)景與案例對(duì)學(xué)生進(jìn)行數(shù)據(jù)分析方面的綜合訓(xùn)練等。提供實(shí)驗(yàn)任務(wù)指導(dǎo)書（100+)、實(shí)驗(yàn)任務(wù)報(bào)告審批系統(tǒng)、實(shí)戰(zhàn)集群系統(tǒng)等，配套高清視頻講解及匹配實(shí)驗(yàn)環(huán)境；實(shí)現(xiàn)課程教學(xué)與實(shí)踐操作的完美結(jié)合。實(shí)驗(yàn)實(shí)踐教學(xué)平臺(tái)2016LenovoRestricted.Allrightsreserved.服務(wù)器教室學(xué)生終端大數(shù)據(jù)實(shí)訓(xùn)教室解決“無開發(fā)、操作環(huán)境”的痛點(diǎn)解決“無數(shù)據(jù)、怎么用數(shù)據(jù)”的痛點(diǎn)架構(gòu)架構(gòu)通過瀏覽器直接訪問實(shí)驗(yàn)平臺(tái)客戶端無需安裝其它工具軟件2016LenovoRestricted.Allrightsreserved.部署案例大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)支撐大數(shù)據(jù)課程操作系統(tǒng)與Linux應(yīng)用（僅列出部份課程）程序設(shè)計(jì)II（Java）程序設(shè)計(jì)與應(yīng)用（Python）數(shù)據(jù)庫(kù)原理與應(yīng)用大數(shù)據(jù)算法設(shè)計(jì)與分析大數(shù)據(jù)存儲(chǔ)與處理技術(shù)應(yīng)用Spark原理與Scala程序設(shè)計(jì)應(yīng)用大數(shù)據(jù)可視化技術(shù)與應(yīng)用數(shù)據(jù)挖掘與分析大數(shù)據(jù)系統(tǒng)運(yùn)維Hive技術(shù)及應(yīng)用R語(yǔ)言分析…分布式數(shù)據(jù)倉(cāng)庫(kù)（HBase）機(jī)器學(xué)習(xí)與模式識(shí)別大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)學(xué)習(xí)行為分析大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)網(wǎng)絡(luò)實(shí)訓(xùn)視頻課程

大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)基于瀏覽器的邊學(xué)邊練實(shí)踐模式大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)第一堂課：集群安裝實(shí)驗(yàn)大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)基于瀏覽器的各類實(shí)驗(yàn)機(jī)大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)基于瀏覽器的實(shí)驗(yàn)任務(wù)訓(xùn)練大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)基于瀏覽器的實(shí)驗(yàn)任務(wù)訓(xùn)練大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)實(shí)驗(yàn)報(bào)告大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)基于瀏覽器的實(shí)驗(yàn)任務(wù)訓(xùn)練2016LenovoRestricted.Allrightsreserved.實(shí)戰(zhàn)集群及數(shù)據(jù)案例HDFS集群內(nèi)置Hadoop分布式文件系統(tǒng)(HDFS)，能提供較高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，可以用于針對(duì)HDFS的所有特點(diǎn)的實(shí)驗(yàn)和操作。Zookeeper是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。Hive集群是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。。Yarn集群后續(xù)版本Hadoop的MapReduce框架完全重構(gòu)，發(fā)生了根本的變化。新的HadoopMapReduce框架命名為Yarn或MapReduceV2。HBase集群HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫(kù)，不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，HBase基于列的而不是基于行的模式?；ヂ?lián)網(wǎng)新聞通過互聯(lián)網(wǎng)公共數(shù)據(jù)的采集，提供了上T的新聞數(shù)據(jù)，用于事件、輿情的分析案例。搜索引擎提供用戶搜索的熱門詞匯，用于分析行業(yè)熱點(diǎn)等案例。在線教育與知名的在線教育公司合作，提供學(xué)生的上課、練習(xí)、答疑等行為數(shù)據(jù)。用于用戶的學(xué)習(xí)行為特征分析案例。電子商務(wù)提供多家電商的選購(gòu)、交易數(shù)據(jù)。用于商品推薦等大數(shù)據(jù)分析案例。房地產(chǎn)通過交易采購(gòu)著名線上房源、租金等數(shù)據(jù)，用于分析租住人員的分布狀況、收入情況等案例。大數(shù)據(jù)實(shí)戰(zhàn)平臺(tái)大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)集群管理系統(tǒng)01集群管理系統(tǒng)基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark等節(jié)點(diǎn)部屬及管理，提供實(shí)時(shí)監(jiān)控集群的CarPU、內(nèi)存、硬盤等使用率及相關(guān)信息，可以對(duì)管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)進(jìn)行啟動(dòng)、停止等操作管理。大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)項(xiàng)目工作流系統(tǒng)02工作流系統(tǒng)大數(shù)據(jù)程序作業(yè)的上傳、部屬、流程管理等功能，基于Web的任務(wù)調(diào)度、兼容Hadoop、Spark主流版本、失敗任務(wù)的、運(yùn)行狀態(tài)監(jiān)控等。2016LenovoRestricted.Allrightsreserved.軟件平臺(tái)-配套實(shí)訓(xùn)課程2016LenovoRestricted.Allrightsreserved.軟件平臺(tái)-配套實(shí)訓(xùn)課程2016LenovoRestricted.Allrightsreserved.軟件平臺(tái)-配套實(shí)訓(xùn)課程2016LenovoRestricted.Allrightsreserved.Hadoop偽分布模式安裝Hadoop完全分布模式安裝Hadoop開發(fā)插件安裝HDFSJAVAAPI操作Mapreduce實(shí)例——wordcountMapreduce實(shí)例——去重Mapreduce實(shí)例——排序Mapreduce實(shí)例——求平均值Mapreduce實(shí)例——Map端JoinMapreduce實(shí)例——Reduce端JoinMapreduce實(shí)例——單表JoinMapreduce實(shí)例——二次排序Mapreduce實(shí)例——倒排索引Mapreduce實(shí)例——Chainmapper&ChainreducerMapreduce實(shí)例——MapReduce自定義輸入、輸出格式Hive安裝Hive基本操作Hive查詢Hive各種排序之間的區(qū)別zookeeper安裝HBase安裝HBaseJAVAAPI讀寫數(shù)據(jù)HBase的過濾器綜合案例：MapReduce讀HBase綜合案例：MapReduce寫HBase綜合案例：Mapreduce讀HBase并寫入HBase軟件平臺(tái)-實(shí)驗(yàn)任務(wù)（100+）2016LenovoRestricted.Allrightsreserved.Sqoop安裝

sqoop數(shù)據(jù)導(dǎo)入導(dǎo)出sqoop增量數(shù)據(jù)導(dǎo)入綜合案例：hadoop、hive、sqoop、mysql聯(lián)用Flume安裝部署Flume配置：source、Channel、SinkFlume自定義