大數(shù)據(jù)應用探索與實踐-李蜀瑜-陜西師范大學

陜西師范大學陜西師范大學李蜀瑜大數(shù)據(jù)應用探索與實大數(shù)據(jù)應用探索與實踐網(wǎng)網(wǎng)絡信息中心2.4.匯報提綱2.4.匯報提綱學校信息化建設現(xiàn)狀學校信息化建設現(xiàn)狀大大數(shù)據(jù)探索與取得成果大大數(shù)據(jù)實踐與經(jīng)驗分享3.結(jié)與展望化重點建設項目化重點建設項目2012網(wǎng)絡改造2017盤2013絡自2016中心2014主探索絡改造絡改造雁塔校區(qū)S令實現(xiàn)用戶之間、業(yè)務之間的有效隔離，提高全網(wǎng)的安全性令優(yōu)化了網(wǎng)絡架構(gòu)，實現(xiàn)網(wǎng)絡管理的精細化令全網(wǎng)實施有線、無線一體化認證主建設主建設目前已實現(xiàn)兩校區(qū)所有室內(nèi)區(qū)域以及關(guān)鍵室外區(qū)域的無線覆蓋探索探索策支撐個人行為畫像設備目前，已完成對教務、科研、就業(yè)、一卡通、圖書館、無線網(wǎng)絡等13個主要業(yè)務系統(tǒng)以及移動終端、門禁等物聯(lián)網(wǎng)設備的數(shù)據(jù)采集、整合和存儲工作，初步建成了大數(shù)據(jù)綜合分析平臺，申請了兩項軟件著作權(quán)。虛擬化軟件定義據(jù)中心虛擬化軟件定義據(jù)中心ServerServerFarm絡、安全、備、增值服務等換機務器盤盤私有云架構(gòu)總?cè)萘?.2PB，為全校3000余名教職工提供云存儲服務支持IOS&Android支持內(nèi)容過濾實現(xiàn)信息標準化、規(guī)范化，保證數(shù)信息標準化信息標準化服務一站化果。業(yè)務流程化業(yè)務流程化數(shù)據(jù)模型化理流程，打破部門壁壘，實現(xiàn)協(xié)同辦公。此項工作正在有序推進中，預計2017年11月正式上線……用“互聯(lián)網(wǎng)+服務”方便師生，提升效率。用挖掘方法建立數(shù)據(jù)模型，為師生和各級部門、析與統(tǒng)計服務。4.匯4.匯報提綱學校信息化建設現(xiàn)狀學校信息化建設現(xiàn)狀大數(shù)據(jù)探索與大數(shù)據(jù)探索與取得成果2.大大數(shù)據(jù)實踐與經(jīng)驗分享3.與展望網(wǎng)絡信息中心從2014年開始組建軟件部，以軟件部為核心組織研發(fā)團隊，著手進行大數(shù)據(jù)相關(guān)探索目前已完成13個主要業(yè)務系統(tǒng)以及多種物聯(lián)網(wǎng)設備的數(shù)據(jù)采集、整合和處理工作，初步建成大數(shù)據(jù)綜合分析平臺搭建擁有20個物理節(jié)點 (DellPowerEdgeR730xd服務器)的大數(shù)據(jù)硬件環(huán)境，上層部署CDHClouderaManager作為大數(shù)據(jù)集群的管理軟件取得成果取得成果人數(shù)據(jù)中心消費明細歷史足跡科研信息消費明細歷史足跡基本信息個人教務信息數(shù)據(jù)報基本信息個人教務信息分析分析網(wǎng)設備分析網(wǎng)設備分析門禁攝像頭無線P與移動終端無線AP及移動設備實時樓層分布圖據(jù)的多維度組合鉆取據(jù)的多維度組合鉆取持持我校網(wǎng)絡信息中心代表隊在由教育部發(fā)起，清華大學和阿里云承辦的“2016中國高校計算機大賽——大數(shù)據(jù)挑戰(zhàn)賽”中奪得亞軍。產(chǎn)生數(shù)據(jù)量10萬產(chǎn)生數(shù)據(jù)量10萬條，網(wǎng)絡認證數(shù)據(jù)11.5萬條，一卡通數(shù)據(jù)10.3萬條，門禁數(shù)據(jù)3.8萬條統(tǒng)共有業(yè)務管理系統(tǒng)100余個，其中核心業(yè)務系統(tǒng)30數(shù)據(jù)總量約1.5T，其中500G存儲數(shù)據(jù)中心A數(shù)據(jù)中心數(shù)據(jù)中心程教教師專業(yè)能力發(fā)展中心和后勤第二集團也C技術(shù)、推廣三方面挑戰(zhàn)索到合作探索索到合作探索最終我校決定啟動大數(shù)據(jù)建設項目，需要在IT行業(yè)內(nèi)挑選有實力的合作伙伴，考察的方向主要包括公司定位、技術(shù)實力、成功案例等數(shù)據(jù)算法經(jīng)公開招標，三盟科技股份有限公司中標我?！皹I(yè)務融合與大數(shù)據(jù)平臺一期建設項目”，與我校一同推進大數(shù)據(jù)項目建設。2.4.匯2.4.匯報提綱學校信息化建設現(xiàn)狀學校信息化建設現(xiàn)狀大數(shù)大數(shù)據(jù)探索與取得成果大數(shù)大數(shù)據(jù)實踐與經(jīng)驗分享3.結(jié)與展望經(jīng)驗分享信息化系統(tǒng)數(shù)量在不斷增加并已投入就業(yè)為大數(shù)據(jù)項目一期建設的突破口運用大數(shù)據(jù)思維彌補信息化建設中的不足提高日常工作效率推動智慧校園發(fā)展提供數(shù)據(jù)服務經(jīng)驗分享實驗室量化評估科研成果評估人實驗室量化評估科研成果評估 (數(shù)據(jù)服務) (數(shù)據(jù)流程)果經(jīng)驗分享結(jié)合互聯(lián)網(wǎng)數(shù)據(jù)進行雙向推薦專業(yè)市場分析報告就業(yè)質(zhì)量分析報告 (數(shù)據(jù)服務) (數(shù)據(jù)流程)就創(chuàng)網(wǎng)數(shù)據(jù)維護與統(tǒng)計第三方數(shù)據(jù)報告其他經(jīng)驗分享貧困生建檔立卡跟蹤貧困生建檔立卡跟蹤綜合行為畫像其他行為預警 (數(shù)據(jù)服務) (數(shù)據(jù)流程)貧困生管理學生心理輔導學生綜合管理數(shù)據(jù)治理業(yè)務系統(tǒng)檢測應用建模數(shù)據(jù)采集數(shù)據(jù)治理業(yè)務系統(tǒng)檢測應用建模數(shù)據(jù)采集經(jīng)驗分享建實現(xiàn)校內(nèi)各類業(yè)務系統(tǒng)包含的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的采集、清洗、建設科研數(shù)據(jù)分析系統(tǒng)，通過對科研系統(tǒng)及相關(guān)業(yè)務系統(tǒng)建立主題模型，分析影響學校科技工作發(fā)展和人才建設的影響因素。建設學工數(shù)據(jù)分析系統(tǒng)，通過對學工系統(tǒng)及相關(guān)業(yè)務系統(tǒng)建立主題模型，分析影響學校學生管理和學生服務工作的主要因素。建設就業(yè)數(shù)據(jù)分析系統(tǒng)，通過對就業(yè)系統(tǒng)及相關(guān)業(yè)務系統(tǒng)建立主題模型，分析影響學校學數(shù)據(jù)集中生就業(yè)質(zhì)量的主要數(shù)據(jù)集中數(shù)據(jù)應用倒推業(yè)務系統(tǒng)建設經(jīng)驗分享經(jīng)驗分享業(yè)務調(diào)研數(shù)據(jù)采集業(yè)務開發(fā)對接數(shù)據(jù)類型涉及應用教務數(shù)據(jù)學生、就業(yè)圖書管理數(shù)據(jù)預留人事數(shù)據(jù)科研研究生數(shù)據(jù)預留一卡通數(shù)據(jù)學生上網(wǎng)認證數(shù)據(jù)學生門禁數(shù)據(jù)學生科研數(shù)據(jù)科研學生管理數(shù)據(jù)學生、就業(yè)就業(yè)數(shù)據(jù)學生、就業(yè)無線網(wǎng)絡日志學生互聯(lián)網(wǎng)數(shù)據(jù)(5大類)科研、就業(yè)、預留我的大學ETLETLETLETLETL庫管理數(shù)據(jù)就業(yè)指導集群綜合預警行為數(shù)據(jù)科研數(shù)據(jù)學生行為畫像集群招生數(shù)據(jù)學校輿情分析集群科研分析安全數(shù)據(jù)校情分析庫校園WiFi地圖庫治理庫人才評估智聯(lián)招聘獵聘網(wǎng)英才網(wǎng)5ob天涯論壇新浪微博百度貼吧…互聯(lián)網(wǎng)校園網(wǎng) Hive Hbase Hbase HDFS HDFS HDFS我的大學ETLETLETLETLETL庫管理數(shù)據(jù)就業(yè)指導集群綜合預警行為數(shù)據(jù)科研數(shù)據(jù)學生行為畫像集群招生數(shù)據(jù)學校輿情分析集群科研分析安全數(shù)據(jù)校情分析庫校園WiFi地圖庫治理庫人才評估智聯(lián)招聘獵聘網(wǎng)英才網(wǎng)5ob天涯論壇新浪微博百度貼吧…互聯(lián)網(wǎng)校園網(wǎng) Hive Hbase Hbase HDFS HDFS HDFS庫 輿情數(shù)據(jù)庫庫庫 預警數(shù)據(jù) 庫就業(yè)數(shù)據(jù) 資產(chǎn)數(shù)據(jù)庫庫 人事數(shù)據(jù)庫經(jīng)驗分享數(shù)據(jù)教務系統(tǒng)教務系統(tǒng)一卡通人事系統(tǒng)系統(tǒng)研究生管研究生管理計費上網(wǎng)行為管理分析資產(chǎn)管理資產(chǎn)管理宿舍管理Wifi心理分析就業(yè)心理分析就業(yè)管理書管理管理智能數(shù)據(jù)運維中心InCenter-DO數(shù)據(jù)統(tǒng)一管理平臺數(shù)據(jù)安全管理庫表權(quán)限分配智能數(shù)據(jù)運維中心InCenter-DO數(shù)據(jù)統(tǒng)一管理平臺數(shù)據(jù)安全管理庫表權(quán)限分配數(shù)據(jù)庫sql監(jiān)控管理應用服務存儲管理服務節(jié)點監(jiān)控管理Hadoop集群管理自動化安裝部署管理采集工作流管理自主構(gòu)建應用數(shù)據(jù)科學研究可視化引擎應用存儲智能實時計算中心InCenter-RC實時采集實時展示實時計算教育行業(yè)應用模型通用基礎模型教育行業(yè)算法沉淀可視化建?；A算法庫智能數(shù)據(jù)治理中心InCenter-DM治理工具治理報告治理規(guī)則標準化智能數(shù)據(jù)采集中心InCenter-DC經(jīng)驗分享大數(shù)據(jù)業(yè)務大數(shù)據(jù)業(yè)務應用人人事分析API接口應用群體行為分析第三方BI工具學校管理學校教學行為軌跡綜合預警綜合校情就業(yè)指導財務分析學?？蒲袑W校安全學校服務輿情分析…智能科研實智能科研實踐中心InCenter-SP智能統(tǒng)一API中心InCenter-UA學生大數(shù)據(jù)學生大數(shù)據(jù)競賽無縫對接BI統(tǒng)一封裝SQL智能挖掘算法中心智能挖掘算法中心InCenter-MA智智能存儲檢索中心InCenter-SR全量數(shù)據(jù)全量數(shù)據(jù)備份聚合建模分析高效數(shù)據(jù)檢索HDFS/HIVE結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)低頻知識數(shù)據(jù)靜態(tài)知識數(shù)據(jù)高頻知識數(shù)據(jù)引入合作方智智能數(shù)據(jù)安全中心InCenter-DS多租戶管理授權(quán)角色授權(quán)控制數(shù)據(jù)集群與冗余備份數(shù)據(jù)表和字段授權(quán)數(shù)據(jù)脫敏加密用戶訪問資源權(quán)限控制數(shù)據(jù)加密傳輸實施安全規(guī)范化經(jīng)驗分享經(jīng)驗分享-人才成果量化評估對每位教師的科研成果進行量化計分，支持顯評分細則支持自定義科研量化計分規(guī)則，調(diào)整科研成果、支持導出教師的科研考核詳細數(shù)據(jù)，可按照學行篩選過濾分析年齡、學院、工作年限和職稱對科研成果影響經(jīng)驗分享經(jīng)驗分享-學?？蒲许椖繉Ρ确治鲎ト』ヂ?lián)網(wǎng)權(quán)威數(shù)據(jù)庫多選學校以及手工輸入學校名稱比分析學校各類科研項目的數(shù)量、數(shù)前3的項目類型可以導出學?？蒲许椖繑?shù)據(jù)經(jīng)驗分享經(jīng)驗分享定統(tǒng)計建檔立卡貧困生的信息追蹤貧困生各項行為數(shù)據(jù)通過算法建立貧困生水平分析模型經(jīng)驗分享經(jīng)驗分享制化的報告抓取專業(yè)招聘網(wǎng)站相關(guān)數(shù)據(jù)結(jié)合我校就創(chuàng)網(wǎng)數(shù)據(jù)生成專業(yè)分析報告生成就業(yè)質(zhì)量報告開拓非師范生就業(yè)市場對學生成績分布進行分析，評估各學生屬性對于成績的影響關(guān)系生成績分布本次分析學生校內(nèi)一卡通消費記錄，通過消費流水分析學生的經(jīng)濟能力生經(jīng)濟消對學生成績分布進行分析，評估各學生屬性對于成績的影響關(guān)系生成績分布本次分析學生校內(nèi)一卡通消費記錄，通過消費流水分析學生的經(jīng)濟能力生經(jīng)濟消分析學習指數(shù)作息指數(shù)現(xiàn)獲取數(shù)據(jù)涉及學生生活學習數(shù)據(jù)，進行師生校行行為指數(shù)分析選用學生積累數(shù)據(jù)，并結(jié)合上學期成績計算學習指數(shù)，反應學習情況與態(tài)度通過時序模型，對學生數(shù)據(jù)分析，評價學生作息睡眠時間是否科學消費指數(shù)數(shù)對學生數(shù)據(jù)360度挖掘，分析學生飯食習慣和健康指數(shù)情況獲取學生日均消費強度，評價學生消費水平，比較直觀反應學生消費水平獲取學生日均上網(wǎng)信息，回歸出日均上網(wǎng)與網(wǎng)絡成癮度關(guān)系曲線成績預測分析析自適應聚類算法，屬于深度學習領域，通過競爭進化，讓樣本自動聚集對考試成績指標進行量化，建立了考試成績評價與預測的回歸模型通過軌跡等數(shù)據(jù)，通過折線分析對校園習慣異常進行分析與預測協(xié)同過濾推薦綜合畫像分析通過長期積累數(shù)據(jù)，對學生心理問題進行報警與預測分析基于歷史借閱信息、就業(yè)信息數(shù)據(jù)，以及樣本關(guān)聯(lián)指數(shù)進行書籍和崗位推薦基于學生綜合數(shù)據(jù)，進行綜合雷達畫像的分析預測，判斷學生性格特點經(jīng)驗分享將將學生各科成績進行學時加權(quán)標準分換算，實現(xiàn)不同專業(yè)\科目具有可比性生成績標準換算行為指數(shù)生飲食指數(shù)群體聚析心心理異常分析匯匯報提綱學校信息化建設現(xiàn)狀大數(shù)大數(shù)據(jù)探索與取得成果2.大數(shù)大數(shù)據(jù)實踐與經(jīng)驗分享3.與展望4.望望數(shù)據(jù)流程數(shù)據(jù)服務人才量化評估實驗室量化評估同類院校(橫向)對比科研成果評估專業(yè)市場分析報告就業(yè)質(zhì)量分析報告薦預警畫像大學生心理健康預警校園異常行為預警大學生學業(yè)問題預警大學生不良習慣預警極端事件預測預警大學生沉迷網(wǎng)絡預警望大學生心理健康預警校園異常行為預警大學生學業(yè)問題預警大學生不良習慣預警極端事件預測預警大學生沉迷網(wǎng)絡預警望望面向具體業(yè)務部門，讓預警真正用起來，實現(xiàn)訓練模型更準確，使用更及時便捷！112233445566防止人才流失建立人才備選庫明確與“雙一流”大學的差距利用大數(shù)據(jù)算法衡量投入產(chǎn)出學科縱向分析(中國語言文學、化學、物理、心理)人才能力模型(在職、招聘)校內(nèi)學術(shù)社交重點人才關(guān)注(遴選前后、人才成長路線)科研橫防止人才流失建立人才備選庫明確與“雙一流”大學的差距利用大數(shù)據(jù)算法衡量投入產(chǎn)出學科縱向分析(中國語言文學、化學、物理、心理)人才能力模型(在職、招聘)校內(nèi)學術(shù)社交重點人才關(guān)注(遴選前后、人才成長路線)科研橫向?qū)Ρ瓤蒲谐晒J定實驗室分析科研人才(量化)評估望業(yè)務后期展望對預測和反饋結(jié)果進行可視化展現(xiàn)教師、管理人員員適時、及時地給予學生指導和幫助思并改進教學2.實施個性化教學3.預測教學和學習效果大數(shù)據(jù)分析和處理技術(shù)，預測學生表現(xiàn)對預測和反饋結(jié)果進行可視化展現(xiàn)教師、管理人員員適時、及時地給予學生指導和