東深數(shù)據資產平臺白皮書

東深數(shù)據資產平臺白皮書 6 6 7 8 9 10 10 11 11 11 13 13 13 13 15 16 17 18 18 19 20 21 22 23 23 23 25 26 27 28 28 29 29 29 30 31 32 33 33 34 34 34 35 35 36 37 38 38 38 39 40 41 41 42 43 43 44 45 45 45 46 46 47 47 47 49 51 51 53 54 54 541.1項目背景下行壓力,近期中央密集部署新型基礎設施建設,中共中央政治局常務委員會會議將推動高校數(shù)據中心迎來新的建設高潮,在此被背景下高校建設數(shù)據中心應避免“一哄而上”,需堅持科學規(guī)劃與頂層設計，那么在“新基建”浪潮下,面向十四數(shù)據中心被納入新基建后，本身被賦予新內涵，學校的長期發(fā)展數(shù)據中心的建設，高校新型數(shù)據中心需要更加普適地為師生的學習、教學作、科研、生活提供服務。面向數(shù)字經濟時代的需求，高校新型數(shù)據中分滿足云計算、大數(shù)據等技術和應用的發(fā)展需求，支撐學校各業(yè)務部門數(shù)據中心是高校智慧校園的基石，隨著智慧校園建設的持續(xù)深入用和物聯(lián)應用不斷繁榮發(fā)展，整個學校每天產生的數(shù)據量與日俱增，科的采集、管理、應用好學校的各類數(shù)據是當前高校信息化建設的重中之型高校數(shù)據中能夠推動算力提升孵化諸多創(chuàng)新，比如讓“漫步在云端”術更快落地應用，助力高校科研創(chuàng)新；比如讓“孕育于數(shù)字”的新需求大程度釋放，讓教師的教學管理效率更高，讓學生的生活服務更加便捷新型數(shù)據中心建設要避免傳統(tǒng)數(shù)據中心建設遇到的問題，包括行不嚴格帶來的管理混亂，應用數(shù)據采集不全面帶來的個別數(shù)據缺失量管理不到位帶來的業(yè)務不通暢，數(shù)據服務開放不友好帶來的數(shù)據應等問題。另外，對于數(shù)據資產管理平臺、大數(shù)據存儲計算平臺、大數(shù)臺這些相對成熟的設置，學?？梢詣?chuàng)造條件進行建設；對于人工智能這些還處于發(fā)展中的基礎設置，應采取不同的策略，不提倡蜂擁而上1.2建設目標通過數(shù)據資產平臺建設，解決部分數(shù)據的數(shù)據源缺失、數(shù)據項不據不準確等數(shù)據質量問題，從源頭把控數(shù)據質量，形成良性的數(shù)據通過數(shù)據資產平臺建設形成數(shù)據的常態(tài)化治理體系，構建校級服務動化運行監(jiān)控、數(shù)據修改/問題反饋等機制，在數(shù)據資產、行為數(shù)上，量化分析與評價，驅動業(yè)務數(shù)據融合創(chuàng)新，推動數(shù)據建設1.3產品概述1.4建設原則數(shù)據資產管理平臺建設從實際出發(fā)，遵循統(tǒng)一領導、相互協(xié)調；計、分步實施；互聯(lián)互通、資源共享；突出重點、注重實效；技術數(shù)據資產管理平臺規(guī)劃和建設將在校領導及信息化工作小組統(tǒng)一領導下相按照國家和省市規(guī)定的運行機制，充分利用國內外大數(shù)據技術研究的成果，1.5產品訴求2、數(shù)據交換子系統(tǒng)如何實現(xiàn)了這個迫切的功能，并且達到了數(shù)據交換及可1.6設計理念支持完整的事務控制策略，跨數(shù)據庫事務控制，保證數(shù)支持多數(shù)據源的多表對多數(shù)據源的多表的復雜支持數(shù)據過濾器，通過自定義的數(shù)據過濾器可以實現(xiàn)復雜的數(shù)據交換規(guī)則；2技術架構及體系2.1系統(tǒng)架構2.2架構介紹2.3運行環(huán)細設計內容3.1標準管理3.1.1代碼標準1.支持查看代碼變更記錄，信息包括變更人.變更時間.變3.提供代碼分類及代碼管理功能，對代碼分類及代級編碼.本級編碼.簡碼.標準類型.標準來源.代碼名稱.代碼描述.編碼方法.描述舉3.1.2數(shù)據標準1.支持對數(shù)據項標準的搜索功能，可按照數(shù)據分類.數(shù)據表.審核狀態(tài).關鍵字3.提供數(shù)據分類及數(shù)據表管理功能，根據數(shù)據標準5.支持查看數(shù)據標準代碼變更記錄，信息包括變更人.變更時間.變更類型.變3.1.3版本管理3.1.4數(shù)據庫建模6.支持對引用標準進行物理表核驗，可以根據對物理表的7.支持根據創(chuàng)建人.創(chuàng)建時間.數(shù)據表名.引用標準名稱等條件對數(shù)據庫建模的3.2元數(shù)據管理3.2.1數(shù)據源管理4.支持數(shù)據對多數(shù)據源進行動態(tài)加載.動態(tài)切換使用.動態(tài)增刪改及連接測試3.2.2元數(shù)據對象4.支持根據創(chuàng)建人.創(chuàng)建時間.數(shù)據表名.對象名稱等條件對數(shù)據庫建模的列表3.2.3元數(shù)據檢測4.支持根據檢測人.檢測時間.檢測對象名稱等條件對元數(shù)據檢測列表進行篩3.2.4元數(shù)據版本管理字段長度.默認值.是否主鍵.是否允許空值7.支持選擇任意兩個不同的版本進行差異對比，對比報告包3.2.5影響分析2.用戶可以自行訂閱元數(shù)據對象，當訂閱的元數(shù)據發(fā)生變3.3數(shù)據集成管理3.3.1集成數(shù)據源管理4.支持數(shù)據對多數(shù)據源進行動態(tài)加載.動態(tài)切換使用.動態(tài)增刪改及連接測試3.3.2結構化數(shù)據采集1.支持數(shù)據采集任務的新增.修改.刪除及根據任務名稱3.支持采集任務管理功能，通過添加業(yè)務數(shù)據表，型列。在任務列表中可以對選擇任務進行相關操作，包括手動運行.自6.支持對當前庫任務批量開啟/關閉功能，用戶對當前庫.當前頁面的采集任3.3.3自動化數(shù)據采集接口2.支持數(shù)據采集接口任務可以根據需要設置定時運行，按照分鐘.小時.天.周.3.數(shù)據采集接口提供設置全量更新.增量更新.以時間戳的方式設置增量更新行狀態(tài).任務執(zhí)行進度.開始時間.結束時間.總耗時.導入數(shù)據量.成功的數(shù)據量.失務狀態(tài)；日志信息包括任務名稱.所屬系統(tǒng).目標數(shù)據庫名稱.任務狀態(tài).開始時間.結束時間.耗時，可查看每條日志采集數(shù)據的詳情，包括采集成功數(shù).采集失敗數(shù)表數(shù)據包括任務名稱.目標數(shù)據庫名稱.采集開始時間.采集結束時間.新增數(shù)據量.更新數(shù)據量.刪除數(shù)據量，提供通過.不通過操作，只有審核通過的數(shù)據才能正式3.3.4ETL建模3.支持常用的數(shù)據處理方式，需包含：去重.合并.過濾.替換.加密.求和.平均.3.3.5調度管理2.任務配置主要對調度任務進行添加.修改.刪除，添加信息主要有調度名稱.3.支持自定義配置調度任務，支持在調度任務中配3.3.6調度日志3.3.7實時計算6.支持對計算結果進行存儲至MPP高性能分布式數(shù)據庫，包括但不限于3.3.8數(shù)據導入2.支持導入數(shù)據審批功能，相關主管人員進入數(shù)據審批列3.支持對定義模板的增加.修改.刪除及根據創(chuàng)建人.創(chuàng)建時間.模板名稱3.4主數(shù)據管理3.4.1主數(shù)據庫管理2.提供主數(shù)據整體情況匯總功能，默認根據當時截止時間3.支持查看主數(shù)據量變化趨勢，提供主數(shù)據3.4.2開放接口管理3.提供接口測試功能。在線模擬接口請求功能，便3.4.3數(shù)據資產編目1.提供數(shù)據資產目錄管理功能。支持對資產目錄進行新增.編輯等維護操作，2.資產信息包括資源分類.資源名稱.API接3.提供添加數(shù)據對象功能。支持根據從數(shù)據5.提供發(fā)布數(shù)據資產功能。選擇欲發(fā)布上3.4.4數(shù)據資產查詢1.展示數(shù)據資產中心數(shù)據信息，包括：數(shù)據總量.數(shù)據表總量.數(shù)據目錄數(shù).數(shù)4.支持數(shù)據目錄的在線申請以及下載申請，申請信息填寫頁面，需要填寫申3.4.5數(shù)據資產審核狀態(tài)的申請列表?？蛇M一步查看資產目錄申請信息，包含基本信息.申請人.申請3.4.6個人資產中心2.支持查看本人申請的詳情記錄，包括接口名稱.下載按鈕.數(shù)據預覽按鈕.申3.4.7歷史庫管理2.支持查看備份清單中每個對象的最近備份狀態(tài).備份時間.備份版本數(shù).不同3.5數(shù)據質量管理3.5.1檢測對象管理2.支持對檢測進行新增.修改.刪除及根據創(chuàng)建人.創(chuàng)建時間.對象名稱等條件進3.支持檢測對象可以一次對單個或多個字段增加質4.支持手動對檢測對象執(zhí)行檢測，系統(tǒng)能根據配置好的檢測規(guī)則，啟動執(zhí)行3.5.2檢測任務管理形式列出展示，支持根據創(chuàng)建人.創(chuàng)建時間.任3.執(zhí)行檢測任務后，系統(tǒng)自動按照配置的檢測規(guī)則3.5.3檢測規(guī)則管理1.支持檢測規(guī)則的增加.修改.刪除及根據創(chuàng)建人.創(chuàng)建2.支持預置以下檢測規(guī)則：取值范圍約束規(guī)則.非空檢查規(guī)則.代碼檢查規(guī)則.唯一性檢查規(guī)則.大小值檢查規(guī)則.長度校驗規(guī)則.及時性校驗規(guī)則.電話號|手機號3.5.4檢測歷史查詢以前的檢測結果信息。檢測歷史信息列表主要有檢測日期.檢測項數(shù).檢測項3.5.5質量報告管理3.6數(shù)據安全管理3.6.1用戶管理1.支持維護用戶基本信息(姓名.類型.賬號.性別.郵箱.電話號碼.2.支持用戶新增.修改.刪除.查看及根據用戶姓名.賬號等條件進行篩選查詢等3.6.2角色管理1.支持角色的新增.修改.刪除.查看及根據角色名稱2.角色權限控制支持菜單權限控制，支持根據不同角色自院系各級管理員.院系各口管理員等各類角色，除此之外還要提供超級管理員角4.支持角色的成員維護，能將角色賦予用戶從而使該用戶擁有相應的菜單及3.6.3組織機構管理3.6.4應用管理3.6.5外部接口管理2.主要接口參數(shù)需包含接口名稱.業(yè)務系統(tǒng)名稱.聯(lián)系人.聯(lián)系電話.聯(lián)系人部門.3.6.6接口授權管理3.支持應用維度授權展示所有的應用列表，可以查3.6.7接口統(tǒng)計3.6.8接口日志1.支持接口調用日志記錄功能，包括接口名稱.接口類型.接口描述.接口調用3.6.9白名單3.6.10黑名單3.7數(shù)據運維管理3.7.1數(shù)據備份1.支持備份新增.修改.刪除.查看及根據備份名稱.創(chuàng)建時間.創(chuàng)建人等條件進5.可查看備份清單中每個對象的最近備份狀態(tài).備份時間.備份版本數(shù).不同版3.7.2任務管理3.7.3任務日志3.7.4文件管理3.7.5運維監(jiān)控1.支持對數(shù)據資產集群主機及組件的運行監(jiān)控和管理，包括但不限于2.支持圖形化配置功能，可管理平臺下的各組件的配置項4.提供對底層架構組件進行運維管理功能。包括主機.H3.8數(shù)據分析與預警3.8.1結構化數(shù)據分析預警1.失聯(lián)預警。通過校園卡消費情況.上網數(shù)據情況.圖書借閱情況.學生請假情4.網癮預警。通過上網時間.連續(xù)上網時長.日均上網時長.一周累計上網時長5.心理預警。通過學生的心理問卷普查情況.心理咨詢情況.學業(yè)成績.社交活歸.未出寢.異常留宿等預警；支持查看全校宿舍異常行為預警學生名單，并對學7.疫情防控檢測預警。通過疫情防控填報數(shù)據，對有確診.現(xiàn)有無癥狀.現(xiàn)有發(fā)熱.現(xiàn)有隔離.居家隔離.集中隔離.所在中高風險地區(qū)的3.8.2領導駕駛艙1.教育教學。分析內容圍繞學生培養(yǎng)計劃.學習興趣.學習容包括：教授上課學時按院系分布.教授上課率.教授上部級教學成果獲獎統(tǒng)計.教學成果獲獎趨勢.精品課程統(tǒng)計.教材建設統(tǒng)計.培養(yǎng)層布.年齡分布.性別分布.年齡分布.學歷分布.任教類型分布.入校人數(shù).人員來校趨3.學生概況。主要分析內容包括：各學院學生人數(shù).年齡分布.生源地分布.性級項目數(shù)量.縱向項目數(shù)量.橫向項目數(shù)量.縱向項目年度趨勢.橫向項目年度趨勢.累計鑒定成果數(shù)量.不同鑒定類別成果分布.累計論文發(fā)表總數(shù).年度論文發(fā)表數(shù)量.論文類型數(shù).近五年發(fā)表日期趨勢.累計著作權成果數(shù)量.各單位著作權成果分布.出版社排行.近五年出版日期趨勢.累計專利成果數(shù)量.年度專利成果分布.累計量.年度采購資產值分布.進口資產統(tǒng)計分析.各部門擁有資產分布.資產類別分布.資產購入數(shù)量趨勢.資產購入價格趨勢.資產來源國別分布.資產來源統(tǒng)計.總床位比.消費類型占比.年度圖書入館數(shù)量分布.圖書總量.年度人均借閱量.學生今年各月份圖書借閱分布.教職工今年各月份圖書借閱分布.本年度男女生借閱分布.本年度借閱總量.本年度熱門圖書TOP.本年度學生借閱總量.本年度教職工借閱總7.財務概況。內容包含財務收入.財務