




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
企業(yè)大數(shù)據(jù)治理與共享服務實施技術方案目錄1 項目總體概述 61.1 項目背景 61.2 必要性 61.3 技術與數(shù)據(jù)現(xiàn)狀 61.4 項目需求范圍 72 項目技術方案 92.1 服務概述 92.2 整體服務技術路徑 102.3 技術工具要求 112.3.1 ETL工具 112.3.2 數(shù)據(jù)資產(chǎn)平臺 112.3.3 數(shù)據(jù)開發(fā)管理平臺 122.4 服務流程圖 132.5 與現(xiàn)有系統(tǒng)間的邊界關系 142.6 服務內(nèi)容 162.6.1 數(shù)據(jù)抽取運維 162.6.2 數(shù)據(jù)標注服務 212.6.3 作業(yè)調(diào)度運維 232.6.4 數(shù)據(jù)共享服務 252.7 服務場景設計 282.7.1 新增資源服務場景 282.7.2 已有資源共享服務場景 322.7.3 資源變更服務場景 342.8 信息安全解決方案 382.8.1 安全服務原則 382.8.2 安全服務措施 393 項目實施方案 453.1 項目實施團隊 453.1.1 項目團隊概述 453.1.2 團隊人員架構(gòu) 473.1.3 團隊人員能力 473.1.4 項目人員管理 563.2 項目管理流程 613.2.1 項目流程 613.2.2 項目啟動階段 623.2.3 需求分析階段 633.2.4 需求規(guī)格階段 633.2.5 設計階段 643.2.6 開發(fā)階段 643.2.7 測試階段 653.2.8 試運行階段 653.2.9 驗收階段 663.2.10 項目維護階段 663.3 項目質(zhì)量控制流程 663.3.1 立項階段 663.3.2 開發(fā)階段 673.3.3 結(jié)項階段 674 售后服務方案 694.1 服務規(guī)范體系 694.1.1 行為規(guī)范 694.1.2 現(xiàn)場服務支持規(guī)范 694.1.3 問題記錄規(guī)范 704.2 服務質(zhì)量保障措施 714.2.1 質(zhì)量管理體系標準 714.2.2 質(zhì)量控制過程 714.2.3 質(zhì)量評定計劃 714.2.4 質(zhì)量管理措施 714.2.5 質(zhì)量控制措施 724.2.6 質(zhì)量計劃 724.3 服務管理保障措施 754.3.1 整體項目管理 754.3.2 項目管理辦公室 754.3.3 項目范圍管理 764.3.4 人力資源管理 764.3.5 項目工作管理 774.3.6 項目溝通管理 784.3.7 計劃進度管理 794.3.8 項目風險管理 804.3.9 項目問題管理 1035 相關項目案例 1055.1 公共數(shù)據(jù)主題庫建設與共享項目 1055.1.1 數(shù)據(jù)治理規(guī)范 1055.1.2 數(shù)據(jù)交換共享方案 1075.1.3 主題庫設計 1075.2 某運營商政企客戶分析平臺 1455.2.1 項目背景 1455.2.2 業(yè)務目標 1455.2.3 建設方案 1465.3 某運營商政企產(chǎn)品運營分析平臺 1565.3.1 項目背景 1565.3.2 總體設計 1565.3.3 建設方案 1585.4 客戶服務感知與差距管理平臺 1765.4.1 項目背景 1765.4.2 建設目標 1775.4.3 總體設計 1785.4.4 建設方案 179項目總體概述項目背景招標方參與招標方客戶單位其牽頭的信息化項目,建立了良好的長期合作服務關系,對于客戶單位的重點工作及主要方向有著最合理的把控。招標方已經(jīng)成功中標多個招標方客戶單位的數(shù)據(jù)類項目,需要更好的服務招標方客戶單位的重點核心項目,建立圍繞政務公共數(shù)據(jù)管理與運營的制度化、體系化、生態(tài)化的全方位支撐服務。為此,需要招募長期、穩(wěn)定且技術能力領先的數(shù)據(jù)服務供應商來共同完成招標方客戶單位的各種業(yè)務目標。必要性結(jié)合H市相關文件H市電子政務云建設工作方案(滬府辦發(fā)〔2016〕47號)、H市公共數(shù)據(jù)和一網(wǎng)通辦管理辦法(滬府令9號)、H市加快推進數(shù)據(jù)治理促進公共數(shù)據(jù)應用實施方案(滬委辦〔2019〕8號)、H市公共數(shù)據(jù)開放暫行辦法(滬府令21號)2020年H市深化“一網(wǎng)通辦”改革工作要點(滬委辦〔2020〕12號)的要求,參考2019年數(shù)據(jù)運營服務過程中現(xiàn)有服務供應商在投入人員、時間進度、實施質(zhì)量及過程進行綜合考慮,針對目前的服務目錄要求,提出響應的企業(yè)能力畫像,并組織公開入圍招標,完成2020年服務供應商入圍比選過程,實現(xiàn)篩選有能力的廠商進入數(shù)據(jù)運營服務供應商名單的任務。技術與數(shù)據(jù)現(xiàn)狀招標方客戶單位的技術架構(gòu)包含:大數(shù)據(jù)資源平臺包含統(tǒng)一門戶、數(shù)據(jù)共享交換子系統(tǒng)(含數(shù)據(jù)交換、服務管理等功能模塊)、大數(shù)據(jù)支撐子系統(tǒng)(含數(shù)據(jù)湖、數(shù)據(jù)庫)、數(shù)據(jù)治理子系統(tǒng)、數(shù)據(jù)質(zhì)量管理子系統(tǒng)等。其中:統(tǒng)一門戶主要進行各子系統(tǒng)的集成、功能模塊菜單級整合,實現(xiàn)了平臺用戶、權限統(tǒng)一管理、單點登錄等;數(shù)據(jù)共享交換子系統(tǒng)(數(shù)據(jù)交換模塊)實現(xiàn)數(shù)據(jù)交換引擎、統(tǒng)一調(diào)度引擎、任務管理、數(shù)據(jù)橋接等功能,以及對數(shù)據(jù)湖數(shù)據(jù)的存儲管理、共享與交換;大數(shù)據(jù)支撐子系統(tǒng)(數(shù)據(jù)湖)匯聚“四大基礎庫”、“統(tǒng)建系統(tǒng)”、“各委辦系統(tǒng)”、“各行政區(qū)系統(tǒng)”的經(jīng)過初始治理的原始數(shù)據(jù);數(shù)據(jù)治理子系統(tǒng)主要實現(xiàn)三清單動態(tài)管理、公共數(shù)據(jù)資源目錄管理,以及元數(shù)據(jù)和數(shù)據(jù)標準管理;數(shù)據(jù)質(zhì)量管理子系統(tǒng)實現(xiàn)完善的數(shù)據(jù)質(zhì)量管理功能,包括數(shù)據(jù)質(zhì)量規(guī)則制定、數(shù)據(jù)質(zhì)量稽核、數(shù)據(jù)質(zhì)量問題閉環(huán)管理;大數(shù)據(jù)支撐子系統(tǒng)(市級數(shù)據(jù)庫)主要用于存放經(jīng)過一系列清洗、轉(zhuǎn)換、加載、治理步驟后的高質(zhì)量的公共數(shù)據(jù)資源,為城市管理、公共服務等提供數(shù)據(jù)來源;數(shù)據(jù)共享交換子系統(tǒng)(服務管理模塊)主要提供市級數(shù)據(jù)庫中數(shù)據(jù)對外的服務發(fā)布與利用。項目需求范圍服務子類服務內(nèi)容描述數(shù)據(jù)共享交換服務數(shù)據(jù)抽取運維日常數(shù)據(jù)抽取任務維護,保障各信息系統(tǒng)數(shù)據(jù)及時準確地匯聚,對于已匯聚數(shù)據(jù)基于主題庫專題庫方案相關清洗,對于問題抽取任務的進行處置調(diào)整。數(shù)據(jù)標注服務對結(jié)構(gòu)化數(shù)據(jù)、文本數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)、流媒體等格式進行內(nèi)容釋義,并對內(nèi)容進行分級分類管理;作業(yè)調(diào)度運維日常數(shù)據(jù)加工、開放類任務調(diào),分發(fā)作業(yè)的調(diào)度管理,檢查是否及時完成,對于中斷作業(yè)進行處置;數(shù)據(jù)共享服務數(shù)據(jù)共享服務根據(jù)不同用戶角色的需求滿足不同SLA的數(shù)據(jù)共享需求。
項目技術方案服務概述H市大數(shù)據(jù)中心作為全市政務數(shù)據(jù)的主要管理單位,承擔著政策本地化落實、政務數(shù)據(jù)交換、大數(shù)據(jù)應用研究、信息化建設運維以及其他數(shù)據(jù)相關的工作職責,從中心成立之初便開始研究政務數(shù)據(jù)管理和應用的方法,去年年底探索了以政務數(shù)據(jù)交換共享為核心的實踐,但隨著對中心職能的理解加深,我們認為中心不僅作為全市政務數(shù)據(jù)的“樞紐中轉(zhuǎn)中心”,更應該成為各政務服務條線領域的“歸集管理中心”,為H市的經(jīng)濟活動、公共事業(yè)、社會關系、人員密度等各城市管理領域提供數(shù)據(jù)層面的最大支撐。建設招標方客戶單位數(shù)據(jù)運營服務(以下簡稱“數(shù)據(jù)服務”),招標方作為大數(shù)據(jù)運營服務商(或大數(shù)據(jù)運營服務商團隊)提供大數(shù)據(jù)運營服務,承擔數(shù)據(jù)相關的數(shù)據(jù)資源目錄管理、數(shù)據(jù)歸集、數(shù)據(jù)治理、數(shù)據(jù)分發(fā)、任務管理、數(shù)據(jù)共享與交換以及數(shù)據(jù)質(zhì)量保障等長效運營機制:建立數(shù)據(jù)運營工作機制,形成數(shù)據(jù)服務生態(tài)系統(tǒng),提升數(shù)據(jù)共享服務效能,適應快速迭代的應用開發(fā)模式;建立大數(shù)據(jù)管理共享運營體系,為委辦業(yè)務應用開展提供有效支撐。整體服務技術路徑批數(shù)據(jù)處理:各類批數(shù)據(jù)通過數(shù)據(jù)采集功能進入數(shù)據(jù)支撐平臺,經(jīng)過存儲、清洗、匯總和關聯(lián)匯總等,產(chǎn)生應用數(shù)據(jù),并實現(xiàn)數(shù)據(jù)共享或開放。流數(shù)據(jù)處理:流數(shù)據(jù)通過數(shù)據(jù)采集功能進入數(shù)據(jù)支撐平臺后,根據(jù)不同需求,可實現(xiàn)實時數(shù)據(jù)計算后的開放,也可實現(xiàn)通過實時數(shù)據(jù)分析后匯總產(chǎn)生應用數(shù)據(jù),進而實現(xiàn)數(shù)據(jù)共享或開放。技術工具要求ETL工具數(shù)據(jù)抽取是ETL技術中的基礎部分,主要負責將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層。然后完成清洗、轉(zhuǎn)換、集成等的工作,最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中。數(shù)據(jù)源較多采用的是關系數(shù)據(jù)庫。從數(shù)據(jù)庫中抽取數(shù)據(jù)一般有以下幾種方式:全量抽取全量抽取類似于數(shù)據(jù)遷移或數(shù)據(jù)復制,它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動的從數(shù)據(jù)庫中抽取出來,并轉(zhuǎn)換成自己的ETL工具可以識別的格式,比較簡單。增量抽取增量抽取指抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增、修改、刪除的數(shù)據(jù)。在ETL使用過程中,增量抽取較全量抽取應用更廣。數(shù)據(jù)資產(chǎn)平臺數(shù)據(jù)資產(chǎn)平臺實現(xiàn)編目歸集、資源申請、撤銷、審核、查詢、消息、配置、應用及事項、使用單位對接、目錄對接、業(yè)務流程對接、通知、監(jiān)控模塊對接等功能。用戶登錄數(shù)據(jù)資產(chǎn)管理平臺,收集表模型參數(shù),并設定表的歸集頻率。在數(shù)據(jù)資產(chǎn)管理系統(tǒng)完成編目后,數(shù)據(jù)資產(chǎn)系統(tǒng)會根據(jù)業(yè)務場景自動調(diào)用數(shù)據(jù)采集平臺數(shù)據(jù)采集接口,采集平臺根據(jù)數(shù)據(jù)資產(chǎn)管理系統(tǒng)下發(fā)相關參數(shù)在數(shù)據(jù)支撐平臺中自動創(chuàng)建歸集表。任務創(chuàng)建后,可以在數(shù)據(jù)采集平臺查看任務的執(zhí)行情況,包括任務狀態(tài)、任務執(zhí)行條數(shù)、任務執(zhí)行時間、任務失敗原因等。任務執(zhí)行成功后,會寫任務日志供DACP調(diào)用,DACP根據(jù)日志完成數(shù)據(jù)自動合并清洗動作。編目為每個新增的表增加編碼信息,便于管理。上線的模型會自動添加編目,從前置機抽取的表需要先創(chuàng)建編目。系統(tǒng)支持統(tǒng)一的元數(shù)據(jù)管理,包括元數(shù)據(jù)的模型設計、模型審核、模型實施、模型驗證,以及模型版本管理、關系管理等;支持資源的檢索與定位,便于服務的重用與維護;實現(xiàn)落地的前提是確定了組織內(nèi)部的數(shù)據(jù)分類分級方法和策略,也就是分類和分級的規(guī)則。技術層面看,數(shù)據(jù)分類分級首先涉及到最初的數(shù)據(jù)發(fā)現(xiàn),目前數(shù)據(jù)類型可以分為兩種,一種是結(jié)構(gòu)化的數(shù)據(jù),如業(yè)務數(shù)據(jù)、數(shù)據(jù)庫等;另外一種則是非結(jié)構(gòu)化的數(shù)據(jù),依據(jù)標簽庫、關鍵詞、正則表達式、自然語言處理、數(shù)據(jù)挖掘、機器學習等內(nèi)容識別技術,進行數(shù)據(jù)分類,根據(jù)數(shù)據(jù)分類的結(jié)果,依據(jù)標簽進行敏感數(shù)據(jù)的劃分,最終實現(xiàn)數(shù)據(jù)分級的效果。數(shù)據(jù)開發(fā)管理平臺數(shù)據(jù)開發(fā)管理平臺為數(shù)據(jù)可視化開發(fā),即開發(fā)流程采用直觀、可視的方式,從布局設計、數(shù)據(jù)源配置到組件配置及開發(fā)效果全過程均可查看,所見即所得。大大提高開發(fā)效率,保證開發(fā)過程的可修正性,提高開發(fā)“事中”可控性!有效降低開發(fā)難度、提升開發(fā)效率!多樣化的工具使數(shù)據(jù)處理更加簡化,處理效率更高!系統(tǒng)主要提供體系化工具:數(shù)據(jù)采集、數(shù)據(jù)加工、數(shù)據(jù)分發(fā)、統(tǒng)一上線、接口管理等工具。數(shù)據(jù)開發(fā)管理平臺基于標準規(guī)范的開發(fā)過程管控,即通過訪問數(shù)據(jù)治理平臺,獲取規(guī)范的數(shù)據(jù)對象元數(shù)據(jù)信息,確保每一個開發(fā)環(huán)節(jié)都遵循企業(yè)標準。其優(yōu)勢在于將數(shù)據(jù)開發(fā)與數(shù)據(jù)治理有機結(jié)合起來,既是對開發(fā)過程的管控,也是保障數(shù)據(jù)質(zhì)量的有效方法。數(shù)據(jù)開發(fā)平臺多租戶管理是依托數(shù)據(jù)管控標準,由租戶管理員統(tǒng)一管控開發(fā)團隊成員開通系統(tǒng)賬戶、擁有數(shù)據(jù)資產(chǎn)以及應用開發(fā)上線,助力租戶擁有數(shù)據(jù)資產(chǎn)和計算資源,開發(fā)且上線個性化的應用程序。租戶資源動態(tài)配置及管理,極大地提高了系統(tǒng)使用效率。數(shù)據(jù)平臺按照數(shù)據(jù)目錄、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理、調(diào)度監(jiān)控、數(shù)據(jù)安全、數(shù)據(jù)開放、數(shù)據(jù)交換、系統(tǒng)管理菜單主題,按照不同的使用者窗口呈現(xiàn)不同的多租戶管理能力。數(shù)據(jù)開發(fā)管理平臺提供了完成全面數(shù)據(jù)治理與管控功能體系,可以幫助企業(yè)實現(xiàn)數(shù)據(jù)資源的條理性、脈絡化,成為數(shù)據(jù)資產(chǎn)化管理的重要基礎。服務流程圖與現(xiàn)有系統(tǒng)間的邊界關系1、數(shù)據(jù)管理子系統(tǒng)主要實現(xiàn)數(shù)據(jù)架構(gòu)管理、數(shù)據(jù)關系管理、數(shù)據(jù)分級分類管理、數(shù)據(jù)異常管理、數(shù)據(jù)分析管理、數(shù)據(jù)流程管理、流數(shù)據(jù)處理、知識圖譜、數(shù)據(jù)分層管理、數(shù)據(jù)運維管理、數(shù)據(jù)資產(chǎn)管理功能。2、數(shù)據(jù)治理子系統(tǒng)通過數(shù)據(jù)治理子系統(tǒng)實現(xiàn)資源申請、撤銷、審核、查詢、消息、配置、應用及事項、使用單位對接、目錄對接、業(yè)務流程對接、通知、監(jiān)控模塊對接等功能。包含數(shù)據(jù)交換模塊和服務管理模塊,實現(xiàn)數(shù)據(jù)資源目錄及三清單的管理,并提供市級數(shù)據(jù)庫的對外發(fā)布利用;3、平臺集成門戶主要實現(xiàn)多租戶功能、運營中心、開發(fā)中心、消息推送、數(shù)據(jù)推送、個人信息管理、系統(tǒng)管理功能。4、數(shù)據(jù)開放子系統(tǒng)(門戶)主要實現(xiàn)數(shù)據(jù)應用方管理、開放清單管理(含開放清單維護、開放目錄關聯(lián)、開放數(shù)據(jù)集維護)、數(shù)據(jù)開放管理等功能。主要實現(xiàn)首頁、數(shù)據(jù)目錄、數(shù)據(jù)應用、數(shù)據(jù)圖譜、地圖數(shù)據(jù)、互動交流、數(shù)據(jù)開發(fā)者、輔助事項、個人管理等各項門戶的建設。5、數(shù)據(jù)安全管理子系統(tǒng)主要實現(xiàn)安全基礎功能管理、數(shù)據(jù)安全審計、風險識別管理、數(shù)據(jù)安全管理、敏感數(shù)據(jù)管理、安全監(jiān)管中心、數(shù)據(jù)安全采集等功能,以及對大數(shù)據(jù)資源平臺各功能模塊的安全嵌入。6、市級數(shù)據(jù)庫主要實現(xiàn)公共基礎庫建設(含人口庫、法人庫、空間地理庫)、支持公共主題庫建設(含經(jīng)濟活動庫、公共事業(yè)庫、社會關系庫、人員密度庫)、支持公共專題庫建設(含經(jīng)濟運行監(jiān)測、宏觀經(jīng)濟預測等19個專題庫)。7、大數(shù)據(jù)綜合應用通過宏觀經(jīng)濟、市場運行、民生幸福、城市立方體等專題應用的建設,構(gòu)建大數(shù)據(jù)綜合應用示范輔助領導決策,構(gòu)建應用管理中心支撐數(shù)據(jù)應用,以為各部門提供優(yōu)質(zhì)的數(shù)據(jù)服務。服務內(nèi)容數(shù)據(jù)抽取運維匯聚數(shù)據(jù)抽取清洗本項目將抽取的數(shù)據(jù)匯聚為主題庫與專題庫,對于已匯聚數(shù)據(jù)基于主題庫專題庫方案進行數(shù)據(jù)清洗,把無效信息去除。保證日常數(shù)據(jù)抽取任務維護,保障各信息系統(tǒng)數(shù)據(jù)及時準確地匯聚。數(shù)據(jù)抽取主要采用自動采集的方式,支持全量抽取和增量抽取。全量抽?。簲?shù)據(jù)湖或源系統(tǒng)的某個數(shù)據(jù)表或文件,全量進行抽取。條件抽取:數(shù)據(jù)湖或源系統(tǒng)的某個數(shù)據(jù)表或文件,可根據(jù)預設條件進行數(shù)據(jù)抽取增量抽?。罕O(jiān)測數(shù)據(jù)湖或源系統(tǒng)的某個數(shù)據(jù)表或文件,僅針對增量部分進行抽取。抽取流程如下圖:對完成抽取的數(shù)據(jù)進行解析和處理,在ODS層中進行數(shù)據(jù)清洗,比如異常字段的處理、字段命名規(guī)范化、時間字段的統(tǒng)一等。對多余的重復的信息進行清洗,并自動存入主題庫專題庫中,為信息資源整合提供較好的數(shù)據(jù)基礎。為適應多類型數(shù)據(jù)源采集的需要,事件數(shù)據(jù)需支持多種類型的數(shù)據(jù)采集方式,數(shù)據(jù)可采用多種豐富的數(shù)據(jù)源接口,包括:常用標準協(xié)議接口如Socket等FTP文件接口JDBC/ODBC接口消息隊列(KAFKA)接口Hadoop生態(tài)圈的開源技術Flume數(shù)據(jù)抽取任務管理數(shù)據(jù)抽取任務管理提供對匯聚庫中元數(shù)據(jù)、抽取規(guī)則、問題數(shù)據(jù)、抽取日志的管理能力,以及抽取情況、數(shù)據(jù)追溯、運行狀態(tài)的查詢和統(tǒng)計能力。通過抽取管理保證數(shù)據(jù)抽取過程的安全性和可靠性。抽取信息統(tǒng)計能夠?qū)Τ槿?shù)據(jù)量、抽取吞吐量、入庫數(shù)據(jù)量、入庫吞吐量、抽取數(shù)據(jù)合格率等狀況進行統(tǒng)計,統(tǒng)計信息可進行圖形化展示,支持統(tǒng)計報表的下載。進行信息統(tǒng)計的抽取日志包括3類:執(zhí)行過程日志:在抽取執(zhí)行過程中每執(zhí)行一步的記錄,記錄每次運行每一步驟的起始時間,影響了多少行數(shù)據(jù),流水賬形式進行記錄。錯誤日志:當某個模塊出錯的時候?qū)戝e誤日志,記錄每次出錯的時間、出錯的模塊以及出錯的信息等。總體日志:只記錄抽取開始時間、結(jié)束時間是否成功信息。記錄日志的目的是隨時可以知道抽取運行情況,如果出錯了,可以知道哪里出錯。針對這3類日志按小時、日、月維度進行信息匯總記錄。抽取信息查詢提供對抽取信息的查詢,可查詢所有抽取的個人基礎信息和市級部門相關數(shù)據(jù)。針對執(zhí)行過程日志、錯誤日志、總體日志提供查詢功能,可以針對某個抽取表或某個執(zhí)行日期進行抽取日志查詢。抽取規(guī)則設置針對一個抽取規(guī)則,可進行如下的設置:源端設置可以配置抽取源,例如源端IP、端口、用戶名、密碼、tns連接串等信息,可配置的源端類型有:常用標準協(xié)議接口如Socket等FTP文件接口JDBC/ODBC接口消息隊列(KAFKA)接口Hadoop生態(tài)圈的開源技術Flume抽取表/文件設置配置具體抽取的表或文件,配置目錄、schema等信息。針對源表的情況,可設置多分表抽取、日期表抽取、月份表抽取等。抽取規(guī)則設置抽取周期設置:小時抽取、日抽取、月抽取、觸發(fā)抽取抽取規(guī)則設置:全量抽取、條件抽取、增量抽取、增量規(guī)則抽取時間配置:配置自動抽取的開始時間。校驗規(guī)則設置自動校驗規(guī)則可配置如下,如不符合規(guī)則,則暫停抽取并告警:條數(shù)閾值檢查空值數(shù)量閾值檢查日期等其他自定義規(guī)則檢查目標表設置支持配置目標表、目標路徑。支持多表抽取匯總,或多表抽取建立視圖。抽取優(yōu)先級設置高優(yōu)先級:10分鐘輪詢一次,最長36小時中優(yōu)先級:30分鐘輪詢一次,最長24小時低優(yōu)先級:60分鐘輪詢一次,最長24小時抽取問題處理針對抽取錯誤日志,支持通過頁面、短信、郵件方式推送錯誤日志并附上出錯的信息,推送維護值班人員或接口負責人員,錯誤日志包括:源端無法連接源端無數(shù)據(jù)源端數(shù)據(jù)記錄不符合檢測規(guī)則源端數(shù)據(jù)列不符合檢測規(guī)則入庫失敗入庫記錄與源端不一致抽取任務管理抽取規(guī)則發(fā)布:抽取規(guī)則配置后,支持抽取規(guī)則上線發(fā)布、下線、暫停等操作。抽取任務自動調(diào)度:針對已發(fā)布的抽取任務,可按照抽取計劃自動執(zhí)行,提供給用戶設置數(shù)據(jù)庫對接方式下后臺自動抽取數(shù)據(jù)的預定時間點的功能,保證抽取過程的順暢性。抽取任務臨時調(diào)度:針對已配置的抽取規(guī)則,可指定執(zhí)行周期,進行手工一次性調(diào)度調(diào)度。抽取任務查詢:可根據(jù)抽取任務名稱、調(diào)度周期進行查詢。數(shù)據(jù)標注服務數(shù)據(jù)格式內(nèi)容釋義數(shù)據(jù)資源目錄是對數(shù)據(jù)資產(chǎn)的格式、內(nèi)容等分類標注,記錄公共數(shù)據(jù)資源結(jié)構(gòu)和公共數(shù)據(jù)資源屬性的數(shù)據(jù)體系。公共數(shù)據(jù)資源結(jié)構(gòu)通過樹狀的目錄結(jié)構(gòu),展現(xiàn)了公共數(shù)據(jù)資源之間的相互關系;公共數(shù)據(jù)資源屬性則描述了資源的管理屬性,包括來源、去向、版本等,用于控制和管理資源。平臺將全市公共數(shù)據(jù)歸集到市級大數(shù)據(jù)中心數(shù)據(jù)湖并形成公共數(shù)據(jù)資源目錄,實現(xiàn)以目錄為核心的數(shù)據(jù)共享交換。市級數(shù)據(jù)湖的數(shù)據(jù)經(jīng)過數(shù)據(jù)治理、融合等一系列手段,提煉出高質(zhì)量數(shù)據(jù)提交到市級數(shù)據(jù)庫,并形成數(shù)據(jù)服務目錄。市級數(shù)據(jù)庫通過數(shù)據(jù)服務總線向公共管理和服務機構(gòu)提供數(shù)據(jù)共享服務。平臺以全市公共數(shù)據(jù)為核心,以跨部門、跨層級應用為抓手,形成數(shù)據(jù)存儲、交換、共享、使用、開放的核心樞紐。平臺由三級共享交換的架構(gòu)支撐功能;面向全市市級公共管理和服務機構(gòu),提供統(tǒng)一的公共數(shù)據(jù)共享交換服務;向上級聯(lián)國家級數(shù)據(jù)共享交換平臺,通過對接國家級共享交換平臺獲得國家政務信息資源和其他省份信息資源;向下級聯(lián)區(qū)級數(shù)據(jù)共享交換分平臺,為區(qū)公共數(shù)據(jù)管理部門提供信息資源服務。數(shù)據(jù)分級分類管理提供內(nèi)置數(shù)據(jù)域,為客戶提供多種包含個人信息、行業(yè)信息等通用分類分級模板,從而減少客戶人力投入成本,實現(xiàn)快速分類分級管理。根據(jù)數(shù)據(jù)的不同級別和類別需實現(xiàn)不同的安全防護,數(shù)據(jù)分級分類的原則:分類:依據(jù)數(shù)據(jù)的來源、內(nèi)容和用途對數(shù)據(jù)進行分類;分級:按照數(shù)據(jù)的價值、內(nèi)容敏感程度、影響和分發(fā)范圍不同對數(shù)據(jù)進行敏感級別劃分。數(shù)據(jù)分級分類方式根據(jù)梳理出的備案數(shù)據(jù)資產(chǎn),進行敏感數(shù)據(jù)的自動探測,通過特征探測定位敏感數(shù)據(jù)分布在哪些數(shù)據(jù)資產(chǎn)中;針對數(shù)據(jù)資產(chǎn)類型進行分級分類標記,分類出庫表、服務、文件、庫流等;根據(jù)已分類的數(shù)據(jù)資產(chǎn)由業(yè)務部門進行敏感分級,將分類的數(shù)據(jù)資產(chǎn)劃分無條件共享類、有條件共享類和非共享類等不同的敏感級別。在進行數(shù)據(jù)分類分級后需要有針對性地制定數(shù)據(jù)防護要求,設置不同的訪問權限、對重要數(shù)據(jù)進行加密存儲和傳輸、敏感數(shù)據(jù)進行脫敏處理、重要操作進行審計記錄和分析等。變更審核區(qū)公共數(shù)據(jù)管理部門、市級公共管理和服務機構(gòu)間,按照“一次采集、共享使用”原則開展數(shù)據(jù)共享的需求清單、責任清單和負面清單。三清單與目錄的使用滿足以下規(guī)則要求:平臺數(shù)據(jù)共享交換管理工作完全按目錄組織進行;目錄中的數(shù)據(jù)按照共享屬性分為無條件共享類、授權共享類和非共享類。列入授權共享類和非共享類公共數(shù)據(jù)范圍的,應當說明理由,并提供有關法律、法規(guī)、規(guī)章依據(jù);共享類目錄和非共享類目錄與三清單中的責任清單、負面清單相對應;資源提供方需要根據(jù)責任清單提供數(shù)據(jù)資源,持續(xù)更新維護目錄;資源提供方依據(jù)法律法規(guī)規(guī)章不能共享的公共數(shù)據(jù)資源,列入負面清單;資源需求方需要提出數(shù)據(jù)共享需求,才能發(fā)起數(shù)據(jù)共享。作業(yè)調(diào)度運維數(shù)據(jù)加工、開放任務調(diào)度任務編排管理調(diào)度系統(tǒng)最基本的功能是任務的定義和任務編排。任務定義主要確定數(shù)據(jù)計算和加工的邏輯和規(guī)則,包括任務執(zhí)行的頻次、具體執(zhí)行時間,對應的執(zhí)行腳本和參數(shù)等內(nèi)容。任務重跑任務執(zhí)行完成后,如果我們發(fā)現(xiàn)結(jié)果數(shù)據(jù)存在異常,經(jīng)過定位分析后確定需要對數(shù)據(jù)重新處理,此時需要使用任務重跑功能。一般情況下,重跑只讓當前任務重新執(zhí)行一次;特殊場景下,當前任務重跑成功后會緊接著重跑該任務后續(xù)的其他任務,保證所有可能受到影響的任務都能得到正確的結(jié)果。歷史補數(shù)任務創(chuàng)建完成后,調(diào)度系統(tǒng)會根據(jù)其定義的執(zhí)行頻次和具體時間規(guī)則,自動處理新的數(shù)據(jù)。而對于任務創(chuàng)建前已經(jīng)產(chǎn)生的歷史數(shù)據(jù),則需要使用歷史補數(shù)功能。日志查看調(diào)度系統(tǒng)會及時搜集、保存任務執(zhí)行過程中的產(chǎn)生日志信息。我們可以檢索和查看任務執(zhí)行的詳細日志。運行監(jiān)控運行監(jiān)控功能及時掌握任務的執(zhí)行狀態(tài),以便及時對異常進行干預和處理。包括任務執(zhí)行錯誤告警及執(zhí)行延遲告警兩種模式。同時還可以在此基礎上開發(fā)或定制自己的監(jiān)控策略。數(shù)據(jù)分發(fā)作業(yè)調(diào)度管理監(jiān)控作業(yè)執(zhí)行情況,并提供異常任務的運維處理操作選擇項,滿足不同場景下的處理要求。重做當前:重做當前批次的作業(yè)任務;重做后續(xù):重做當前批次及后續(xù)批次的任務;強制執(zhí)行:針對異常任務,不管前置依賴條件是否滿足,直接執(zhí)行。強制通過:針對異常、未執(zhí)行任務,不管程序能否跑成功,都把調(diào)度狀態(tài)改為成功在統(tǒng)一調(diào)度管理中以數(shù)據(jù)流作為驅(qū)動,通過控制中心進行作業(yè)命令下發(fā),狀態(tài)收集進行控制,達到各個異構(gòu)系統(tǒng),多個子系統(tǒng)的協(xié)同調(diào)度。通過流程設計與管理,調(diào)度策略管控,任務調(diào)度控制,標準化控件進行作業(yè)任務管理、作業(yè)任務調(diào)度、作業(yè)任務執(zhí)行完成數(shù)據(jù)采集、轉(zhuǎn)換、加載、調(diào)度與監(jiān)控。通過模型封裝統(tǒng)一管控各類底層疏浚,實現(xiàn)統(tǒng)一調(diào)度運行,統(tǒng)一數(shù)據(jù)監(jiān)控。數(shù)據(jù)共享服務數(shù)據(jù)共享交換服務為提高全市公共數(shù)據(jù)交換效能,優(yōu)化數(shù)據(jù)運營共享交換體系,并建立長效管理機制,促進公共數(shù)據(jù)共享和開放,通過需求調(diào)研,接口開發(fā),接口聯(lián)調(diào)等過程最終完成各個政府單位和事業(yè)單位之間信息共享,與民生緊密相關、社會迫切需要、商業(yè)增值潛力顯著的公共數(shù)據(jù)向社會開放的一系列過程。數(shù)據(jù)下發(fā):將其他委辦局共享的數(shù)據(jù)庫表資源遷移至自己的數(shù)據(jù)庫中數(shù)據(jù)服務:API接口調(diào)用方式,使用其他委辦局提供的數(shù)據(jù)資源共享交換數(shù)據(jù)清洗服務對委辦局提出數(shù)據(jù)共享需求的業(yè)務數(shù)據(jù),共享方案輸出,共享交換數(shù)據(jù)清洗,共享交換機制建立,流程跟蹤等方面。共享交換數(shù)據(jù)交換服務針對委辦不同的數(shù)據(jù)落地需求,提供多種不同數(shù)據(jù)落地方案。為更好的服務于委辦,提升數(shù)據(jù)共享品質(zhì),建立共享服務SLA機制,實現(xiàn)并保障委辦數(shù)據(jù)共享。結(jié)合委辦業(yè)務特定及業(yè)務需要,進一步優(yōu)化提升數(shù)據(jù)共享效能。1:將需要共享的原表名,目標表名,原數(shù)據(jù)源,目標數(shù)據(jù)源等信息賦值到系統(tǒng)中。2:執(zhí)行初始化,獲得源hdfs路徑。3:執(zhí)行初始化,獲得目標hdfs路徑。4:從原數(shù)據(jù)源中獲得原表的創(chuàng)建語句,經(jīng)過處理,獲得建表語句,分桶等參數(shù)。5:在目標數(shù)據(jù)源中按照獲得的參數(shù)生成建表語句。6:原數(shù)據(jù)源中創(chuàng)建臨時表,并將數(shù)據(jù)插入臨時表中。7:在目標數(shù)據(jù)源中按照生成的建表語句創(chuàng)建臨時表。8:將數(shù)據(jù)從源數(shù)據(jù)庫的臨時表中傳輸至目標數(shù)據(jù)庫的臨時表中。9:在目標數(shù)據(jù)庫中新建目標表,并將數(shù)據(jù)從臨時表中插入目標表。10:刪除源數(shù)據(jù)庫中的臨時表,刪除目標數(shù)據(jù)庫中的臨時表。共享交換質(zhì)量保障服務為更好的服務于委辦數(shù)據(jù)共享,切實提升共享質(zhì)量保障,建立完善質(zhì)量保證機制,保障數(shù)據(jù)共享更好、更有效的落實。針對委辦數(shù)據(jù)共享質(zhì)量,以業(yè)務側(cè)出發(fā),制定完善保障計劃并進行落實。服務場景設計新增資源服務場景配置數(shù)據(jù)源(初次歸集需要)登錄門戶進入節(jié)點維護添加本部門用于歸集數(shù)據(jù)的前置節(jié)點和數(shù)據(jù)源信息進入基礎信息維護/應用注冊添加需要編目的應用系統(tǒng)對數(shù)據(jù)庫表、文件、接口、流等不同歸集方式,需要配置不同的數(shù)據(jù)源,并開通網(wǎng)絡端口。數(shù)據(jù)源配置成功后,平臺會自動采集數(shù)據(jù)源的元數(shù)據(jù)信息,可用于快速生成編目。數(shù)據(jù)資源編目登錄門戶進入目錄管理維護目錄元數(shù)據(jù)維護信息項元數(shù)據(jù)提交目錄審核目錄各部門可根據(jù)業(yè)務定義自己的目錄分類,用于更好地組織本部門數(shù)據(jù)資產(chǎn)。信息項可以批量導入或者直接從前置節(jié)點數(shù)據(jù)源選擇,如暫無元數(shù)據(jù)需手動刷新并等待。準備數(shù)據(jù)按歸集方式線下準備,包括:庫表(前置節(jié)點)文件(前置節(jié)點)接口流用于歸集的數(shù)據(jù)源需與配置數(shù)據(jù)源保持一致。對于接口和流,需要有政務外網(wǎng)IP地址,可通過政務外網(wǎng)訪問即可。發(fā)起歸集任務添加歸集任務選擇未歸集的模型配置歸集任務參數(shù)等待執(zhí)行成功必須設置主鍵和時間戳,確保數(shù)據(jù)類型與模型一致。中心庫由中心統(tǒng)一分配。委托數(shù)據(jù)清洗按歸集頻率和增量方式,需要采用不同方式對數(shù)據(jù)清洗:模型開發(fā)選擇清洗層,新建模型選取數(shù)據(jù)源,依次填寫表英文名、表中文名。在繼續(xù)選取主題以及周期類型,最后填寫業(yè)務口徑,點擊下一步。導入建標語句,點擊保存后退出清洗程序開發(fā)選擇清洗層,點擊新建程序程序類型選擇可視化編輯,依次填寫程序名稱以及中文名稱,最后選擇周期,點擊保存。雙擊程序名稱,進入程序開發(fā)界面,從組件列表里選取相應組件或者直接xml導入,以進行開發(fā)。程序編輯完成后,依次配好程序所需的輸出表,以及調(diào)度依賴。依賴配好后,先點擊右下角保存,在點擊右上角保存。保存好后,點擊測試,進入測試界面,確認數(shù)據(jù)時間是否正確,確認好后,點擊運行測試。測試成功后可關閉測試頁面。清洗程序開發(fā)測試完成后,選擇開發(fā)者中心,點擊開發(fā)流程。模型上線選擇發(fā)起需求,點擊數(shù)據(jù)上線,填寫標題與描述,點擊提交。提交后進入程序上線流程,在對象導入欄選擇程序,輸入程序名稱并查詢,選中程序并導入到右邊,點擊確定。點擊確定,關聯(lián)模型、程序以及調(diào)度任務,選擇下節(jié)點操作人,點擊提交。提交3次后,流程結(jié)束,清洗程序上線完成。模型推送生成資源模型審批數(shù)據(jù)清洗時間一次性間隔一定時間每天每周每月數(shù)據(jù)歸集采用T-1方式,定期增量歸集前一個更新周期數(shù)據(jù)(如執(zhí)行時間前一天)。共享資源發(fā)布清洗完成后的數(shù)據(jù)將存儲在數(shù)據(jù)湖的DWD區(qū)清洗成功將自動根據(jù)庫表名稱將資源發(fā)布到已有目錄,需要確認后正式發(fā)布只有已發(fā)布資源,才可以被其他單位共享。資源發(fā)布后,可選擇是否要向“國家平臺”、“區(qū)平臺”上推送,以便國家和區(qū)的平臺也可以發(fā)現(xiàn)本部門發(fā)布的資源。已有資源共享服務場景瀏覽器已發(fā)布資源登錄門戶資源瀏覽或檢索瀏覽已發(fā)布資源信息支持目錄名稱、標識符、提供方、應用系統(tǒng)名稱、信息項等單條件的模糊查詢??汕袚Q基礎目錄分類、主題目錄分類或部門分類視圖進行資源瀏覽選擇共享方式選擇希望共享的資源選擇共享方式,目前支持數(shù)據(jù)服務(供本部門已注冊的應用調(diào)用)數(shù)據(jù)落地(前置庫)數(shù)據(jù)融合(融合庫)不同的資源可能支持的共享方式不同,以平臺提供為準。各種共享方式適用于不同應用場景,應當根據(jù)實際需求慎重選擇,可能影響授權流程。發(fā)起共享申請?zhí)顚懲ㄓ蒙暾埿畔⒏鶕?jù)共享方式不同,需要填寫額外的共享信息,如:應用信息前置庫信息融合庫信息上傳附件及補充其他說明申請成功后會默認創(chuàng)建一條“需求清單”,無需其他操作。為保障安全,平臺會對IP地址等信息校驗,必須如實填寫。應用場景分析平臺根據(jù)共享申請時填寫的信息和共享方式,對符合應用場景的申請進行授權。不屬于應用場景清單的,需要責任方根據(jù)共享類型審核同意后進行授權。應用場景清單由大數(shù)據(jù)中心定期發(fā)布。責任方審核授權登錄門戶進入任務中心/我的待辦選擇需要處理的共享申請審核通過或駁回審核通過后即視為授權,如涉及敏感信息需二次授權授權成功后會默認創(chuàng)建一條“責任清單”,可在“已授權資源”里查看所有本部門所有授權共享記錄。共享確認登錄門戶進入任務中心/我的待辦查看已獲授權的資源信息開始共享/撤銷共享對成功共享的需求進行確認求部門在獲得授權后,如發(fā)現(xiàn)與需求不一致時,可撤銷共享。需求確認后視為正式共享。資源變更服務場景梳理已申請資源清單1) 梳理變更清單對申請變更的數(shù)據(jù)資源清單進行梳理,采集不同申請變更的數(shù)據(jù)源的元數(shù)據(jù)信息,可用于快速生成編目。數(shù)據(jù)資源目錄變更1) 登錄門戶2) 進入目錄管理3) 維護變更目錄元數(shù)據(jù)4) 維護信息項元數(shù)據(jù)5) 提交變更目錄6) 審核變更目錄各部門可根據(jù)業(yè)務定義自己的目錄分類,用于更好地組織本部門數(shù)據(jù)資產(chǎn)。信息項可以批量導入或者直接從前置節(jié)點數(shù)據(jù)源選擇,如暫無元數(shù)據(jù)需手動刷新并等待。準備數(shù)據(jù)1) 按歸集方式線下準備,包括:庫表(前置節(jié)點)文件(前置節(jié)點)接口流用于歸集的數(shù)據(jù)源需與配置數(shù)據(jù)源保持一致。對于接口和流,需要有政務外網(wǎng)IP地址,可通過政務外網(wǎng)訪問即可。重新發(fā)起歸集任務1) 重新添加歸集任務2) 重新選擇未歸集的模型3) 重新配置歸集任務參數(shù)4) 等待執(zhí)行成功模型發(fā)生變更,需要下線已有歸集任務后重新歸集。必須設置主鍵和時間戳,確保數(shù)據(jù)類型與模型一致。中心庫由中心統(tǒng)一分配。委托數(shù)據(jù)清洗任務變更1) 按歸集頻率和增量方式,需要采用不同方式對數(shù)據(jù)清洗:2) 模型開發(fā)選擇清洗層,新建模型選取數(shù)據(jù)源,依次填寫表英文名、表中文名。在繼續(xù)選取主題以及周期類型,最后填寫業(yè)務口徑,點擊下一步。導入建標語句,點擊保存后退出3) 清洗程序開發(fā)選擇清洗層,點擊新建程序程序類型選擇可視化編輯,依次填寫程序名稱以及中文名稱,最后選擇周期,點擊保存。雙擊程序名稱,進入程序開發(fā)界面,從組件列表里選取相應組件或者直接xml導入,以進行開發(fā)。程序編輯完成后,依次配好程序所需的輸出表,以及調(diào)度依賴。依賴配好后,先點擊右下角保存,在點擊右上角保存。保存好后,點擊測試,進入測試界面,確認數(shù)據(jù)時間是否正確,確認好后,點擊運行測試。測試成功后可關閉測試頁面。清洗程序開發(fā)測試完成后,選擇開發(fā)者中心,點擊開發(fā)流程。4) 模型上線選擇發(fā)起需求,點擊數(shù)據(jù)上線,填寫標題與描述,點擊提交。提交后進入程序上線流程,在對象導入欄選擇程序,輸入程序名稱并查詢,選中程序并導入到右邊,點擊確定。點擊確定,關聯(lián)模型、程序以及調(diào)度任務,選擇下節(jié)點操作人,點擊提交。提交3次后,流程結(jié)束,清洗程序上線完成。5) 模型推送6) 生成資源7) 模型審批數(shù)據(jù)清洗時間一次性間隔一定時間每天每周每月數(shù)據(jù)歸集采用T-1方式,定期增量歸集前一個更新周期數(shù)據(jù)(如執(zhí)行時間前一天)。模型變更提交模型變更申請受理模型變更申請審核模型變更申請?zhí)幚砟P妥兏暾埢貜湍P妥兏Y(jié)果記錄模型變更信息數(shù)據(jù)模型變更盡可能給出數(shù)據(jù)倉庫模式設計變更后的差異情況,表述變更的內(nèi)容及范圍邊界的定義,列出變更模型中所有數(shù)據(jù)庫表名,可以使用建模工具導出該列表。資源變更維護變更資源變更資源確認變更資源調(diào)度開通操作變更資源更新根據(jù)日常維護需求提出變更需求,根據(jù)需求進行資源調(diào)查,資源中心進行資源調(diào)度,在調(diào)度完成并測試正常后,立即進行資源更新,已有共享任務變更發(fā)布1) 清洗完成后的變更數(shù)據(jù)將存儲在數(shù)據(jù)湖的DWD區(qū)2) 清洗成功將自動根據(jù)庫表名稱將資源發(fā)布到已有變更目錄,需要確認后正式發(fā)布只有已發(fā)布資源,才可以被其他單位共享。資源發(fā)布后,可選擇是否要向“國家平臺”、“區(qū)平臺”上推送,以便國家和區(qū)的平臺也可以發(fā)現(xiàn)本部門發(fā)布的資源。信息安全解決方案安全服務原則(1)符合國家網(wǎng)絡與信息安全的總體要求,確保應用系統(tǒng)的數(shù)據(jù)安全和運行穩(wěn)定。(2)確保對網(wǎng)絡邊界的適度隔離和安全控制,采用入侵檢測、網(wǎng)絡安全審計以及漏洞掃描等技術實現(xiàn)對系統(tǒng)與網(wǎng)絡的全面安全防范,保證系統(tǒng)安全可靠的運行。(3)在各應用層面均建立用戶認證系統(tǒng),確定用戶對他人資源、網(wǎng)絡資源和信息資源的訪問權限。并完整保留操作日志,確保能做到事后審計和業(yè)務恢復。(4)從數(shù)據(jù)完整性、數(shù)據(jù)保密性、備份和恢復等方面充分考慮數(shù)據(jù)安全及備份需求。系統(tǒng)的日常備份分為數(shù)據(jù)備份和應用備份兩個層面,并與系統(tǒng)建設同步。制定日常數(shù)據(jù)備份的策略,備份數(shù)據(jù)脫機保存,即使硬盤上的數(shù)據(jù)全部丟失,也可以通過保存的備份數(shù)據(jù)進行恢復。(5)保證開發(fā)程序代碼規(guī)范,防止因不規(guī)范代碼造成系統(tǒng)漏洞而遭受攻擊。(6)系統(tǒng)能夠通過硬件防火墻和系統(tǒng)級殺毒軟件等技術手段實現(xiàn)病毒防范功能。安全服務措施網(wǎng)絡通訊安全系統(tǒng)服務器統(tǒng)一安置在政府授權機房,互聯(lián)網(wǎng)服務器已具備一定的非正常使用的防范能力(DoS阻塞、操作系統(tǒng)漏洞、病毒隔離),局域網(wǎng)的服務器(數(shù)據(jù)庫服務器和備份服務器)與互聯(lián)網(wǎng)實現(xiàn)單向物理隔離,外部無法訪問;安全準入通過身份認證和安全策略檢查的方式,對未通過身份認證或不符合安全策略的用戶終端進行網(wǎng)絡隔離,并幫助終端進行安全修復,以達到防范不安全網(wǎng)絡用戶終端給安全網(wǎng)絡帶來安全威脅的目的。對系統(tǒng)進行安全審計審計范圍覆蓋到服務器和重要客戶端上的每個操作系統(tǒng)用戶和數(shù)據(jù)庫用戶;審計內(nèi)容包括重要用戶行為、系統(tǒng)資源的異常使用和重要系統(tǒng)命令的使用等系統(tǒng)內(nèi)重要的安全相關事件。審計包括事件的日期、事件、類型、主體標識、客體標識和結(jié)果等。保護審計記錄,避免受到未預期的刪除、修改或覆蓋等。漏洞掃描。定期對服務器進行漏洞掃描,服務器操作系統(tǒng)及數(shù)據(jù)庫操作系統(tǒng)根據(jù)系統(tǒng)安全策略,采取適當方式進行安全補丁升級。建立用戶認證對登錄用戶進行身份鑒別和標識,對口令長度和復雜性設置要求,密碼強度要求至少八位,必須是數(shù)字與字母組合;用戶連續(xù)3次登錄失敗,則限制24小時之內(nèi),不能登錄,防止暴力破解?;蛘呗?lián)系管理員解鎖;建立登錄日志:記錄用戶登錄系統(tǒng)的用戶、時間、IP地址、登錄結(jié)果;建立操作日志:記錄主要業(yè)務模塊的操作日志,包括增加、修改、刪除等關鍵性操作。項目信息數(shù)據(jù)安全項目信息數(shù)據(jù)是本系統(tǒng)的核心,信息的安全很重要,需要采取必要的管理和技術措施加以保護,建立完整的項目信息字段更新日志,注冊和登錄常用較強密碼和驗證級別。采用加密或其他保護措施實現(xiàn)鑒別信息存儲保密性,對用戶口令采用MDF加密;對通信過程中的敏感信息字段,采用HTTPS等加密傳輸方式進行加密。檢測鑒別信息或重要業(yè)務數(shù)據(jù)在傳輸過程中的完整性是否受到破壞,并采取完整性保護措施。對數(shù)據(jù)庫進行定時備份,可以將員工誤操作,機器掉電,病毒攻擊,系統(tǒng)崩潰等人為或其它意外情況造成的損失減少到最低;將兩臺服務器通過批處理文件將系統(tǒng)備份做雙機冷盤,避免因一臺服務器故障導致數(shù)據(jù)丟失;服務器采用Raid5磁盤陣列,防止因一塊硬盤物理損壞導致數(shù)據(jù)丟失。對應用程序也采取相應的定期備份措施。數(shù)據(jù)交換安全因為是局域網(wǎng)上的應用作為網(wǎng)絡鏈接的發(fā)起方,外網(wǎng)無法主動連接到本系統(tǒng)在辦公網(wǎng)和局域網(wǎng)內(nèi)的設備,但是在交換數(shù)據(jù)字段或數(shù)據(jù)包時進行編碼處理,以保證傳輸?shù)臏蚀_性和安全性。操作系統(tǒng)安全措施服務器系統(tǒng)安全操作系統(tǒng)安全控制策略主要是利用用戶識別和認證、存取控制和監(jiān)控審查機制增強保密性。采用各種軟硬件備份機制來增加系統(tǒng)的可靠性。在一定規(guī)模的網(wǎng)絡環(huán)境中,沒有對網(wǎng)絡和系統(tǒng)的集中管理,安全性的實施和管理幾乎是不可能的。因此,需要利用服務器操作系統(tǒng)的集中域管理、目錄服務功能等,來集中管理用戶的認證和對資源的授權??傊?,我們要充分開發(fā)服務器操作系統(tǒng)的安全功能,并對其薄弱環(huán)節(jié)進行分析,自行開發(fā)或引進新軟件增強其安全控制能力??蛻魴C系統(tǒng)安全客戶機的操作系統(tǒng)多屬單用戶操作系統(tǒng),安全控制保密能力較弱,可以采用的管理手段和技術措施有:加強用戶責任意識,例如在短暫的離開計算機操縱臺之前先退出網(wǎng)絡退出系統(tǒng)或鍵盤鎖定,等等;設置系統(tǒng)登錄口令,設置屏幕保護口令,認真保存存儲介質(zhì)和打印輸出。系統(tǒng)邊界防護系統(tǒng)通過防火墻接入互聯(lián)網(wǎng),因此在作邊界防護時不僅需要考慮系統(tǒng)與互聯(lián)網(wǎng)的邊界防護,還要充分考慮各部門之間的邊界防護。在方案中將采用防火墻技術做系統(tǒng)與互聯(lián)網(wǎng)的邊界防護,系統(tǒng)內(nèi)部的業(yè)務部門將采用VLAN技術做邊界防護。防病毒系統(tǒng)設計在一個網(wǎng)絡計算環(huán)境中,病毒一般是通過磁盤、網(wǎng)絡、電子郵件或Internet下載進行傳播。網(wǎng)與Internet連通后,病毒的防范應該更加重視。病毒防范策略主要包括:1、管理方面:建立防病毒體制和規(guī)章制度,實行嚴格的用機機制,嚴格控制軟件介質(zhì)的來源和去向,實行安全的備份制度,實施網(wǎng)絡防病毒策略。2、在技術上加強預防措施:使用可靠度高的、通過國家安全處室和機要處室認可的防病毒軟件產(chǎn)品,并建立相應的及時更新殺毒引擎和病毒特征庫的制度。因此,網(wǎng)絡防病毒解決方案主要從以下幾個方面考慮:1、杜絕通過磁盤、可移動磁盤、光盤等物理介質(zhì)對服務器和普通工作站的病毒感染;2、對電子郵件的病毒防護,對有可能隨電子郵件傳播的病毒進行攔截;3、嚴格控制使用調(diào)制解調(diào)器等通訊連接設備進行收發(fā)文件,從內(nèi)部網(wǎng)外部將病毒引入;4、對內(nèi)部網(wǎng)站進行控制,防止HTTP和FTP等流量的病毒防護。整體備份機制本項目各應用子系統(tǒng)每天將產(chǎn)生大量數(shù)據(jù),這些數(shù)據(jù)也必須進行備份。更為重要的是,萬一其中的某一應用系統(tǒng)因突發(fā)故障導致數(shù)據(jù)丟失或失效時,需要能夠用事先生成的備份數(shù)據(jù)將系統(tǒng)恢復到故障前的狀態(tài),從而在盡可能短的時間內(nèi)恢復系統(tǒng)應用,保證業(yè)務繼續(xù)運行,使損失和風險降低到最低。為了保證應用系統(tǒng)的數(shù)據(jù)資源不因發(fā)生意外情況而受到損失,可以采用以下幾種防范和恢復措施。1.手工備份:系統(tǒng)管理員定期對數(shù)據(jù)進行手工備份。2.周期性自動備份:可利用數(shù)據(jù)庫自動備份功能,配置數(shù)據(jù)的周期性自動備份,備份介質(zhì)可以是備份數(shù)據(jù)庫、備份文件和磁帶等。3.服務器備份:在應用服務器和數(shù)據(jù)庫服務器分離的條件下,兩臺服務器可以相互進行備份。4.在發(fā)生硬件故障的情況下,能夠迅速而可靠的恢復數(shù)據(jù)庫結(jié)構(gòu)及其內(nèi)容,數(shù)據(jù)至少保留最近7天的完整數(shù)據(jù);5.通過建立事務處理機制,在事務處理失敗的情況下,能夠保證數(shù)據(jù)庫恢復到確定狀態(tài);6.針對系統(tǒng)中各類數(shù)據(jù)的互動,建立完整的數(shù)據(jù)審核機制,確保系統(tǒng)中的所有數(shù)據(jù)的正確性、合法性;7.數(shù)據(jù)不受非法、越權、越級操作侵犯,系統(tǒng)自動保留關鍵數(shù)據(jù)的變更歷史。應用和管理安全許多信息泄漏事件往往是系統(tǒng)設計缺陷、管理不善、內(nèi)部網(wǎng)絡造成的,而非通過技術上的惡意攻擊:1.權限分配管理、對項目信息、評審信息進行分級管理,需要保護的信息提高安全級別和信息編碼,屏蔽信息共享。對已完成或不需要保護項目降低項目信息級別,實現(xiàn)信息共享。實現(xiàn)數(shù)據(jù)訪問的權限控制。采用權限控制表可為每個用戶、角色、組設置對每個目錄的數(shù)據(jù)訪問和應用權限。系統(tǒng)權限管理員由專人擔任,對于重要數(shù)據(jù)的訪問權限分配和可能具有危害性的操作權限分配一般需經(jīng)過雙人審批授權環(huán)節(jié)。2.特別加強對查詢、統(tǒng)計、匯總和報表等數(shù)據(jù)集合功能的權限分配和管理。3.通過權限控制,自動拒絕越權、違規(guī)操作。4.對可能導致不可逆轉(zhuǎn)結(jié)果的操作采用二次提示確認機制。5.對各種原因?qū)е碌漠惓M顺鎏峁?shù)據(jù)安全保障。6.提供重要操作失誤后的自動回滾機制。程序代碼安全在編寫程序代碼時做的編碼規(guī)范,做到無SQL注入、跨站腳本、緩沖區(qū)溢出等高風險漏洞,部署安裝經(jīng)國家認可的惡意代碼防治產(chǎn)品,制定病毒防范策略。定期更新惡意代碼特征庫,及時升級軟件版本,定期進行惡意代碼查殺。
項目實施方案項目實施團隊項目團隊概述我司在H市有常駐服務團隊,能夠提供技術支持人員,具有故障響應流程、服務級別及具體措施詳細。故障響應流程針對上門服務過程中可能遇到的各種各樣的風險和一些可能出現(xiàn)的情況,制定了一系列預防處理措施,舉例如下:類型事件預防措施處理應用軟件無法啟動軟件可執(zhí)行文件上門人員提前準備好各類需維護軟件安裝程序?qū)密浖?shù)據(jù)文件備份后,重新安裝軟件打開過程中或運行中異常錯誤關閉上門人員準備好安裝程序,操作系統(tǒng)優(yōu)化和修補軟件,查殺病毒軟件判斷出錯原因,備份數(shù)據(jù),采取相關修復措施操作系統(tǒng)使用者本機操作系統(tǒng)異常或系統(tǒng)資源占用嚴重準備好系統(tǒng)檢查程序及修補程序,以及查殺病毒軟件告知使用者錯誤原因可能類型,提出解決方案,經(jīng)使用者認可后采取相應措施B/S結(jié)構(gòu)系統(tǒng),IE瀏覽器異?;驘o法下載控件準備流氓軟件清理程序、修復瀏覽器軟件、查殺病毒軟件檢查IE瀏覽器選項設置,分析原因進行修復網(wǎng)絡或服務器B/S結(jié)構(gòu)系統(tǒng)網(wǎng)絡流量異常或服務器登錄異常判斷服務器是否異常,否則準備殺毒軟件檢查網(wǎng)絡流量,流量異常小則報修網(wǎng)絡服務商,流量異常大則查殺病毒服務級別及具體措施1.售后服務7*24小時;2.視不同故障等級及時提供現(xiàn)場技術服務。提供7*24的熱線電話技術響應服務時,同時提供故障報告?zhèn)髡娣蘸驼9ぷ鲿r間內(nèi)的技術咨詢服務,有關技術人員配備先進的通訊工具以保證真正意義上及時的方式技術支持服務。原則上響應時間在出具錯誤報告后1小時以內(nèi),現(xiàn)場服務將保證在收到錯誤報告后2小時以內(nèi)。服務等級電話咨詢響應遠程診斷維護現(xiàn)場服務響應緊急故障立即立即2小時內(nèi)重要故障立即立即2小時內(nèi)一般故障立即4小時內(nèi)4小時內(nèi)技術更新雙方協(xié)商雙方協(xié)商雙方協(xié)商團隊人員架構(gòu)團隊人員能力團隊人員綜合能力我司團隊人員綜合能力滿足如下要求:服務人員學歷要求:??萍耙陨蠈W歷。服務人員專業(yè)覆蓋:計算機、通信、電子、自動化、經(jīng)管、產(chǎn)品運營及相關專業(yè)。語言能力:英語讀寫聽說熟練;語言表達能力較好。態(tài)度:擁有較強的自我驅(qū)動力和學習能力,邏輯思維能力和自我管理能力優(yōu)秀,時間意識良好。開發(fā)通用型運維與部署技術服務能力我司運維與部署技術服務能力滿足如下要求:熟悉Linux常用命令,進行Linux環(huán)境下的軟件部署服務;熟悉Nagios/Zabbix/Ganglia等常用監(jiān)控系統(tǒng)的部署安裝和配置管理;熟悉Nginx、Apache、Tomcat,ELK,ApacheFlume,Zookeeper,Hadoop及消息中間件等開源軟件的部署安裝和配置與調(diào)優(yōu);熟悉Oracle、PostgreSQL,MySQL及Redis等開源數(shù)據(jù)庫的部署安裝和優(yōu)化配置;掌握Docker虛擬化技術,能夠獨立完成鏡像制作。 客戶端開發(fā)技術服務:熟悉Android系統(tǒng)體系結(jié)構(gòu)、應用開發(fā)框架、底層API及AndroidSDK、Android開發(fā)技術,包括UI、布局、通信機制、多線程、服務調(diào)用機制、JSON、XML、SQLite等;具有豐富的Objective-C和Cocoa編程經(jīng)驗,熟練使用iPhoneSDK和XCode,對iOS下的多線程編程、網(wǎng)絡編程、內(nèi)存管理、GUI開發(fā)、消息通訊機制有深刻認識,熟悉iOS后臺運行機制、內(nèi)存管理、網(wǎng)絡通信等技術。云計算研發(fā)技術服務我司云計算研發(fā)技術服務能力滿足如下要求:(1) 熟悉Java語言,會使用GO、Python等;(2) 對各種開源的框架,如Spring、MyBatis、MQ、Redis、SpringCloud等有深入了解;(3) 精通MySQL數(shù)據(jù)庫,并具有很強數(shù)據(jù)庫設計經(jīng)驗和SQL編寫能力;(4) 對微服務有自己的理解,有相關開發(fā)經(jīng)驗。(5) 有云計算從業(yè)經(jīng)驗。云計算運維模塊開發(fā)技術服務我司云計算運維模塊開發(fā)技術服務能力滿足如下要求:(1) 熟悉Java、Python等語言;(2) 對各種開源的框架,如Spring、MyBatis、MQ、Redis、SpringCloud等有深入了解;(3) 精通MySQL數(shù)據(jù)庫,并具有很強數(shù)據(jù)庫設計經(jīng)驗和SQL編寫能力;(4) 有過主機或設備性能采集、告警監(jiān)控對接經(jīng)驗;(5) 有運維勒產(chǎn)品開發(fā)經(jīng)驗優(yōu)先;(6) 邏輯思路清晰,較強的創(chuàng)新能力,有良好的計劃和執(zhí)行能力。PaaS開發(fā)技術服務我司PaaS開發(fā)技術服務能力滿足如下要求:(1) 熟悉Kubernetes、Docker,有實際項目經(jīng)驗;(2) 熟悉Prometheus、Grafana等監(jiān)控工具;(3) 熟悉k8s-dashboard;(4) 掌握Golang開發(fā);(5) 了解微服務概念、有一定RESTAPI開發(fā)經(jīng)驗;(6) 了解DevOps、CICD。存儲高級開發(fā)技術服務我司存儲高級開發(fā)技術服務能力滿足如下要求:(1) 熟悉C/C++、Python、Shell,有Python全棧開發(fā);(2) 熟練掌握面向?qū)ο蟆⒍嗑€程、Linux下軟件開發(fā)調(diào)試技術;(3) 熟悉Ceph、GlusterFS或者其他分布式文件系統(tǒng)技術一種以上,有云存儲系統(tǒng)軟件開發(fā)經(jīng)驗;(4) 有內(nèi)核文件系統(tǒng)(XFS、EXT4)開發(fā)經(jīng)驗;(5) 具有豐富的前后端開發(fā)經(jīng)驗,掌握主流前端框架,熟悉MySQL、MongoDB等存儲組件的使用和基本原理;(6) 熟練使用Linux系統(tǒng),具備服務器維護經(jīng)驗和基本的工具/腳本編寫能力,能夠撰寫相關技術文檔。OpenStack研發(fā)服務我司OpenStack研發(fā)服務能力滿足如下要求:(1) 熟練掌握Python語言,了解OO常用設計模式;(2) 熟悉云計算相關技術、了解OpenStack相關技術。(3) 熟悉使用Openstack構(gòu)筑IAAS(4) 熟悉IAAS多租戶(5) 熟悉IAAS資源隔離方案質(zhì)量管理服務我司質(zhì)量管理服務能力滿足如下要求:(1) 熟悉通訊,IT,互聯(lián)網(wǎng)產(chǎn)品質(zhì)量管理相關要求;(2) 熟練運用質(zhì)量管理工具,如七大手法,5why,8D等。專業(yè)型備份與存儲管理服務我司備份與存儲管理服務能力滿足如下要求:(1) 熟練掌握C/C++語言,熟悉C#開發(fā)者優(yōu)先;(2) 熟悉Windows平臺下C/S模式開發(fā),熟悉WindowsAPI,熟練使用MFC等類庫,有Duilib或類似界面庫使用經(jīng)驗優(yōu)先;(3) 熟悉VisualStudio2010及以上版本IDE的開發(fā)和調(diào)試;(4) 熟練使用Linux、Unix、Windows等不同操作系統(tǒng);(5) 熟練掌握C、C++、Java、Python、Shell語言的開發(fā);(6) 熟悉各類存儲介質(zhì)的實現(xiàn)原理,熟練掌握各類存儲介質(zhì)的使用、問題定位、性能優(yōu)化等,包括但不限于物理帶庫、虛擬帶庫、磁盤、磁盤陣列、云存儲等;IT/數(shù)通技術服務我司IT/數(shù)通技術服務能力滿足如下要求:(1) 熟悉通訊設備開通,運維,檢測經(jīng)驗;(2) 具有相關專業(yè)證書,如CCNA、CCNP、CCIE為佳;(3) 熟悉OSI七層協(xié)議,能靈活的運用常見的路由交換技術、網(wǎng)絡安全技術;(4) 具有較全面的相關專業(yè)基礎理論知識和專業(yè)技術知識;(5) 具有良好的溝通和文字表達能力。視覺系統(tǒng)集成技術服務我司視覺系統(tǒng)集成技術服務能力滿足如下要求:(1) 熟悉計算機視覺技術和算法,如相機與校準,立體成像,探測與跟蹤,視覺測距,攝像測量,3D計算機視覺(3D重建,點云,3D幾何)等(2) 良好的C/C++和Python編程能力。熟悉操作系統(tǒng)編程,并發(fā)編程和軟件優(yōu)化(3) 具有計算機視覺和機器學習庫等方面的經(jīng)驗,如TensorFlow,OpenCV,ROS以及分布式消息架構(gòu)等優(yōu)先網(wǎng)絡管理系統(tǒng)研發(fā)技術服務我司網(wǎng)絡管理系統(tǒng)研發(fā)技術服務能力滿足如下要求:(1) 有IDC網(wǎng)絡管理系統(tǒng)、IDC機房管理系統(tǒng)、VR等相關研發(fā)工作經(jīng)驗者優(yōu)先;(2) 熟練掌握TWaver、百度地圖API的優(yōu)先;(3) 熟悉Drools,CEP等技術的優(yōu)先;(4) 熟悉NFV/SDN下一代網(wǎng)管開發(fā)的優(yōu)先。管理信息化系統(tǒng)研發(fā)技術服務我司管理信息化系統(tǒng)研發(fā)技術服務能力滿足如下要求:(1) 有工作流引擎、主數(shù)據(jù)管理等管信系統(tǒng)研發(fā)工作經(jīng)驗者優(yōu)先;(2) 有OA系統(tǒng)、人力資源、研發(fā)管理、審計類項目開發(fā)者優(yōu)先。PHP前/后端開發(fā)技術服務我司PHP前/后端開發(fā)技術服務能力滿足如下要求:(1) 精通PHP前/后端開發(fā),熟練使用至少一種MVC的PHP框架,能夠獨立編寫中等規(guī)模Web應用程序;(2) 熟悉Java/C/C++/Python/Perl中至一種開發(fā)語言優(yōu)先,有豐富的面向?qū)ο蟮拈_發(fā)經(jīng)驗,熟悉常見設計模式;(3) 精通MySQL系統(tǒng)結(jié)構(gòu),熟練掌握MySQL優(yōu)化,有大型數(shù)據(jù)量工作經(jīng)驗;(4) 有Unix/Linux環(huán)境下開發(fā)經(jīng)驗,有存儲運維管理產(chǎn)品研發(fā)經(jīng)驗;(5) 具有良好的專業(yè)意識,注重系統(tǒng)安全和性能;(6) 獨立發(fā)現(xiàn)問題解決問題的能力。邊緣計算研發(fā)技術服務我司邊緣計算研發(fā)技術服務能力滿足如下要求:(1) 熟悉Java開發(fā),有云管平臺開發(fā)經(jīng)驗優(yōu)先;(2) 有k8s,docker應用經(jīng)驗優(yōu)先;(3) 有RESTAPI開發(fā)經(jīng)驗,熟悉Linux;(4) 有SpringBoot框架項目開發(fā)經(jīng)驗者優(yōu)先。無線領域網(wǎng)絡技術服務我司無線領域網(wǎng)絡技術服務能力滿足如下要求:(1) 熟悉相關網(wǎng)絡技術(4G/5G/NB-IOT蜂窩網(wǎng)、網(wǎng)絡切片等)及架構(gòu);(2) 具備較強的無線測試、分析優(yōu)化、現(xiàn)場查勘、問題解決能力,具有較好的報告輸出能力;(3) 熟悉工業(yè)內(nèi)網(wǎng)相關技術(工業(yè)總線、近場通信技術、局域網(wǎng)技術、工業(yè)以太網(wǎng)等)及架構(gòu);或悉智慧交通相關關鍵技術(C-V2X、高精度定位等)及架構(gòu)。數(shù)通領域網(wǎng)絡技術服務數(shù)通領域網(wǎng)絡技術服務能力滿足如下要求:(1) 熟悉網(wǎng)絡基礎知識、了解OSI模型和TCP/IP協(xié)議;(2) 熟悉路由、交換協(xié)議;(3) 熟悉網(wǎng)絡安全產(chǎn)品,路由交換安全配置等;(4) 熟悉Linux系統(tǒng)維護;(5) 具有思科、華為等主流廠商數(shù)通資格認證;(6) 熟悉運營商網(wǎng)絡及架構(gòu);(7) 具備數(shù)通領域網(wǎng)絡規(guī)劃、產(chǎn)品集成/部署、調(diào)優(yōu)排錯能力,具備較強的現(xiàn)場問題解決能力。測試型通用測試服務我司通用測試服務能力滿足如下要求:(1) 熟練掌握Python或Java語言(2) 熟悉MySQL,Linux基本操作(3) 熟悉常用的自動化測試工具和Bug管理跟蹤軟件。例如:Seleniumwebdriver,LR,qc等;(4) 精通系統(tǒng)軟硬件測試用例的制定,并且能較好完成測試實施及報告(5) 熟悉軟硬件測試的方法以及測試流程管理、缺陷管理、自動化測試技術等知識;(6) 熟悉集成測試、性能測試、壓力測試、單元測試等測試技術無線網(wǎng)絡測試服務我司無線網(wǎng)絡測試服務能力滿足如下要求:(1) 熟悉相關網(wǎng)絡技術(4G/5G/NB-IOT蜂窩網(wǎng)、網(wǎng)絡切片等);(2) 具備較強的網(wǎng)絡和業(yè)務測試、分析能力,具有較好的報告輸出能力;(3) 熟練使用鼎力、惠捷朗、Probe等通信測試軟件和測試終端,及掃頻儀等測試儀表;數(shù)通領域測試服務我司數(shù)通領域測試服務能力滿足如下要求:(1) 熟悉網(wǎng)絡基礎知識、TCP/IP協(xié)議、路由和交換協(xié)議;(2) 熟悉網(wǎng)絡安全產(chǎn)品,路由交換安全配置等;(3) 熟悉Linux系統(tǒng);(4) 熟悉數(shù)通領域常用網(wǎng)絡測試工具,具備較強的報告輸出能力。項目人員管理我司針對本項目技術服務人員提供完善的管理規(guī)范,具體如下:基本要求我司技術服務人員管理滿足如下要求:遵守法紀,無不良行為記錄。身體健康,無影響正常工作的重大疾患。精通基礎辦公軟件的使用。工作積極主動、認真仔細、責任心強。誠實守信,能夠按照要求如實填寫實際工作進度結(jié)果,并詳細記錄和提交工作中發(fā)現(xiàn)的各類問題。表達清晰,能夠就開發(fā)中出現(xiàn)的問題與相關人員進行準確的溝通。服務等級分級標準我司遵循以下服務等級分級標準:1. 初級:正規(guī)全日制大學通信、計算機類、經(jīng)管類、運營類專業(yè)??埔陨蠈W歷,從事軟件研發(fā)工作1年以上。能夠理解并按照要求完成研發(fā)支撐類、設計工作,并能按時正確編寫提交相關文檔。2. 中級:正規(guī)全日制大學通信、計算機類、經(jīng)管類相關專業(yè)專科以上學歷,從事IT領域工作3年以上。精通軟件項目相關的開發(fā)、測試、實施流程和標準,能夠獨立編寫設計文檔,對工作過程中發(fā)現(xiàn)的問題能夠進行主動分析和提出解決方案。3. 高級:正規(guī)全日制大學通信計算機類專業(yè)本科以上學歷,從事IT領域工作5年以上,具備大型軟件項目過程管理、需求分析、系統(tǒng)設計、編碼、測試、實施全流程項目服務經(jīng)驗。在軟件研發(fā)領域具備豐富經(jīng)驗,能獨立判斷分析軟件問題。溝通能力佳,協(xié)調(diào)能力強,能勝任組織角色。能很好的理解項目需求,獨立制定項目計劃,并帶領團隊負責項目實施。外協(xié)人員級別的評定,按需由招標人組織的專家團隊進行評審,評審形式可以包含現(xiàn)場面試和資料推送中的一種或多種;評定結(jié)果經(jīng)雙方確認后執(zhí)行。外協(xié)人員的教育經(jīng)歷及工作經(jīng)歷為基礎條件。管理要求我司管理要求如下:1.嚴格保證給招標方提供的服務的穩(wěn)定性,如有服務人員變動,提前【1個月】提出申請和替換方案,經(jīng)招標方同意后方可調(diào)整。2.根據(jù)招標方提出的服務需求,在【5日】內(nèi)提供符合要求的服務方案。3.在技術服務人員進入招標方項目組前做好必要的入職培訓工作,對招標方的基本流程和管理要求進行培訓。同時招標方可以根據(jù)崗位要求增加相關的管理/技術類和實際操作培訓,培訓周期為【5個工作日】,培訓期間,不計付費用。4. 招標方定期對我司提供的服務進行考核,并就考核結(jié)果與投標人進行溝通,商討改進方案??己藘?nèi)容包括工作完成的數(shù)量和及時程度、工作完成的質(zhì)量、工作態(tài)度和積極性等。5. 對于我司提供的服務,如不符合招標方要求(月度考核未達到60分或工作能力確無法達到項目需求),招標方有權提出更換要求,我司在【5個工作日】內(nèi)提供合格的替換方案。6. 每月對服務執(zhí)行情況進行總結(jié),并與招標方商討改進方案。7. 服務人員違反招標方或招標方客戶的各項規(guī)章制度,給招標方造成損失或不良影響的,招標方有權立即清退該人員,并按相關規(guī)定對我司進行考核并追究投標人違約責任??己藰藴饰宜咀裱韵驴己藰藴剩赫袠朔桨醇径葘献鲉挝惶峁┑募夹g人員服務質(zhì)量進行評估,并以此為結(jié)算依據(jù)。合作單位人員的各項考核評分由該人員參與的技術團隊負責人進行評估打分。合作單位服務考核標準考核點權重考核內(nèi)容考核方法任務完成時效性20%正確理解工作任務,按計劃完成,按時提交工作報告。按時完成得該項滿分20分。如時效性不足則酌情扣分。任務完成質(zhì)量40%考核外協(xié)人員工作完成質(zhì)量。根據(jù)計劃高質(zhì)量完成分配任務:31-40分。根據(jù)計劃較高質(zhì)量完成分配任務:21-30分。根據(jù)計劃基本能按質(zhì)量完成分配任務:11-20分。根據(jù)計劃不能按質(zhì)量完成分配任務:0-10分。出勤率15%鼓勵外協(xié)人員全勤工作,統(tǒng)計每考核周期請假天數(shù)(除經(jīng)批準的因工作加班而調(diào)休除外)。全勤得該項得滿分15分。缺勤1天扣1分。責任感和積極性25%鼓勵外協(xié)人員具有較強的責任心和積極性有強烈的責任心,非常積極主動認真完成工作,配合非常好:21-25分。有較強的責任心,積極主動認真完成工作,配合良好:16-20分。有一定的責任心,能按需求配合完成工作:11-15分。工作較粗心,常應付了事,需要多次催促才能完成工作:0-10分。由直屬項目經(jīng)理按照考核指標對外協(xié)服務表現(xiàn)每季度進行評價,根據(jù)考核分數(shù)進行排名??己私Y(jié)果的處理方式為:1、連續(xù)兩次考核成績低于70分、高于60分,則按合同約定啟動外協(xié)供應商份額調(diào)整流程。2、考核成績低于60分,直接啟動外協(xié)供應商份額調(diào)整流程。3、合同期內(nèi)如有累計兩次考核低于60分,則進入供應商退出流程。合同份額調(diào)整流程的三種情形依據(jù)觸發(fā)份額調(diào)整月份績效評估結(jié)果進行份額調(diào)整如合作單位季度考核結(jié)果為高于或等于60分且低于70分(不含),降低已獲得原始框架合同上限金額的15%;如合作單位季度考核結(jié)果為低于60分(不含),降低已獲得原始框架合同上限金額的30%。季度考核扣減的合同上限金額(含解除合同釋放的金額),如果大于總框架金額的20%,對本部分金額進行重新招標,如小于總金額的20%,招標方將按照以下規(guī)則:份額調(diào)整至當次季度考核排名前兩名的合作單位,按照前兩名供應商當即評分按比例進行分配。合作單位無實質(zhì)響應進行份額調(diào)整合作單位在季度內(nèi)累計達到2次對外協(xié)服務需求無響應,我方可發(fā)起合作單位約談暨合同金額上限調(diào)整協(xié)商,并根據(jù)約談結(jié)果降低不低于合作單位原有金額上限的30%的份額,所降低的份額平均分至其他合作單位。合作單位無法履約或無法全部履約時進行份額調(diào)整合同履約過程中因部分中選人無法履約或無法全部履約時,招標方將按照以下規(guī)則:份額調(diào)整至當次季度考核排名前兩名的合作單位,按照前兩名供應商當即評分按比例進行分配。合作單位被扣減金額上限的,需保證該合作單位剩余金額上限足以支付其目前在崗人員截止到當次服務訂單結(jié)束時的費用。對于造假、欺瞞等違規(guī)行為,公司將進行通報,并對該合作單位考核周期內(nèi)績效評估分數(shù)按-2分/例扣減,如通報后仍有類似行為發(fā)生,將對相關合作單位按-5分/例扣減;當同一合作單位累計發(fā)生違規(guī)行為次數(shù)3例及以上,公司可終止與該合作單位的合作。項目管理流程項目流程瀑布模型迭代模型A迭代模型B項目啟動階段
需求分析階段需求規(guī)格階段
設計階段開發(fā)階段測試階段試運行階段驗收階段項目維護階段項目質(zhì)量控制流程我司具有專門的質(zhì)量管理(QA)工程師。立項階段編寫代碼審查計劃書:描述項目或產(chǎn)品在研制過程中進行代碼審查活動的時間與周期,明確項目開發(fā)負責人、代碼審查負責人;建立代碼審查缺陷庫:在項目或產(chǎn)品壓制開始前開發(fā)負責人呢按照部門代碼審查缺陷庫建立代碼審查缺陷庫,建立所有開發(fā)人員和審查人員的權限;確定編碼規(guī)范:開發(fā)負責人確定本項目或產(chǎn)品研制需遵循的編碼規(guī)范,并上傳至代碼審查缺陷庫中。開發(fā)階段提交代碼審查申請單:到達項目/產(chǎn)品代碼審查時間節(jié)點時,開發(fā)負責人確定代碼基線,提交代碼審查申請單給代碼審查負責人;代碼審查入品檢查:代碼審查負責人檢查代碼庫中的代碼基線是否滿足代碼審查條件,如不滿足,退回至開發(fā)負責人;實施代碼審查:審查負責人分配代碼審查任務給審查人員,審查人員利用工具或手動按照編碼規(guī)范與經(jīng)驗對代碼進行審查。輸出代碼審查報告:代碼審查完成后,審查負責人編寫代碼審查報告致開發(fā)負責人;代碼整改:《代碼審查報告》中如果存在不符合項,開發(fā)負責人按照不符合項分配代碼整改任務;整改完成后重復1—5過程;結(jié)項階段項目完成時,代碼審查負責人編寫《代碼審查總結(jié)報告》,并向部門作總結(jié)報告,幫助部門經(jīng)理整理該項目開發(fā)過程中出現(xiàn)的代碼質(zhì)量問題,其他項目組應以此為鑒,杜絕出現(xiàn)類似問題。
售后服務方案服務規(guī)范體系行為規(guī)范遵守用戶的各項規(guī)章制度,嚴格按照用戶相應的規(guī)章制度辦事。與用戶運行維護體系其他部門和環(huán)節(jié)協(xié)同工作,密切配合,共同開展技術支持工作。出現(xiàn)疑難技術、業(yè)務問題和重大緊急情況時,及時向負責人報告。現(xiàn)場技術支持時要精神飽滿,穿著得體,談吐文明,舉止莊重。接聽電話時要文明禮貌,語言清晰明了,語氣和善。遵守保密原則。對被支持單位的網(wǎng)絡、主機、系統(tǒng)軟件、應用軟件等的密碼、核心參數(shù)、業(yè)務數(shù)據(jù)等負有保密責任,不得隨意復制和傳播?,F(xiàn)場服務支持規(guī)范服務人員要做到耐心、細心、熱心的服務。工作要做到事事有記錄、事事有反饋、重大問題及時匯報。嚴格遵守工作作息時間,嚴格按照服務工作流程操作?,F(xiàn)場支持工程師應著裝整潔、言行禮貌大方,技術專業(yè),操作熟練、嚴謹、規(guī)范;現(xiàn)場支持時必須遵守用戶單位的相關規(guī)章制度?,F(xiàn)場支持工程師在進行現(xiàn)場支持工作時必須在保證數(shù)據(jù)和系統(tǒng)安全的前提下開展工作。現(xiàn)場支持時出現(xiàn)暫時無法解決的故障或其他新的故障時,應告知用戶并及時上報負責人,尋找其他解決途徑。故障解決后,現(xiàn)場支持工程師要詳細記錄問題的發(fā)生時間、地點、提出人和問題描述,并形成書面文檔,必要時應向用戶介紹故障出現(xiàn)的原因及預防方法和解決技巧。問題記錄規(guī)范根據(jù)使用人員提出問題的類別,將問題分為咨詢類問題和系統(tǒng)缺陷類問題二類:咨詢類問題是指通過服務熱線或現(xiàn)場解疑等方式能夠當場解決用戶提出的問題,具有問題解答直接、快速和實時的特點,該問題到現(xiàn)場支持人員處即可中止,對于該類問題的記錄可使用咨詢類問題記錄模版進行記錄。系統(tǒng)缺陷類問題是指使用人員提出的問題涉及到系統(tǒng)相應環(huán)節(jié)的確認修改,需要經(jīng)過逐級提交、診斷、確認、處理和回復等環(huán)節(jié),處理解決需要項目組的分析確認,問題有解決方案后,將解決方案反饋給用戶。具體提交流程如下:問題提交。應用信息系統(tǒng)的用戶發(fā)現(xiàn)屬于系統(tǒng)缺陷類的問題時,填寫系統(tǒng)缺陷類問題提交單,提交服務支持中心。問題分析。服務中心接到用戶提交的問題單,要組織相應人員對問題單中描述的問題進行分析研判,確定問題的類型(技術問題、業(yè)務問題或者操作問題)。屬于技術問題,提交服務中心技術人員對存在的問題提出具體的處理意見和建議;屬于業(yè)務問題,提交服務中心業(yè)務人員進行處理;屬于操作問題,可安排相關人員對問題提出人進行解釋,并將系統(tǒng)缺陷類問題提交單轉(zhuǎn)為系統(tǒng)咨詢類問題提交單。問題確認、解決。服務中心的技術人員和業(yè)務人員收到系統(tǒng)缺陷類問題提交單后,對提交的問題進行歸類匯總和分析、確認。可以解決的,明確問題解決的具體處理建議和措施,經(jīng)主管領導簽字同意后,交實施人員進行解決方案的實施。服務人員確認是否解決,并將解決方法附在系統(tǒng)缺陷類問題提交單上反饋給問題提出人員。問題上報。服務人員收到經(jīng)業(yè)務或技術人員確認的系統(tǒng)缺陷類問題提交單后,上報服務中心。問題回復。服務中心根據(jù)提交問題的進行分析,制定解決方案并進行實施的解決,同時做好變更記錄。將解決方案匯總后及時向問題提交單位或問題交辦單位作出回復,并將分析過程和問題產(chǎn)生原因一并提交。服務質(zhì)量保障措施質(zhì)量管理體系標準本項目實施應采用先進的質(zhì)量管理模式和科學的質(zhì)量管理體系和流程,并根據(jù)項目自身特點選用合適的質(zhì)量控制規(guī)程。采用ISO9001質(zhì)量標準和軟件成熟度模型(CMM)兩種控制規(guī)程。針對本項目,公司將采用ISO9001質(zhì)量體系標準,在項目實施的過程中嚴格執(zhí)行質(zhì)量標準。質(zhì)量控制過程本項目中,由項目經(jīng)理制訂質(zhì)量控制計劃,項目質(zhì)量控制組進行審核。審核方面包括:質(zhì)量控制措施是否足夠、各個成員的質(zhì)量責任是否明確合理,測試方法是否適用。質(zhì)量評定計劃為了加強項目質(zhì)量管理和界定產(chǎn)品質(zhì)量標準,本公司將制訂適應于項目的檢查驗收規(guī)定和質(zhì)量評定標準,確保工程質(zhì)量。本項目中,應實行兩級檢查、兩級驗收制度。一級檢查、二級檢查和一級驗收由本公司實施小組組織完成;二級驗收由用戶組織實施。各級檢查驗收嚴格按項目實施中制訂的相應的檢查驗收規(guī)定和質(zhì)量評定標準執(zhí)行。對實施和驗收過程中出現(xiàn)的重大技術問題,將上報用戶協(xié)調(diào)處理,對一般質(zhì)量問題的處理應予以書面記錄。質(zhì)量管理措施在項目實施過程中還將采取如下措施保障項目實施質(zhì)量:(1)在項目實施前后對網(wǎng)絡性能進行評估。(2)在系統(tǒng)部署完成后要在實際環(huán)境中進行網(wǎng)絡連通性測試、安全策略驗證和應用系統(tǒng)測試。(3)配合應用系統(tǒng)做好壓力測試,根據(jù)壓力測試結(jié)果調(diào)整系統(tǒng)配置。(4)項目實施后要進行一定時間的試運行,在試運行期間要重點監(jiān)控網(wǎng)絡環(huán)境的運行情況、安全策略的驗證和業(yè)務應用系統(tǒng)運行情況,若出現(xiàn)的問題要及時查找原因并加以修正。(5)在試點實施過程中驗證方案的可行性和正確性。質(zhì)量控制措施對客戶負責,為客戶提供高質(zhì)量的咨詢服務是我們的企業(yè)理念。作為全球性的管理和技術咨詢公司,我們通過完善的質(zhì)量管理的方法貫徹質(zhì)量管理原則,包括:質(zhì)量管理理念:業(yè)務集成方法論中獨有的ExPECT原則;質(zhì)量控制手段:客戶質(zhì)量管理評估CQMA流程。ExPECT模型確定了質(zhì)量管理中的五個關鍵部分:期望、計劃、執(zhí)行、檢驗和修改。圖質(zhì)量管理理念質(zhì)量計劃我們將質(zhì)量視為整個項目計劃的一部分。項目計劃書中的質(zhì)量計劃部分明確了關鍵過程和最終結(jié)果的評估程序和衡量標準。質(zhì)量計劃和客戶要求的質(zhì)量相一致,以確保項目達到客戶在功能、績效和質(zhì)量等各方面要求。我們的質(zhì)量保障包括以下幾個方面:(1) 項目質(zhì)量管理評估:在項目進行過程中,定期評估項目進程、客戶期望、質(zhì)量問題和風險等;(2) 資料管理和變革控制:界定所有與質(zhì)量控制有關的資料和軟件數(shù)據(jù)的管理要求,包括各項計劃、過程、表單和標準等等;(3) 確定流程(如開發(fā)流程、監(jiān)控流程,評估流程和人員安排流程)的執(zhí)行過程;(4) 項目質(zhì)量績效標準:包括目的、衡量方法和匯報方式。計劃執(zhí)行"執(zhí)行"是將質(zhì)量控制計劃作為整個客戶服務計劃的一部分貫徹執(zhí)行。這一部分的主要任務是開展一系列的質(zhì)量保障活動,包括:基于V模型的確認、認證和測試,以及收集質(zhì)量指標的方法。這些活動促使項目管理團隊在整個實施過程中不斷的對項目進度進行評估,以確保達到質(zhì)量目標。質(zhì)量檢驗在"檢驗"階段,發(fā)現(xiàn)在設計、建立和測試各個階段中出現(xiàn)的錯誤。項目組將使用在"執(zhí)行"過程中收集的信息分析預期目標和實際結(jié)果的差距。還可以通過定期的客戶質(zhì)量管理分析(CQMA),由相關領域的專家進行外部質(zhì)量監(jiān)控,幫助項目工作與客戶的期望、團隊目標相匹配。計劃修改"修改"主要指確定和實施項目的有關修改計劃。運用質(zhì)量管理方法分析關鍵問題,發(fā)現(xiàn)并縮小目標和現(xiàn)實結(jié)果之間的差距。通過基于ExPECT模型上的質(zhì)量控制過程,為項目提供目標、方法和將質(zhì)量標準和項目管理相融合的過程。原則是:(1) 清楚界定業(yè)務目標和期望;(2) 充分利用高效、有力的流程和標準;(3) 建立適當?shù)馁|(zhì)量保障方法;(4) 不斷進步。為了提供高質(zhì)量的服務,每個項目團隊都針對客戶的特殊需求定制方法和程序,使其適應不同客戶的不同需求。
服務管理保障措施整體項目管理項目管理是管理復雜性、變更、風險以及業(yè)務收益的一個架構(gòu)。項目管理必須:符合公司的整體目標和戰(zhàn)略為每個結(jié)果分配所有者和責任人保持業(yè)務和技術關鍵點的平衡利用跨業(yè)務線條、跨部門的團隊來使項目更完整包含內(nèi)部獨立的項目,這些項目有各自的目標,但又與項目群的總體目標密切相關。項目管理辦公室我們提供了成熟而完備的項目管理方案,包括成立項目管理辦公室PMO,對項目過程實施多維度的管理,使各項目組能夠基于總體目標果。項目管理辦公室示例項目管理的日常功能是通過項目管理辦公室(PMO)執(zhí)行的,其主要特點包括:功能的中心在于管理整個項目的總體狀況和進展,并進行有效溝通;作為組織內(nèi)的獨立部門進行運作,由專業(yè)而具有敬業(yè)精神的人員構(gòu)成;規(guī)范和管理用于核心管理功能的流程和工具,如:時間跟蹤、進展情況報告、績效評價、問題和風險管理等。我們的研究表明,有效的項目管理辦公室(PMO)具有以下重要特征:作為一個獨立的、專注的功能進行支撐和運作,集中管理項目涉及的所有任務;對項目進行有預見性的規(guī)劃;確定和管理任務之間的關聯(lián)關系以使延誤和出現(xiàn)問題的可能性減到最小,并在其
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 房地產(chǎn)定向開發(fā)合同
- 杭州房屋買賣合同原件
- 食堂肉類采購合同
- 房屋居間委托合同
- 挖掘機產(chǎn)品銷售合同
- 辦公用品采購與供應服務合同書
- 貨物運輸合同進口
- 1《我們愛整潔》( 教學設計)2023-2024學年統(tǒng)編版道德與法治一年級下冊
- 山西師范大學《家具設計與制作》2023-2024學年第二學期期末試卷
- 嘉興南湖學院《道路交通系統(tǒng)分析》2023-2024學年第二學期期末試卷
- 2024年公安部直屬事業(yè)單位招聘筆試真題
- 民政局2025年度離婚協(xié)議書官方模板4篇
- 上海市2024-2025學年高一上學期期末考試數(shù)學試題(含答案)
- 2024-2025學年五年級數(shù)學上冊名校真題 期末考試綜合檢測卷
- 2025年市青年企業(yè)家商會工作計劃
- DGTJ 08-2176-2024 瀝青路面預防養(yǎng)護技術標準(正式版含條文說明)
- 2023年湖南長沙自貿(mào)投資發(fā)展集團有限公司招聘筆試真題
- 《電子技能與實訓》課件
- 基礎攝影培訓
- 高一政治學科期末考試質(zhì)量分析報告(7篇)
- 《面試官培訓》課件
評論
0/150
提交評論