(大數(shù)據(jù)資料)合貴陽市政府數(shù)據(jù)資源開放平臺v1.0_第1頁
(大數(shù)據(jù)資料)合貴陽市政府數(shù)據(jù)資源開放平臺v1.0_第2頁
(大數(shù)據(jù)資料)合貴陽市政府數(shù)據(jù)資源開放平臺v1.0_第3頁
(大數(shù)據(jù)資料)合貴陽市政府數(shù)據(jù)資源開放平臺v1.0_第4頁
(大數(shù)據(jù)資料)合貴陽市政府數(shù)據(jù)資源開放平臺v1.0_第5頁
已閱讀5頁,還剩237頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

(大數(shù)據(jù)資料)[合]貴陽市政府數(shù)據(jù)資源開放平臺v1.0(大數(shù)據(jù)資料)[合]貴陽市政府數(shù)據(jù)資源開放平臺v1.0(大數(shù)據(jù)資料)[合]貴陽市政府數(shù)據(jù)資源開放平臺v1.0貴陽市政府數(shù)據(jù)資源開放平臺實施方案建設單位: 貴陽市信息產業(yè)發(fā)展中心編制單位: 貴州省郵電規(guī)劃設計院有限公司二零一六年十一月貴陽市政府數(shù)據(jù)資源開放平臺實施方案 編制負責人:顧崇慰建設單位: 貴陽市信息產業(yè)發(fā)展中心編制單位: 貴州省郵電規(guī)劃設計院有限公司二零一六年十一月

需求分析和項目建設的必要性數(shù)據(jù)開放相關問題和目標分析主要問題一、缺乏數(shù)據(jù)資源開放的標準和機制我市電子政務經(jīng)過幾十年的發(fā)展,自上而下逐級推進,自建、自用和自成體系的電子政務建設模式明顯,各部門自成體系,標準不一、缺乏有效整合,形成了一個個“數(shù)據(jù)孤島”,致使豐富的數(shù)據(jù)資源難以得到共享,數(shù)據(jù)的收集、加工、存儲、利用的規(guī)范性差,政府數(shù)據(jù)資源開放缺乏統(tǒng)一的標準和機制,數(shù)據(jù)資源管理有待提高。二、數(shù)據(jù)的采集、加工能力薄弱一些政府部門缺少技術力量,采集數(shù)據(jù)能力薄弱,有些部門自己都沒有數(shù)據(jù)清單,不清楚自己手上到底有什么數(shù)據(jù)資源。另外,由于數(shù)據(jù)加工手段的缺乏,數(shù)據(jù)資源往往存在不準確不及時或不全面,數(shù)據(jù)質量缺少控制。政府數(shù)據(jù)具有分布廣、格式多樣、非結構化等大數(shù)據(jù)的典型特點,目前缺乏專業(yè)團隊針對性地對政府數(shù)據(jù)進行采集、加工。三、數(shù)據(jù)資源使用效率不高數(shù)據(jù)資源開放存在著數(shù)據(jù)資源不清楚、數(shù)據(jù)資源量不足、信息更新不及時、交互性差等問題。各級政府部門掌握大量的政府信息數(shù)據(jù)庫,這些庫分別屬于不同部門。由于缺乏數(shù)據(jù)資源的梳理和協(xié)調,普遍存在數(shù)據(jù)資源量不足、數(shù)據(jù)內容更新不及時、網(wǎng)絡平臺交互性差,政府信息資源交流不暢,數(shù)據(jù)資源利用率低造成社會資源極大浪費。目標分析政府作為最大的公共數(shù)據(jù)擁有者,除了自身要充分利用、共享數(shù)據(jù)資源外,更有責任和義務通過數(shù)據(jù)資源的開放,增強政府行政的透明度,提升社會治理能力,通過推動整個社會對政府數(shù)據(jù)的開發(fā)利用,以助推產業(yè)升級和經(jīng)濟轉型,主動把握和應對大數(shù)據(jù)時代所帶來的機遇和挑戰(zhàn)。一、通過政務數(shù)據(jù)資源目錄體系和數(shù)據(jù)質量管控機制為政府數(shù)據(jù)開放利用準備優(yōu)質數(shù)據(jù)資源打通部門間數(shù)據(jù)壁壘,促進部門數(shù)據(jù)流通利用,扭轉數(shù)據(jù)重復采集引起的部門數(shù)據(jù)“打架”被動局面,避免開放數(shù)據(jù)質量不佳影響社會創(chuàng)新和政府公信力。通過推進市政府部門政務數(shù)據(jù)資源目錄體系梳理,整合現(xiàn)有各類跨部門數(shù)據(jù)交換體系,建立跨部門數(shù)據(jù)采集、共享校核機制和比對、清洗機制,實現(xiàn)數(shù)據(jù)資源共享管理,促進各部門可開放的數(shù)據(jù)資源普遍共享,確保數(shù)據(jù)生命力。二、實現(xiàn)政府數(shù)據(jù)統(tǒng)一平臺集中開放基于“云上貴州貴陽平臺”負責匯集、儲存、共享、開放全市公共數(shù)據(jù),政府數(shù)據(jù)開放平臺通過與政府內部的數(shù)據(jù)資源管理系統(tǒng)對接,從中直接選擇數(shù)據(jù)對外提供數(shù)據(jù)開放服務。不斷做實政府數(shù)據(jù)資源目錄,整合部門共享清單和需求清單,設置信息共享權限。不是簡單的照搬信息公開方式開放數(shù)據(jù),而是在數(shù)據(jù)資源目錄的基礎上建立政府數(shù)據(jù)開放門戶網(wǎng)站,真正做到開放的數(shù)據(jù)經(jīng)常更新、開放的數(shù)據(jù)切實可以進行加工利用。將政務數(shù)據(jù)資源目錄的匯集、共享和對外開放融為一體,對內管理數(shù)據(jù),對外開放數(shù)據(jù)。數(shù)據(jù)開放平臺基于數(shù)據(jù)資源目錄建設,各部門預先設置本部門數(shù)據(jù)資源目錄中數(shù)據(jù)集的“開放”等級,數(shù)據(jù)開放平臺直接讀取位于“開放”等級的數(shù)據(jù)并向社會公眾提供下載。三、以大數(shù)據(jù)應用帶動政務數(shù)據(jù)匯集和開放為社會提供開放共享、安全可控的政務數(shù)據(jù)資源,推動各級行政機關和依法行使行政職能的機構,共享和開放在履行職能過程中產生、獲取的數(shù)據(jù)資源,促進政務數(shù)據(jù)資源科學配置和有效利用。通過社會參與推進大數(shù)據(jù)應用發(fā)展,滿足社會需求,充分發(fā)揮出大數(shù)據(jù)的經(jīng)濟效益和社會效益,借此帶動政務數(shù)據(jù)匯集和開放。實現(xiàn)對各類政務數(shù)據(jù)的共享整合和開發(fā)應用。以前期倒逼、后期需求為導向,形成貴陽市政務數(shù)據(jù)資源開放的順向機制。業(yè)務功能和業(yè)務流程分析近年來,貴陽市信息化建設特別是政務信息化建設取得了很大進展,為經(jīng)濟、文化建設和行政體制改革提供了有力的支持,成效顯著。但是隨著轉型跨越與經(jīng)濟調整的壓力到來,這就需要對貴陽現(xiàn)有信息化建設進行提高和完善。建設大數(shù)據(jù)開放平臺,有效整合信息資源,讓城市管理者和社會各界能夠在任何時候都可以獲取貴陽的相關信息和數(shù)據(jù),可有效提升社會生產力。其主要表現(xiàn)于:面向政府:促進跨部門業(yè)務協(xié)同、輔助政府科學決策,提升政府行政效能,助力服務型效能政府轉型。面向產業(yè):促進城市產業(yè)轉型升級,將會帶動一大批具有廣闊市場前景,資源消耗低,產業(yè)帶動大,就業(yè)機會多,綜合效益好的產業(yè)發(fā)展,助力城市產業(yè)實現(xiàn)生產方式、經(jīng)營模式及運營方式的轉變,實現(xiàn)可持續(xù)發(fā)展。面向民生:以人為本,通過信息化手段提供智慧型化、人性化城市服務,市民在工作、生活中可獲得一站式、互動式、高效率的信息服務;引導公共信息資源的社會化開發(fā)利用,豐富信息消費內容,提升信息服務水平,最終實現(xiàn)公共服務均等化;引導創(chuàng)新應用,提升市民信息化生活品質,打造高效、便捷、和諧生活。數(shù)據(jù)資源開放規(guī)劃一、開放數(shù)據(jù)規(guī)劃制定開放數(shù)據(jù)辦法,包括數(shù)據(jù)開放的原則、數(shù)據(jù)開放的工作步驟、梳理數(shù)據(jù)開放目錄的方法、梳理數(shù)據(jù)集的方法、加工處理數(shù)據(jù)的方法、發(fā)布數(shù)據(jù)集的方法、數(shù)據(jù)更新和維護的方法、數(shù)據(jù)利用以及日常運維的方法等方面工作內容。二、制定數(shù)據(jù)開放目錄對可開放數(shù)據(jù)的進行梳理,形成數(shù)據(jù)開放目錄。通過對各政府部門的部門職責、機構設置、業(yè)務范圍、信息化建設等各方面的梳理分析,改變過去要什么梳理什么的方式,按照有什么梳理什么的原則梳理出各部門可開放的管理數(shù)據(jù)、服務數(shù)據(jù)、監(jiān)管數(shù)據(jù)等全方位、全生命周期的數(shù)據(jù)目錄,最后組合各部門的開放數(shù)據(jù)梳理成果,形成全市數(shù)據(jù)開放目錄。三、開放數(shù)據(jù)集的篩選在數(shù)據(jù)開放目錄的基礎上,篩選出政府各部門可以開放的數(shù)據(jù)集,并收集每個開放數(shù)據(jù)集的元數(shù)據(jù)信息,形成初始的開放數(shù)據(jù)集目錄匯總表。四、依托大數(shù)據(jù)基礎信息平臺進行數(shù)據(jù)的加工和清洗對選定的開放數(shù)據(jù)集中的結構化數(shù)據(jù)和非結構化數(shù)據(jù)進行加工,對數(shù)據(jù)按照提供單位、數(shù)據(jù)主題分類和數(shù)據(jù)加工程度等不同維度進行分類和打標簽。五、開放數(shù)據(jù)的脫敏建立和完善相關政府與公用事業(yè)數(shù)據(jù)資源中的安全、隱私保護的風險監(jiān)控點,形成隱私檢查表,按照隱私保護規(guī)則對數(shù)據(jù)進行脫敏。六、數(shù)據(jù)的發(fā)布、更新及維護數(shù)據(jù)經(jīng)過采集與加工后,按照建立好的數(shù)據(jù)目錄,發(fā)布到數(shù)據(jù)開放平臺中進行統(tǒng)一開放。數(shù)據(jù)接入和更新過程中,建立數(shù)據(jù)上線檢查測試的機制,通過檢查數(shù)據(jù)結構、格式確認數(shù)據(jù)的開放形式(API或下載瀏覽),從而保證開放數(shù)據(jù)的質量。數(shù)據(jù)開放功能分析一、實現(xiàn)政務數(shù)據(jù)資源順暢開放數(shù)據(jù)資源的開放是提升政府工作效率和工作質量的主要手段。要遵循一定的原則、規(guī)范、標準,實現(xiàn)各政務部門和公共服務單位的政務數(shù)據(jù)資源的有序開放,包括各政務部門業(yè)務統(tǒng)計數(shù)據(jù),對這些開放信息資源進行整合,使得數(shù)據(jù)資產化,消除信息孤島。由于政府各部門信息化水平不一,待開放共享數(shù)據(jù)有些實現(xiàn)了信息化,有些還沒有信息化;已經(jīng)實現(xiàn)信息化的數(shù)據(jù)由于采用不同類型的數(shù)據(jù)存儲方式,數(shù)據(jù)格式不統(tǒng)一;不同部門的網(wǎng)絡情況、數(shù)據(jù)采集范圍、數(shù)據(jù)質量、數(shù)據(jù)標準、數(shù)據(jù)安全要求也有很大差異。因此需要建設統(tǒng)一的數(shù)據(jù)開放平臺解決上述問題。二、推動數(shù)據(jù)資源統(tǒng)籌管理數(shù)據(jù)資源統(tǒng)籌管理是提高政府決策科學化的前提。對于各政務部門都需要的基礎信息,以及一些跨部門的主題應用信息,政府需要通過數(shù)據(jù)開放平臺整合各部門相關信息資源,形成政務信息資源基礎信息庫和主題數(shù)據(jù)庫,為各級各部門提供標準統(tǒng)一、具有權威性和高可用性的數(shù)據(jù),以便各部門和自身業(yè)務數(shù)據(jù)結合深入開展政務信息資源開發(fā)利用,提高科學決策水平和工作效率。三、促進數(shù)據(jù)資源深度開發(fā)利用數(shù)據(jù)的價值在于有效利用,信息資源只有開發(fā)利用起來,用于支撐科學決策、跨部門業(yè)務協(xié)同、公共服務,才能體現(xiàn)價值。信息資源的開發(fā)利用能夠促進社會創(chuàng)新。通過對公共數(shù)據(jù)的深度挖掘分析,發(fā)現(xiàn)數(shù)據(jù)價值,驅動創(chuàng)新應用。數(shù)據(jù)資源目錄梳理總體過程總體過程分為三個階段:調研準備階段、調研實施階段、質量評估階段。調研準備階段指調研項目啟動后,到開始在每一個部門調研之前,包括明確調研目標、確定調研范圍和范圍、確定調研團隊、制定調研計劃、業(yè)務預研(熟悉調研部門業(yè)務)、資料準備和溝通腳本準備等環(huán)節(jié)。調研實施階段調研對接、培訓、調研表格發(fā)放、現(xiàn)場調研、調研整理等環(huán)節(jié)。質量評估階段指對某單位或部門調研輸出物全部輸出后,按照制訂的評估指標進行評分,以評定相關部門的成果和配合度,同時還提供評估反饋與改進過程,以優(yōu)化評估結果。信息量分析與預測本次項目涉及貴陽市政府28個委辦局,111個信息化系統(tǒng),1462個數(shù)據(jù)集,12899個數(shù)據(jù)項,1736個信息編碼(估算值)。本次項目的難點體現(xiàn)在以下幾個方面:一、基礎數(shù)據(jù)的匯總與整理工作。為了借鑒國內先進地市的數(shù)據(jù)資源目錄編制工作的經(jīng)驗,并結合貴陽市政府各委辦局的數(shù)據(jù)資源現(xiàn)狀,需匯總并整理國內5個先進地市的數(shù)據(jù)資源目錄,形成我們可以提供給委辦局的數(shù)據(jù)資源目錄范本。這5個先進地市的數(shù)據(jù)資源目錄的匯總與整理,總共需整理150個政府部門,600多個信息化系統(tǒng),8000多個數(shù)據(jù)集。預計工作量需240人天。二、業(yè)務數(shù)據(jù)資源目錄的梳理工作。本次項目涉及28個委辦局,即28個具有行業(yè)特性的部門。各行業(yè)業(yè)務數(shù)據(jù)資源差異大、業(yè)務邏輯復雜,存在著很強的業(yè)務理解壁壘。更為重要的是,各委辦局存在著很大的思想意識障礙,“不愿共享”是當前數(shù)據(jù)資源開放平臺推進工作中最大的困難點。為了梳理28個部門的業(yè)務邏輯,需反復與各部門業(yè)務主管人員持續(xù)、反復溝通,形成共識。通過國內其他地市的經(jīng)驗來看,單個部門業(yè)務邏輯梳理需200人天,28個部門總計需5600人天。三、數(shù)據(jù)資源開放規(guī)則的制定工作。本次項目涉及28個委辦局,111個信息化系統(tǒng),需統(tǒng)計的數(shù)據(jù)集約1462個,數(shù)據(jù)項約12899個,即至少需要梳理1462張信息表,具體內容包括編碼、信息項名稱、共享類型、管理方式、提供方式、備注等,還需設計12899個數(shù)據(jù)元目錄表,并賦予每張表相應的編碼。本項工作1個人天預計完成30張表,28個部門共計需400人天。系統(tǒng)功能和性能需求分析業(yè)務需求數(shù)據(jù)開放門戶業(yè)務需求貴陽市政府數(shù)據(jù)開放平臺需求在互聯(lián)網(wǎng)上構建數(shù)據(jù)開放門戶網(wǎng)站,該門戶網(wǎng)站將政府開放數(shù)據(jù)向社會上的企業(yè)和公眾免費開放;公眾可以按數(shù)據(jù)主題、按政府部門、按數(shù)據(jù)類型等多維度對開放數(shù)據(jù)進行訪問,門戶應該提供多組合條件的數(shù)據(jù)檢索服務;提供數(shù)據(jù)指數(shù)可以對各類數(shù)據(jù)的開放程度、數(shù)據(jù)總量、增長趨勢、熱度、最新數(shù)據(jù)等進行直觀展現(xiàn);門戶應該提供應用商店,方便公眾基于政府數(shù)據(jù)開發(fā)的應用APP能夠有一個展示的平臺;門戶應該提供互動交流功能方便公眾有效溝通交流,提供數(shù)據(jù)需求和意見建議。數(shù)據(jù)開放管理需求數(shù)據(jù)開放管理需要提供運維管理和數(shù)據(jù)開放管理兩大功能。通過運維管理,可以進行平臺參數(shù)的配置、工作流定義、權限控制,也可以平臺中用戶、開發(fā)者、數(shù)據(jù)集、接口、訪問日志等進行統(tǒng)計分析。通過數(shù)據(jù)管理提供從建立數(shù)據(jù)開放目錄、開放數(shù)據(jù)入庫、加工處理、維護、發(fā)布、歸檔等數(shù)據(jù)的全生命周期的管理功能;提供數(shù)據(jù)開放平臺的技術支撐體系,保證平臺的健康運營,以提高平臺的穩(wěn)定性、易用性和交互性體驗,提升平臺承載能力,包括工作流服務、搜索引擎、智能推薦引擎、大數(shù)據(jù)存儲以及分布式計算等支撐體系。數(shù)據(jù)開放目錄需求數(shù)據(jù)開放目錄需要基于貴陽市共享交換目錄管理作為后臺的支撐,通過目錄管理系統(tǒng)梳理數(shù)據(jù)開放目錄機器開放數(shù)據(jù)指標。支撐互聯(lián)網(wǎng)門戶系統(tǒng)的數(shù)據(jù)開放服務目錄分類及展示。提供資源目錄查詢、目錄檢索服務等功能。數(shù)據(jù)脫敏需求數(shù)據(jù)脫敏要求從原始數(shù)據(jù)向開放數(shù)據(jù)庫敏感數(shù)據(jù)交換的過程中,通過一定方法消除原始環(huán)境數(shù)據(jù)中的敏感信息,并保留目標環(huán)境業(yè)務所需的數(shù)據(jù)特征或內容。數(shù)據(jù)脫敏要求不僅要確保敏感信息被去除,還需求保障還需要盡可能的平衡脫敏所花費的代價、使用方的業(yè)務需求等多個因素。因此,為了確保數(shù)據(jù)脫敏的過程、代價可控,得到的結果正確且滿足業(yè)務需要設計合理數(shù)據(jù)脫敏策略和規(guī)則。功能需求數(shù)據(jù)開放門戶功能需求數(shù)據(jù)開放門戶要有良好界面體驗,提供多種訪問渠道,包括電腦瀏覽器和移動版門戶以及微信公眾號等,提供豐富的圖文界面。以圖文并茂的方式分類展示數(shù)據(jù)開放信息。提供按主題、按機構的方式進行數(shù)據(jù)服務的分類展現(xiàn)。提供數(shù)據(jù)開放圖譜,展現(xiàn)開放數(shù)據(jù)的關聯(lián)關系。所以都數(shù)據(jù)集合開放服務都提供詳細用戶操作指南。提供數(shù)據(jù)預覽和接口測試功能。公眾通過門戶獲取開放數(shù)據(jù)要求系統(tǒng)提供數(shù)據(jù)能力指標信息。展現(xiàn)數(shù)據(jù)來源數(shù)據(jù)貢獻單位數(shù)據(jù)總量和目錄;數(shù)據(jù)動態(tài)--熱門數(shù)據(jù)最新數(shù)據(jù)使用量最多數(shù)據(jù)排名,提供數(shù)據(jù)分類導航,數(shù)據(jù)推薦,數(shù)據(jù)檢索,數(shù)據(jù)排序(瀏覽次數(shù)、下載次數(shù)、評論次數(shù),評分情況。公眾對數(shù)據(jù)獲取需要降低數(shù)據(jù)獲取障礙,提升數(shù)據(jù)開放使用率。不注冊能獲取那些數(shù)據(jù),注冊登陸用戶獲取數(shù)據(jù)要優(yōu)化登陸體驗,簡化登錄環(huán)節(jié)簡單,增加用戶粘性。每個開放數(shù)據(jù)有位于URI,便于傳播分享。提供數(shù)據(jù)集預覽;數(shù)據(jù)指標信息預覽;提供數(shù)據(jù)文檔指導數(shù)據(jù)下載和被應用機讀。開放數(shù)據(jù)API服務應該提供數(shù)據(jù)測試功能。數(shù)據(jù)應用,應該提供數(shù)據(jù)應用頻道,供開發(fā)者提交APP應用,提供應用免費下載和評論功能;展現(xiàn)開發(fā)者信息。互動交流,每個數(shù)據(jù)集或者服務API都應該提供評論、評價和評分功能。數(shù)據(jù)開放支持通過分享鏈接在互聯(lián)網(wǎng)平臺上(微信、微博、朋友圈、QQ)傳播。門戶提供意見和建議系統(tǒng),公共評論功能不需要注冊,提供數(shù)據(jù)需求在線申請(給讓用戶提交關心的數(shù)據(jù))反向推動數(shù)據(jù)開放。提供問卷調查。 設置網(wǎng)站動態(tài)板塊,定期發(fā)布系統(tǒng)運行進展、組織的活動、宣傳、領導關懷、熱點應用事件等。 數(shù)據(jù)授權1) 數(shù)據(jù)授權協(xié)議條款不能模糊2) 不限制數(shù)據(jù)自由分享傳播3) 數(shù)據(jù)免費性(是否加入收費)4) 明確保障數(shù)據(jù)的自由增值利用權利5) 明確保障數(shù)據(jù)的自由分享傳播權利2.3.2.數(shù)據(jù)開放管理功能需求建立數(shù)據(jù)開放管理子系統(tǒng),提供平臺運營管理和數(shù)據(jù)管理兩大功能。通過運營管理,可以進行平臺參數(shù)的配置、工作流定義、權限控制,也可以平臺中用戶、開發(fā)者、數(shù)據(jù)集、接口、訪問日志等進行統(tǒng)計分析。數(shù)據(jù)管理模塊提供從建立數(shù)據(jù)目錄、數(shù)據(jù)入庫、加工處理、維護、發(fā)布、歸檔等數(shù)據(jù)的全生命周期的管理功能;二是建立數(shù)據(jù)開放平臺的技術支撐體系,保證平臺的健康運營,以提高平臺的穩(wěn)定性、易用性和交互性體驗,提升平臺承載能力,包括工作流服務、搜索引擎、智能推薦引擎、大數(shù)據(jù)存儲以及分布式計算等支撐體系。數(shù)據(jù)開放目錄功能需求數(shù)據(jù)開放目錄包括開放數(shù)據(jù)目錄、開放服務目錄五類目錄。開放數(shù)據(jù)目錄、開放服務目錄則從數(shù)據(jù)及服務兩個方面面向社會大眾提供。數(shù)據(jù)目錄主要針對的是數(shù)據(jù),提供數(shù)據(jù)資源目錄服務,以便發(fā)現(xiàn)和定位信息資源數(shù)據(jù)資源;數(shù)據(jù)服務目錄主要針對的對象是數(shù)據(jù)服務資源,提供服務地址等目錄信息,以便發(fā)現(xiàn)和定位數(shù)據(jù)服務。數(shù)據(jù)開放目錄的建設從開放數(shù)據(jù)的提供者梳理數(shù)據(jù)開始,到數(shù)據(jù)的使用者查詢、使用、需要經(jīng)為歷六個環(huán)節(jié):規(guī)則、編目、注冊、發(fā)布、查詢、維護。針對六個環(huán)節(jié)分別提供相應的功能。數(shù)據(jù)脫敏需求為保障數(shù)據(jù)安全,避免數(shù)據(jù)安全事故的發(fā)生,數(shù)據(jù)開放過程必須采用脫敏加密技術進行嚴格處理。數(shù)據(jù)脫敏主要分為兩種:動態(tài)脫敏和靜態(tài)脫敏。動態(tài)數(shù)據(jù)脫敏,即根據(jù)不同的應用需求,對數(shù)據(jù)中的敏感信息進行不同的界定,通過制定相應的脫敏規(guī)則對那些被界定為敏感信息的數(shù)據(jù)進行屏蔽。靜態(tài)數(shù)據(jù)脫敏也叫“持久性數(shù)據(jù)脫敏”,即對數(shù)據(jù)中的常規(guī)敏感信息在數(shù)據(jù)源處就進行替換、覆蓋或隱藏等脫敏處理。實施單位必須制定嚴格的隱私保護策略和脫敏規(guī)則,根據(jù)信息資源的保密級別進行相應脫敏加密操作。如直接使用密文、數(shù)據(jù)模糊泛化處理等。項目建設的必要性開放數(shù)據(jù)是未來電子政務發(fā)展的必要條件,開放政府是未來政府勝任角色挑戰(zhàn)的必然選擇。開放數(shù)據(jù)已是世界改革創(chuàng)新的發(fā)展趨勢,加快貴陽市政府開放數(shù)據(jù)的步伐,確保政府數(shù)據(jù)開放透明,克服數(shù)據(jù)技術壁壘,促進貴陽市信息技術基礎設施建設,推動大數(shù)據(jù)價值在貴陽實現(xiàn)。也有利于節(jié)約政府信息服務成本,提高政府工作效率,擴大政府信息服務范圍,提高政府公眾影響力,支持信息內容產業(yè)的發(fā)展,促進信息增值。一、利于構建服務型政府,推動政府透明化通過數(shù)據(jù)開放使信息資源在政府與公眾之間重新優(yōu)化分配,改變過去公民與政府之間的信息不對稱、不平衡的狀況,使公民與政府能夠共享政府信息資源,享受個性化的信息服務,依據(jù)公開的信息數(shù)據(jù)與政府進行及時、有效的溝通,透明、參與和協(xié)作的機制構成了更加民主和有效的政府基本框架。二、滿足公眾需求,提高對政府滿意度通過政府開放數(shù)據(jù),促進公共服務領域提供更好的服務,通過政府數(shù)據(jù)的免費使用來帶動創(chuàng)新,創(chuàng)造出一些有助于大眾更好地適應現(xiàn)代生活的實用工具和產品。同時,政府部門人力資源、職業(yè)教育、社會保障等方面的信息資源實現(xiàn)開放共享,將有效填平求職者與各行業(yè)人才需求之間的“信息不對稱”鴻溝,優(yōu)化人力資源配置,有效降低失業(yè)率。通過政府數(shù)據(jù)開放平臺,為公民社提供了自由、平等、責任和參與的生態(tài)環(huán)境,使公民愿意承擔公共責任、參與公共事務,通過意見表達,凡事發(fā)出聲音,形成一個防止政府犯下錯誤的監(jiān)督力量,提高社會對政府的滿意度。三、促進社會治理現(xiàn)代化社會治理方式要實現(xiàn)社會管理與社會自治的有機結合。十八屆三中全會指出,改進社會治理方式,要“實現(xiàn)政府治理和社會自我調節(jié)、居民自治良性互動”。優(yōu)化社會治理,既要加強黨政主導、社會管理,又要堅持多方參與、共同治理。社會管理注重自上而下、以權力為主導,重在“有為而治”;社會自治注重自下而上、以權利為主導,重在“無為而治”。二者交織融合、各有側重,共同立于社會基礎之上。因此社會治理是政府和社會共同參與的事情,政府起到管理作用,社會也具備調整完善的自我凈化功能,通過政府數(shù)據(jù)開放平臺,既形成一個防止政府犯下錯誤的監(jiān)督力量,又最大限度地調動社會公眾的積極性,激發(fā)社會活力,使公民愿意承擔公共責任、參與公共事務以及約束自身行為。四、帶動新興產業(yè)的發(fā)展,推動產業(yè)升級通過數(shù)據(jù)開放平臺通過開放接口,簡化使用政府數(shù)據(jù)的環(huán)節(jié)、減少使用政府數(shù)據(jù)的成本,免去了數(shù)據(jù)更新、維護的困難,降低創(chuàng)新的門檻,推動網(wǎng)絡經(jīng)濟的發(fā)展,還可以帶動移動互聯(lián)網(wǎng)產業(yè)、大數(shù)據(jù)產業(yè)及數(shù)據(jù)服務產業(yè)的發(fā)展。數(shù)據(jù)的開放可以催生一系列新模式、新業(yè)態(tài)、新產品,促進產業(yè)轉型升級。讓大數(shù)據(jù)時代最重要的生產資料數(shù)據(jù)自由地流動起來,以催生創(chuàng)新,推動知識經(jīng)濟和網(wǎng)絡經(jīng)濟的發(fā)展,促進貴陽市的經(jīng)濟增長由粗放型向精細型轉型升級。數(shù)據(jù)開放共享將促進現(xiàn)代信息服務業(yè)、文化創(chuàng)意、智庫等第三產業(yè)的發(fā)展,拓展新的就業(yè)空間。社會化力量利用政府數(shù)據(jù),開發(fā)對社會公眾有實用價值的應用,既為社會中小企業(yè)提供了創(chuàng)造的平臺,又為社會公眾的生活帶來了實實在在的便利。總體建設方案建設思路和原則建設思路隨著政府信息化水平的不斷提升,政府部門在履行職責過程中已生成、采集和保存了海量的數(shù)據(jù),成為社會主要的數(shù)據(jù)保有者。政府所保存的這些數(shù)據(jù)與公眾的生產生活息息相關。大數(shù)據(jù)往往建立在開放數(shù)據(jù)的基礎上,大數(shù)據(jù)應用需要整合和利用來自政府、企業(yè)、社會組織和公眾等多種來源的數(shù)據(jù),而政府數(shù)據(jù)是大數(shù)據(jù)不可或缺的重要組成部分。因此,開放政府數(shù)據(jù)供社會利用是實現(xiàn)大數(shù)據(jù)戰(zhàn)略的重要前提。貴陽市作為貴州省委省政府推動國家大數(shù)據(jù)戰(zhàn)略行動的綜合試驗區(qū)。 堅持政府數(shù)據(jù)共享開放是貴陽建設塊數(shù)據(jù)城市的基礎性、關鍵性工程。貴陽政府數(shù)據(jù)資源開放平臺的建設思路要以“數(shù)據(jù)是資源、應用是核心、產業(yè)是目的、安全是保障,開放是創(chuàng)新”為原則,堅持信息化、市場化、產業(yè)化三化統(tǒng)籌,以開放是慣例不開放是特例為指導思想。以政府數(shù)據(jù)資源的共享和開放為核心驅動力,加速我市塊數(shù)據(jù)創(chuàng)新發(fā)展和產業(yè)鏈的構建,打造國家大數(shù)據(jù)政府治理的地方典范,體現(xiàn)國家大數(shù)據(jù)戰(zhàn)略的貴陽實踐。1)在建設過程中要借鑒與探索相結合政府數(shù)據(jù)資源開放規(guī)劃的建設內容,有些是已有現(xiàn)成的標準和經(jīng)驗,如政府數(shù)據(jù)交換共享體系、政府資源共享目錄體系,這些建設內容的建設要在標準和規(guī)范的基礎上,參考成功的經(jīng)驗,保證切實做好。有些內容在國內尚屬創(chuàng)新,這部分的建設要根據(jù)《大數(shù)據(jù)發(fā)展行動綱要》的精神,循序漸進,搞好規(guī)劃和設計,做好業(yè)務上、技術上的論證,從簡單易行又能做出亮點的部分出發(fā),不斷積累經(jīng)驗不斷前進。2)在經(jīng)驗參考上要國內、國際相結合我市政府數(shù)據(jù)資源開放建設要全面借鑒國內、國際領先的數(shù)據(jù)開放平臺建設理念和經(jīng)驗。3)在項目建設前期要采取倒逼機制貴陽市政府數(shù)據(jù)資源開放平臺建設前期為了快速形成成效,可以采取倒逼的機制,先期設定一個確定的目標,比如12月底完成100項政府數(shù)據(jù)資源集的開放。采用倒逼機制可以保障項目在短時間快速推出平臺。初步形成數(shù)據(jù)開放環(huán)境,吸引數(shù)據(jù)需求者參與到項目建設中來。4)在項目建設后期要以需求為導向因為前期的倒逼機制,后期項目在建設過程中已經(jīng)有大批參與者,帶來了大量的數(shù)據(jù)開放建設需求。有了這些需求導向后能夠更好的把握項目建設方向。數(shù)據(jù)開放體系也會更加趨向完善。5)堅持供給側推動政府數(shù)據(jù)開放建設初期,項目成功的最關鍵因素還是在資源供給側。通過對供給側的資源摸底和數(shù)據(jù)梳理,以標準化,規(guī)范化、流程化的方式進行開放資源的采集、融合、編目。加快支撐政府數(shù)據(jù)資源的統(tǒng)一對外開放的進程。(6)制度先行。首先要進行數(shù)據(jù)開放的制度規(guī)范工作,從根本上解決“憑什么開放、開放什么”的法律依據(jù)問題,建立起數(shù)據(jù)開放的規(guī)范,全面保障政府數(shù)據(jù)開放的合法性、合理性,全面打消個別政府不敢開放數(shù)據(jù)的顧慮和擔憂,同時明確政府部門拒絕開放的法律責任。制訂完善的數(shù)據(jù)開放的標準規(guī)范體系。盡快制訂《龍崗區(qū)數(shù)據(jù)開放管理辦法法》、《政府數(shù)據(jù)安全管理規(guī)范》、《政府數(shù)據(jù)開發(fā)使用規(guī)范》等配套性的標準規(guī)范,依法明確數(shù)據(jù)開放的責任主體、權限職責、法律責任等事項,確保政府數(shù)據(jù)開放的合法性、規(guī)范性和安全性,為政府數(shù)據(jù)開放保駕護航。(7)標準統(tǒng)一。數(shù)據(jù)開放的最大價值在于數(shù)據(jù)的開發(fā)利用,而為了提高利用率,明確政府開放數(shù)據(jù)的統(tǒng)一標準格式,顯得尤為重要。這就要求政府開放的數(shù)據(jù),要從用戶使用的角度出發(fā),避免設置數(shù)據(jù)格式不可機讀、不可編輯和不可下載的諸多限制,為用戶機器讀取、編輯和二次開發(fā)利用提供最大的便利。(8)民生服務為先。在解決了開放依據(jù)和數(shù)據(jù)格式的基礎上,要明確“開放什么數(shù)據(jù)”的問題,對此,應該堅持問題導向、滿足民生服務需求導向的原則,最先開放教育、醫(yī)療、社保、交通、就業(yè)和環(huán)保等涉及民生服務的數(shù)據(jù),在確保廣大民眾知情權的基礎上,引導廣大數(shù)據(jù)企業(yè)和創(chuàng)業(yè)團隊積極開發(fā)民生服務應用軟件,讓企業(yè)或開發(fā)者幫助政府協(xié)同解決諸多民生治理中面臨的難題,提高政府的公共服務能力。(9)建立健全政府大數(shù)據(jù)管理體系。數(shù)據(jù)開放是一項專業(yè)性很強的工作,對政府傳統(tǒng)的機構設置、人才結構、專業(yè)能力和治理流程都會提出新的要求,這就需要政府根據(jù)數(shù)據(jù)開放和大數(shù)據(jù)治理的要求,加強加大數(shù)據(jù)專業(yè)人才引進、合理調整機構設置、強化政府數(shù)據(jù)管理以及開展服務需求者調查等系列工作,全面提高政府的數(shù)據(jù)治理能力。建設原則一、開放性原則除政府秘密、個人隱私、商業(yè)機密類的數(shù)據(jù)可以豁免之外,政府部門應該免費的、無保留地向社會開放可開放數(shù)據(jù),政府拒絕提供數(shù)據(jù)須負舉證責任,司法部門具有重新審定政府數(shù)據(jù)開放事實的權力。二、數(shù)據(jù)開放平等性原則政府數(shù)據(jù)開放對所有公民都應該是平等無差異對待的,無論年齡、身份、地位,都可以自由的獲取和使用,用于合法的任何活動。三、技術兼容性原則技術手段和技術措施必須具有開放性、兼容性和互操作性的原則,不對數(shù)據(jù)開放與共享設定技術限制或技術障礙。四、民生數(shù)據(jù)優(yōu)先開放原則選擇所涉業(yè)務與社會公眾的緊密度高的政府部門,優(yōu)先展開數(shù)據(jù)開放工作;選擇民生指數(shù)高的數(shù)據(jù)集優(yōu)先梳理、采集、處理和發(fā)布??傮w架構設計設計思路政府數(shù)據(jù)資源開放平臺整合全市政府多年行政沉淀的數(shù)據(jù)資源,運用大數(shù)據(jù)、云計算等先進信息技術,建設統(tǒng)一的政府數(shù)據(jù)共享開放平臺,編制數(shù)據(jù)資源目錄體系和數(shù)據(jù)共享開放標準規(guī)范,支撐政府數(shù)據(jù)資源面向公眾共享和開放,促進大眾創(chuàng)業(yè),萬眾創(chuàng)新。通過對政府各部門的非涉密數(shù)據(jù)進行采集、梳理,生成數(shù)據(jù)資源開放目錄及政府數(shù)據(jù)資源開放庫。通過數(shù)據(jù)集封裝,形成數(shù)據(jù)開放服務,通過數(shù)據(jù)服務開放平臺,為社會公眾提供直接科獲取利用和再利用的政府數(shù)據(jù)資源,同時,通過引入社會資源,完善開放數(shù)據(jù)庫,平臺設計思路如下:

大數(shù)據(jù)正在改變和重塑著政府的治理生態(tài),并成為推動政府治理方式變革的主導力量之一,而數(shù)據(jù)開放是實現(xiàn)數(shù)據(jù)共享、智慧治理的基礎所在和第一道門檻。因此,理清思路,采取舉措,加快政府數(shù)據(jù)開放,是貴陽市利用大數(shù)據(jù)推動政府治理方式變革,提升治理能力新選擇。為此,提出如下思路:一、標準統(tǒng)一,制度先行首先要進行數(shù)據(jù)開放的制度規(guī)范工作,從根本上解決“憑什么開放、開放什么”的法律依據(jù)問題,建立起數(shù)據(jù)開放的規(guī)范,全面保障政府數(shù)據(jù)開放的合法性、合理性,全面打消個別政府不敢開放數(shù)據(jù)的顧慮和擔憂,同時明確政府部門拒絕開放的法律責任。制訂完善的數(shù)據(jù)開放的標準規(guī)范體系。盡快制訂《龍崗區(qū)數(shù)據(jù)開放管理辦法法》、《政府數(shù)據(jù)安全管理規(guī)范》、《政府數(shù)據(jù)開發(fā)使用規(guī)范》等配套性的標準規(guī)范,依法明確數(shù)據(jù)開放的責任主體、權限職責、法律責任等事項,確保政府數(shù)據(jù)開放的合法性、規(guī)范性和安全性,為政府數(shù)據(jù)開放保駕護航。數(shù)據(jù)開放的最大價值在于數(shù)據(jù)的開發(fā)利用,而為了提高利用率,明確政府開放數(shù)據(jù)的統(tǒng)一標準格式,顯得尤為重要。這就要求政府開放的數(shù)據(jù),要從用戶使用的角度出發(fā),避免設置數(shù)據(jù)格式不可機讀、不可編輯和不可下載的諸多限制,為用戶機器讀取、編輯和二次開發(fā)利用提供最大的便利。二、集中式開放和分布式開放相結合結合貴陽市政府信息化建設現(xiàn)狀,貴陽當前政府數(shù)據(jù)共享交換平臺的建設采用集中式和分布式相結合的模式。集中式實現(xiàn)貴陽市大部分委辦局的數(shù)據(jù)歸集和數(shù)據(jù)共享交換傳輸路由。分布式采用SOA建設模式,數(shù)據(jù)不在中心歸集。但是數(shù)據(jù)共享通道和數(shù)據(jù)服務調用基于云服務總線集成并實現(xiàn)互聯(lián)互通。政府開放數(shù)據(jù)的建設。依托政府共享交換平臺實現(xiàn)歸集數(shù)據(jù)的集中開放。依托云服務技術實現(xiàn)數(shù)據(jù)服務化生成和數(shù)據(jù)服務分布式開放。三、政府開放數(shù)據(jù)資源集約化管理以數(shù)據(jù)為核心進行集約化存儲、計算和管理,提升資源的利用率和數(shù)據(jù)價值,為政府、企業(yè)和個人提供開放的數(shù)據(jù)服務。基于云化的設計思路體現(xiàn)了集約化建設和資源最大化利用,避免重復建設和數(shù)據(jù)資源不一致問題。四、基于大數(shù)據(jù)實現(xiàn)資源服務和數(shù)據(jù)開放本項目政府數(shù)據(jù)資源開放平臺建設以數(shù)據(jù)為主線,基于大數(shù)據(jù)技術是數(shù)據(jù)采集、存儲、標準化、編目和開放,創(chuàng)造數(shù)據(jù)應用價值;以數(shù)據(jù)資源開放為驅動力,提升政府數(shù)據(jù)利用和再利用價值。五、基于組件和服務技術實現(xiàn)平臺的松耦合建設基于SOA/WOA組件化和服務化實現(xiàn)了項目各類應用的松耦合建設,即業(yè)務組件化和組件能力服務化,解決項目各類應用信息孤島和業(yè)務流程不連貫等問題,便于根據(jù)業(yè)務的實際需求,快速進行功能的擴展和組合。六、基于標準API實現(xiàn)數(shù)據(jù)資源的服務開放為實現(xiàn)政府數(shù)據(jù)的安全開放,設計一個完整的體系架構,保障平臺的各項服務的有效開展。針對政府數(shù)據(jù)的特點,基于REST架構風格進行安全的數(shù)據(jù)資源能力開放API(OpenAPI)設計;遵循分級訪問控制原則,結合實際應用場景,依據(jù)OAuth2標準協(xié)議實現(xiàn)安全授權機制,以保障隱私數(shù)據(jù)和敏感數(shù)據(jù)的安全訪問。同時,實現(xiàn)對OpenAPI應用管理的功能,包括對第三方應用進行內容審核及安全測試、提供安全接入和安全監(jiān)管。七、構建全覆蓋的數(shù)據(jù)治理治理體系平臺需要從配置管理、監(jiān)控管理、故障恢復、服務質量四個維度提供系統(tǒng)化IT治理服務功能,提升系統(tǒng)的可管理性、健壯性,降低運維成本。該體系主要包括對數(shù)據(jù)交換共享與數(shù)據(jù)服務開發(fā)兩大方面:數(shù)據(jù)共享治理:提供配置管理中心和監(jiān)控管理中心,全面管理各個交換節(jié)點數(shù)據(jù)交換配置,實時監(jiān)控數(shù)據(jù)傳輸過程、網(wǎng)絡狀況和數(shù)據(jù)交換節(jié)點的運行狀態(tài);并捕獲數(shù)據(jù)傳輸異常、網(wǎng)絡異常、網(wǎng)關運行狀態(tài)異常等,提供斷點續(xù)傳、數(shù)據(jù)重傳等多種故障智能恢復機制。在數(shù)據(jù)服務開放方面,提供高可用的數(shù)據(jù)開放服務。采用云服務總線,提供服務注冊管理、服務粒度監(jiān)控、服務請求監(jiān)控、服務調度次數(shù)控制、服務調度權限控制、服務代理訪問權限控制、服務及服務方法的流量控制等功能,并提供服務質量保證。八、構建防控一體的安全保障體系建立大數(shù)據(jù)安全技術、地方法規(guī)和倫理道德體系,保障國家安全、社會安全和個人隱私不受侵犯。一是建立大數(shù)據(jù)安全技術保障體系。支持基于大數(shù)據(jù)技術的網(wǎng)絡與信息安全環(huán)境建設,推進信息安全技術與產品的研發(fā)與應用,加強數(shù)據(jù)保護,提升網(wǎng)絡安全監(jiān)測、預警和應急處理能力。二是建立大數(shù)據(jù)安全地方法規(guī)。支持數(shù)據(jù)產品知識產權的研究和保護,加快制定信息采集和管控、敏感數(shù)據(jù)管理、數(shù)據(jù)交換、個人隱私、數(shù)據(jù)權益和合理利用等領域的大數(shù)據(jù)地方性法規(guī)和政府規(guī)章,探索大數(shù)據(jù)領域數(shù)據(jù)隱私、商業(yè)秘密等方面的數(shù)據(jù)全生命周期監(jiān)管。三是倡導適應于大數(shù)據(jù)發(fā)展的倫理道德體系。建立基于數(shù)據(jù)倫理道德的新公序良俗,倡導“誰使用、誰負責”、公民數(shù)據(jù)權不容侵犯等適應于大數(shù)據(jù)發(fā)展的倫理道德體系,維護社會公平正義總體架構貴陽市政府數(shù)據(jù)資源開放平臺的建設主要依托于政府數(shù)據(jù)共享交換平臺進行大部分委辦局的數(shù)據(jù)集中采集。然后通過數(shù)據(jù)加工處理和脫敏脫密進入統(tǒng)一政府數(shù)據(jù)資源開放庫。沒有集中的歸集數(shù)據(jù)基于云服務技術將分布在各委辦局的數(shù)據(jù)以服務接口的方式發(fā)布到數(shù)據(jù)開放服務池。通過對數(shù)據(jù)開放庫中的數(shù)據(jù)和服務池中數(shù)據(jù)服務接口進行資源的統(tǒng)一編目和分類分級。數(shù)據(jù)開放管理平臺通過一系列的管理與業(yè)務流程將開放數(shù)據(jù)庫的數(shù)據(jù)集和數(shù)據(jù)服務定時和實時發(fā)布到數(shù)據(jù)開放網(wǎng)站上。數(shù)據(jù)開放網(wǎng)站是開放數(shù)據(jù)和服務的互聯(lián)網(wǎng)統(tǒng)一出口和展現(xiàn)界面。整個政府數(shù)據(jù)資源開放平臺的總體架構如下: 平臺的總體架構分為五大層和三大體系。五大層分別是開放數(shù)據(jù)來源層、數(shù)據(jù)開放庫層、開放目錄體系層、開放數(shù)據(jù)管理層、數(shù)據(jù)開放網(wǎng)站層。三大體系分別是標準與規(guī)范體系、安全保障體系、運維保障體系。1)數(shù)據(jù)來源層 數(shù)據(jù)來源層以集中式和分布式相結合的方式向數(shù)據(jù)開放平臺提供數(shù)據(jù)和服務。主要依托貴陽市政府數(shù)據(jù)共享交換平臺實現(xiàn)數(shù)據(jù)的采集和融合?;谠品湛偩€數(shù)據(jù)分布式數(shù)據(jù)服務的統(tǒng)一集成和管理。2)數(shù)據(jù)開放庫層 數(shù)據(jù)開放庫對政府開放數(shù)據(jù)集的進行集成存儲和管理。3)開放目錄體系層 數(shù)據(jù)開放目錄體系層主要實現(xiàn)開放數(shù)據(jù)和開放服務的統(tǒng)一編目和分類分級管理。數(shù)據(jù)開放目錄按照公開數(shù)據(jù)、內部數(shù)據(jù)和涉密數(shù)據(jù)進行分級。按照政務主題、行業(yè)領域、服務模式分析分類。數(shù)據(jù)資源開放目錄平臺實現(xiàn)資源目錄、子目錄。元數(shù)據(jù)目錄的標準化管理。4)數(shù)據(jù)開放管理層數(shù)據(jù)開放管理層控制資源開放的最終形式和流程。主要完成資源數(shù)據(jù)集封裝和服務API封裝以及發(fā)布流程管理。資源數(shù)據(jù)集封裝要解決資源在線可機讀性的問題。API封裝實現(xiàn)資源可規(guī)范調用的問題。數(shù)據(jù)開放管理層還保證數(shù)據(jù)開放的所有質量和安全問題。5)數(shù)據(jù)開放網(wǎng)站層數(shù)據(jù)開放網(wǎng)站部署在互聯(lián)網(wǎng),網(wǎng)站前端包括開放數(shù)據(jù)目錄列表、API接口列表。APP應用。互動交流、信息反饋、搜索引擎、數(shù)據(jù)開放指數(shù)、數(shù)據(jù)關聯(lián)圖譜等功能。網(wǎng)站后臺主要實現(xiàn)網(wǎng)站內容和風格的管理以及信息反饋和統(tǒng)計分析。6)標準與規(guī)范體系 主要基于DB52貴陽地方政府數(shù)據(jù)標準規(guī)范結合數(shù)據(jù)國家標準GB2007政務信息資源目錄體系和交換體系來建設。7)安全保障體系 安全保障體系包括基礎設施安全,數(shù)據(jù)庫安全、平臺安全和應用安全。8)運維保障體系 運維保障體系主要包括數(shù)據(jù)開放平臺的日常運行維護管理和監(jiān)控。數(shù)據(jù)架構貴陽市政府數(shù)據(jù)資源開放平臺數(shù)據(jù)的處理架構,如下圖所示:整個數(shù)據(jù)處理架構分為三條主線,分別是數(shù)據(jù)集開放數(shù)據(jù)處理流程。數(shù)據(jù)接口開放數(shù)據(jù)流程,資源編目數(shù)據(jù)流程圖。數(shù)據(jù)集開放處理架構從數(shù)據(jù)采集開始,經(jīng)過共享交換平臺歸集進入共享交換庫,通過ETL進行數(shù)據(jù)加工,通過數(shù)據(jù)脫敏系統(tǒng)進行數(shù)據(jù)脫敏,通過自動光盤傳導或者網(wǎng)閘設備將開放數(shù)據(jù)全送到數(shù)據(jù)開放庫。經(jīng)過數(shù)據(jù)開放管理平臺進行數(shù)據(jù)集文件封裝。最終在開放網(wǎng)站上形成可機讀的數(shù)據(jù)文件(excel/xml/cvs/json)。 數(shù)據(jù)服務處理流程比較復雜,主要分為三種情況,一種是開放庫的數(shù)據(jù)經(jīng)過服務生成集成到云服務總線,第二種是委辦局的數(shù)據(jù)通過服務生成集成到云服務總線。第三種是委辦局自己開發(fā)或者已有的數(shù)據(jù)服務集成到云服務總線。數(shù)據(jù)開放管理系統(tǒng)基于APIManager進行服務包裝。最終在開放網(wǎng)站形成可在線調用的API服務。資源編目數(shù)據(jù)處理流程主要實現(xiàn)對數(shù)據(jù)資源和服務資源的統(tǒng)一分級分類和編目。資源編目信息包括目錄信息、子目錄信息和元數(shù)據(jù)目錄信息。統(tǒng)一存儲在資源目錄庫中。開放網(wǎng)站調用目錄庫在線展現(xiàn)資源的分類。技術路線本項目涉及的系統(tǒng)數(shù)量多,業(yè)務復雜,將采用面向服務體系架構(SOA),實現(xiàn)應用系統(tǒng)松散耦合,使各應用模塊相對獨立,在必要時完全可以獨立運行。應用系統(tǒng)與應用系統(tǒng)之間、應用系統(tǒng)與支撐服務平臺之間通過SOA的方式進行集成和整合,可以確保應用集成和部署的順利進行。開發(fā)技術本項目應用軟件系統(tǒng)可基于JavaEE標準的分布式體系結構設計,采用B/S三層結構,一方面使應用系統(tǒng)具有平臺獨立性,可以部署在任何符合JavaEE規(guī)范的應用服務器和SOA套件,提高系統(tǒng)的部署靈活性,降低維護和管理成本,同時可以充分利用現(xiàn)有的成熟的JavaEE技術平臺積累的組件,實現(xiàn)系統(tǒng)設計的靈活性和擴展性,保證軟件的質量。B/S模式的用戶只需要瀏覽器就可以訪問操作應用系統(tǒng),使用非常簡便。瀏覽器帶來的兼容性比C/S程序的兼容性較強,可以減少出現(xiàn)由于用戶環(huán)境差異導致的無法使用問題。并且在系統(tǒng)更新升級時,只需要更新服務器端的程序即可,避免向各用戶分發(fā)升級后的程序。B/S模式服務器端的可擴展性非常好,可以根據(jù)業(yè)務的拓展,以及業(yè)務量的增加,隨需而動地擴展服務器,提供服務器的服務能力,滿足用戶需求。開發(fā)語言和工具本項目應用系統(tǒng)軟件的開發(fā)語言以Java為主,開發(fā)工具為eclipse。iOS客戶端開發(fā)語言使用Objective-C和Swift,開發(fā)工具為Xcode。系統(tǒng)前臺頁面基于HTML5、JS及JQuery實現(xiàn)動態(tài)刷新。數(shù)據(jù)庫平臺本項目系統(tǒng)數(shù)據(jù)庫采用基于“云上貴州-貴陽平臺”的關系型數(shù)據(jù)庫,主要采用MySql數(shù)據(jù)庫。由于應用系統(tǒng)中統(tǒng)計分析功能需要對大量的數(shù)據(jù)進行讀寫操作,因此可采用分布式部署、讀寫分離、負載均衡、索引、正確選擇引擎等多種措施來優(yōu)化數(shù)據(jù)庫性能。對于非結構化數(shù)據(jù),采用MongeDB作為NoSQL數(shù)據(jù)庫,以滿足對數(shù)據(jù)庫高并發(fā)讀寫,海量數(shù)據(jù)的高效率存儲和訪問,以及數(shù)據(jù)庫高可用性和高擴展性需求。軟件接口本項目系統(tǒng)的數(shù)據(jù)調用接口采用REST接口技術。REST模式的Web服務相比復雜的SOAP和XML-RPC明顯的更加簡潔,通過基于REST的API公開系統(tǒng)資源是一種靈活的方法,可以為不同種類的應用程序提供以標準方式格式化的數(shù)據(jù)。它可以幫助滿足集成需求(這對于構建可在其中容易地組合(Mashup)數(shù)據(jù)的系統(tǒng)非常關鍵),并幫助將基于REST的基本服務集擴展或構建為更大的集合。數(shù)據(jù)安全接入本項目系統(tǒng)需要使用包括中考錄取數(shù)據(jù)、高考數(shù)據(jù)等第三方系統(tǒng)數(shù)據(jù),數(shù)據(jù)的安全接入訪問非常重要。綜合安全性和成本考慮,數(shù)據(jù)訪問安全接入基于云上貴州貴陽平臺采用移動端VPDN接入技術。本期項目建設方案數(shù)據(jù)處理與標準化(處理、控制、標準化)數(shù)據(jù)質量管理是對支持業(yè)務需求的數(shù)據(jù)進行全面的管理。依據(jù)數(shù)據(jù)在數(shù)據(jù)生命周期的各個階段的特性,建立數(shù)據(jù)質量控制機制,及時發(fā)現(xiàn)數(shù)據(jù)質量問題,不斷改善數(shù)據(jù)的使用質量,從而提升數(shù)據(jù)的可用性,實現(xiàn)數(shù)據(jù)更大的商業(yè)價值。數(shù)據(jù)質量管理的范疇包括:制定全局數(shù)據(jù)質量的衡量指標、分析工具及報告機制;發(fā)現(xiàn)、評估和報告數(shù)據(jù)在使用中的質量問題;在數(shù)據(jù)梳理、數(shù)據(jù)對接、數(shù)據(jù)存儲、管理、使用等數(shù)據(jù)生命周期每一環(huán)節(jié)上定位數(shù)據(jù)質量問題產生的根源,促進建立或實施有關的工作流程來解決數(shù)據(jù)質量問題,保證全局數(shù)據(jù)質量的不斷改進和數(shù)據(jù)可用性的不斷提升。數(shù)據(jù)質量評價體系數(shù)據(jù)質量評價,是以對數(shù)據(jù)的準確定義為基礎,對數(shù)據(jù)質量管理的執(zhí)行提供依據(jù),評議出數(shù)據(jù)質量關鍵性指標,實現(xiàn)對數(shù)據(jù)質量的量化診斷和評價。客觀評價在質量管理系統(tǒng)中,建立以以下6個方面指標的評估為主的數(shù)據(jù)質量評估模型:數(shù)據(jù)規(guī)范性數(shù)據(jù)規(guī)范維度的評估是評估是否有收集數(shù)據(jù)、錄入數(shù)據(jù)等的強制性標準或統(tǒng)一規(guī)范。例如國家部委、行業(yè)、省、市等各級標準或者規(guī)范等。數(shù)據(jù)規(guī)范和標準化體系為比較數(shù)據(jù)質量評估結果提供標準,并為數(shù)據(jù)錄入等提供操作指導,也是數(shù)據(jù)綜合治理工作的基礎。數(shù)據(jù)規(guī)范測量數(shù)據(jù)標準、數(shù)據(jù)模型、業(yè)務規(guī)劃、原數(shù)據(jù)和參考數(shù)據(jù)的存在性、完整性、質量和文檔資料。數(shù)據(jù)完整性數(shù)據(jù)完整性指數(shù)據(jù)集合中既不缺少應有的數(shù)據(jù),也沒有多余的數(shù)據(jù)。數(shù)據(jù)是否有缺失,數(shù)據(jù)覆蓋的寬度和廣度是否足夠。數(shù)據(jù)完整性包括數(shù)據(jù)缺失程度和數(shù)據(jù)覆蓋程度2個因子。數(shù)據(jù)缺失程度:指數(shù)據(jù)傳輸轉移過程中是否出現(xiàn)遺失,遺失的程度如何。數(shù)據(jù)覆蓋程度:指線上已有數(shù)據(jù)占應捕獲數(shù)據(jù)總體的比例,反映數(shù)據(jù)的全面性、可用性的測量標準。數(shù)據(jù)準確性數(shù)據(jù)準確性是數(shù)據(jù)質量的基本也是最重要的屬性,包含3個因子。分別是:數(shù)據(jù)錯誤率、數(shù)據(jù)可靠度和數(shù)據(jù)標準符合度。數(shù)據(jù)錯誤率:不滿足給定數(shù)據(jù)集合法值的域的比率。數(shù)據(jù)錯誤是指數(shù)據(jù)記錄字段的值與實際的值不相符。數(shù)據(jù)的可靠度:基礎數(shù)據(jù)來源的可靠程度。數(shù)據(jù)標準的符合度:基礎數(shù)據(jù)對于應用不同行業(yè)標準和業(yè)務規(guī)則的符合程度。數(shù)據(jù)唯一性數(shù)據(jù)唯一性是對存在于部門數(shù)據(jù)內或跨部門數(shù)據(jù)的特定字段、記錄或數(shù)據(jù)集重復的測量標準。數(shù)據(jù)及時性和可用性及時性和有效性是數(shù)據(jù)在預期時段內對特定應用的及時程度和可用程度的測量標準。數(shù)據(jù)值隨時間而不斷變化,并且真實目標發(fā)生變化的時間與數(shù)據(jù)庫中表示它的數(shù)據(jù)更新以及使其對應用可用的時間總有一個落差。可能存在人工傳遞時間延遲(從事實被人所知到首次被輸入到系統(tǒng)之間的時間延遲)和系統(tǒng)數(shù)據(jù)傳遞時間延遲(從事實被系統(tǒng)捕獲后到使用者能夠對其適用所花費的時間延遲)。數(shù)據(jù)易用性易用性是指數(shù)據(jù)能夠被訪問和使用的程度以及易于被更新、維護和管理的程度的測量標準。在數(shù)據(jù)使用過程中,數(shù)據(jù)的易用性和可維護性決定了完成目標的效率。數(shù)據(jù)庫中的數(shù)據(jù)可以使用,并不等于能夠毫不費力地使用它們。建立起數(shù)據(jù)質量評價體系后,各企業(yè)即可根據(jù)指標體系,確立其質量特性及相應的權重值,分階段分模塊評價系統(tǒng)數(shù)據(jù)質量水平,為進一步改進提供方向。主觀評價建立以用戶評價為數(shù)據(jù)質量評價標準的主觀評價體系,所有共享數(shù)據(jù)的用戶均可以對所用數(shù)據(jù)在規(guī)范性、完整性、準確性、及時性和可用性、易用性6各方面進行打分和評價??陀^和主觀評價兩個體系共同配合,形成數(shù)據(jù)質量的完整評價。規(guī)則管理數(shù)據(jù)質量檢查工作需要依據(jù)業(yè)務規(guī)則對數(shù)據(jù)源中的數(shù)據(jù)進行檢查,所以規(guī)則管理模塊包括兩部分關鍵功能:采集點管理及規(guī)則庫管理。釆集點管理主要是負責采樣邏輯的定義。規(guī)則用于描述數(shù)據(jù)在業(yè)務上的約束條件。規(guī)則可以按照不同數(shù)據(jù)源建立,在數(shù)據(jù)處理時,規(guī)則引擎會讀取相應的規(guī)則信息進行執(zhí)行。對于數(shù)據(jù)質量管理來說,規(guī)則可以參照質量質量評價體系中的客觀評價標準進行建立。規(guī)則分為三類:約束規(guī)則、計算規(guī)則和條件規(guī)則。約束規(guī)則約束規(guī)則描述了一種無條件必須為真或者假的強制規(guī)則。這種約束可以是結構化的約束,也可以是行為的約束。結構化的約束當創(chuàng)建術語或者改變術語之間的關系的時候,結構化的約束能夠保證術語的完整性;行為的約束典型地被定義為“前置條件”和“后置條件”。只有符合“前置條件”的情況下操作才能夠正確地執(zhí)行;“后置條件”保證了操作結果的正確性,“后置條件”表示該行為是否滿足了其預期的結果。計算規(guī)則計算規(guī)則用以反映一種計算的關系;條件規(guī)則條件規(guī)則反映當一定條件成立時,觸發(fā)相關的事件或事務。規(guī)則管理功能主要包括規(guī)則分類、新增規(guī)則、編輯、刪除和查看等功能。其中,規(guī)則分類是對規(guī)則從常見的數(shù)據(jù)質量問題的角度進行分類,提供規(guī)則分類的增刪改列表功能。新增規(guī)則是應指定規(guī)則包含的采集點信息,為校核程序提供需要的采集數(shù)據(jù)。系統(tǒng)還提供基本規(guī)則管理和規(guī)則包管理功能,方便規(guī)則管理和問題處理。度量信息管理度量信息是數(shù)據(jù)質量檢查的基本依據(jù),它反映了數(shù)據(jù)質量的衡量標準,也是數(shù)據(jù)質量管理系統(tǒng)的一個重要組成部分。度量信息是經(jīng)驗的積累,需要在數(shù)據(jù)質量不斷的建設過程中逐步精確化,隨著衡量標準的不斷細化和精確,數(shù)據(jù)質量也會不斷提高。數(shù)據(jù)稽核管理數(shù)據(jù)稽核主要是通過計劃或手動的方式對采集的數(shù)據(jù)做規(guī)則校驗,對符合規(guī)則的問題數(shù)據(jù)進行記錄。每次數(shù)據(jù)稽核應記錄檢查的執(zhí)行情況,形成校核記錄。數(shù)據(jù)稽核需要記錄錯誤率變化趨勢,以便用戶了解數(shù)據(jù)質量的提升情況。數(shù)據(jù)稽核管理包括執(zhí)行計劃管理、手動執(zhí)行檢查和規(guī)則執(zhí)行狀態(tài)、問題數(shù)據(jù)統(tǒng)計、數(shù)據(jù)質量分析、數(shù)據(jù)質量報告等功能。執(zhí)行計劃管理通過對規(guī)則相關的校核程序制訂周期性自動運行的執(zhí)行計劃,可以簡化數(shù)據(jù)稽核過程,形成定期的數(shù)據(jù)質量檢查,以實現(xiàn)有計劃的逐步改善源數(shù)據(jù)質量的目標。如果規(guī)則檢查的數(shù)據(jù)集是按時間段進行檢查的,在制訂執(zhí)行計劃時應避免數(shù)據(jù)集之間的數(shù)據(jù)重疊,即對同一個數(shù)據(jù)稽核對象制訂多個在同一時期運行的計劃。手動執(zhí)行檢查為滿足非周期性的數(shù)據(jù)稽核需求,系統(tǒng)應能依據(jù)指定的規(guī)則對采集數(shù)據(jù)進行即時的數(shù)據(jù)稽核。規(guī)則執(zhí)行狀態(tài)無論是手動執(zhí)行數(shù)據(jù)稽核還是按計劃周期性的執(zhí)行數(shù)據(jù)稽核,每次數(shù)據(jù)稽核都會有一個校核記錄用于記錄數(shù)據(jù)稽核程序的執(zhí)行情況。問題數(shù)據(jù)統(tǒng)計數(shù)據(jù)檢査可能產生問題數(shù)據(jù),作為數(shù)據(jù)質量管理人員關注每次數(shù)據(jù)稽核的數(shù)據(jù)錯誤情況。數(shù)據(jù)質量問題可以通過一些指標(如錯誤率)來衡量。錯誤率=一次檢查發(fā)現(xiàn)的問題數(shù)據(jù)條數(shù)/一次檢查的總數(shù)據(jù)條數(shù)x100%數(shù)據(jù)質量分析數(shù)據(jù)質量分析是對不同業(yè)務域下的錯誤數(shù)據(jù),完成率的一個綜合統(tǒng)計,可用來部門排序、跨業(yè)務域排名、跨部門排名,從而形成有統(tǒng)籌觀念上的數(shù)據(jù)質量分析報告。數(shù)據(jù)質量報告數(shù)據(jù)質量報告是對考核規(guī)則和非考核規(guī)則按地市局統(tǒng)計分析各規(guī)則對應的數(shù)據(jù)總數(shù)、錯誤總數(shù)、正確數(shù)的統(tǒng)計報告,從而形成有可靠的數(shù)據(jù)依據(jù)的數(shù)據(jù)質量報告。問題管理問題管理是對數(shù)據(jù)質量相關問題進行有效處理的功能,在發(fā)現(xiàn)問題、處理問題的過程中,可以通過問題報告的形式登記問題、指派處理人員,并提交問題處理情況,體現(xiàn)流程化的管理。問題處理環(huán)節(jié)主要涉及到兩個用戶角色:數(shù)據(jù)質量管理人員、問題數(shù)據(jù)處理人員。數(shù)據(jù)稽核產生的問題數(shù)據(jù)將由系統(tǒng)發(fā)送給規(guī)則定義時指定的數(shù)據(jù)質量管理人員。接收到問題數(shù)據(jù)的管理人員可以將問題數(shù)據(jù)即層層往下派送至問題數(shù)據(jù)的具體處理人員處理。具體問題處理流程如下圖所示:圖STYLEREF1\s5SEQ圖\*ARABIC\s12問題處理流程問題發(fā)現(xiàn)數(shù)據(jù)質量的問題可以來自兩種情況,第一種是人工報告發(fā)現(xiàn)的問題,第二種是通過數(shù)據(jù)稽核等其他輔助手段發(fā)現(xiàn)的各類數(shù)據(jù)質量問題。人工報告發(fā)現(xiàn)的問題,由問題的發(fā)現(xiàn)人負責將問題的名稱、描述、類型等關鍵因素錄入到問題管理模塊中進行問題觸發(fā)與發(fā)現(xiàn)。通過在告警等環(huán)節(jié)設置問題發(fā)現(xiàn)程序,預先設定一定的事件觸發(fā)條件和規(guī)則,發(fā)現(xiàn)程序一旦偵測到數(shù)據(jù)存在的異常并符合問題的觸發(fā)條件,則產生一個數(shù)據(jù)質量問題。無論是人工報告的問題,還是監(jiān)視程序自動捕獲的問題,都通過系統(tǒng)將該問題事件發(fā)送到問題列表,等待管理人員進行下一步處理。問題發(fā)布由數(shù)據(jù)質量管理人員進行對問題的確認和核實,并將其發(fā)布至與該問題相關人員。問題處理與跟蹤在某一問題由該問題的負責人員進行初步的處理后,將處理意見、時間、期望的改正結論等相關內容,錄入系統(tǒng),在不同的問題處理階段需對該問題的處理狀態(tài)進行更新。對該問題已授權的用戶可以查詢到問題的處理意見和處理步驟,及當前最新的處理狀態(tài)。問題解決問題的負責人可以隨時關閉問題,關閉問題時需填寫問題總結報告。問題關閉后,就進入只讀狀態(tài),不能再進行任何反饋或者回復操作。通過建立起數(shù)據(jù)質量管理子系統(tǒng),實現(xiàn)了平臺數(shù)據(jù)質量的處理閉環(huán),有效促進了開發(fā)信息資源的數(shù)據(jù)質量不斷提升。數(shù)據(jù)安全管理建立數(shù)據(jù)安全分級和授權機制,對數(shù)據(jù)按其敏感性、重要性建立一套完整的數(shù)據(jù)安全分級標準。并基于數(shù)據(jù)安全分級標準和數(shù)據(jù)使用者的工作職責及權限制定相關的數(shù)據(jù)使用授權流程。以保證業(yè)務數(shù)據(jù)使用的安全性和合規(guī)性。數(shù)據(jù)安全管理包括數(shù)據(jù)安全分級和授權機制。(1)數(shù)據(jù)安全分級數(shù)據(jù)安全分級標準采用四個安全等級:絕密、機密、內部、公開四個級別。表4-1數(shù)據(jù)安全級別表密級定義示例授權訪問范圍絕密關系國家安全或者包含商業(yè)機密等需要嚴格控制和保護的信息。要求保證高度機密性、準確性、完整性、可靠性和可用性。涉及國家安全的機密信息;的戰(zhàn)略規(guī)劃、未公開的購并信息、財務預測信息。高級管理層機密涉及運作的關鍵信息,在內部特定范圍內限制訪問的信息。要求保證機密性、準確性、完整性、可靠性和可用性。產品和系統(tǒng)源代碼和開發(fā)文檔、市場戰(zhàn)略、審計報告、競爭優(yōu)勢分析等;未上報或者未公開的監(jiān)管數(shù)據(jù)和審計報告。內部特定部門的特定崗位內部可以在內部共享的信息,但是不能對公眾開放的數(shù)據(jù)和信息,與第三方需要使用保密協(xié)議進行保護的信息。要求保證完整性、準確性、可靠性、可用性。業(yè)務操作流程、內部策略、會議備忘錄、內部通訊錄等。全部或者部分員工公開經(jīng)過審核可以通過信息發(fā)布渠道向外公開的數(shù)據(jù)和信息。某些情況下需要保證完整性和準確性。網(wǎng)站發(fā)布的信息、公開報告。公眾(2)數(shù)據(jù)訪問授權定義用戶所屬的角色或者功能,明確各類用戶能夠訪問的數(shù)據(jù)范圍,并按照角色或功能指定可以訪問的數(shù)據(jù)對象。數(shù)據(jù)訪問授權一般應該遵循以下原則:僅限于經(jīng)過有關管理層審批的數(shù)據(jù)用戶可以訪問和使用數(shù)據(jù);按照業(yè)務需求,允許數(shù)據(jù)用戶以特定的方式訪問,并賦予能夠滿足業(yè)務需求的最小操作權限;在數(shù)據(jù)的訪問或使用過程中,數(shù)據(jù)用戶必須嚴格遵守各項安全控制措施。數(shù)據(jù)評估管理1、數(shù)據(jù)價值評估對數(shù)據(jù)價值成本進行評估,對數(shù)據(jù)存儲、處理、應用進行優(yōu)化。2、數(shù)據(jù)重要性評估從表的在數(shù)據(jù)使用過程中和數(shù)據(jù)應用中對表的重要性進行評估,輸出表重要性級別。3、存儲周期評估包括存儲規(guī)則的配置和數(shù)據(jù)實際的存儲情況進行評估對比。存儲周期的計算,計算表到期時間。如果到期了,則這個表可以進行刪除或轉儲。4、時效性評估通過對數(shù)據(jù)關系的分析,發(fā)現(xiàn)孤立表或無效表。根據(jù)表名判斷此表大約含義,建表日期、狀態(tài)日期,表內數(shù)據(jù)時間等判斷此表最后更新時間。通過數(shù)據(jù)的使用日志,對孤立表和無效表進行判斷是否有使用如果滿足以上3點,就可以判斷此表無使用和處理.就可以進行下線處理。5、冗余數(shù)據(jù)評估系統(tǒng)中存在著大量的冗余的數(shù)據(jù)。比如從清單上的進行匯總的表就非常多,這些匯總表中有些存在相識性,這就造成了大量的冗余數(shù)據(jù),這些大量的冗余數(shù)據(jù),一方面給數(shù)據(jù)的精確性和可靠性將帶來影響,同時也影響著數(shù)據(jù)庫的性能。6、數(shù)據(jù)關系評估數(shù)據(jù)關系的類別可以分為以下幾種:主外鍵關系:由上線時進行登記。參考關系:主要描述實體表與維度表的關系。輸入與輸出:通過元數(shù)據(jù)解析建立。歷史拍照:通過處理程序解析發(fā)現(xiàn)建立。冗余備份:從目的可以劃分為:分工提速、轉儲優(yōu)化、應用分流、數(shù)據(jù)統(tǒng)計臨時備份。系統(tǒng)根據(jù)以上的關系類別,通過相識表的發(fā)現(xiàn)分析,自動建立數(shù)據(jù)之間的關系。開放數(shù)據(jù)庫建設(集中式、分布式)概述開放數(shù)據(jù)庫采用分布式和集中式兩種方式并存的設計方案。分布式開放主要是實現(xiàn)職能部門一部分數(shù)據(jù)庫數(shù)據(jù)通過服務生成器直接生成服務,通過服務總線進行集中管理,加上直接提供數(shù)據(jù)開放接口的數(shù)據(jù),由服務目錄進行統(tǒng)一編目,實現(xiàn)數(shù)據(jù)服務開放;集中式開放是職能部門的數(shù)據(jù)通過市共享交換平臺進入共享數(shù)據(jù)庫,再經(jīng)過分析處理、脫敏脫密等技術手段進行數(shù)據(jù)開放庫,由服務生成器生成服務或者數(shù)據(jù)文件的形式,通過開放目錄系統(tǒng)統(tǒng)一管理,實現(xiàn)數(shù)據(jù)開放。開放數(shù)據(jù)庫建設流程如下圖:開放數(shù)據(jù)庫建設流程圖數(shù)據(jù)開放庫建設數(shù)據(jù)開放庫采用統(tǒng)一數(shù)據(jù)庫的模式進行集中建設,即在貴陽市共享交換平臺數(shù)據(jù)共享庫的基礎上通過分析處理和脫敏脫密等數(shù)據(jù)處理技術手段建設數(shù)據(jù)開放庫。數(shù)據(jù)開放庫采用分層設計,包括數(shù)據(jù)緩沖區(qū)、數(shù)據(jù)貼源區(qū)和數(shù)據(jù)整合區(qū)。數(shù)據(jù)緩沖區(qū)臨時存儲各數(shù)據(jù)來源的數(shù)據(jù),主要起數(shù)據(jù)出錯時追根溯源作用;數(shù)據(jù)貼源區(qū)對緩沖區(qū)的數(shù)據(jù)進行標準化處理,如統(tǒng)一編碼格式;數(shù)據(jù)整合區(qū)存儲清洗后的開放數(shù)據(jù)。數(shù)據(jù)建模維度建模維度建模是一種邏輯設計技術,該技術試圖采用某種直觀的標準框架結構來表現(xiàn)數(shù)據(jù),并且允許進行高性能存取,它會遵循維度方面的規(guī)范,并且堅持帶有某些重要限制條件的關系模型規(guī)范。每個維度模型都由具有復合鍵的事實表和維度表構成。事實表維度模型的基本表,存放有大量的業(yè)務性能度量值。所有事實表有兩個或者兩個以上的外關鍵字,外關鍵用于連接到維度表的主關鍵字。事實表要通過與之相連的維度表進行存取。事實表本身通常也有由外關鍵字子集組成的自己的主關鍵字。維度表維度表是事實表不可分割的過濾條件和描述角度。在一個設計合理的維度模型中,維度表有許多列或者屬性,這些屬性給出對維度表的行所進行的描述。每個維度用單一的主關鍵字進行定義,主關鍵字是確保同與之相連的任何事實表之間存在引用完整性的基礎。維度屬性是查詢約束條件,成組與報表標簽生成的基本來源。模式結構本項目選擇的維度建模工具包括星型結構和雪花結構。星型結構開放數(shù)據(jù)庫主要提供的是查詢操作,星型結構是最便于執(zhí)行查詢操作的邏輯模型。如下圖所示,星型結構由一個事實表和多個維表組成,事實表包含了基礎的和匯總的業(yè)務事實,描述了主題的數(shù)據(jù),與之相連的維表,用于限制用度的查詢結果,將數(shù)據(jù)過濾,縮小訪問范圍。針對貴陽市復雜的基礎資源數(shù)據(jù),應用星型模式可以體現(xiàn)以下優(yōu)勢:1、結構更簡單、查詢效率更高,更適合數(shù)據(jù)的抽取、轉換和加載,使性能達到最大化。2、更適合數(shù)據(jù)源的不斷擴展情況。針對緩慢變化維問題,我們采用添加維度行的方式來處理。這樣處理,需要代理鍵的支持。實現(xiàn)方式是當有維度屬性發(fā)生變化時,生成一條新的維度記錄,主鍵是新分配的代理鍵,通過自然鍵可以和原維度記錄保持關聯(lián)。這種方式擴展性更高,并且可以通過時間版本來查歷史維度信息。雪花型結構雪花型結構是對星型結構的擴展,是對星型的維表進一步標準化,它的優(yōu)點是通過最大限度地減少數(shù)據(jù)存儲量以及把較小的標準化表聯(lián)合在一起,來改善性能,如下圖所示。開放庫設計以上各數(shù)據(jù)源進入到大數(shù)據(jù)庫,其中結構化數(shù)據(jù)將進入數(shù)據(jù)緩沖區(qū),非結構化數(shù)據(jù)進入非結構化數(shù)據(jù)庫。下面對大數(shù)據(jù)庫層次結構進行介紹:數(shù)據(jù)緩沖區(qū):存儲源數(shù)據(jù),只保留一個月數(shù)據(jù),防止上層數(shù)據(jù)計算錯誤時進行恢復的數(shù)據(jù)來源;貼源區(qū):基于緩沖區(qū)數(shù)據(jù)進行基礎處理,包括拉鏈數(shù)據(jù)生成、數(shù)據(jù)編碼格式統(tǒng)一等,用于生成歷史數(shù)據(jù)和對外共享。開放庫:基于共享數(shù)據(jù)庫數(shù)據(jù)進行清洗比對、匯總、關聯(lián)、融合加工,形成開放數(shù)據(jù)庫。為了有效支撐業(yè)務系統(tǒng),實現(xiàn)系統(tǒng)間的數(shù)據(jù)共享、數(shù)據(jù)交換、數(shù)據(jù)分析,為業(yè)務系統(tǒng)提供數(shù)據(jù)共享交換、大數(shù)據(jù)訪問、主題分析、大數(shù)據(jù)應用等能力。數(shù)據(jù)緩沖區(qū)緩沖區(qū)是開放數(shù)據(jù)庫的數(shù)據(jù)入口,存儲的是從共享數(shù)據(jù)庫抽取過來的數(shù)據(jù)。其作用主要有兩個:一、作為數(shù)據(jù)中轉樞紐;二、防止后端數(shù)據(jù)處理出錯時,再次執(zhí)行出錯,并可追根溯源。緩沖區(qū)主要保存外圍系統(tǒng)的原始數(shù)據(jù),不做任何處理。數(shù)據(jù)主要提供給業(yè)務數(shù)據(jù)庫使用,時間保留一個月的時間,并將原始數(shù)據(jù)刪除,以節(jié)省存儲空間。數(shù)據(jù)緩沖區(qū)存儲在Oracle數(shù)據(jù)庫。數(shù)據(jù)來源緩沖區(qū)作為開放數(shù)據(jù)庫的數(shù)據(jù)入口,也是開放數(shù)據(jù)庫的底層,主要承擔著數(shù)據(jù)底層數(shù)據(jù)樞紐的作用。緩沖區(qū)的數(shù)據(jù)來源于數(shù)據(jù)共享與交換平臺。數(shù)據(jù)按照實際需求的時間力度從數(shù)據(jù)共享與交換平臺獲取,數(shù)據(jù)以時間戳的方式進行更新,每天按照增量的方式抽?。ㄒ髮Ψ降臄?shù)據(jù)必須以時間戳的方式進行提供),每個月進行全量更新一次,每月全量更新就是為了防止增量過程中數(shù)據(jù)遺漏等出現(xiàn)的問題,每月全量更新可以保證將問題的時間窗縮減到一個月之內。數(shù)據(jù)存儲緩沖區(qū)存儲在Oracle數(shù)據(jù)庫上,作為數(shù)據(jù)中轉樞紐,對存儲的數(shù)據(jù)不做任何修改,保持原汁原味,跟源系統(tǒng)的數(shù)據(jù)模型一致。一方面保障對后端提供數(shù)據(jù)的及時性,另一方面可以對后端出現(xiàn)問題追根溯源。緩沖區(qū)是開放數(shù)據(jù)庫的最原始的數(shù)據(jù),數(shù)據(jù)需要定時備份。按照設計,緩沖區(qū)數(shù)據(jù)只存儲一個月,一個月后通過ETL定時轉存功能,其后刪除原始的數(shù)據(jù),以減少緩沖區(qū)的存儲空間。數(shù)據(jù)初始化建庫完成后,利用ETL工具,將存量的結構化數(shù)據(jù)一次性依次導入到數(shù)據(jù)緩沖區(qū)。數(shù)據(jù)抽取的要點:抽取方法:通過ETL工具抽??;抽取方式:全量抽??;抽取頻率:一次;增量數(shù)據(jù)入庫抽取源數(shù)據(jù)中每天增加的數(shù)據(jù),將新增的數(shù)據(jù)導入到數(shù)據(jù)緩沖區(qū),增量數(shù)據(jù)數(shù)據(jù)量較少,需要配置調度策略來定時執(zhí)行。數(shù)據(jù)抽取的要點:抽取方法:通過ETL工具抽??;抽取方式:增量抽取;抽取頻率:每天一次(視實際數(shù)據(jù)更新情況);數(shù)據(jù)貼源區(qū)由于開放數(shù)據(jù)庫的數(shù)據(jù)源數(shù)據(jù)的更新頻率各不相同,即使將這種來源廣泛的數(shù)據(jù)從源庫抽取到開放數(shù)據(jù)庫中,也不是一件易事。增加ODS層(貼源區(qū)),可以最快速最小化轉換方式將源頭的數(shù)據(jù)抽取到開放數(shù)據(jù)庫中,將這些數(shù)據(jù)按原有的結構和屬性,以一定的歷史周期保存起來,并做一些簡單的數(shù)據(jù)處理,增加裝載時間、更新時間的“拉鏈”信息、統(tǒng)一編碼格式等。它還需要使用增量更新的方式保留一份最新的業(yè)務數(shù)據(jù),以保持與源系統(tǒng)數(shù)據(jù)保持同步。數(shù)據(jù)存儲數(shù)據(jù)到貼源區(qū)后,基本將按原有的結構和屬性存儲在Oracle數(shù)據(jù)庫中。貼源區(qū)中的所有數(shù)據(jù),不管源數(shù)據(jù)的規(guī)模大小,對數(shù)據(jù)進行全表存儲,并增加數(shù)據(jù)分類標識,如計生、公安等,以對數(shù)據(jù)進行邏輯區(qū)分。數(shù)據(jù)模型設計所有源系統(tǒng)的數(shù)據(jù)被加載到數(shù)據(jù)緩沖區(qū)后,都會在貼源區(qū)中進行標準化處理,并進行歷史數(shù)據(jù)累積,保留全量數(shù)據(jù)。此數(shù)據(jù)區(qū)的數(shù)據(jù)基本保持源系統(tǒng)數(shù)據(jù)的原貌,盡可能不做變形,這主要出于以下幾個方面的考慮:貼源區(qū)保留與源系統(tǒng)相同的數(shù)據(jù),可以用于支持一些對于數(shù)據(jù)的原貌性要求比較高的應用,比如一些稽核類應用、一些法律查詢類應用等;進行數(shù)據(jù)轉換往往會帶來轉換錯誤的風險,貼源區(qū)保留與源系統(tǒng)相同的數(shù)據(jù),可以減少大數(shù)據(jù)中心出現(xiàn)錯誤的可能性,同時也為基礎庫的查錯和糾錯提供了一個可靠的支持;數(shù)據(jù)標準也是經(jīng)常在變的,貼源區(qū)保留與源系統(tǒng)相同的未變形的數(shù)據(jù)可以保證數(shù)據(jù)不會因為數(shù)據(jù)標準變化而無法回溯;整合區(qū)將會進行各種標準化,貼源區(qū)保留了與源系統(tǒng)相同的數(shù)據(jù),提供了與基礎庫做過轉換以后的數(shù)據(jù)進行檢核的數(shù)據(jù)基礎;由于保留了源系統(tǒng)數(shù)據(jù),可以更加方便、快速實現(xiàn)業(yè)務源系統(tǒng)報表遷移到貼源區(qū)。所以我們規(guī)劃貼源區(qū)盡可能保持與源系統(tǒng)數(shù)據(jù)相同。如果在開放數(shù)據(jù)庫內實現(xiàn)數(shù)據(jù)標準化的工作,可以在貼源區(qū)建立一張標準化轉換表,可以通過配置選擇對哪些字段需要標準化,然后通過關聯(lián)標準化轉換表獲得部分或全部字段的標準化數(shù)據(jù),同時保留源系統(tǒng)的原始數(shù)據(jù)字段,根據(jù)需要將標準數(shù)據(jù)交換到數(shù)據(jù)共享交換平臺中提供對外供數(shù)。同樣,此后的整合區(qū)也將利用貼源區(qū)的標準化視圖作為數(shù)據(jù)源進行標準化后的數(shù)據(jù)加工。開放數(shù)據(jù)庫的數(shù)據(jù)標準化可以都通過對貼源區(qū)的標準化視圖進行訪問來實現(xiàn),這也有利于數(shù)據(jù)質量的保證。貼源區(qū)的特點與作用貼源區(qū)的特點和主要作用總結如下:建設周期短,見效快;保留源系統(tǒng)歷史全量數(shù)據(jù),可用于實現(xiàn)一些適合基于源系統(tǒng)結構實現(xiàn)的應用、報表或隨機查詢,特別是數(shù)據(jù)源要求比較單一、時效性要求比較高的應用,例如一些緊急的部門級的報表類應用就比較適合;為后面基礎庫的建設做技術、知識和數(shù)據(jù)的準備和積累,為基礎庫的初始加載以及出錯補數(shù)提供數(shù)據(jù)支持;支持要求未標準化前代碼的數(shù)據(jù)需求;支持一些要求數(shù)據(jù)不能變形,數(shù)據(jù)結構也不能變形的特殊應用,如一些稽核類應用及司法查詢應用;數(shù)據(jù)初始化建庫完成后,利用ETL工具,將數(shù)據(jù)緩沖區(qū)中的數(shù)據(jù)抽取到貼源區(qū)。數(shù)據(jù)抽取的要點:抽取方法:通過ETL工具抽??;抽取方式:全量抽?。怀槿☆l率:一次;增量數(shù)據(jù)入庫抽取數(shù)據(jù)緩沖區(qū)中每天增加的數(shù)據(jù),將新增的數(shù)據(jù)導入到貼源區(qū)中,增量數(shù)據(jù)數(shù)據(jù)量較少,需要配置調度策略來定時執(zhí)行。數(shù)據(jù)抽取的要點:抽取方法:通過ETL工具抽取;抽取方式:增量抽?。怀槿☆l率:每天一次(視實際數(shù)據(jù)更新情況);數(shù)據(jù)整合區(qū)數(shù)據(jù)整合區(qū)以共享數(shù)據(jù)庫數(shù)據(jù)做為基礎數(shù)據(jù),因此主要建設人口庫、法人庫、房屋庫等。數(shù)據(jù)整合區(qū)采用可擴展的設計模式,未來可以擴展新的數(shù)據(jù)。數(shù)據(jù)整合區(qū)數(shù)據(jù)模型除了參照市人口庫、法人庫、房屋庫現(xiàn)有數(shù)據(jù)結構外,也會結合實際情況予以擴展。數(shù)據(jù)整合區(qū)存儲最新的數(shù)據(jù),當有數(shù)據(jù)更新后,數(shù)據(jù)整合區(qū)數(shù)據(jù)將采取T+1的策略更新。數(shù)據(jù)整合區(qū)數(shù)據(jù)可以通過數(shù)據(jù)交換共享平臺給各業(yè)務部門使用。數(shù)據(jù)來源數(shù)據(jù)整合區(qū)的數(shù)據(jù)來源于數(shù)據(jù)貼源區(qū),數(shù)據(jù)貼源區(qū)的數(shù)據(jù)來源于數(shù)據(jù)緩沖區(qū),數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)來源數(shù)據(jù)共享與交換平臺,因此,數(shù)據(jù)整合區(qū)的數(shù)據(jù)也來源于數(shù)據(jù)共享與交換平臺。數(shù)據(jù)初始化建庫完成后,利用ETL工具,將數(shù)據(jù)從數(shù)據(jù)貼源區(qū)抽取到數(shù)據(jù)整合區(qū)。人口庫、法人庫、房屋庫以市和區(qū)各部門的人口、法人、房屋數(shù)據(jù)為基礎。數(shù)據(jù)更新當數(shù)據(jù)共享與交換平臺相應的數(shù)據(jù)源表的數(shù)據(jù)更新后,數(shù)據(jù)整合區(qū)的數(shù)據(jù)會及時更新,更新的時間是T+1。判斷數(shù)據(jù)更新的方式采用全表比對的方式,采用MD5校驗碼,ETL工具事先為要抽取的表建立一個結構類似的MD5臨時表,該臨時表記錄源表主鍵以及根據(jù)所有字段的數(shù)據(jù)計算出來的MD5校驗碼。每次進行數(shù)據(jù)抽取時,對源表和MD5臨時表進行MD5校驗碼的比對,從而決定源表中的數(shù)據(jù)是新增、修改還是刪除,同時更新MD5校驗碼。數(shù)據(jù)整合區(qū)形成后還將利用市鏡像庫提供的數(shù)據(jù)比對服務進行二次處理,市鏡像庫數(shù)據(jù)發(fā)生變化時,數(shù)據(jù)整合區(qū)也將同步更新。增量數(shù)據(jù)入庫抽取相應數(shù)據(jù)庫中每天增加的數(shù)據(jù),將新增的數(shù)據(jù)導入到數(shù)據(jù)整合區(qū)中。如果新增的數(shù)據(jù)是新增的記錄項,則在數(shù)據(jù)整合區(qū)中追加一條記錄;如果新增的數(shù)據(jù)是對原有數(shù)據(jù)的修改,則在數(shù)據(jù)整合區(qū)中更新相應的記錄項,并將歷史數(shù)據(jù)保存。數(shù)據(jù)監(jiān)控數(shù)據(jù)更新監(jiān)控對開放數(shù)據(jù)庫中的入庫數(shù)據(jù)進行監(jiān)控,監(jiān)控數(shù)據(jù)來源單位、數(shù)據(jù)來源數(shù)量等??砂磿r間段條件來查詢某個具體時間段數(shù)據(jù)更新情況。開放數(shù)據(jù)庫中的數(shù)據(jù)更新后,系統(tǒng)會及時展示更新情況,可以細化到某個表中數(shù)據(jù)的更新情況展示。數(shù)據(jù)資源監(jiān)控對開放數(shù)據(jù)庫中基礎數(shù)據(jù)的當前數(shù)據(jù)總量、最近更新量、最近更新時間、距上次更新時間的天數(shù)、新增數(shù)據(jù)量、日更新數(shù)據(jù)量、今天與昨天數(shù)據(jù)更新量對比等整體信息。開放服務庫建設服務庫建設即API管理方式主要針對兩方面應用:一是對于提供系統(tǒng)接口的委辦局實現(xiàn)接口、交換中心庫、基礎庫以及歷史庫統(tǒng)一格式封裝和管理,提供標準服務調用;二是對職能部門直接可以生成開放服務的數(shù)據(jù),通過服務生成器直接生成服務和服務總線,由服務目錄管理,實現(xiàn)開放服務。數(shù)據(jù)資源目錄體系建設(數(shù)據(jù)數(shù)據(jù)資源目錄、數(shù)據(jù)服務目錄)概述對開放數(shù)據(jù)資源采取目錄管理模式,有利于市政府領導和各委辦局全面了解和利用全市數(shù)據(jù)資源和數(shù)據(jù)開放服務。目錄主要用來管理兩類資源:數(shù)據(jù)資源和服務資源。數(shù)據(jù)資源是指從各個委辦局的采集的元數(shù)據(jù)。服務資源是指可以重用的能完成數(shù)據(jù)開放應用數(shù)據(jù),包括用服務生成器生成的服務和委辦局提供的接口服務。數(shù)據(jù)資源目錄的內容包括:產生該數(shù)據(jù)資源的部門、業(yè)務系統(tǒng)、相關業(yè)務(參照權責清單),該數(shù)據(jù)資源的名稱(中文說明,英文名稱)、包含的各指標項(中文說明,英文名稱,數(shù)據(jù)類型和大小,公開方式等)、分類、編碼、更新周期等。對開放目錄分級管理,包括公開數(shù)據(jù)、內部數(shù)據(jù)、涉密數(shù)據(jù);并對數(shù)據(jù)開放內容進行分類管理,包括主題分類、行業(yè)分類、服務分類、標簽維度。普通用戶可以管理本單位的數(shù)據(jù)資源目錄,包括查詢、增加、修改、刪除等操作,但必須通過系統(tǒng)用戶審批后才能正式生效。系統(tǒng)用戶可以管理全市的數(shù)據(jù)資源目錄,包括查詢、批準并發(fā)布、拒絕等操作,指定各部門要求報送的資源目錄,更新市數(shù)據(jù)資源目錄并管理其訂閱、發(fā)布狀態(tài),對市數(shù)據(jù)資源目錄的統(tǒng)計分析(發(fā)布、訂閱、審批、拒絕等情況)。整體架構項目的數(shù)據(jù)資源開放目錄系統(tǒng)是一款云資源目錄及云服務治理產品、嚴格遵循GB/T21063-2007政務信息資源目錄體系標準的基礎上擴展了云資源開放所必備的云服務治理功能。它具有資源類化編目、目錄版本管理、服務消費認證,同時它向用戶提供檢索服務、訂閱服務、使用評價等功能。數(shù)據(jù)資源開放目錄系統(tǒng)提供了RSS訂閱和瀏覽器查閱兩種方式調用查看服務內容,并提供搜索功能,以方便人們更快、更準的發(fā)現(xiàn)服務資源,并能充分地利用資源。同時,該系統(tǒng)利用同步橋接機制發(fā)現(xiàn)云服務總線和云服務生成器上新發(fā)布的服務,自動完成服務“發(fā)布”->“發(fā)現(xiàn)”提升了平臺的運行效率。根據(jù)GB/T21063-2007政務信息資源目錄體系標準,結合SOA、WOA架構規(guī)范,以及上述的架構藍圖,目錄系統(tǒng)的整體建設框架設計如下:整個平系統(tǒng)構分為五個層級包括數(shù)據(jù)源、數(shù)據(jù)資源編目、目錄分類(數(shù)據(jù)目錄、服務目錄)、數(shù)據(jù)資源分類與分級、數(shù)據(jù)目錄管理;兩大體系:目錄標準體系、安全保障體系。數(shù)據(jù)源數(shù)據(jù)源主要包括兩大類數(shù)據(jù)資源:市電子政務數(shù)據(jù)和各局辦數(shù)據(jù)服務接口/API。市電子政務數(shù)據(jù)主要是來自市數(shù)據(jù)資源共享平臺基礎庫數(shù)據(jù)以及市委辦局業(yè)務數(shù)據(jù),其類型包括結構化數(shù)據(jù)和非結構化數(shù)據(jù);服務接口/API主要是各委辦局提供的數(shù)據(jù)服務接口/API。在數(shù)據(jù)采集過程中對數(shù)據(jù)資源進行資源梳理和體征提取,為數(shù)據(jù)資源編目做準備,數(shù)據(jù)采集是數(shù)據(jù)匯聚的重要手段,包括數(shù)據(jù)交換平臺實現(xiàn)和手工報送方式。數(shù)據(jù)資源編目元數(shù)據(jù)編目:負責對元數(shù)據(jù)和元數(shù)據(jù)集合的管理,其中包括了23項國家核心元數(shù)據(jù),并遵循了國家標準中對核心元數(shù)據(jù)的定義和著錄規(guī)則。同時還可以根據(jù)需求動態(tài)擴展元數(shù)據(jù),元數(shù)據(jù)支持單項(文本、日期等)和復合項兩種數(shù)據(jù)類型。元數(shù)據(jù)集提供了版本和模板管理,在填充完元數(shù)據(jù)后,可將其作為元數(shù)據(jù)集模板,以供其他元數(shù)據(jù)集使用。編目管理:資源編目管理的特征項填報實現(xiàn)編目表單的動態(tài)生成,按動態(tài)加載的元數(shù)據(jù)集合對元數(shù)據(jù)元素進行賦值、標準符合性檢查、分類和輸出等元數(shù)據(jù)操作,構成目錄的核心內容。編目注冊的資源需要經(jīng)過審核后才能發(fā)布提供外部訪問。數(shù)據(jù)接口/API接入:滿足各委辦局提供接口接入和API。目錄分類目錄主要用來管理兩類資源:數(shù)據(jù)資源和服務資源。數(shù)據(jù)資源是指從各個委辦局的采集的元數(shù)據(jù)。服務資源是指可以重用的能完成數(shù)據(jù)開放應用數(shù)據(jù),包括用服務生成器生成的服務和委辦局提供的接口服務。數(shù)據(jù)資源分類與分級數(shù)據(jù)資源分類是把具有某種共同屬性或特征的政務信息歸并在一起,通過其類別的屬性或特征來對政務信息進行的歸類,據(jù)以建立政務數(shù)據(jù)資源目錄分類體系,具體實現(xiàn)政務數(shù)據(jù)資源采集、管理、服務、共享等,以便有序管理和開發(fā)利用政務數(shù)據(jù)資源。數(shù)據(jù)資源分級:分級包括公開數(shù)據(jù)、內部數(shù)據(jù)、涉密數(shù)據(jù)。數(shù)據(jù)目錄管理目錄管理實現(xiàn)對目錄服務中心的目錄內容和目錄服務運行的關聯(lián),應根據(jù)目錄審核、目錄檢索、目錄維護、目錄發(fā)布、目錄訂閱、統(tǒng)計分析、日志管理等功能。審核功能:按照目錄標準對目錄內容進行形式審核,符合標準的目錄內容進入目錄內容服務信息庫,按照標準要求自動發(fā)布;未通過形式審核的目錄內容,回退到相關政務部門,經(jīng)形式修正后重新審核。維護功能:對目錄內容信息庫,目錄內容服務信息庫中的目錄內容提供維護功能。系統(tǒng)管理員可以增加、修改或刪除資源目錄。核實功能:系統(tǒng)對資源目錄上描述的數(shù)據(jù)進行核實。目錄訂閱和發(fā)布:訂閱資源的指標如何包含條件共享字段,第一步需要系統(tǒng)管理員進行審核,系統(tǒng)管理員審核通過后,第二部需要部門管理員確認,部門管理員確認這個條件共享的字段能共享給申請的部門使用。開放、共享資源申請:訂閱資源的指標是開放和共享的,則只需要系統(tǒng)管理員確定通過一下就可以了。不共享資源:即此字段不公開,訂閱時不能訂閱次字段。資源目錄統(tǒng)計:統(tǒng)計、查詢資源目錄使用情況。資源目錄管理需要統(tǒng)計資源庫的容量和使用率,通過圖表方式以及數(shù)據(jù)的方式顯示統(tǒng)計結果。統(tǒng)計分析項目包括資源容量統(tǒng)計、資源使用統(tǒng)計、上傳統(tǒng)計等。目錄服務地址管理:存儲目錄服務中心的目錄服務地址,用于目錄服務中心之間的互連互通。監(jiān)控功能:監(jiān)控系統(tǒng)的運行狀態(tài)。兩大體系:1、目錄標準規(guī)范體系:1、安全保障體系:信息安全是電子政務的前提,更是政府業(yè)務的重中之重,沒有數(shù)據(jù)安全保障,電子檢務就無法開展。建立統(tǒng)一安全體系,從物理、網(wǎng)絡、系統(tǒng)、信息和管理等方面保證整體安全;以應用與實效為主導,管理與技術并重,建立綜合防范機制,保障信息平臺安全、高效、可靠的運行。數(shù)據(jù)資源目錄編制與管理流程數(shù)據(jù)編目主要分兩種,部門有目錄系統(tǒng)的進行目錄同步就可以了;沒有目錄系統(tǒng)的需要對部門資源進行編目。編目分類如下圖:目錄管理實現(xiàn)對數(shù)據(jù)資源目錄平臺的全部操作,根據(jù)對目錄平臺的操作可分為編目系統(tǒng)、目錄管理系統(tǒng)、目錄服務系統(tǒng)三個部分。目錄是用于描述政務數(shù)據(jù)資源,包括資源本身的屬性、特征及其定位信息和獲取方式。編目系統(tǒng)采用靈活的部署方式,可以人工編目、機輔編目、自動編目多種編目方式,也支持電子文件、數(shù)據(jù)庫、網(wǎng)頁等多種部門開放數(shù)據(jù)資源。目錄管理系統(tǒng)包括對開放數(shù)據(jù)的“元數(shù)據(jù)”信息進行管理和服務管理(包括接口/API管理),說明各部門可以提供哪些數(shù)據(jù),數(shù)據(jù)的類型、交換周期、交換方式等信息;另一方面對開放服務進行管理,說明服務的類型、申請方式等。目錄服務系統(tǒng)發(fā)布目錄、目錄服務、服務申請和服務審批等。了解數(shù)據(jù)資源中心有哪些數(shù)據(jù)資源并發(fā)起申請,提供部門可以根據(jù)共享目錄的要求提供數(shù)據(jù)。目錄服務系統(tǒng)是在數(shù)據(jù)資源梳理的基礎上構建而成的,提供資源登記管理、數(shù)據(jù)資源展示、數(shù)據(jù)資源發(fā)布及數(shù)據(jù)資源服務。數(shù)據(jù)資源目錄編制與管理流程圖此外,需要統(tǒng)一的安全認證、授權管理,統(tǒng)一的備份/恢復機制,統(tǒng)一的數(shù)據(jù)資源更新機制等。以保證數(shù)據(jù)資源的安全、完整、有效,實現(xiàn)方便高效的共享。開放資源目錄功能設計元數(shù)據(jù)管理元數(shù)據(jù)管理的重要性:元數(shù)據(jù)管理可作為一項重要功能,讓目錄系統(tǒng)得以管理復雜數(shù)據(jù)集成環(huán)境中的變化,同時提供可信、安全的數(shù)據(jù)。當業(yè)務數(shù)據(jù)相關方參與這一進程并接受對數(shù)據(jù)參考框架的責任,其優(yōu)勢將變得更有說服力。此時,政府

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論