政務大數(shù)據(jù)交換共享平臺建設方案

精選文庫 *政務大數(shù)據(jù)交換共享平臺建設方案目 錄第一章 需求分析和項目建設的必要性 .41.1 項目建設目標、內(nèi)容.41.1.1 項目建設目標.41.1.2 項目建設內(nèi)容.41.2 編制依據(jù) .51.3 與政務職能相關(guān)的社會問題和政務目標分析.61.3.1 社會問題分析.61.3.2 政務目標分析.81.4 業(yè)務功能、業(yè)務流程和業(yè)務量分析 .111.4.1 用戶角色分析.111.4.2 業(yè)務功能分析.121.4.3 業(yè)務流程 .141.4.4 業(yè)務量分析.141.5 信息量分析和預測 .151.5.1 存儲量分析.151.5.2 處理量分析.191.5.3 網(wǎng)絡流量分析.201.6 系統(tǒng)功能和性能需求分析 .201.6.1 系統(tǒng)功能指標.201.6.2 系統(tǒng)性能指標.221.7 信息系統(tǒng)裝備和應用現(xiàn)狀與差距.221.7.1 現(xiàn)狀 .221.7.2 差距 .231.8 項目建設的必要性 .23第二章 總體建設方案 . 262.1 建設原則 .262.1.1 統(tǒng)一性原則.262.1.2 可靠性原則.262.1.3 可伸縮和可擴展性原則.262.1.4 開放性原則.272.1.5 安全性原則.272.1.6 高效性原則.272.1.7 友好性原則.272.1.8 可管理易維護性 .28-I- *政務大數(shù)據(jù)交換共享平臺建設方案2.2 總體目標與分期目標.282.3 總體建設任務與分期建設內(nèi)容 .292.4 總體設計方案 .302.4.1 基礎設施層.322.4.2 信息資源層.332.4.3 應用支撐層.342.4.4 應用層.342.4.5 服務層.342.4.6 安全保障體系.342.4.7 標準規(guī)范體系.35第三章 項目建設方案 . 363.1 標準規(guī)范建設 .363.1.1 管理制度建設.363.1.2 標準規(guī)范建設.403.1.3 數(shù)據(jù)標準建設.433.1.4 標準規(guī)范索引.463.2 信息資源規(guī)劃和數(shù)據(jù)庫設計.473.2.1 信息資源規(guī)劃.473.2.2 數(shù)據(jù)中心建設.533.3 門戶系統(tǒng)建設 .693.3.1 信息資源政務門戶.693.3.2 信息資源開放門戶.733.4 應用系統(tǒng)建設 .743.4.1 數(shù)據(jù)匯聚平臺.743.4.2 數(shù)據(jù)治理平臺.893.4.3 數(shù)據(jù)運營平臺.1023.4.4 數(shù)據(jù)應用平臺.1043.5 四大基礎數(shù)據(jù)庫管理平臺 .1083.5.1 人口庫.1083.5.2 法人庫. 1113.5.3 經(jīng)濟庫. 1143.5.4 地理庫. 1153.6 應用支撐系統(tǒng)設計 . 1163.6.1 統(tǒng)一用戶管理. 1163.6.2 統(tǒng)一應用管理.1203.6.3 統(tǒng)一服務管理.1213.6.4 統(tǒng)一消息服務.1233.6.5 統(tǒng)一日志服務.124-II- *政務大數(shù)據(jù)交換共享平臺建設方案3.7 安全保障體系建設 .1243.7.1 建設目標 .1243.7.2 安全體系架構(gòu).1253.7.3 安全防護體系建設.1253.7.4 安全管理體系建設.1333.8 主要軟硬件選型原則和詳細軟硬件配置清單.1363.8.1 主要軟硬件選型原則 .1363.8.2 詳細軟硬件配置清單 .137第四章 效益分析 . 1384.1 經(jīng)濟效益 .1384.2 社會效益 .140第五章 項目風險與風險管理 . 1425.1 風險識別和分析.1425.1.1 組織風險 .1425.1.2 管理風險 .1425.1.3 業(yè)務風險 .1425.1.4 技術(shù)風險 .1425.2 風險對策和管理.1435.2.1 組織風險防范對策.1435.2.2 管理風險防范對策.1435.2.3 業(yè)務風險防范對策.1445.2.4 技術(shù)風險防范對策.144-III- *政務大數(shù)據(jù)交換共享平臺建設方案第一章 需求分析和項目建設的必要性1.1 項目建設目標、內(nèi)容1.1.1 項目建設目標電子政務公共數(shù)據(jù)開放共享平臺項目建設目標是，依托統(tǒng)一的“云”數(shù)據(jù)中心建設統(tǒng)一的公共數(shù)據(jù)開放共享平臺。集中機關(guān)各部門業(yè)務應用進行，制定相關(guān)的數(shù)據(jù)規(guī)范和信息交換標準，使機關(guān)各部門業(yè)務系統(tǒng)依托統(tǒng)一的開放平臺進行開發(fā)建設。確保部門之間系統(tǒng)之間的互聯(lián)互通、數(shù)據(jù)共享，為大數(shù)據(jù)分析提供數(shù)據(jù)依據(jù)。1.1.2 項目建設內(nèi)容電子政務公共數(shù)據(jù)開放共享平臺項目建設內(nèi)容包含：一套標準規(guī)范、兩個數(shù)據(jù)門戶、四大應用平臺、四大基礎數(shù)據(jù)庫和一個應用支撐平臺。具體建設內(nèi)容包括：1、一個應用支撐平臺為了對需要調(diào)用電子政務公共數(shù)據(jù)開放共享平臺信息資源的政府部門應用系統(tǒng)進行有效管理，面向各類電子政務應用，規(guī)劃建設統(tǒng)一的應用支撐平臺，統(tǒng)一標準規(guī)范，通過用戶管理、應用管理、服務管理等核心組件，可以對接入系統(tǒng)有效管理、實現(xiàn)統(tǒng)一認證及單點登錄、統(tǒng)一消息服務。-4- *政務大數(shù)據(jù)交換共享平臺建設方案2、兩個數(shù)據(jù)門戶針對政府部門用戶建設信息資源政務門戶，針對企業(yè)、公眾用戶建設信息資源開放門戶。3、四大應用系統(tǒng)建設承載電子政務公共數(shù)據(jù)匯聚平臺、數(shù)據(jù)治理平臺、數(shù)據(jù)運營平臺和數(shù)據(jù)應用平臺。4、四大基礎數(shù)據(jù)庫通過電子政務信息資源梳理，制定四大基礎數(shù)據(jù)庫的建庫、入庫和管理規(guī)則，建立四大基礎數(shù)據(jù)庫管理平臺，提供基礎庫內(nèi)容管理、數(shù)據(jù)處理、共享和應用功能。四大基礎數(shù)據(jù)庫包括人口庫、法人庫、經(jīng)濟庫和地理庫。5、一套標準規(guī)范形成標準規(guī)范體系，包括管理制度、標準規(guī)范、數(shù)據(jù)標準等。1.2 編制依據(jù)1、中辦、國辦2006-2020年國家信息化發(fā)展戰(zhàn)略；2、國辦關(guān)于促進電子政務協(xié)調(diào)發(fā)展的指導意見；3、國務院促進大數(shù)據(jù)發(fā)展行動綱要；4、國家電子政務總體框架；5、國家電子政務“十二五”規(guī)劃(工信部規(guī)2011567號)；6、關(guān)于印發(fā)“十二五”國家政務信息化工程建設規(guī)劃的通知(發(fā)改高技20121202號)；-5- *政務大數(shù)據(jù)交換共享平臺建設方案7、GB/T 21063-2007 政務信息資源目錄體系8、GB/T 21062-2007 政務信息資源交換體系9、國家電子政務工程建設項目管理暫行辦法10、政府信息公開條例1.3 社會問題和政務目標分析1.3.1 社會問題分析作為世界人口大國，理論上我國數(shù)據(jù)資源儲量極為豐富，但大部分政府數(shù)據(jù)（例如：交通、社保、稅收等），屬于結(jié)構(gòu)化數(shù)據(jù)，距離海量(volume)、速度(velocity)和多樣性(variety)的 3V屬性還有一定距離，但從戰(zhàn)略角度而言差距并不大。從數(shù)據(jù)規(guī)模來說，政府擁有國內(nèi)最為龐大的數(shù)據(jù)儲量。政府數(shù)據(jù)廣泛存儲于各地、各級政府機關(guān)院所等不同單位、不同部門、不同系統(tǒng)甚至不同網(wǎng)絡環(huán)境中，海量超脫于地理空間的政府數(shù)據(jù)亟待存儲與處理。從數(shù)據(jù)來源來說，由于各行業(yè)、各地采用的法律法規(guī)和標準并不統(tǒng)一。傳統(tǒng)的電子政務信息系統(tǒng)，僅為滿足特定功能而生，數(shù)據(jù)結(jié)構(gòu)差異性大，大量數(shù)據(jù)存放于歷史遺留應用中，委辦局間碎片化、零散化、低效率的數(shù)據(jù)交互和分析普遍存在，導致政府數(shù)據(jù)來源極為復雜。從數(shù)據(jù)質(zhì)量和價值來說，企業(yè)的數(shù)據(jù)種類單一化程度較高，而政府數(shù)據(jù)涉及工商、稅務、交通、醫(yī)療、教育等領(lǐng)域，數(shù)據(jù)種類繁-6- *政務大數(shù)據(jù)交換共享平臺建設方案多，事關(guān)百姓生活的方方面面，數(shù)據(jù)質(zhì)量較高，數(shù)據(jù)的潛在價值十分可觀。如上所述，政府數(shù)據(jù)的特點可以概括為：數(shù)據(jù)規(guī)模大、數(shù)據(jù)來源和結(jié)構(gòu)復雜、數(shù)據(jù)價值高但利用率低。政府收集了大量有價值的數(shù)據(jù)，通過這些數(shù)據(jù)，可以更好地了解國家資源使用情況，政府開支情況，土地交易和管理情況，這些將不僅強化政府責任，提升治理能力，還能提高資金支出效率，為人民提供更多更好的服務選擇。1、政府數(shù)據(jù)體量越來越大截至 2014 年，中國共有 664 個城市，2852 個行政縣，40446個行政鄉(xiāng)。當前，中國中央和省級政務部門主要業(yè)務電子政務覆蓋率已經(jīng)達到 70%。據(jù)粗略估算，全國政府大數(shù)據(jù)加起來相當于數(shù)百個阿里巴巴的體量。而隨著硬件技術(shù)的進步，對于數(shù)據(jù)采集精度、采集頻率、數(shù)據(jù)存儲等能力在增強，使得數(shù)據(jù)規(guī)模仍有提升空間，近幾年數(shù)據(jù)中心的新建和擴容呈現(xiàn)井噴式的發(fā)展，這是以硬件基礎設施帶動的變革，促使軟件技術(shù)也得到了快速發(fā)展。隨著數(shù)據(jù)體量的增長，大數(shù)據(jù)處理、大數(shù)據(jù)應用分析的門檻將會逐漸提高。2、多部門協(xié)作成為常態(tài)化復雜的城市治理問題，對跨部門的協(xié)作提出了更高的要求，過去個別部門間存在的職責交叉分散、協(xié)調(diào)運行不暢等問題。隨著“大部制”完善，建立健全了部門間協(xié)同運行機制，逐步實現(xiàn)“多個部-7- *政務大數(shù)據(jù)交換共享平臺建設方案門、一個政府”目標。隨著部門與部門的邊界越來越模糊，政府數(shù)據(jù)跨部門共享共用已不再是亮點和創(chuàng)新，建立常態(tài)化共享機制成為政府大數(shù)據(jù)建設的入門。3、國家治理不能僅僅依靠政府由于時間和技術(shù)的局限性，以往國家治理基本是政府下達指令、向下逐層執(zhí)行的“開環(huán)過程”。如今隨著互聯(lián)網(wǎng)發(fā)展，人民對于政府的期望越來越高，國家不僅要在政策出臺前廣泛征求、準確把握民意；出臺后還需要獲得執(zhí)行反饋，并適時調(diào)整，政府治理變?yōu)橄逻_指令執(zhí)行反饋的“閉環(huán)過程”，需要借助社會各方面力量參與到國家治理過程之中。無論是社會自治還是合作共建，政府數(shù)據(jù)共享開放都是大前提。4、社會普遍開始重視數(shù)據(jù)安全和隱私數(shù)據(jù)如同一把雙刃劍，在帶來便利的同時也帶來了很多安全隱患，隨著全球各地用戶信息安全事件頻出，讓人們開始感受到“數(shù)據(jù)”與生活接觸如此緊密，數(shù)據(jù)泄露可以對個人的生活質(zhì)量造成極大的威脅。數(shù)據(jù)安全和隱私保護不僅是公民個人的責任，對采集數(shù)據(jù)和共享數(shù)據(jù)的政府單位，也有義務保障數(shù)據(jù)的安全和隱私，此過程中，政策、技術(shù)、意識缺一不可。需嚴格依照相關(guān)規(guī)范文件，將安全運營意識滲透到政府數(shù)據(jù)開放中。1.3.2 政務目標分析1、實現(xiàn)政務公開，打造透明政府-8- *政務大數(shù)據(jù)交換共享平臺建設方案電子政務公共數(shù)據(jù)開放共享促進政府和公眾互動，讓政務透明，幫助政府進行社會管理和解決社會難題，大數(shù)據(jù)時代下，政府是整合開放的平臺，是一個大數(shù)據(jù)共享平臺， 它建立了公眾與政府間的溝通渠道，越來越多的國家和組織利用其開展民意調(diào)查，通過在線交互讓民眾成為政務流程的節(jié)點，透明政務，讓公眾參與到政策制定與執(zhí) 行、效果評估和監(jiān)督之中，使民眾參政議政成為可能。大數(shù)據(jù)推進政府信息資源進一步開放，政府信息開發(fā)利用效率倍增，促進經(jīng)濟社會快速發(fā)展。2、實現(xiàn)數(shù)據(jù)融合，打造智慧政府電子政務公共數(shù)據(jù)開放共享真正跨越了政府內(nèi)部協(xié)同的鴻溝，大大提高工作效率，降低政府運行成本。其一，政府內(nèi)部協(xié)同除思想理念上的障礙外，技術(shù)上也存在一定障礙，隨著大數(shù)據(jù)技術(shù)發(fā)展，跨越系統(tǒng)、跨越平臺、跨越數(shù)據(jù)結(jié)構(gòu)的政府將在技術(shù)上使政府內(nèi)部縱向、橫向部門得以流暢協(xié)同。其二，由于利用大數(shù)據(jù)技術(shù)，數(shù)據(jù)獲取、處理及分析響應時間大幅減少，工作效率明顯提高，同時降低了政府開支。例如，政府利用大數(shù)據(jù)對社會人群進行細分，對不同人群進行針對性服務和政策施行。3、實現(xiàn)科學決策，打造責任政府電子政務公共數(shù)據(jù)開放共享提高政府決策的科學性和精準性，提高政府預測預警能力以及應急響應能力，越來越多的政府擯棄經(jīng)驗和直覺，依賴電子政務的數(shù)據(jù)和分析進行決策?，F(xiàn)在大數(shù)據(jù)又超越了傳統(tǒng)的數(shù)據(jù)分析方法，不但是對大數(shù)據(jù)分析挖掘，對言論、圖-9- *政務大數(shù)據(jù)交換共享平臺建設方案表等都可以進行深度挖掘、人工智能。大數(shù)據(jù)的深入及廣泛應用會給政府帶來科學和精準的決策支持。4、為*電子政務提供一個安全可靠的信息資源存儲中心對各部門的共享交換的數(shù)據(jù)資源進行統(tǒng)一的規(guī)劃管理和應用，建設集約化的數(shù)據(jù)資源存儲中心，從而避免了各部門重復建設工作；同時提高數(shù)據(jù)安全方面的建設，從硬件設備、網(wǎng)絡、信息資源、應用系統(tǒng)、管理平臺、數(shù)據(jù)庫等方面的全面保證數(shù)據(jù)的安全性，并根據(jù)用戶的不同訪問需求、防止惡意入侵、病毒防護、分區(qū)域的安全設計，并在應用服務上提供安全檢測服務。5、為*電子政務提供一個高效的應用服務平臺*電子政務公共數(shù)據(jù)開放共享平臺的建設，為政府應用系統(tǒng)和信息資源的高效管理和服務提供手段，通過對相關(guān)的基礎信息、業(yè)務信息、服務信息進行管理，實現(xiàn)*電子政務公共數(shù)據(jù)開放共享平臺的信息管理和服務功能。城市級交換共享平臺則對各部門的信息資源提供交換共享支撐，以提高信息資源的綜合利用水平。通過整合各部門數(shù)據(jù)信息，建設基礎信息庫，并提供對外服務，實現(xiàn)*電子政務公共數(shù)據(jù)開放共享平臺的服務功能。6、為*電子政務提供一個長效和可維護的信息服務體系*電子政務公共數(shù)據(jù)開放共享平臺的建設要對*電子政務體系提供長久的服務，因此在管理和運維上必需配備相應的支撐。這一方面取決于管理制度的完善、管理手段的完備和對管理本身的技術(shù)支撐，另一方面，也取決于人員的配備和運維體系的建立。-10- *政務大數(shù)據(jù)交換共享平臺建設方案1.4 業(yè)務功能、業(yè)務流程和業(yè)務量分析1.4.1 用戶角色分析*電子政務公共數(shù)據(jù)開放共享平臺的用戶分為：領(lǐng)導、各部門、企業(yè)單位及社會公眾。1.4.1.1 政府領(lǐng)導*電子政務公共數(shù)據(jù)開放共享平臺有價值的數(shù)據(jù)、行政地圖、決策方法和應急進行融合，采用大數(shù)據(jù)分析技術(shù)，有利于各級領(lǐng)導、管理決策人員方便、直觀、形象地進行各種分析，從而使統(tǒng)計決策的科學化、人性化、智能化管理走上一個新臺階。1.4.1.2 政府部門可以向*電子政務公共數(shù)據(jù)開放共享平臺提供數(shù)據(jù)或使用平臺提供的數(shù)據(jù)；業(yè)務部門之間可以通過系統(tǒng)平臺交換共享數(shù)據(jù)；遵循標準規(guī)范進行業(yè)務系統(tǒng)的建造和改進，可實現(xiàn)業(yè)務系統(tǒng)和數(shù)據(jù)開放共享平臺的對接。1.4.1.3 社會公眾可以依托*電子政務公共數(shù)據(jù)開放共享平臺提供的應用服務對公眾需求做出快速反應，公眾可以更直接廣泛的獲得政府提供的服務，如證照協(xié)同、社保電子傳遞等。1.4.1.4 企業(yè)單位通過*電子政務公共數(shù)據(jù)開放共享平臺提供的應用服務可以方-11- *政務大數(shù)據(jù)交換共享平臺建設方案便企業(yè)進行業(yè)務級信息查詢，并可通過業(yè)務協(xié)同對企業(yè)提供事項審批、信息推送服務。1.4.2 業(yè)務功能分析1.4.2.1 數(shù)據(jù)共享在政府部門內(nèi)部強調(diào)的是共享共用。先把政府部門內(nèi)部及部門之間數(shù)據(jù)共享的工作做起來。各級政府都以數(shù)據(jù)應用為導向，需要什么數(shù)據(jù)就共享什么數(shù)據(jù)。部門間的信息共享，綜合考慮管理難度和技術(shù)難度建議分為三個階段：“條線內(nèi)部門共享”、“平級跨部門共享”、“跨層級和跨區(qū)域的共享”，通過統(tǒng)一規(guī)劃，逐步推進的策略，打造部門間信息資源共享共用的新格局。1.4.2.2 數(shù)據(jù)開放對社會的數(shù)據(jù)開放，先從方便百姓生活又不是很敏感的數(shù)據(jù)開始。特別是涉及公共安全、公共利益的數(shù)據(jù)，提供公共服務的機構(gòu)或企業(yè)有義務在一定前提條件下開放，這樣一些可以預警、預防的群體性事件就能夠避免。按照社會關(guān)注程度、數(shù)據(jù)量大小和具體實施難度，數(shù)據(jù)開放建議分為三個階段：“業(yè)務統(tǒng)計數(shù)據(jù)”、“少量高頻數(shù)據(jù)”、“重點業(yè)務數(shù)據(jù)”。通過以安全為前提，重點關(guān)注優(yōu)先試點，逐步擴大范圍為原則，穩(wěn)步推行數(shù)據(jù)服務開放。-12- *政務大數(shù)據(jù)交換共享平臺建設方案1.4.2.3 數(shù)據(jù)融合政務大數(shù)據(jù)歸根結(jié)底，還是要面向行業(yè)應用的，需要基于不同的業(yè)務部門開展，并和現(xiàn)有平臺建立聯(lián)系。融合應用可以分為“數(shù)據(jù)融合”、“業(yè)務融合”、“產(chǎn)業(yè)融合”三個層次：其中，數(shù)據(jù)融合是把本單位數(shù)據(jù)、從其他單位共享的數(shù)據(jù)，以及互聯(lián)網(wǎng)等社會相關(guān)的數(shù)據(jù)，相互融合，相互比對，建立融合數(shù)據(jù)資源中心，統(tǒng)一數(shù)據(jù)標準和口徑。業(yè)務融合主要圍繞各行業(yè)的特定業(yè)務場景，比如交通出行、醫(yī)療保障、民生服務等領(lǐng)域，建設智慧應用，形成行業(yè)業(yè)務的決策分析體系，支撐城市運行和城市治理的方方面面。產(chǎn)業(yè)融合，隨著一大批大數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)運營企業(yè)的興起，政府數(shù)據(jù)將不單單是自建自用，通過建設數(shù)據(jù)運營平臺，數(shù)據(jù)交易平臺等形式，引入社會資本共同參與城市建設和社會治理，實現(xiàn)向集約型、服務型、智慧型政府的轉(zhuǎn)變。-13- *政務大數(shù)據(jù)交換共享平臺建設方案1.4.3 業(yè)務流程開 始從 緩 沖 區(qū) 增 量 數(shù) 據(jù) 表 中 獲 取 人 口 增量 數(shù) 據(jù)根 據(jù) 證 件 類 型 判 斷 證 件 號 是否 符 合 規(guī) 范否通 過 證 件 號 判 斷 該 人 是 否 存在 于 人 口 主 表 中將 該 條 增 量 數(shù) 據(jù) 插 入 異 常 表 中否是將 人 口 庫 【 人 口 增 量 數(shù) 據(jù) 表 】中 該 人 口 記 錄 刪 除通 過 【 部 門 業(yè) 務 系 統(tǒng) 提 供 字 段 配 置表 】 得 到 該 業(yè) 務 系 統(tǒng) 需 采 集 的 字 段且 循 環(huán) 這 些 字 段判 斷 人 口 庫 該 字 段 值 的 來 源是 否 是 該 業(yè) 務 系 統(tǒng)將 該 人 口 記 錄 插 入 到 【 人 口 基礎 信 息 表 】 及 【 專 題 表 】是是否根 據(jù) 證 件 號 碼 和 類 型 更 新【 人 口 基 礎 信 息 表 】 及 【 專題 表 】 的 字 段否判 斷 新 采 集 的 字 段 值 是 否 為空否將 該 人 口 記 錄 字 段 來 源 插 入 到【 字 段 來 源 表 】判 斷 人 口 庫 庫 該 字 段 值 是 否為 空否否判 斷 該 業(yè) 務 系 統(tǒng) 的 數(shù) 據(jù)是是 否 是 業(yè) 務 上 的 新 增 ?否是根 據(jù) 證 件 號 碼 和 類 型 更 新 【 人 口 基礎 信 息 表 】 及 【 專 題 表 】 的 字 段 值是判 斷 該 業(yè) 務 系 統(tǒng) 是 否 為該 字 段 的 權(quán) 威 來 源更 新 【 字 段 來 源 表 】 中 該 字 段的 來 源循 環(huán) 人 口 庫 需 采 集 該 業(yè) 務 系統(tǒng) 的 字 段 是 否 結(jié) 束將 人 口 庫 【 人 口 增 量 數(shù) 據(jù) 表 】 中 該人 口 記 錄 刪 除結(jié) 束1.4.4 業(yè)務量分析業(yè)務量分析可以從平臺交互量、每天總用戶數(shù)（個）、每天每個用戶平均執(zhí)行操作數(shù)、高峰時段交互量占全天交互量的百分比、高峰時段持續(xù)時間（小時）、高峰時段在線用戶數(shù)（個）等方面指標進行綜合估算。*互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺的業(yè)務量估算如下表所示：表 3-1 業(yè)務量估算序號數(shù)據(jù)名稱平臺交互量數(shù)據(jù)量200（日均）100123每天總用戶數(shù)（個）每天每個用戶平均執(zhí)行操作數(shù)高峰時段交互量占全天交互量的百分比1000460%-14- *政務大數(shù)據(jù)交換共享平臺建設方案序號數(shù)據(jù)名稱數(shù)據(jù)量4（9：00-11：00，15：00-17：00）60（日均）56高峰時段持續(xù)時間（小時）高峰時段在線用戶數(shù)（個）1.5 信息量分析和預測1.5.1 存儲量分析本項目中存儲的數(shù)據(jù)主要包括兩大部分：系統(tǒng)網(wǎng)站群的在線行為數(shù)據(jù)和國內(nèi)外互聯(lián)網(wǎng)重點渠道、信息源以及政府網(wǎng)站群的在線內(nèi)容數(shù)據(jù)。在線用戶行為數(shù)據(jù)以符合 W3C格式標準的日志形式進行存儲。網(wǎng)站內(nèi)容更新數(shù)據(jù)直接存到關(guān)系型數(shù)據(jù)庫或其他非關(guān)系型數(shù)據(jù)庫中。1、在線行為數(shù)據(jù)存儲量網(wǎng)站群的在線行為數(shù)據(jù)存儲主要分為三部分：（1）接收數(shù)據(jù)，是系統(tǒng)儲存的原始數(shù)據(jù)。（2）結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)進行數(shù)據(jù)清洗和去重后進行結(jié)構(gòu)化后存儲。（3）分析數(shù)據(jù)庫，將結(jié)構(gòu)化的數(shù)據(jù)進行分析預計算后存儲。按照本項目需要涵蓋*系統(tǒng)網(wǎng)站群的 500個網(wǎng)站，每個網(wǎng)站的日平均訪問按照 10000個 PV計算，預計每日需要處理的總的 PV數(shù)為 500萬。n 接收數(shù)據(jù)的測算依據(jù)及結(jié)論其中接收數(shù)據(jù)庫的主要條目占用空間，如下表所示：單個 PV所要儲存的信息空間大小（字節(jié)）訪問路徑信息1600-15- *政務大數(shù)據(jù)交換共享平臺建設方案來源路徑信息1120其他信息（會話標識、Cookie標識、時間信息等）256匯總2976單個 Session所要儲存的信息(1個 Session大約產(chǎn)生 4PV）訪問路徑信息5121120128來源路徑信息客戶端信息（IP、瀏覽器等）其他信息（會話標識、Cookie標識、時間信息等）256匯總2016單個 Cookie所要儲存的信息(1個 Cookie大約產(chǎn)生1.25Session)訪問路徑信息512256768其他信息（Cookie標識、時間信息等）匯總例如：按照其他同類項目的數(shù)據(jù)估算，PV和 Session數(shù)量比為 4：1，Session和 Cookie的數(shù)量比為 1.25：1。則 500萬的 PV會產(chǎn)生 125萬 的 Session 以 及 產(chǎn) 生 100 萬 的 Cookie， 總 占 據(jù) 空 間 為5000000*2976+1250000*2016+1000000*768=18G，包括索引以及其他表占用的空間之后，約為 20G。原始日志存儲到 SQL Server中會采用壓縮技術(shù)，大小將降為 5G。結(jié)論：對于接收數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術(shù)后，每 500 萬PV 至少需要 25G 的儲存空間。n 結(jié)構(gòu)化數(shù)據(jù)的測算依據(jù)及結(jié)論*系統(tǒng)政府網(wǎng)站群監(jiān)測分析調(diào)度系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫和原始數(shù)據(jù)庫存儲的數(shù)據(jù)一致，但是經(jīng)過對原始數(shù)據(jù)庫的數(shù)據(jù)去冗余以及結(jié)構(gòu)化，用外鍵壓縮了原來直接存儲在各表里的信息，大小會變?yōu)樵紨?shù)據(jù)的一半，也就是 2.5G。-16- *政務大數(shù)據(jù)交換共享平臺建設方案結(jié)論：對于結(jié)構(gòu)化數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術(shù)后，每 500萬 PV至少需要 2.5GB的儲存空間。n 分析數(shù)據(jù)的測算依據(jù)及結(jié)論*系統(tǒng)政府網(wǎng)站群監(jiān)測分析調(diào)度系統(tǒng)的分析數(shù)據(jù)庫內(nèi)容基本是結(jié)構(gòu)化數(shù)據(jù)庫的拷貝，大小與結(jié)構(gòu)化數(shù)據(jù)庫基本一致，也為 2.5G。結(jié)論：對于“決策支持系統(tǒng)”的分析數(shù)據(jù)庫，采用了壓縮和優(yōu)化技術(shù)后，每 500萬 PV至少需要 2.5GB的儲存空間。綜上所述，在不做任何備份的情況下，每 500萬的 PV，需要文件存儲空間為：25GB + 2.5GB + 2.5GB=30G。到 2015年底的存儲量為 10.5T，到 2019年底的存儲量為 52.5T，具體測算如下表所示：接收日志明細匯總數(shù)據(jù)合計875G單月數(shù)據(jù)量(G)保留周期(月)25*30=750 2.5*30=62.5 2.5*30=62.560606060一年內(nèi)需要存儲五年內(nèi)需要存儲90004500075075010.5T52.5T375037502、在線內(nèi)容數(shù)據(jù)存儲量n 國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源按照本項目需要面向國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源進行在線內(nèi)容采集爬取，按照覆蓋包括主流媒體在內(nèi)的 200個信息源，每個信息源爬取 3級計算，平均每天可以爬取更新的總的頁面數(shù)約為 30萬 個 ， 每 個 頁 面 按 照 100KB 計 算 ， 共 需 要 占 用 的 空 間 為30W*1000KB=30G。-17- *政務大數(shù)據(jù)交換共享平臺建設方案到 2015年底的存儲量為 10.8T，到 2019年底的存儲量為 54T，具體測算如下表所示：國內(nèi)外互聯(lián)網(wǎng)重點渠道和信息源單月數(shù)據(jù)量(G)一年內(nèi)需要存儲五年內(nèi)需要存儲30萬*30=900G10.8T54Tn *級以上政府網(wǎng)站群*級以上政府網(wǎng)站群網(wǎng)站內(nèi)容更新數(shù)據(jù)主要包括以下三部分：網(wǎng)站更新頁面、網(wǎng)站更新的入口，網(wǎng)站更新的白名單。按照本項目需要涵蓋*系統(tǒng)網(wǎng)站群及*各級政府網(wǎng)站群的6500個網(wǎng)站，平均每個網(wǎng)站每天更新 10個頁面，就是 6.5萬個。如果每天爬取 10次，就是 106500=6.5 萬個入口，每個網(wǎng)站算 10個白名單，那就是 10650010=65 萬個白名單?？偣彩?6.5萬+6.5萬+65萬=78萬，共需要占用的空間為 78萬頁*100KB/頁=78G。到 2015 年底的存儲量為 28.08T，到 2019 年底的存儲量為140.4T，具體測算如下表所示：更新頁面數(shù)據(jù)6.5*30=1952.34T網(wǎng)站入口數(shù)據(jù) 白名單數(shù)據(jù)合計單月數(shù)據(jù)量(G)一年內(nèi)需要存儲五年內(nèi)需要存儲6.5*30=195 65*30=1950 2340G2.34T11.7T23.4T117T28.08T140.4T11.7T綜上所述，系統(tǒng)的數(shù)據(jù)存儲總量如下表所示：表 3-2 數(shù)據(jù)量估算表序號數(shù)據(jù)名稱初始量10.5T5年內(nèi)的增量12在線行為數(shù)據(jù)52.5T54T互聯(lián)網(wǎng)重點渠道和信息源*團以上政府網(wǎng)站群10.8T328.08T49.38T140.4T246.9T合計-18- *政務大數(shù)據(jù)交換共享平臺建設方案1.5.2 處理量分析（1）網(wǎng)站群用戶訪問行為數(shù)據(jù)處理量分析以每天 725萬個客戶端訪問（包括 500萬 PV、100萬 Session、125萬 Cookie）并發(fā)計算，結(jié)合在線行為數(shù)據(jù)的接收主要集中在工作時間，7250000/8小時/60分鐘/60秒=251個/秒，日志接收服務器接受每秒鐘接收日志請求 251個，遠遠低于系統(tǒng)的每秒接收到的正常數(shù)（該值通常為 7000-9000）。根據(jù)日志接收每秒鐘的并發(fā)量為 251，因此系統(tǒng)的數(shù)據(jù)接收只需要再用兩臺服務器做負載均衡即可。但是為了防止數(shù)據(jù)接收網(wǎng)站的域名出現(xiàn)單點故障，因此系統(tǒng)的數(shù)據(jù)接收采用雙域名備份，即每個域名對應兩臺數(shù)據(jù)接收服務器，一共四臺。根據(jù)系統(tǒng)需要滿足*政府網(wǎng)站智能分析系統(tǒng)診斷的需要，目前系統(tǒng)的單臺服務器的數(shù)據(jù)處理能力為 400家左右，因此需要 4臺數(shù)據(jù)庫服務器，另外需要兩臺相同配置的數(shù)據(jù)庫服務器作為備份。（2）其他在線內(nèi)容數(shù)據(jù)處理量分析一是系統(tǒng)需要支持對不少于 108萬個數(shù)據(jù)采集點每天至少一次輪詢抓取，同時對抓取回的數(shù)據(jù)進行數(shù)據(jù)預處理和清洗入庫工作，二是需要實現(xiàn)對存量數(shù)據(jù)和增量數(shù)據(jù)的指標自動抽取和更新工作，三是需要支持前臺交互系統(tǒng)的交互分析挖掘需求。結(jié)合以上幾部分需求，預計所需的內(nèi)容數(shù)據(jù)處理服務器約 50臺。其中較高性能處理服務器（單機 20 核服務器 CPU:2660*2MEM:144G DISK:SSD 480G*2+SAS 4T*6，萬兆網(wǎng)卡，遠程管理，雙電-19- *政務大數(shù)據(jù)交換共享平臺建設方案源）10 臺，中等性能處理服務器（單機 12 核服務器,CPU:2620*2MEM:32G DISK:4T*10，萬兆網(wǎng)卡，遠程管理，雙電源）10臺。較低性能服務器（單機 12 核服務器,CPU:2620*2 MEM:72G DISK:SSD480G*2+SAS 600G*4，萬兆網(wǎng)卡，遠程管理，雙電源）30臺。1.5.3 網(wǎng)絡流量分析按每天處理 725萬在線行為數(shù)據(jù)，每條數(shù)據(jù)為 10KB大小，108萬條在線內(nèi)容數(shù)據(jù)，每條 100KB計算，需要的平均帶寬為 17Mbps，高峰時期按