《全國一體化政務大數(shù)據(jù)體系建設指南》解讀相關兩份資料

2022《全國一體化政務大數(shù)據(jù)體系建設指南》解讀目錄1.建設背景2.總體要求3.總體架構4.主要內(nèi)容5.保障措施1建設背景建設現(xiàn)狀政務數(shù)據(jù)管理職能基本明確政務數(shù)據(jù)基礎設施基本建成政務數(shù)據(jù)資源體系基本形成2016年以來，國務院出臺《政務信息資源共享管理暫行辦法》、《國務院辦公廳關于建立健全政務數(shù)據(jù)共享協(xié)調(diào)機制加快推進數(shù)據(jù)有序共享的意見》等一系列政策文件，加強頂層設計，統(tǒng)籌推進政務數(shù)據(jù)共享和應用工作目前，全國31個省（自治區(qū)、直轄市）均已結合政務數(shù)據(jù)管理和發(fā)展要求明確政務數(shù)據(jù)主管部門，負責制定大數(shù)據(jù)發(fā)展規(guī)劃和政策措施，組織實施政務數(shù)據(jù)采集、歸集、治理、共享、開放和安全保護等工作，統(tǒng)籌推進數(shù)據(jù)資源開發(fā)利用覆蓋國家、省、市、縣等層級的政務數(shù)據(jù)目錄體系初步形成，各地區(qū)各部門依托全國一體化政務服務平臺匯聚編制政務數(shù)據(jù)目錄超過300萬條，信息項超過2000萬個人口、法人、自然資源、經(jīng)濟等基礎庫初步建成國務院各有關部門積極推進醫(yī)療健康、社會保障、生態(tài)環(huán)保、信用體系、安全生產(chǎn)等領域主題庫建設各地區(qū)積極探索政務數(shù)據(jù)管理模式，建設政務數(shù)據(jù)平臺截至目前，全國已建設26個省級政務數(shù)據(jù)平臺、257個市級政務數(shù)據(jù)平臺、355個縣級政務數(shù)據(jù)平臺國家電子政務外網(wǎng)基礎能力不斷提升，已實現(xiàn)縣級以上行政區(qū)域100%覆蓋，鄉(xiāng)鎮(zhèn)覆蓋率達到96.1%政務云基礎支撐能力不斷夯實，全國31個?。ㄗ灾螀^(qū)、直轄市）和新疆生產(chǎn)建設兵團云基礎設施基本建成，超過70%的地級市建設了政務云平臺建成全國一體化政務數(shù)據(jù)共享樞紐，依托全國一體化政務服務平臺和國家數(shù)據(jù)共享交換平臺，構建起覆蓋國務院部門、31個省（自治區(qū)、直轄市）和新疆生產(chǎn)建設兵團的數(shù)據(jù)共享交換體系全國一體化政務數(shù)據(jù)共享樞紐已接入各級政務部門5951個，發(fā)布53個國務院部門的各類數(shù)據(jù)資源1.35萬個，累計支撐全國共享調(diào)用超過4000億次國家公共數(shù)據(jù)開放體系加快構建，21個?。ㄗ灾螀^(qū)、直轄市）建成了省級數(shù)據(jù)開放平臺，提供統(tǒng)一規(guī)范的數(shù)據(jù)開放服務取得的成效經(jīng)濟調(diào)節(jié)數(shù)字技術在宏觀調(diào)控決策、經(jīng)濟社會發(fā)展分析、投資監(jiān)督管理、數(shù)字經(jīng)濟治理等方面應用持續(xù)深化，政府經(jīng)濟調(diào)節(jié)數(shù)字化水平逐步提高各地區(qū)運用大數(shù)據(jù)強化經(jīng)濟監(jiān)測預警，加強覆蓋經(jīng)濟運行全周期的統(tǒng)計監(jiān)測和綜合分析，不斷提升對經(jīng)濟運行“形”和“勢”的數(shù)字化研判能力市場監(jiān)管利用前端填報合并、后端數(shù)據(jù)共享等方式，推進市場監(jiān)管與人力資源社會保障、海關、商務等多部門業(yè)務協(xié)同，實現(xiàn)企業(yè)年報事項“多報合一”，減輕企業(yè)負擔，助力優(yōu)化營商環(huán)境充分利用法人基礎信息，支持地方和部門開展企業(yè)違規(guī)行為監(jiān)管、行業(yè)動態(tài)監(jiān)測和輔助決策分析，防范企業(yè)經(jīng)營風險社會管理以大數(shù)據(jù)算法建模、分析應用為手段，推進城市運行“一網(wǎng)統(tǒng)管”，提高治理能力和水平通過數(shù)據(jù)融合支撐突發(fā)事件應急處置，開展?；贰⒌V產(chǎn)等重點企業(yè)風險態(tài)勢分析和自然災害監(jiān)測預警等工作，提升社會治理、應急指揮的效率和質(zhì)量推進社會信用體系建設，通過信用狀況分析，揭示社會主體信用優(yōu)劣，警示社會主體信用風險，整合全社會力量褒揚誠信、懲戒失信公共服務各地區(qū)各部門深入挖掘、充分利用數(shù)據(jù)資源，促進政務服務辦理方式不斷優(yōu)化、辦事效率不斷提升，創(chuàng)新個稅專項扣除、跨省轉(zhuǎn)學、精準扶貧、普惠金融等服務模式，企業(yè)和群眾的滿意度、獲得感不斷提升目前，政務服務事項網(wǎng)上可辦率達到90%以上，政務服務“一網(wǎng)通辦”加速推進生態(tài)環(huán)保建設生態(tài)環(huán)保主題庫，涵蓋環(huán)境質(zhì)量、污染源、環(huán)保產(chǎn)業(yè)、環(huán)?？萍嫉葦?shù)據(jù)通過跨部門數(shù)據(jù)共享，支撐環(huán)境質(zhì)量監(jiān)測、突發(fā)環(huán)境事件應急處置等23類應用，為打贏藍天、碧水、凈土保衛(wèi)戰(zhàn)，服務保障碳達峰、碳中和目標實現(xiàn)提供了數(shù)據(jù)支持利用大數(shù)據(jù)加強經(jīng)濟監(jiān)測分析，提升研判能力通過數(shù)據(jù)共享減輕企業(yè)負擔，提升監(jiān)管能力推進城市運行“一網(wǎng)統(tǒng)管”和社會信用體系建設促進政務服務模式創(chuàng)新，提升辦事效率強化環(huán)境監(jiān)測和應急處理能力政務數(shù)據(jù)統(tǒng)籌管理機制有待完善政務數(shù)據(jù)共享供需對接不夠充分政務數(shù)據(jù)支撐應用水平亟待提升政務數(shù)據(jù)標準規(guī)范體系尚不健全政務數(shù)據(jù)安全保障能力亟需強化存在的主要問題目前，國家層面已明確建立政務數(shù)據(jù)共享協(xié)調(diào)機制，但部分政務部門未明確政務數(shù)據(jù)統(tǒng)籌管理機構，未建立有效的運行管理機制各級政務部門既受上級主管部門業(yè)務指導，又歸屬于本地政府管理，政務數(shù)據(jù)管理權責需進一步厘清，協(xié)調(diào)機制需進一步理順基層仍存在數(shù)據(jù)重復采集、多次錄入和系統(tǒng)連通不暢等問題，影響政務數(shù)據(jù)統(tǒng)籌管理和高效共享當前政務數(shù)據(jù)資源存在底數(shù)不清，數(shù)據(jù)目錄不完整、不規(guī)范，數(shù)據(jù)來源不一等問題，亟需進一步加強政務數(shù)據(jù)目錄規(guī)范化管理數(shù)據(jù)需求不明確、共享制度不完備、供給不積極、供需不匹配、共享不充分、異議處理機制不完善、綜合應用效能不高等問題較為突出有些部門以數(shù)據(jù)安全要求高、僅供特定部門使用為由，數(shù)據(jù)供需雙方自建共享渠道，需整合納入統(tǒng)一的數(shù)據(jù)共享交換體系政務云平臺建設與管理不協(xié)同，政務云資源使用率不高，缺乏一體化運營機制。政務數(shù)據(jù)質(zhì)量問題較為突出，數(shù)據(jù)完整性、準確性、時效性亟待提升跨地區(qū)、跨部門、跨層級數(shù)據(jù)綜合分析需求難以滿足，數(shù)據(jù)開放程度不高、數(shù)據(jù)資源開發(fā)利用不足地方對國務院部門垂直管理系統(tǒng)數(shù)據(jù)的需求迫切，數(shù)據(jù)返還難制約了地方經(jīng)濟調(diào)節(jié)、市場監(jiān)管、社會治理、公共服務、生態(tài)環(huán)保等領域數(shù)字化創(chuàng)新應用由于各地區(qū)各部門產(chǎn)生政務數(shù)據(jù)所依據(jù)的技術標準、管理規(guī)范不盡相同，政務數(shù)據(jù)缺乏統(tǒng)一有效的標準化支撐，在數(shù)據(jù)開發(fā)利用時，需要投入大量人力財力對數(shù)據(jù)進行清洗、比對，大幅增加運營成本，亟需完善全國統(tǒng)一的政務數(shù)據(jù)標準、提升數(shù)據(jù)質(zhì)量部分地方和部門對標準規(guī)范實施推廣、應用績效評估等重視不足，一些標準規(guī)范形同虛設《中華人民共和國數(shù)據(jù)安全法》、《中華人民共和國個人信息保護法》、《關鍵信息基礎設施安全保護條例》等法律法規(guī)出臺后，亟需建立完善與政務數(shù)據(jù)安全配套的制度數(shù)據(jù)全生命周期的安全管理機制不健全，數(shù)據(jù)安全技術防護能力亟待加強缺乏專業(yè)化的數(shù)據(jù)安全運營團隊，數(shù)據(jù)安全管理的規(guī)范化水平有待提升，在制度規(guī)范、技術防護、運行管理三個層面尚未形成數(shù)據(jù)安全保障的有機整體2總體要求指導思想以習近平新時代中國特色社會主義思想為指導，堅持以人民為中心的發(fā)展思想立足新發(fā)展階段、貫徹新發(fā)展理念、構建新發(fā)展格局建立健全權威高效的政務數(shù)據(jù)共享協(xié)調(diào)機制，構建全國一體化政務大數(shù)據(jù)體系推進政務數(shù)據(jù)開放共享、有效利用構建完善數(shù)據(jù)全生命周期質(zhì)量管理體系加強數(shù)據(jù)資源整合和安全保護，促進數(shù)據(jù)高效流通使用推動政府治理流程再造和模式優(yōu)化不斷提高政府管理水平和服務效能為推進國家治理體系和治理能力現(xiàn)代化提供有力支撐基本原則12345堅持系統(tǒng)觀念、統(tǒng)籌推進堅持繼承發(fā)展、迭代升級堅持需求導向、應用牽引堅持創(chuàng)新驅(qū)動、提質(zhì)增效堅持整體協(xié)同、安全可控加強全局性謀劃、一體化布局、整體性推進，更好發(fā)揮中央、地方和各方面積極性，聚焦政務數(shù)據(jù)歸集、加工、共享、開放、應用、安全、存儲、歸檔各環(huán)節(jié)全過程，切實破解阻礙政務數(shù)據(jù)共享開放的制度性瓶頸，整體推進數(shù)據(jù)共建共治共享，促進數(shù)據(jù)有序流通和開發(fā)利用，提升數(shù)據(jù)資源配置效率充分整合利用各地區(qū)各部門現(xiàn)有政務數(shù)據(jù)資源，以政務數(shù)據(jù)共享為重點，適度超前布局，預留發(fā)展空間，加快推進各級政務數(shù)據(jù)平臺建設和迭代升級，不斷提升政務數(shù)據(jù)應用支撐能力從企業(yè)和群眾需求出發(fā)，從政府管理和服務場景入手，以業(yè)務應用牽引數(shù)據(jù)治理和有序流動，加強數(shù)據(jù)賦能，推進跨部門、跨層級業(yè)務協(xié)同與應用，使政務數(shù)據(jù)更好地服務企業(yè)和群眾堅持新發(fā)展理念，積極運用云計算、區(qū)塊鏈、人工智能等技術提升數(shù)據(jù)治理和服務能力，加快政府數(shù)字化轉(zhuǎn)型，提供更多數(shù)字化服務，推動實現(xiàn)決策科學化、管理精準化、服務智能化堅持總體國家安全觀，樹立網(wǎng)絡安全底線思維，圍繞數(shù)據(jù)全生命周期安全管理，落實安全主體責任，促進安全協(xié)同共治，運用安全可靠技術和產(chǎn)品，推進政務數(shù)據(jù)安全體系規(guī)范化建設，推動安全與利用協(xié)調(diào)發(fā)展建設目標全國一體化政務大數(shù)據(jù)體系初步形成，基本具備數(shù)據(jù)目錄管理、數(shù)據(jù)歸集、數(shù)據(jù)治理、大數(shù)據(jù)分析、安全防護等能力，數(shù)據(jù)共享和開放能力顯著增強，政務數(shù)據(jù)管理服務水平明顯提升全國一體化政務大數(shù)據(jù)體系更加完備，政務數(shù)據(jù)管理更加高效，政務數(shù)據(jù)資源全部納入目錄管理全面摸清政務數(shù)據(jù)資源底數(shù)，建立政務數(shù)據(jù)目錄動態(tài)更新機制，政務數(shù)據(jù)質(zhì)量不斷改善建設完善人口、法人、自然資源、經(jīng)濟、電子證照等基礎庫和醫(yī)療健康、社會保障、生態(tài)環(huán)保、應急管理、信用體系等主題庫，并統(tǒng)一納入全國一體化政務大數(shù)據(jù)體系政務大數(shù)據(jù)管理機制、標準規(guī)范、安全保障體系初步建立，基礎設施保障能力持續(xù)提升政務數(shù)據(jù)資源基本納入目錄管理，有效滿足數(shù)據(jù)共享需求，數(shù)據(jù)服務穩(wěn)定性不斷增強政務數(shù)據(jù)質(zhì)量顯著提升，“一數(shù)一源、多源校核”等數(shù)據(jù)治理機制基本形成，政務數(shù)據(jù)標準規(guī)范、安全保障制度更加健全政務數(shù)據(jù)共享需求普遍滿足，數(shù)據(jù)資源實現(xiàn)有序流通、高效配置，數(shù)據(jù)安全保障體系進一步完善，有效支撐數(shù)字政府建設政務數(shù)據(jù)與社會數(shù)據(jù)融合應用水平大幅提升，大數(shù)據(jù)分析應用能力顯著增強，推動經(jīng)濟社會可持續(xù)高質(zhì)量發(fā)展2023年前到2025年主要任務0105統(tǒng)籌管理一體化數(shù)據(jù)服務一體化0206數(shù)據(jù)目錄一體化算力設施一體化0307數(shù)據(jù)資源一體化標準規(guī)范一體化0408共享交換一體化安全保障一體化3總體架構國家政務大數(shù)據(jù)平臺內(nèi)容構成現(xiàn)有基礎共享平臺、開放平臺、供需對接系統(tǒng)、基礎庫、主題庫、算力設施、災備設施新建系統(tǒng)組件數(shù)據(jù)服務、數(shù)據(jù)治理、數(shù)據(jù)分析、政務云監(jiān)測、數(shù)據(jù)安全管理相關應用支撐組件數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)目錄系統(tǒng)數(shù)據(jù)開放系統(tǒng)數(shù)據(jù)治理系統(tǒng)供需對接系統(tǒng)數(shù)據(jù)共享系統(tǒng)通用算法模型和控件政務區(qū)塊鏈服務政務云監(jiān)測數(shù)據(jù)安全管理算力設施災備設施國家政務數(shù)據(jù)服務門戶基礎庫人口庫法人庫......主題庫醫(yī)療健康庫社會保障庫......國家平臺與地方和部門平臺關系數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)目錄系統(tǒng)數(shù)據(jù)開放系統(tǒng)數(shù)據(jù)治理系統(tǒng)供需對接系統(tǒng)數(shù)據(jù)共享系統(tǒng)政務數(shù)據(jù)服務門戶國家政務大數(shù)據(jù)平臺主題庫基礎庫......主題庫1.注冊和修改目錄2.查找和定位數(shù)據(jù)地方和部門政務數(shù)據(jù)平臺數(shù)據(jù)目錄系統(tǒng)數(shù)據(jù)共享系統(tǒng)......數(shù)據(jù)資源庫2.數(shù)據(jù)分析服務2.開放數(shù)據(jù)服務2.開展供需協(xié)商1.物理匯聚數(shù)據(jù)處理2.發(fā)出共享指令1.留存數(shù)據(jù)2.提供數(shù)據(jù)2.數(shù)據(jù)調(diào)用請求2.提供數(shù)據(jù)2.數(shù)據(jù)調(diào)用請求2.提供數(shù)據(jù)2.數(shù)據(jù)調(diào)用請求2.提供數(shù)據(jù)1.反饋數(shù)據(jù)要求2.提供數(shù)據(jù)服務1.數(shù)據(jù)全量注冊2.提出數(shù)據(jù)要求2.數(shù)據(jù)共享服務編號1為數(shù)據(jù)注冊和歸集鏈條編號2為數(shù)據(jù)共享和服務鏈條與相關系統(tǒng)的關系國家政務大數(shù)據(jù)平臺32個省級政務數(shù)據(jù)平臺N個國務院部門政務數(shù)據(jù)平臺全國一體化政務大數(shù)據(jù)體系業(yè)務應用體系基礎設施體系政務云政務外網(wǎng)互聯(lián)網(wǎng)提供數(shù)據(jù)支撐提供基礎設施支撐黨委人大政協(xié)社會數(shù)據(jù)紀委監(jiān)委法院檢察院公共數(shù)據(jù)軍隊4主要內(nèi)容建立完善政務大數(shù)據(jù)管理體系統(tǒng)籌管理一體化建立健全政務數(shù)據(jù)共享協(xié)調(diào)機制統(tǒng)籌協(xié)調(diào)本部門本行業(yè)，摸清數(shù)據(jù)資源底數(shù)，編制政務數(shù)據(jù)目錄，依托國家政務大數(shù)據(jù)平臺，與各地區(qū)各部門開展數(shù)據(jù)共享應用，不得另建跨部門數(shù)據(jù)共享交換通道，已有通道納入國家政務大數(shù)據(jù)平臺數(shù)據(jù)共享系統(tǒng)管理國務院辦公廳各地區(qū)政務數(shù)據(jù)主管部門國務院各有關部門負責統(tǒng)籌、指導、協(xié)調(diào)、監(jiān)督各地區(qū)各部門的政務數(shù)據(jù)歸集、加工、共享、開放、應用、安全、存儲、歸檔等工作統(tǒng)籌本地區(qū)編制政務數(shù)據(jù)目錄，按需歸集本地區(qū)數(shù)據(jù)，形成基礎庫、主題庫，滿足跨區(qū)域、跨層級數(shù)據(jù)共享需求，加強數(shù)據(jù)資源開發(fā)利用各地區(qū)各部門要建立健全本地區(qū)本部門政務數(shù)據(jù)共享協(xié)調(diào)機制，明確管理機構和主要職責，確保政務數(shù)據(jù)共享協(xié)調(diào)有力、職責明確、運轉(zhuǎn)順暢、管理規(guī)范、安全有序加強政務數(shù)據(jù)供需對接，優(yōu)化審批流程，精簡審批材料，及時響應數(shù)據(jù)共享需求，非因法定事由不得拒絕其他單位因依法履職提出的數(shù)據(jù)共享需求積極推動政務數(shù)據(jù)屬地返還，按需回流數(shù)據(jù)，探索利用核查、模型分析、隱私計算等多種手段，有效支撐地方數(shù)據(jù)資源深度開發(fā)利用數(shù)據(jù)目錄一體化030201建設政務數(shù)據(jù)目錄系統(tǒng)，全面摸清政務數(shù)據(jù)資源底數(shù)，建立覆蓋國家、省、市、縣等層級的全國一體化政務數(shù)據(jù)目錄，形成全國政務數(shù)據(jù)“一本賬”建立數(shù)據(jù)目錄分類分級管理機制，按照有關法律、行政法規(guī)的規(guī)定確定重要政務數(shù)據(jù)具體目錄國務院辦公廳負責政務數(shù)據(jù)目錄的統(tǒng)籌管理，各地區(qū)各部門政務數(shù)據(jù)主管部門負責本地區(qū)本部門政務數(shù)據(jù)目錄的審核和匯總工作，各級政務部門應按照本部門“三定”規(guī)定，梳理本部門權責清單和核心業(yè)務，將履職過程中產(chǎn)生、采集和管理的政務數(shù)據(jù)按要求全量編目全量編制政務數(shù)據(jù)目錄實現(xiàn)政務數(shù)據(jù)目錄清單化管理，支撐政務部門注冊、檢索、定位、申請政務數(shù)據(jù)資源政務部門在數(shù)據(jù)資源生成后要及時開展數(shù)據(jù)源鑒別、數(shù)據(jù)分類分級以及合規(guī)性、安全性、可用性自查，完成數(shù)據(jù)資源注冊，建立“目錄—數(shù)據(jù)”關聯(lián)關系，形成政務數(shù)據(jù)目錄政務數(shù)據(jù)資源注冊時，政務部門應同時登記提供該數(shù)據(jù)資源的政務信息系統(tǒng)，建立“數(shù)據(jù)—系統(tǒng)”關聯(lián)關系，明確數(shù)據(jù)來源各地區(qū)各部門政務數(shù)據(jù)主管部門要根據(jù)政務數(shù)據(jù)目錄代碼規(guī)則、數(shù)據(jù)資源編碼規(guī)則、元數(shù)據(jù)規(guī)范等檢查目錄編制，切實規(guī)范目錄編制各地區(qū)在編制本地區(qū)政務數(shù)據(jù)目錄時，要確保同一政務數(shù)據(jù)目錄與國務院部門數(shù)據(jù)目錄所含信息基本一致規(guī)范編制政務數(shù)據(jù)目錄各地區(qū)各部門調(diào)整政務數(shù)據(jù)目錄時，要在國家政務大數(shù)據(jù)平臺實時同步更新政務部門職責發(fā)生變化的，要及時調(diào)整政務數(shù)據(jù)目錄；已注冊的數(shù)據(jù)資源要及時更新，并同步更新“數(shù)據(jù)—系統(tǒng)”關聯(lián)關系原則上目錄有新增關聯(lián)的政務數(shù)據(jù)資源，應在20個工作日內(nèi)完成注冊；目錄信息發(fā)生變化的，應在20個工作日內(nèi)完成更新加強目錄同步更新管理數(shù)據(jù)資源一體化2.加強政務數(shù)據(jù)治理國家政務大數(shù)據(jù)平臺建設覆蓋數(shù)據(jù)歸集、加工、共享、開放、應用、安全、存儲、歸檔等各環(huán)節(jié)的數(shù)據(jù)治理系統(tǒng)，明確數(shù)據(jù)治理規(guī)則，對歸集的數(shù)據(jù)進行全生命周期的規(guī)范化治理各地區(qū)各部門按照國家標準規(guī)范，細化數(shù)據(jù)治理規(guī)則，開展數(shù)據(jù)治理工作按照“誰管理誰負責、誰提供誰負責、誰使用誰負責”的原則，建立健全數(shù)據(jù)質(zhì)量反饋整改責任機制和激勵機制，加強數(shù)據(jù)質(zhì)量事前、事中和事后監(jiān)督檢查，實現(xiàn)問題數(shù)據(jù)可反饋、共享過程可追溯、數(shù)據(jù)質(zhì)量問題可定責強化數(shù)據(jù)提供部門數(shù)據(jù)治理職責，數(shù)據(jù)提供部門要按照法律法規(guī)和相關標準規(guī)范嚴格履行數(shù)據(jù)歸集、加工、共享等工作職責，確保數(shù)據(jù)真實、可用、有效共享；數(shù)據(jù)使用部門要合規(guī)、正確使用數(shù)據(jù)，確保數(shù)據(jù)有效利用、安全存儲、全面歸檔；數(shù)據(jù)管理部門要會同數(shù)據(jù)提供、使用部門，完善數(shù)據(jù)質(zhì)量管理制度，建立協(xié)同工作機制，細化數(shù)據(jù)治理業(yè)務流程，在數(shù)據(jù)共享使用過程中不斷提升數(shù)據(jù)質(zhì)量加強政務數(shù)據(jù)分類管理，規(guī)范數(shù)據(jù)業(yè)務屬性、來源屬性、共享屬性、開放屬性等。運用多源比對、血緣分析、人工智能等技術手段，開展數(shù)據(jù)質(zhì)量多源校核和績效評價1.推進政務數(shù)據(jù)歸集國家政務大數(shù)據(jù)平臺以政務數(shù)據(jù)目錄為基礎，推動數(shù)據(jù)資源“按需歸集、應歸盡歸”，通過邏輯接入與物理匯聚兩種方式歸集全國政務數(shù)據(jù)資源，并進行統(tǒng)籌管理各地區(qū)應依托政務數(shù)據(jù)平臺統(tǒng)籌推進本區(qū)域政務數(shù)據(jù)的歸集工作，實現(xiàn)省市縣三級數(shù)據(jù)匯聚整合，并按需接入黨委、人大、政協(xié)、紀委監(jiān)委、法院、檢察院等機構數(shù)據(jù)行業(yè)主管部門做好本行業(yè)政務數(shù)據(jù)的歸集工作，實現(xiàn)行業(yè)數(shù)據(jù)的匯聚整合，并按需歸集公共數(shù)據(jù)和社會數(shù)據(jù)，提升數(shù)據(jù)資源配置效率3.建設完善數(shù)據(jù)資源庫協(xié)同發(fā)展改革、公安、自然資源、市場監(jiān)管等國務院部門持續(xù)建設完善人口、法人、自然資源、經(jīng)濟、電子證照等國家級基礎庫協(xié)同人力資源社會保障、生態(tài)環(huán)境、應急、自然資源、水利、氣象、醫(yī)保、國資等部門加快優(yōu)化完善醫(yī)療健康、政務服務、社會保障、生態(tài)環(huán)保、信用體系、應急管理、國資監(jiān)管等主題庫建立健全政務數(shù)據(jù)歸集共享通報制度，支撐各地區(qū)各部門政務數(shù)據(jù)共享、開放和開發(fā)利用各地區(qū)要依托本級政務數(shù)據(jù)平臺，積極開展疫情防控、經(jīng)濟運行監(jiān)測等領域主題庫建設，促進數(shù)據(jù)資源按地域、按主題充分授權、自主管理共享交換一體化$依托全國一體化政務服務平臺和國家數(shù)據(jù)共享交換平臺，提升國家政務大數(shù)據(jù)平臺數(shù)據(jù)共享支撐能力，統(tǒng)一受理共享申請并提供服務形成覆蓋國家、省、市等層級的全國一體化政務數(shù)據(jù)共享交換體系，高效滿足各地區(qū)各部門數(shù)據(jù)共享需求，有序推進國務院部門垂直管理業(yè)務系統(tǒng)向地方政務數(shù)據(jù)平臺共享數(shù)據(jù)各地區(qū)各部門按需建設政務數(shù)據(jù)實時交換系統(tǒng)，支持海量數(shù)據(jù)高速傳輸，實現(xiàn)數(shù)據(jù)分鐘級共享，形成安全穩(wěn)定、運行高效的數(shù)據(jù)供應鏈深入推進政務數(shù)據(jù)協(xié)同共享國家政務大數(shù)據(jù)平臺支撐各省（自治區(qū)、直轄市）之間、國務院各部門之間以及各?。ㄗ灾螀^(qū)、直轄市）與國務院部門之間的跨部門、跨地域、跨層級數(shù)據(jù)有效流通和充分共享各地方政務數(shù)據(jù)平臺支撐本行政區(qū)域門間、地區(qū)間數(shù)據(jù)流通和共享。各部門政務數(shù)據(jù)平臺支撐本部門內(nèi)、本行業(yè)內(nèi)數(shù)據(jù)流通和共享以應用為牽引，全面提升數(shù)據(jù)共享服務能力，協(xié)同推進公共數(shù)據(jù)和社會數(shù)據(jù)共享，探索社會數(shù)據(jù)“統(tǒng)采共用”，加強對政府共享社會數(shù)據(jù)的規(guī)范管理，形成國家、地方、部門、企業(yè)等不同層面的數(shù)據(jù)協(xié)同共享機制，提升數(shù)據(jù)資源使用效益構建完善統(tǒng)一共享交換體系數(shù)據(jù)服務一體化優(yōu)化國家政務數(shù)據(jù)服務門戶依托國家政務大數(shù)據(jù)平臺的政務數(shù)據(jù)服務總門戶，為各地區(qū)各部門提供政務數(shù)據(jù)目錄編制、資源歸集、申請受理、審核授權、資源共享、統(tǒng)計分析、可視化展示和運營管理等服務各地區(qū)各部門可按照國家政務數(shù)據(jù)服務總門戶管理要求和相關標準規(guī)范，統(tǒng)籌建設政務數(shù)據(jù)服務門戶，并做好與國家政務數(shù)據(jù)服務總門戶的對接，實現(xiàn)縱向貫通、橫向協(xié)同加強政務大數(shù)據(jù)基礎能力建設加強國家政務大數(shù)據(jù)平臺和各地區(qū)各部門政務數(shù)據(jù)平臺的共性基礎數(shù)據(jù)服務能力建設建設大數(shù)據(jù)處理分析系統(tǒng)，為多元、異構、海量數(shù)據(jù)融合應用創(chuàng)新提供技術支撐充分運用大數(shù)據(jù)、人工智能等技術手段，提供標準化、智能化數(shù)據(jù)服務建設全國標準統(tǒng)一的政務區(qū)塊鏈服務體系,建立完善數(shù)據(jù)供給的可信安全保障機制，保障數(shù)據(jù)安全合規(guī)共享開放加大政務大數(shù)據(jù)應用創(chuàng)新力度建立政務數(shù)據(jù)倉庫，為多行業(yè)和多跨場景應用提供多樣化共享服務建立經(jīng)濟運行監(jiān)測分析系統(tǒng)，即時分析預測經(jīng)濟運行趨勢建立基層治理運行分析和預警監(jiān)測模型，動態(tài)感知基層治理狀態(tài)和趨勢建立城市運行生命體征指標體系，實現(xiàn)對城市運行狀態(tài)的整體感知、全局分析和智能處置推動開展政務大數(shù)據(jù)綜合分析應用，為政府精準施策和科學指揮提供數(shù)據(jù)支撐推進政務數(shù)據(jù)資源開發(fā)利用基于全國一體化政務大數(shù)據(jù)體系，建設政務數(shù)據(jù)開放體系探索利用身份認證授權、數(shù)據(jù)沙箱、安全多方計算等技術手段，逐步建立數(shù)據(jù)開放創(chuàng)新機制建立健全政務數(shù)據(jù)開放申請審批制度，加大政務數(shù)據(jù)開放利用創(chuàng)新力度各地區(qū)各部門政務數(shù)據(jù)主管部門會同相關部門制定年度政務數(shù)據(jù)開放重點清單推動優(yōu)秀應用項目落地孵化，形成示范效應鼓勵依法依規(guī)開展政務數(shù)據(jù)授權運營，積極推進數(shù)據(jù)資源開發(fā)利用，培育數(shù)據(jù)要素市場算力設施一體化開展全國政務大數(shù)據(jù)算力資源普查，摸清算力總量、算力分布、算力構成和技術選型等，形成全國政務大數(shù)據(jù)算力“一本賬”強化全國政務云監(jiān)測分析，掌握政務云資源使用情況，開展云資源分析評估，完善云資源管理運營機制推進政務云資源統(tǒng)籌管理、高效提供、集約使用，探索建立政務云資源統(tǒng)一調(diào)度機制，推動建設全國一體化政務云平臺體系合理利用全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系，建設國家政務大數(shù)據(jù)平臺算力設施，構建電子證照等數(shù)據(jù)庫，保障國家政務大數(shù)據(jù)平臺運行整合建設國家政務大數(shù)據(jù)平臺災備設施，完善基礎設施高可用保障體系，基于“兩地三中心”模式建立本地、異地雙容災備份中心，面向業(yè)務連續(xù)性、穩(wěn)定性要求高的關鍵業(yè)務實現(xiàn)本地“雙活”、重要數(shù)據(jù)本地實時災備、全量數(shù)據(jù)異地定時災備合理利用全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系，推動各地區(qū)各部門政務云建設科學布局、集約發(fā)展提升各地區(qū)各部門政務大數(shù)據(jù)云資源支撐能力，推動政務數(shù)據(jù)中心整合改造，提高使用低碳、零碳能源比例，按需打造圖像顯示處理器（GPU）、專用集成電路芯片（ASIC）等異構計算能力，構建存算分離、圖計算、隱私計算等新型數(shù)據(jù)分析管理能力完善算力管理體系提升算力支撐能力建設國家主備節(jié)點標準規(guī)范一體化加快編制國家標準協(xié)同開展標準體系建設推進標準規(guī)范落地實施重點圍繞政務數(shù)據(jù)管理、技術平臺建設和數(shù)據(jù)應用服務等方面推進國家標準編制，明確各地區(qū)各部門提升政務數(shù)據(jù)管理能力和開展數(shù)據(jù)共享開放服務的標準依據(jù)編制政務數(shù)據(jù)目錄、數(shù)據(jù)元、數(shù)據(jù)分類分級、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等政務數(shù)據(jù)標準規(guī)范編制政務數(shù)據(jù)平臺建設指南、技術對接規(guī)范、基礎庫主題庫建設指引、運行維護指南、安全防護基本要求等平臺技術標準編制數(shù)據(jù)服務管理、技術、運營等制度規(guī)范編制政務云建設管理規(guī)范、政務云監(jiān)測指南等規(guī)范根據(jù)國家政務大數(shù)據(jù)標準體系框架和國家標準要求，各地區(qū)各部門、行業(yè)主管機構結合自身業(yè)務特點和行業(yè)特色，積極開展政務數(shù)據(jù)相關行業(yè)標準、地方標準編制工作以國家標準為核心基礎、以地方標準和行業(yè)標準為有效補充，推動形成規(guī)范統(tǒng)一、高效協(xié)同、支撐有力的全國一體化政務大數(shù)據(jù)標準體系完善標準規(guī)范落地推廣機制，各地區(qū)各部門制定出臺標準實施方案，依據(jù)相關標準規(guī)范建設完善政務數(shù)據(jù)平臺，提高數(shù)據(jù)管理能力和服務水平政務數(shù)據(jù)主管部門定期對標準執(zhí)行情況開展符合性審查，強化標準規(guī)范實施績效評估，充分發(fā)揮全國一體化政務大數(shù)據(jù)標準體系支撐作用安全保障一體化貫徹落實《中華人民共和國數(shù)據(jù)安全法》、《中華人民共和國個人信息保護法》等法律法規(guī)，明確數(shù)據(jù)分類分級、安全審查等具體制度和要求明確數(shù)據(jù)安全主體責任，按照“誰管理、誰負責”和“誰使用、誰負責”的原則，厘清數(shù)據(jù)流轉(zhuǎn)全流程中各方權利義務和法律責任圍繞數(shù)據(jù)全生命周期管理，以“人、數(shù)據(jù)、場景”關聯(lián)管理為核心，建立健全工作責任機制，促進數(shù)據(jù)安全管理規(guī)范有效實施健全數(shù)據(jù)安全制度規(guī)范加強數(shù)據(jù)安全常態(tài)化檢測和技術防護，建立健全面向數(shù)據(jù)的信息安全技術保障體系充分利用電子認證，數(shù)據(jù)加密存儲、傳輸和應用手段，防止數(shù)據(jù)篡改，推進數(shù)據(jù)脫敏使用，加強重要數(shù)據(jù)保護，加強個人隱私、商業(yè)秘密信息保護，嚴格管控數(shù)據(jù)訪問行為，實現(xiàn)過程全記錄和精細化權限管理建設數(shù)據(jù)安全態(tài)勢感知平臺，挖掘感知各類威脅事件，實現(xiàn)高危操作及時阻斷，變被動防御為主動防御，提高風險防范能力，優(yōu)化安全技術應用模式，提升安全防護監(jiān)測水平提升平臺技術防護能力完善數(shù)據(jù)安全運維運營保障機制，明確各方權責，加強數(shù)據(jù)安全風險信息的獲取、分析、研判、預警建立健全事前管審批、事中全留痕、事后可追溯的數(shù)據(jù)安全運行監(jiān)管機制，加強數(shù)據(jù)使用申請合規(guī)性審查和白名單控制，優(yōu)化態(tài)勢感知規(guī)則和全流程記錄手段，提高對數(shù)據(jù)異常使用行為的發(fā)現(xiàn)、溯源和處置能力，形成數(shù)據(jù)安全管理閉環(huán)，筑牢數(shù)據(jù)安全防線加強政務系統(tǒng)建設安全管理，保障數(shù)據(jù)應用健康穩(wěn)定運行，確保數(shù)據(jù)安全強化數(shù)據(jù)安全運行管理5保障措施保障措施鼓勵各地區(qū)各部門開展制度創(chuàng)新，完善數(shù)據(jù)要素法治環(huán)境，構建數(shù)據(jù)要素市場化配置體制機制鼓勵各地區(qū)各部門開展應用創(chuàng)新，在普惠金融、衛(wèi)生健康、社會保障、交通運輸、應急管理等領域開展試點，推進重點領域政務數(shù)據(jù)深度應用鼓勵各地區(qū)各部門推進數(shù)據(jù)基礎能力建設，積極構建數(shù)據(jù)安全存儲、數(shù)據(jù)存證、隱私計算等支撐體系，推動大數(shù)據(jù)挖掘分析、智能計算、數(shù)據(jù)安全與隱私保護等核心技術攻關鼓勵探索創(chuàng)新04按照“管運適度分離”原則，加大政務數(shù)據(jù)運營力量投入加強專業(yè)力量建設，建立專業(yè)數(shù)據(jù)人才隊伍，提升其數(shù)字思維、數(shù)字技能和數(shù)字素養(yǎng)，補齊運營主體缺位、專業(yè)能力不足短板，創(chuàng)新政務數(shù)據(jù)開發(fā)運營模式，支持具備條件、信譽良好的第三方企事業(yè)單位開展運營服務建立健全政務數(shù)據(jù)運營規(guī)則，明確數(shù)據(jù)運營非歧視、非壟斷原則，明確運營機構的安全主體責任，研究制定政務數(shù)據(jù)授權運營管理辦法，強化授權場景、授權范圍和運營安全監(jiān)督管理推進數(shù)據(jù)運營02強化督促落實03國務院辦公廳牽頭制定全國一體化政務大數(shù)據(jù)管理和應用評估評價體系各地區(qū)各部門要研究制定本地區(qū)本部門政務大數(shù)據(jù)工作監(jiān)督評估辦法各地區(qū)各部門要對相關經(jīng)費進行全過程績效管理，把績效評價結果作為完善政策、改進管理和安排預算的重要依據(jù)各地區(qū)各部門如有違規(guī)使用、超范圍使用、濫用、篡改、毀損、泄露數(shù)據(jù)等行為，按照有關規(guī)定追究責任加強組織實施01充分發(fā)揮國家政務數(shù)據(jù)共享協(xié)調(diào)機制作用，建立全國一體化政務大數(shù)據(jù)體系規(guī)劃、建設、運維、運營的領導責任制國務院各有關部門要指導、協(xié)調(diào)、監(jiān)督本部門本行業(yè)做好政務數(shù)據(jù)管理工作；各地區(qū)要加強政務數(shù)據(jù)管理，研究制定配套措施，推動相關法規(guī)規(guī)章立改廢釋各地區(qū)各部門要合理安排項目與經(jīng)費，加大對全國一體化政務大數(shù)據(jù)體系建設運行的支持力度各地區(qū)各部門要加強宣傳引導和培訓，不斷提升全國一體化政務大數(shù)據(jù)體系應用成效感謝聆聽《全國一體化政務大數(shù)據(jù)體系建設指南》解讀上海聯(lián)通大數(shù)據(jù)平臺規(guī)劃方案匯報目錄二、大數(shù)據(jù)平臺整體規(guī)劃一、大數(shù)據(jù)應用發(fā)展趨勢大數(shù)據(jù)所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的信息。。大數(shù)據(jù)處理技術代表了新一代的技術架構，這種架構通過高速獲取數(shù)據(jù)并對其進行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價值的信息。從大量數(shù)據(jù)中挖掘高價值知識是各界對于大數(shù)據(jù)的一個共識。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點。——Google首席經(jīng)濟學家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務的各個細節(jié)相融合，對企業(yè)產(chǎn)生新的價值。大數(shù)據(jù)對電信運營商的應用價值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動，營銷實時，以業(yè)務效率提升為標志。提升業(yè)務效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務支持，實時的決策和預測能力提升整體經(jīng)營管理水平。增強管理水平數(shù)據(jù)開放服務、與OTT廠商合作的后向收費、廣告等新業(yè)務.創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗、個性化商品推薦、LBS位置營銷、面向客戶個體的深度洞察提升客戶體驗以技術驅(qū)動為標志，內(nèi)存計算、MPP、CEP…分而治之的分布式計算讓運營商實時高效決策….技術高效、低成本上海聯(lián)通數(shù)據(jù)平臺現(xiàn)狀精細化營銷數(shù)據(jù)中心營賬系統(tǒng)經(jīng)分(BI)GN口上網(wǎng)話單終端(DM)VAC短彩信中心語音通話詳單客服接觸記錄流媒體平臺詳單位置信令話單基站信息116114企業(yè)黃頁信息渠道應用助銷信息經(jīng)過一二期的建設，精細化運營平臺的數(shù)據(jù)中心，已經(jīng)成為上海聯(lián)通最大、內(nèi)容最豐富的數(shù)據(jù)倉庫；隨著數(shù)據(jù)量的增長，需要對基礎架構做長遠規(guī)劃；有必要深入挖掘數(shù)據(jù)價值，研究新的商業(yè)模式，將成本中心轉(zhuǎn)化為利潤中心33擴展性增量式的、幾乎無限的擴展可用性要求系統(tǒng)總是在線運行靈活性靈活可動態(tài)改變的數(shù)據(jù)模型擴展性縱向擴展橫向擴展分布式資源集中計算和存儲分布可用性單份數(shù)據(jù)數(shù)據(jù)復制一致性不要使用分布式事務處理大數(shù)據(jù)處理的需求和特點低成本運營一體化運營精細化運營全網(wǎng)運營實時、智能化運營集中化建設、管理和維護可不斷線性擴展提高資源綜合利用率標準化功能組件，可共享可復用按業(yè)務量、按需支付BASS與BOSS、CRM的一體化BSS與MSS、OSS、VAS等跨域一體化對外部客戶和應用的一體化片區(qū)化、網(wǎng)格化管理長尾市場、小眾市場的支撐個性化、短周期需求的滿足異地客戶、家庭客戶、集團客戶一點接入、全網(wǎng)服務、全網(wǎng)客戶畫像全國統(tǒng)一套餐、全網(wǎng)營銷、統(tǒng)一客服實時數(shù)據(jù)獲取、處理、分析智能化主動事件觸發(fā)智能管道移動互聯(lián)網(wǎng)業(yè)務運營發(fā)展趨勢對業(yè)務支撐平臺的集中化要求對數(shù)據(jù)架構的集中化要求集中化、大容量、高擴展、高可用數(shù)據(jù)庫平臺：支持全網(wǎng)型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級數(shù)據(jù)中心高性能：支持3G時代更高的實時性要求、支持動態(tài)資源共享：支持多租戶管理、資源動態(tài)按需供應可重用、標準化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益數(shù)據(jù)集中化趨勢使得運營商面臨著海量數(shù)據(jù)的存儲及分析問題，大數(shù)據(jù)在支撐移動業(yè)務發(fā)展趨勢中，充當重要角色。電信運營商數(shù)據(jù)集中化趨勢35電信運營面臨的大數(shù)據(jù)挑戰(zhàn)移動互聯(lián)網(wǎng)和個人消費領域業(yè)務擴展和CEM導致海量數(shù)據(jù)的及時分析帶來挑戰(zhàn)運營商一體化集中運營和透明管控，催生巨大的經(jīng)營分析數(shù)據(jù)倉庫，對大數(shù)據(jù)的存儲、性能、開放帶來挑戰(zhàn)DPI和信令監(jiān)測，產(chǎn)生的大量事件在存儲和用戶通信行為分析的實時處理性能帶來挑戰(zhàn)ICT融合，核心網(wǎng)絡、運營支撐和VAS業(yè)務數(shù)據(jù)的融合催生海量UserProfile并集，對大數(shù)據(jù)的關聯(lián)分析計算效能帶來挑戰(zhàn)移動互聯(lián)網(wǎng)流量井噴與客戶行為分析業(yè)務融合、能力互通帶來數(shù)據(jù)融合提升客戶體驗要求分析網(wǎng)絡服務數(shù)據(jù)IT系統(tǒng)集中化和行業(yè)數(shù)據(jù)價值挖掘BSSBI數(shù)據(jù)：河南17個地市，每天抽取正常用戶數(shù)7000多萬，撥備用戶數(shù)3000多萬，DW層用戶表總量1億多條；語音清單每天2.7億條數(shù)據(jù)，GPRS清單每天4.2億條數(shù)據(jù)；賬務每天4.7億條數(shù)據(jù)；GPRS文件每個100M左右，其它文件25M。日接口數(shù)據(jù)量：2000G，其中話單220G，WAP清單300G，

工單服務200G，

用戶、帳務300G，其它980G。每月124TB數(shù)據(jù)量入庫，歷史數(shù)據(jù)保留1年，總數(shù)據(jù)量1.45PB。按照用戶數(shù)簡單測算,6.5億用戶下，總數(shù)據(jù)量》10PB!聯(lián)通總部3G互聯(lián)網(wǎng)訪問記錄查詢及分析系統(tǒng)：全國每日新增10TB數(shù)據(jù)，每月近萬億條記錄，要存放6個月，約2PB的上網(wǎng)記錄數(shù)據(jù)。上網(wǎng)記錄入庫時間小于30分鐘，原始上網(wǎng)記錄保留6個月。上網(wǎng)查詢速度不高于1秒，并發(fā)查詢數(shù)1000請求/秒。集群規(guī)模188個數(shù)據(jù)節(jié)點，存儲容量2.6PB傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲日益增長的業(yè)務數(shù)據(jù)存儲需求基礎數(shù)據(jù)（用戶資料，產(chǎn)品訂購信息）：15G/日*365+40G*12月=5T/年考慮20%的業(yè)務增長率后為：6T/年用戶上網(wǎng)數(shù)據(jù)話單數(shù)據(jù)：250T/年考慮20%的業(yè)務增長率后為：300T/年MR數(shù)據(jù)話單數(shù)據(jù)：634G/日634G/日*365

=227T/年考慮20%的業(yè)務增長率后為：272T/年BSS數(shù)據(jù)新增新增評估中日使用流量（TB）6月10月隨著業(yè)務發(fā)展數(shù)據(jù)量的增加，隨著應用復雜導致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導致了數(shù)據(jù)存儲和處理壓力；數(shù)據(jù)倉庫無法線性擴容，管理難度加大，成本高擴容壓力大，效率下降等傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。在大數(shù)據(jù)架構下需要對用戶原始話單進行長期保存。需要擴容大量存儲空間。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題

用戶層現(xiàn)平臺的數(shù)據(jù)保存周期大數(shù)據(jù)的數(shù)據(jù)保存周期應用層KR/CB/DM層永久保留至少2年數(shù)據(jù)存儲層MK層永久保留至少2年DW層5個月永久保留數(shù)據(jù)獲取層ODS層3~7天永久保留面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺提供可供線性擴容的存儲能力。每個應用需求的變化就是一場災難。由于數(shù)據(jù)處理與業(yè)務的緊密關聯(lián)可能需要對中間每個處理環(huán)節(jié)進行逐個調(diào)整。重新生成數(shù)據(jù)的周期也非常緩慢。由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務保持緊密關聯(lián)。整個數(shù)據(jù)加工流程為最終應用服務。為緩解存儲壓力在數(shù)據(jù)抽取和清洗階段會過濾掉與業(yè)務無關的數(shù)據(jù)記錄和字段。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題數(shù)據(jù)源明細數(shù)據(jù)層

（DW）匯總層（MK）報表數(shù)據(jù)標簽庫指標數(shù)據(jù)客戶統(tǒng)一視圖……應用層DW&MK操作型數(shù)據(jù)ODS層Oracle數(shù)據(jù)庫精細化營銷架構短信中心經(jīng)分DMVACGN話單流媒體客服系統(tǒng)計費中心MC話單彩信中心MR數(shù)據(jù)BSS用戶互聯(lián)網(wǎng)聯(lián)系方式（總部研究院）241234現(xiàn)網(wǎng)數(shù)據(jù)平臺是傳統(tǒng)關系型數(shù)據(jù)庫架構。大量的用戶上網(wǎng)、用戶行為等半結構化和非結構化數(shù)據(jù)無法保存和處理，缺乏非結構化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結構化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。傳統(tǒng)數(shù)據(jù)倉庫無法有效應對大數(shù)據(jù)分析需求1現(xiàn)網(wǎng)每日用戶上網(wǎng)HTTP話單達14億條。每月匯總的記錄條數(shù)也近30億條。隨著移動互聯(lián)網(wǎng)正在迅猛增長，傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時限和事務處理需求。3面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺提供快速的處理能力。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸現(xiàn)網(wǎng)精細化營銷平臺的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔所有的數(shù)據(jù)加工任務，還承載所有報表和業(yè)務應用的數(shù)據(jù)存儲和計算。缺乏對數(shù)據(jù)分層分級及生命周期的有效管理。系統(tǒng)核心架構為Oracle數(shù)據(jù)庫+小型機+磁陣。數(shù)據(jù)存放在磁陣上，計算時由數(shù)據(jù)庫服務器從磁陣讀到本地后進行計算結果。隨著數(shù)據(jù)量增長，磁盤I/O、網(wǎng)絡帶寬、數(shù)據(jù)庫服務器的處理能力將存在瓶頸，處理時延嚴重。由于傳統(tǒng)架構的可擴展性差，無法滿足大數(shù)據(jù)的計算的擴容需求。為應對海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進行轉(zhuǎn)變。計算和存儲資源都由x86服務器提供。因為在移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領域的突破，不同于傳統(tǒng)通信業(yè)務分析特點，需要對內(nèi)容等非結構化、大容量信息進行有效分析，傳統(tǒng)的架構處理吃力。關系數(shù)據(jù)庫引入對XML的支持仍然無法有效處理ETL大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫無法有效處理新型的業(yè)務數(shù)據(jù)主要關鍵技術

自然語言理解，文本分詞、語義分析，情感分析或者大規(guī)模計算技術

非結構化數(shù)據(jù)索引技術，如搜索引擎倒排索引技術

多媒體處理，包括圖像識別，語音識別，多媒體索引等技術

……傳統(tǒng)數(shù)據(jù)倉庫無法有效支撐數(shù)據(jù)合作運營由于保存原始話單數(shù)據(jù)周期較短，合作運營無法追溯歷史原始數(shù)據(jù)?，F(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫的設計只適用與向上層提供既定好的數(shù)據(jù)分析任務結果。對外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據(jù)處理流程。同時數(shù)據(jù)的處理方式及結果也恐難以滿足合作運營的需要。大數(shù)據(jù)平臺的架構將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運營。同時歷時數(shù)據(jù)能促使合作在第一時間就開展起來。目錄二、大數(shù)據(jù)平臺整體規(guī)劃一、大數(shù)據(jù)應用發(fā)展趨勢上海聯(lián)通大數(shù)據(jù)平臺目標架構及定位準實時采集批量采集Hadoop平臺MPP，基于X86平臺主數(shù)據(jù)倉庫分布式數(shù)據(jù)庫基于X86平臺數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細化營銷智能運營物聯(lián)網(wǎng)應用應用商店客服應用基礎分析能力數(shù)據(jù)挖掘能力實時分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標應用報表應用主題分析專題分析互聯(lián)網(wǎng)GN口半結構化、非結構化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務平臺結構化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫（MPP）：存儲加工、關聯(lián)、匯總后的業(yè)務數(shù)據(jù)，并提供分布式計算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉庫（與MPP合設）：存儲指標數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺：負責存儲海量的流量話單數(shù)據(jù)，提供并行的計算和非結構化數(shù)據(jù)的處理能力，實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應用方提供大數(shù)據(jù)平臺的能力。數(shù)據(jù)采集（ETL）：負責源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫應用層HDFS：分布式文件系統(tǒng)有較強的容錯性可在x86平臺上運行，減少總體成本可擴展，能構建大規(guī)模的應用HBase：非結構化NoSQl分布式數(shù)據(jù)庫

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲，節(jié)省存儲空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關系型數(shù)據(jù)庫數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲類SQL的查詢語句，提供大數(shù)據(jù)的統(tǒng)計和分析操作，適合海量數(shù)據(jù)的批處理通過MapReduce實現(xiàn)大規(guī)劃并行計算MapReduce：大規(guī)劃并行計算引擎可將任務分布并行運行在一個集群服務器中Hadoop平臺提供了海量數(shù)據(jù)的分布式存儲與處理的框架?；诜掌鞅镜氐挠嬎闩c存儲資源，Hadoop集群可以擴展到上千臺服務器。同時，Hadoop在設計時充分考慮了硬件設備的不可靠因素，在軟件層面提供數(shù)據(jù)和計算的高可靠保證。大數(shù)據(jù)平臺：Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲統(tǒng)計復雜計算并行處理SharedNothing代表數(shù)據(jù)庫：GreenPlum、Vertica、Teradata適合大數(shù)據(jù)量的OLAP應用缺點優(yōu)點線性擴展：X86平臺高可用性較低新型MPP數(shù)據(jù)庫主要構建在x86平臺上，為無共享架構（ShareNothing），依靠軟件架構上的創(chuàng)新和數(shù)據(jù)多副本機制，實現(xiàn)系統(tǒng)的高可用性和可擴展性。負責深度分析、復雜查詢、KPI計算、數(shù)據(jù)挖掘以及多變的自助分析應用等，支持PB級的數(shù)據(jù)存儲。大數(shù)據(jù)平臺：

分布式數(shù)據(jù)庫新型MPP分布式數(shù)據(jù)庫基于開放平臺x86服務器大規(guī)模的并發(fā)處理能力無單點故障，可線性擴展多副本機制保證數(shù)據(jù)安全支撐PB級的數(shù)據(jù)量支持SQL，開放靈活數(shù)據(jù)分級存儲原則數(shù)據(jù)融合與分級存儲實施按數(shù)據(jù)血緣按邏輯層次按業(yè)務種類按設備網(wǎng)絡劃分按設備物理地址在線、近線、離線按訪問頻度內(nèi)存數(shù)據(jù)庫按響應及時性內(nèi)存數(shù)據(jù)庫數(shù)據(jù)生命周期中在線數(shù)據(jù)對高性能存儲的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲的遷移，是分級存儲管理的一條主線。同時兼顧考慮其他分級原則，共同作用影響數(shù)據(jù)遷移機制?；谏芷诨谠L問壓力基于業(yè)務用途基于物理屬性分級原則高性能磁盤庫磁帶光盤庫中低性能磁盤庫將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉庫的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉庫中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉庫的計算與存儲壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉庫主數(shù)據(jù)倉庫2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫1’、清單數(shù)據(jù)入MPP數(shù)據(jù)庫大數(shù)據(jù)平臺：

數(shù)據(jù)分級存儲Hadoop平臺主數(shù)據(jù)倉庫報表數(shù)據(jù)標簽庫指標數(shù)據(jù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結構化數(shù)據(jù)信息子層：報表數(shù)據(jù)、多維數(shù)據(jù)、指標庫等數(shù)據(jù)來源于匯總層。匯總層：主題域之間進行關聯(lián)、匯總計算。匯總數(shù)據(jù)服務于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計算成本和計算時間。輕度匯總層：主題域基于明細層數(shù)據(jù)，進行多維度的、用戶級的匯總。明細數(shù)據(jù)層：主題域進行拆分、關聯(lián)。是對ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進行的拆分及合并ODS層：數(shù)據(jù)來源于各生產(chǎn)系統(tǒng)，通過ETL工具對接口文件數(shù)據(jù)進行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關聯(lián)操作。未來也可用于準實時數(shù)據(jù)查詢。明細數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應用庫精細化營銷分布式數(shù)據(jù)庫MPP其他應用1其他應用2應用層：應用系統(tǒng)的私有數(shù)據(jù)，應用的業(yè)務數(shù)據(jù)。精細化營銷做為大數(shù)據(jù)平臺的一個上層應用，有由大數(shù)據(jù)平臺提供數(shù)據(jù)支撐數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結構化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務平臺結構化數(shù)據(jù)數(shù)據(jù)源獲取層12123344大數(shù)據(jù)平臺：

數(shù)據(jù)分層源數(shù)據(jù)導入ETL，進行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫?；A數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存3年清洗、轉(zhuǎn)