2019大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書(shū)

研究背 研究目標(biāo)及意 編撰單 大數(shù)據(jù)的基本概念和內(nèi) 大數(shù)據(jù)的特 大數(shù)據(jù)的重要作 國(guó)外大數(shù)據(jù)發(fā) 政府出臺(tái)計(jì) 工業(yè)界大數(shù)據(jù)研 國(guó)內(nèi)大數(shù)據(jù)現(xiàn) 國(guó)內(nèi)大數(shù)據(jù)關(guān)注焦 地方政府和組織探索大數(shù)據(jù)應(yīng) 國(guó)內(nèi)大數(shù)據(jù)應(yīng)用實(shí) 大數(shù)據(jù)發(fā)展現(xiàn)狀分 大數(shù)據(jù)技術(shù)參考模 大數(shù)據(jù)核心技 數(shù)據(jù)準(zhǔn)備技 數(shù)據(jù)存儲(chǔ)技 數(shù)據(jù)平臺(tái)技 數(shù)據(jù)處理技 大數(shù)據(jù)安全與隱 ISO/IECJTC1SC32大數(shù)據(jù)標(biāo)準(zhǔn)化工作情 ISO/IECJTC1SG2大數(shù)據(jù)標(biāo)準(zhǔn)化工作情 ITU大數(shù)據(jù)標(biāo)準(zhǔn)化工作情 NIST標(biāo)準(zhǔn)化工作情 國(guó)內(nèi)標(biāo)準(zhǔn)化工作情 大數(shù)據(jù)標(biāo)準(zhǔn)體系框 大數(shù)據(jù)標(biāo)準(zhǔn)體系 近期急需研制標(biāo) 加強(qiáng)大數(shù)據(jù)相關(guān)政策法規(guī)研 加強(qiáng)大數(shù)據(jù)核心技術(shù)研 推動(dòng)開(kāi)放數(shù)據(jù)集建 鼓勵(lì)利用大數(shù)據(jù)開(kāi)展服務(wù)，創(chuàng)新大數(shù)據(jù)應(yīng)用模 系統(tǒng)開(kāi)展大數(shù)據(jù)標(biāo)準(zhǔn)化工 大數(shù)據(jù)1（BigData）是一場(chǎng)革命，將改變我們的生活、工作和思維方式。2846（100IT并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊4。數(shù)據(jù)規(guī)模超出傳統(tǒng)數(shù)據(jù)庫(kù)軟決策、組織、業(yè)務(wù)等行為日益基于數(shù)據(jù)和客觀分析做出。1)。12003的數(shù)據(jù)量總和?！按蟆笔窍鄬?duì)而言的概念，對(duì)于搜索引擎，EB4戶(hù)的數(shù)據(jù)價(jià)值上千億美元。據(jù)資料報(bào)道，20126022IT少有效地分析工具、方法和產(chǎn)品。大數(shù)據(jù)環(huán)境下，ICT334IT。BIDW4（NSF（NIH（DOD（DOE）、地質(zhì)勘探局（USGS）等六個(gè)聯(lián)邦部門(mén)和機(jī)構(gòu)承諾，將投入22500協(xié)作工具，催化在地理系統(tǒng)科學(xué)的創(chuàng)新思維123000URL。合作下的數(shù)據(jù)開(kāi)放是目前的潮流，也是大數(shù)據(jù)應(yīng)用的前提。2011201112DODI(TheOpenDataInstitute)。而“大數(shù)據(jù)”是其重要內(nèi)容。2013411507281GoogleGoogle才使得大數(shù)據(jù)有用武之地。Google公司從橫向進(jìn)行擴(kuò)展，通過(guò)采用廉價(jià)的計(jì)算索功能。Google公司大數(shù)據(jù)處理的幾大關(guān)鍵技術(shù)為：GoogleGFS、MapReduce、BigtableBigQuery。Google的技術(shù)方案為其他公司提供了一個(gè)HAVEn平臺(tái)提供了大量的應(yīng)用開(kāi)發(fā)接口（API），HAVEn與合Hadoop（HDFS）、Autonomy、Vertica、EnterpriseSecuritynApp（行業(yè)解決方案）?？梢钥闯?，HAVEn體而言，HAVEnHAVEn1935TeradataAsterTeradataAsterMapReduceHadoopIBM20115IBMInfoSphereInfoSphere數(shù)據(jù)分析平臺(tái)包括BigInsightsStreams，二者互補(bǔ)，Biglnsights對(duì)大規(guī)數(shù)據(jù)處理能力。StreamsInfoSphere大數(shù)據(jù)BigInsightsHadoop，增加了文本分析、統(tǒng)計(jì)決策工具，同時(shí)在可靠性、HadoopHDFSBigInsightsIBM最新推出的GPFSSNC平臺(tái)，以更好地利用其強(qiáng)大的災(zāi)難恢復(fù)、高可靠性、高擴(kuò)展性的優(yōu)勢(shì)。企業(yè)級(jí)產(chǎn)品更重要的是沒(méi)有單點(diǎn)故障，GPFS分布式系統(tǒng)更可靠。HadoopBigInsights務(wù)”以及“公共服務(wù)”位列前三。（5）5域。（6）629400APP（應(yīng)用程序），APP上海目前正在加強(qiáng)對(duì)大數(shù)據(jù)領(lǐng)域的深化研究。201320145APPAPPAPP。5此基礎(chǔ)上，上海市經(jīng)信委通過(guò)印發(fā)《20141133廣東省是國(guó)內(nèi)率先關(guān)注并推動(dòng)大數(shù)據(jù)的地方之一。20135省信息化發(fā)展規(guī)劃綱要（2013-2020）》，在智慧廣東建設(shè)任務(wù)中，該綱要明2015增值”為方向，大力發(fā)展數(shù)據(jù)存儲(chǔ)、呼叫中心、IDC第一階段(2013—20152015100第二階段(2016—2017第三階段(2018—2020202050057201331·北京大數(shù)據(jù)產(chǎn)業(yè)發(fā)展推介會(huì)在北京舉行，大數(shù)據(jù)天，中關(guān)村貴陽(yáng)科技園清鎮(zhèn)園招商引資推介會(huì)在京舉行，16成功簽約。201398201462014711·大數(shù)據(jù)國(guó)際年會(huì)論壇舉行,論壇圍繞“大數(shù)201650501020121213201332816201366聯(lián)合建立數(shù)據(jù)庫(kù)系統(tǒng)，高德提供地理位置、交通信息、興趣點(diǎn)信息（pointofinterest,POI）以及用戶(hù)數(shù)據(jù)等，阿里巴巴則分享其電商平臺(tái)如淘寶、天貓上3GoogleNISTITOWL(WebOntologyLanguage)OWLS(OWLforWebService)等極大增GFS（GoogleFileSystem）、HDFS（Hadoop）等。BI（商業(yè)智能）計(jì)算。在數(shù)據(jù)倉(cāng)庫(kù)中，經(jīng)常使非關(guān)系型數(shù)據(jù)庫(kù)技術(shù)（NoSql）相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，NoSQL并具有較低成本。NoSQL面向服務(wù)的體系結(jié)構(gòu)MapReduce當(dāng)處理一個(gè)大數(shù)據(jù)集查詢(xún)時(shí)，MapReduceMapReduceHDFS（HadoopDistributedFileSystem）的重要內(nèi)容就是對(duì)于分布式計(jì)算，每個(gè)服務(wù)器都具HadoopHFDSHFDS的一個(gè)節(jié)點(diǎn)之中。HDFSHadoopMapReduceHadoop點(diǎn)重新分布處理；Hadoop快處理速度；HadoopPB級(jí)數(shù)據(jù)。bpquinlanid3妙的概要數(shù)據(jù)結(jié)構(gòu)(Synopsisdatastructure)，內(nèi)存容量是限制流處理模型的TwitterStorm、YahooS4大數(shù)據(jù)安全問(wèn)題。2012CSAISO/IEC、ITUISO/IECJTC1SC32ISO/IECJTC1SC32為密切的標(biāo)準(zhǔn)化組織。SC32等標(biāo)準(zhǔn)。SC324WG1：ITWG2：WG3：WG4：SQLSQLSC32（SGNextGenerationAnalyticsandBigData）、云計(jì)算元數(shù)據(jù)研究組（SGMetadataforCloudSQLJSON為國(guó)內(nèi)外大數(shù)據(jù)領(lǐng)域的專(zhuān)家學(xué)者和產(chǎn)業(yè)管理部門(mén)人員、ITJTC1/SC32ISO/IECJTC1SG2ISO/IECJTC12013112014ISO/IECJTC1SG2（ISO）、國(guó)際電工委員會(huì)（IEC）1（ISO/IECJTC1）等在大數(shù)據(jù)領(lǐng)ISO/IECJTC12014ISO/IECJTC120143182120145131620149ITUITU201311ITU-TNISTJTC1/SC32NISTNBD-PWG5JTC1SC32WG4。非機(jī)構(gòu)化數(shù)據(jù)管理標(biāo)準(zhǔn)工作組聯(lián)合產(chǎn)、學(xué)、研、用等力量，致術(shù)要求》等國(guó)家標(biāo)準(zhǔn)研制SOA分技術(shù)委員會(huì)（以下簡(jiǎn)稱(chēng)“SOA分委會(huì)”）負(fù)責(zé)面向服務(wù)的體系結(jié)構(gòu)（SOA）、Web服務(wù)和中間件的專(zhuān)業(yè)標(biāo)準(zhǔn)化的技術(shù)歸口工作，并協(xié)助108SOA智慧城市領(lǐng)域的標(biāo)準(zhǔn)化工作。201375日，SOA分委會(huì)全會(huì)上決定在基礎(chǔ)5全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)簡(jiǎn)稱(chēng)全國(guó)信標(biāo)委（TC96全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)簡(jiǎn)稱(chēng)全國(guó)信安標(biāo)委（TC