地理空間大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用

1、地理空間大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用地理國情大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用全國土地大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用高分遙感大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用點(diǎn)云數(shù)據(jù)高性能計算創(chuàng)新技術(shù)及應(yīng)用后云時代技術(shù)創(chuàng)新霧計算內(nèi)容提要GIS-Transforming our WorldGIS-Transforming our World地理國情大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用地理國情普查/監(jiān)測數(shù)據(jù)獲取能力：日均獲取原始影像超300GB每年累計億級矢量圖斑要素應(yīng)急支撐需采集十余種數(shù)百TB數(shù)據(jù)空天地海立體觀測技術(shù)發(fā)展高 精 度高 頻 度高 覆 蓋海量空間數(shù)據(jù)爆炸式增長地理國情大數(shù)據(jù) 應(yīng)運(yùn)而生背景背景以浙江省地理國情普查主要成果為例背景地理國情大數(shù)據(jù)海量、多源、異構(gòu)背景

2、地理國情大數(shù)據(jù)海量、多源、異構(gòu)背景問題挑戰(zhàn)高效計算難計算作業(yè)時間長、交互等待時間長、無法應(yīng)對大規(guī)模地理國情數(shù)據(jù)處理需求。數(shù)據(jù)管理難傳統(tǒng)數(shù)據(jù)管理技術(shù)存儲模式單一，面向海量、多源、異構(gòu)的時 空數(shù)據(jù)擴(kuò)展存儲能力有限。突破地理國情大數(shù)據(jù)關(guān)鍵技術(shù)，解決大規(guī)模地理國情數(shù)據(jù)異構(gòu)海量存儲、高性 能實(shí)時統(tǒng)計分析、增量更新技術(shù)瓶頸我們的應(yīng)用技術(shù)方案云計算環(huán)境下地理國情大數(shù)據(jù)高效存儲計算關(guān)鍵技術(shù)1、大規(guī)模地理國情多態(tài)云存儲模型關(guān)鍵技術(shù)一、地理國情大數(shù)據(jù)多態(tài)云存儲根據(jù)數(shù)據(jù)不同類型、不同需求，選取不同的存儲模型數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)1HDFS分布式文件系統(tǒng)數(shù)據(jù)節(jié)點(diǎn)1 地 理 國 情 要 素矢量數(shù)據(jù)組織結(jié)構(gòu)文件數(shù)據(jù)組織結(jié)構(gòu)文

3、件索引Hbase元數(shù)據(jù)與表數(shù)據(jù)Oracle傳感器名 年份月份日數(shù) 衛(wèi)星名稱日數(shù)分區(qū)數(shù)據(jù)不分區(qū)數(shù)據(jù)GeodatabaseWKTGeodatabaseWKT規(guī)范化數(shù)據(jù)預(yù)處理入庫工具檢核實(shí)體編元數(shù)據(jù)碼提取.矢量影像文檔待入庫數(shù)據(jù)集 中 存 儲數(shù) 據(jù) 組 織數(shù) 據(jù) 整 合小要素集、更新頻繁的數(shù)據(jù)采用Geodatabase模型管理大要素集、計算頻繁的數(shù)據(jù)以WKT格式基于HDFS存儲，并 使用HBase存儲空間索引影像數(shù)據(jù)、文檔數(shù)據(jù)采用分布 式文件系統(tǒng)與元數(shù)據(jù)表結(jié)合的 方式管理2、泛化地理信息高效并發(fā)檢索技術(shù)關(guān)鍵技術(shù)一、地理國情大數(shù)據(jù)多態(tài)云存儲HBaseHDFS數(shù)據(jù)分塊網(wǎng)格包含的geo_ID文件合并文件獲

4、取查詢條件（行政區(qū)編碼、分類碼）生成查詢?nèi)蝿?wù)查詢?nèi)蝿?wù)1（StartKey，EndKey）查詢?nèi)蝿?wù)2（StartKey，EndKey）查詢?nèi)蝿?wù)n（StartKey，EndKey）.查詢結(jié)果合并實(shí)現(xiàn)了全省千萬級 地理國情矢量數(shù)據(jù) 的快速檢索與統(tǒng)計數(shù)據(jù)模型：OGC+WKT空間定位：網(wǎng)格索引關(guān)鍵字查詢：倒排索引空間查詢：最小外接矩形過濾多樣化地理國情信息快速檢索統(tǒng)計多態(tài)存 儲方法傳統(tǒng)方法使用單一存儲模型，效率 低、性能差難以充分利用計算資源無法應(yīng)對時空大數(shù)據(jù)存儲對比分布式存儲模型運(yùn)行在分布式存算一體化環(huán)境， 檢索資源利用率高專門應(yīng)對時空大數(shù)據(jù)存儲對浙江省700萬條地表覆蓋要素進(jìn)行檢索和三級類統(tǒng)計，僅需

5、24秒，解決了傳 統(tǒng)GIS平臺均無法處理的國際技術(shù)難題創(chuàng)新效果關(guān)鍵技術(shù)一、地理國情大數(shù)據(jù)多態(tài)云存儲創(chuàng)新效果覆蓋全省PB級地理國情數(shù)據(jù)的高性能存儲管理地表覆蓋數(shù)據(jù)遙感影像數(shù)據(jù)關(guān)鍵技術(shù)一、地理國情大數(shù)據(jù)多態(tài)云存儲創(chuàng)新效果縣域級別任意多邊形的空間檢索：秒級響應(yīng)（傳統(tǒng)超過100s）縣級地表覆蓋統(tǒng)計效果演示，以嘉善縣為例的空間范圍執(zhí)行地表覆蓋匯總統(tǒng)計，可達(dá)到秒 級響應(yīng)。關(guān)鍵技術(shù)一、地理國情大數(shù)據(jù)多態(tài)云存儲創(chuàng)新效果全省地理國情數(shù)據(jù)分類分行政區(qū)統(tǒng)計：24秒（傳統(tǒng)超過3小時）浙江省全省700萬條地表覆蓋要素的三級類統(tǒng)計匯總效果演示，查詢結(jié)果總長度為400多 萬千米，總面積為12多萬平方千米。關(guān)鍵技術(shù)一、地理國

6、情大數(shù)據(jù)多態(tài)云存儲關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高性能地理計算傳統(tǒng)計算效率存在問題16單機(jī)處理方式效能低計算作業(yè)時間長交互等待時間長無法應(yīng)對大規(guī)模時空數(shù)據(jù)處理需求MPP架構(gòu)下大規(guī)模并行計算基礎(chǔ)設(shè)備昂貴基于MPI框架，并行效率存在瓶頸計算過程仍需網(wǎng)絡(luò)I/O多云共生平衡架構(gòu)本地存儲、本地處理、獨(dú)立服務(wù)智能感知的計算任務(wù)調(diào)度體系最大限度減少數(shù)據(jù)傳輸損耗適用分布式計算模型多云并算協(xié)同機(jī)制分布式部署的內(nèi)存云，提供了海量內(nèi)存計算空間計算過程在內(nèi)存云中，無硬盤I/O基于內(nèi)存云GPU協(xié)同加速，并行能力強(qiáng)，效率高內(nèi)存云硬盤云高 效穩(wěn) 定雙態(tài)云計算方法關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高性能地理計算異構(gòu)云環(huán)境下時空信息雙態(tài)云

7、計算方法4 U4 U4 U4 U2 U4 U4 U4 U4 U4 U4 U4 U2 U4 U4 U4 U4 U4 U42 U硬件架構(gòu)圖42 U存算節(jié)點(diǎn)預(yù)處理服務(wù)器主節(jié)點(diǎn)通訊服務(wù)器構(gòu)圖邏輯架1、Hadoop、Storm、Spark多云共生平衡架構(gòu)關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高性能地理計算Hadoop常用于離線的復(fù)雜的大數(shù)據(jù)處理，Spark常用于離線的快速的大數(shù)據(jù)處理，而 Storm常用于在線的實(shí)時的大數(shù)據(jù)處理。ImageInputFormatImageSplitImageSplitImageSplitImageRRImageRRImageRRMapMapMapReduceImageOutputFo

8、rmat從HDFS中讀取影像文件寫回到HDFS存儲算任務(wù)管理引擎計算任務(wù)池計算任務(wù)監(jiān)控DiskDiskRAMGPUDiskRAMGPU.儲硬盤云算內(nèi)存云RAM行加速云GPU計并 計 存圖像 文件計算任務(wù)接口層HeartbeatDaemonDaemonDaemon2、Disk、RAM、GPU多云并算協(xié)同機(jī)制關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高性能地理計算RDDPairRDDPairRDDpid,List,ListR*-Tree NLGroup Partitions By pidJoin Partitions By pidSpatial Grid PartitionRDDPairRDDPairRDDpid

9、,ListPairRDDpid,ListflatMapToPair transformationgroupByKey transformationjointransformationflatMapToPair transformationRDDPairRDDPairRDDpid,ListPairRDDrid1,r1 with ListPairRDDMerge1PairRDDpid,Listr withListRepartitionreduceByKey transformationflatMapToPair transformationPairwise Spatial JoinPairwise

10、 Spatial JoinPairwise Spatial JoinwithoutMerge and RepartitionOutputRDDOutput FileflatMap transformationsaveAsTextFile actionInput File0Input File1Input FilentextFile actionDisk I/OIn-memory Process Flow Store on diskStore in memory多云構(gòu)建的同時帶來一個問題，如何協(xié)同，我們構(gòu)建了多云并算的協(xié)同機(jī)制，自動將適合 不同架構(gòu)進(jìn)行計算的任務(wù)分發(fā)到基于硬盤、內(nèi)存、CPU的計算

11、模式中，實(shí)現(xiàn)計算效率的巨 大提升內(nèi)存云調(diào)度引擎主節(jié)點(diǎn)DAG任務(wù)調(diào)度器RDSD索引管理RDSD數(shù)據(jù)塊管理計算線程n分布式硬盤云節(jié)點(diǎn)1節(jié)點(diǎn)2節(jié)點(diǎn)n硬盤云調(diào)度引擎存儲虛擬化管理分布式文件系統(tǒng)管理從節(jié)點(diǎn)任務(wù)調(diào)度計算線程計算線程12節(jié)點(diǎn)狀態(tài)異 構(gòu) 云 存 算 一 體 化 管 控 引 擎RDSD緩存重建RDSDFlash內(nèi)存擴(kuò)展緩存緩存持久化重建緩存RDSD 空間變換RDSD創(chuàng)建RDSD持久化RDSD管理RDSD讀取分布式內(nèi)存云（彈性分布式數(shù)據(jù)集（RDSD）GeoToolsRDSD(rid,r)RDSD(rid,MBRr)RDSD(Zr,MBRr)RDSD(Zrsort,MBRr)RDSD(Zrsampl

12、e,MBRr)RDSD(id,R-Tree)采樣計算MBR計算Z-Value排序構(gòu)建分布式R-TreeRDSD序列化GeoDataSet 塊文件GeoDataSet塊文件map變換sort變換sample變換reduce行為輸入格式構(gòu)建RDSD輸出格式Key Columns Subkey Value Timestampid1 idnsknvntssk1v1sk2v2sk3v3.ts ts ts.Key Columns Subkey Value Timestamp id1sk1 sub-tree1ts.idnskn sub-treents3、異構(gòu)云彈性空間數(shù)據(jù)集協(xié)同調(diào)度技術(shù)關(guān)鍵技術(shù)二、地理國情大

13、數(shù)據(jù)高性能地理計算我們建立了數(shù)據(jù)調(diào)度引擎，利用三個不同層次的引擎 協(xié)同不同云環(huán)境的技術(shù)平滑，以本地化計算為核心導(dǎo) 向，實(shí)現(xiàn)數(shù)據(jù)的自動調(diào)度，關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高性能地理計算創(chuàng)新效果 大規(guī)模地理國情數(shù)據(jù)計算效能對比+ T_SpatDataUpdtInfoIDLayerNameVerTimeElemSTimeElemETime.NewFeatureIDVLayerNewTimeHistoryTimeNewTime.VLayer_VHistoryTimeVLayer_CHVNewTimePresentVLayer百萬級點(diǎn)集和面集的Spatial Join空間統(tǒng)計分析關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高

14、性能地理計算創(chuàng)新效果 基于在線定制的地理國情云計算服務(wù)地理國情統(tǒng)計模型注冊并行計算任務(wù)提交任務(wù)列表實(shí)時監(jiān)控處理結(jié)果查看關(guān)鍵技術(shù)二、地理國情大數(shù)據(jù)高性能地理計算創(chuàng)新效果 地理國情信息數(shù)據(jù)多時間序列分析灘涂動態(tài)演化海岸線分屏對比海岸線動態(tài)演化省普動態(tài)演示GIS-Transforming our World全國土地大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用背景中國土地勘測規(guī)劃院（以下稱規(guī)劃院）作為國土資源部重要技術(shù)支撐單 位，多年來承擔(dān)著全國土地調(diào)查評價項目中土地基礎(chǔ)數(shù)據(jù)采集、處理、 加工、建庫、匯交和應(yīng)用職責(zé)。規(guī)劃院已經(jīng)積累了大量的土地基礎(chǔ)數(shù)據(jù)資源，基本覆蓋土地調(diào)查、監(jiān)測、 規(guī)劃、評價等方面，數(shù)據(jù)量達(dá)到200TB以上。

15、隨著全國國土資源管理工 作方式的深刻的轉(zhuǎn)變。對當(dāng)前積累的大量的土地基礎(chǔ)數(shù)據(jù)資源，包括覆 蓋土地調(diào)查、監(jiān)測、規(guī)劃、評價等方面，傳統(tǒng)模式已經(jīng)實(shí)現(xiàn)有效管理，但 是這種構(gòu)架難以利用海量空間數(shù)據(jù)開展大數(shù)據(jù)分析。數(shù)據(jù)存儲散、資源查詢難、匯交不及時、處理效率低等問題數(shù)據(jù)類型大小數(shù)量2009年全國土地利用現(xiàn)狀屬性表格數(shù)據(jù)90GB3.2億條記錄2009年全國土地利用現(xiàn)狀矢量數(shù)據(jù)480GB3.2億個圖斑2010年全國土地利用現(xiàn)狀矢量數(shù)據(jù)140GB1.1億個圖斑全國縣級行政區(qū)數(shù)據(jù)30MB2884個縣利用縣級行政界線（2884個縣）對2009年全國土地利 用現(xiàn)狀矢量數(shù)據(jù)圖斑層（3.2億圖斑）進(jìn)行裁剪操作， 以縣為最小

16、單元輸出裁剪后的所有新圖層文件，實(shí)際結(jié) 果為2小時27分鐘，時間要求是4小時，其余單位均未 完成；對2009年（3.2億圖斑）和2010年（1.1億個圖斑）全 國土地利用現(xiàn)狀矢量數(shù)據(jù)圖斑層進(jìn)行合并（union）操 作，分塊輸出的新圖層，實(shí)際結(jié)果為3小時46分鐘，時 間要求是6小時，其余單位均未完成；國土資源部新一代國土信息云計算平臺實(shí)例數(shù)據(jù)背景管理節(jié)點(diǎn)、Shark服務(wù)器分布式數(shù)據(jù)節(jié)點(diǎn)、計算節(jié)點(diǎn)物理存儲ETL工具對接內(nèi)存計算框架分布式數(shù)據(jù)庫應(yīng)用服務(wù)器PB級綜合數(shù)據(jù) 百TB矢量數(shù)據(jù)億級圖斑空間分析”大數(shù)據(jù)大分析”底層支撐平臺，在國土部建立PB級的土地基礎(chǔ)數(shù)據(jù)支撐平 臺，實(shí)現(xiàn)億級土地利用數(shù)據(jù)空間分析

17、國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺服務(wù)器2服務(wù)器3服務(wù)器n網(wǎng)絡(luò)存儲設(shè)備 服務(wù)器1數(shù)據(jù)庫服務(wù)器集群 應(yīng)用服務(wù)器計算集群Web服務(wù)器 分布式文件系統(tǒng)集成展示元數(shù)據(jù)處理 主題庫查詢更新維護(hù)ESDCRT MJR MNRMM212345678MM112345678備份服務(wù)器光纖交換機(jī) Power 1 10 3 Power 2 5 4SupplySupplyBayBayCMM2I/O Bay I/O Bay I/O Bay I/O BayCMM6Bay54FanFanBayBayPower Fan Power FanSupply Bay Supply BayBayBa

18、yPowerSupplyBays6 35 24 1FanBays10 59 48 37 26 1FanFanBayBayTX/RXLINKPowerPowerSupplySupplyBayBayFanFanBayBay321CMM11 6 3 2 1 4刀片服務(wù)器應(yīng) 用 層并 行 計 算 層硬 件 層數(shù)據(jù)規(guī)范化編 目管理工具目錄匹配檢查 工具質(zhì)檢校核工具目錄匹配檢查 服務(wù)質(zhì)檢校驗服務(wù)項目離線匯交數(shù)據(jù)運(yùn)行的業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合集成處理過的數(shù)據(jù)其他來源數(shù)據(jù)數(shù)據(jù)來源業(yè)務(wù)域成果域分析域計算域分發(fā)域備份域數(shù)據(jù)庫表 空間備份文件類專題數(shù)據(jù)的 歸檔及備份數(shù)據(jù).待并行處理 的抽取數(shù)據(jù)處理過程數(shù)據(jù).土地利用 網(wǎng)格化

19、產(chǎn)品數(shù)據(jù)影像勻色 成果數(shù)據(jù).DEMDOM.全國性的土地、人口 與經(jīng)濟(jì)綜合分析數(shù)據(jù).待分發(fā)的 影像數(shù)據(jù)數(shù)據(jù)庫導(dǎo)出文件.基于云平臺的數(shù)據(jù)分域管理技術(shù)+多態(tài)存儲模型+多維數(shù)據(jù)快速索引技術(shù)存 儲 關(guān) 鍵 技 術(shù)土地基礎(chǔ)數(shù)據(jù)高效能處理技術(shù)+雙態(tài)云負(fù)載均衡技術(shù)+基于云服務(wù)的按需計算模型計 算 關(guān) 鍵 技 術(shù)專 題 數(shù) 據(jù) 瀏 覽影 像 數(shù) 據(jù) 瀏 覽大 尺 度 數(shù) 據(jù) 瀏 覽抽 析 關(guān) 聯(lián) 瀏 覽國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺創(chuàng)新效果全國土地矢量數(shù)據(jù)及行業(yè)統(tǒng)計數(shù)據(jù)的關(guān)聯(lián)查詢，支撐土地變化與人 口、經(jīng)濟(jì)、社會、GDP相互作用關(guān)系。千萬級圖斑不同年份矢量影像數(shù)據(jù)疊加更新自動分析，為國土 部土地變更調(diào)查提

20、供大數(shù)據(jù)技術(shù)支撐。國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺創(chuàng)新效果超大規(guī)模矢量數(shù)據(jù)空間查詢與統(tǒng)計分析效率國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺創(chuàng)新效果1空間統(tǒng)計圖斑面積空間相交2空間統(tǒng)計最大最小圖斑矢量裁剪矢量3基于行政區(qū)劃統(tǒng)計圖斑面積緩沖區(qū)4基于行政區(qū)劃統(tǒng)計最大最小圖斑矢量裁剪柵格5MDB數(shù)據(jù)抽取矢量瓦片構(gòu)建6SHP數(shù)據(jù)抽取疊加分析7空間合并空間索引構(gòu)建時空數(shù)據(jù)分析模型1通過任意兩個年度土地利用現(xiàn)狀數(shù)據(jù)庫獲得變更流量統(tǒng)計數(shù)據(jù)全國、省、市、縣耕地質(zhì)量等級統(tǒng)計2全國年度土地利用變化圖斑下進(jìn)行遙感影像裁切基于縣級土地利用匯總統(tǒng)計數(shù)據(jù)的矢 量圖斑面積平差3全國范圍矢量多邊形圖斑擦除功能（如耕地后備資源評價

21、中不宜開墾的 后備資源）全國分縣新增建設(shè)用地到城鎮(zhèn)的距離4全國分區(qū)土地利用統(tǒng)計（行政區(qū)、經(jīng)濟(jì)區(qū)）計算全國村級耕作平均便利距離5全國大、中、小城市周邊土地利用統(tǒng)計提取全國范圍內(nèi)零散分布的耕地6全國、分省、分市、分縣耕地高程統(tǒng)計（基于DEM統(tǒng)計平均值、最小值 最大值，中值）基于網(wǎng)格的土地利用分析研究（重心 及變化、人口重心、7土地利用景觀指數(shù)統(tǒng)計耕地景觀破碎度計算8耕地重心與糧食重心、糧食消費(fèi)重心綜合計算采用1分網(wǎng)格7大基礎(chǔ)計算模型基礎(chǔ)空間計算模型8大復(fù)雜場景計算模型1. 查詢被多邊形完全包含的地類圖斑，輸 出矢量要素查詢結(jié)果（約150萬多邊形 要素）。2.查詢被簡單多邊形完全包含的地類圖斑， 對

22、所有地類要素按照地類名稱進(jìn)行面積 統(tǒng)計匯總。3.查詢被復(fù)雜多邊形完全包含的地類圖斑， 對所有地類要素按照地類名稱進(jìn)行面積 統(tǒng)計匯總。1分鐘46秒2分鐘40秒1分鐘24秒超大規(guī)模矢量數(shù)據(jù)空間查詢與統(tǒng)計分析效率國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺創(chuàng)新效果以上模型傳統(tǒng)計算時間均超過一個小時2.2012年全國土地利用現(xiàn)狀地類圖斑矢量數(shù)據(jù)和2013年國土二調(diào)地類圖斑矢量數(shù)據(jù)進(jìn)行疊加分析，輸出疊加結(jié)果。1.將2013年各縣級市匯交形成的2886個MDB格式的國土二調(diào)矢量數(shù)據(jù)3小時56分鐘 文件全部抽取、轉(zhuǎn)換為本文提出的分布式矢量數(shù)據(jù)存儲格式。3小時46分鐘超大規(guī)模空間數(shù)據(jù)ETL、疊加分析、剪裁、瓦片構(gòu)建性

23、能測試國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺創(chuàng)新效果利用全國縣級行政界線圖層裁剪2013年國土二調(diào)地類圖斑矢量數(shù)據(jù)， 3小時27分鐘以縣為最小單元輸出裁剪后的所有圖層文件。2013年國土二調(diào)地類圖斑 矢量數(shù)據(jù)0-16級矢量瓦片金 字塔構(gòu)建。56小時5分鐘。2014年土地利用變化監(jiān)測圖斑矢量數(shù)據(jù)0-16級矢量瓦片金字塔構(gòu)建。2小時53分鐘。以上模型傳統(tǒng)計算時間均超過一周集成平臺與業(yè)務(wù)系統(tǒng)調(diào)用并提供計算能力國土資源部 大數(shù)據(jù)大分析基礎(chǔ)支撐平臺創(chuàng)新效果與土地利用現(xiàn)狀調(diào)查數(shù)據(jù) 庫管理系統(tǒng)（現(xiàn)狀庫）、 耕地后備資源數(shù)據(jù)庫管理 系統(tǒng)（耕后庫）進(jìn)行了業(yè) 務(wù)對接，利用集成平臺提 供的基礎(chǔ)空間計算模型完 成并行化

24、，在相同的條件 下進(jìn)行了速度對比。利用 集成平臺的并行環(huán)境，速 度提升明顯并行運(yùn)算量（縣）土地利用現(xiàn)狀 數(shù)據(jù)量（MB）耕地后備數(shù)據(jù) 量（MB）并行疊加耗時（min）傳統(tǒng)處理耗時（min）并行處理 數(shù)據(jù)總量2 279.786.30.770.5710 1011790.20.452.0130 304281862.512.7950 5013103682.5112.3880 8023404563.0322.8100 10038305953.844.83200 2005264754966.33300 300635096011.5110.5500 5008845136016無法處理1401201008060

25、402002數(shù)據(jù)處理速度對比并行疊加耗時（min）使用arcmap工具處理耗時（min）10305080100200300 500 業(yè)務(wù)平臺一期（業(yè)務(wù)平臺）土地利用規(guī)劃數(shù)據(jù)庫管理系統(tǒng)（規(guī)劃庫）耕地后備資源數(shù)據(jù)庫管理系統(tǒng)（耕后庫）GIS-Transforming our World高分遙感大數(shù)據(jù)創(chuàng)新技術(shù)及應(yīng)用數(shù)據(jù)庫集群規(guī)模：1臺曙光高性能服務(wù)器+12臺曙光存儲服務(wù)器日入庫數(shù)據(jù)：520GB國防科工局高分專項應(yīng)用高分辨率對地觀測共性技術(shù)與應(yīng)用平臺應(yīng)用地點(diǎn)：高分系列衛(wèi)星數(shù)據(jù)中心GF-1、GF-2.背景虛擬映射層虛擬層用戶數(shù)據(jù)層融入了云存儲虛擬化思想，提出了“開 放域彈性存儲”，設(shè)計并實(shí)現(xiàn)了建立在虛擬

26、磁盤空間上的時空數(shù)據(jù)庫動態(tài)可擴(kuò)展模型。113121110789654231718161415.M映射映射映射映射表.網(wǎng)絡(luò)運(yùn)維服務(wù) 站點(diǎn)存儲站點(diǎn)存儲站點(diǎn)開放域彈性 存儲存儲站點(diǎn)建立了一個邏輯上靜態(tài)、物理上動態(tài) 可擴(kuò)展的開放域存儲空間，解決了海量時 空信息存儲空間高擴(kuò)展性、高可用性和存 儲結(jié)構(gòu)靜態(tài)化需求。1、開放域環(huán)境下彈性可擴(kuò)展數(shù)據(jù)模型關(guān)鍵技術(shù)：地理空間大數(shù)據(jù)多態(tài)存儲與彈性管理運(yùn) 維 服 務(wù) 站 點(diǎn)(MServer).分布式存儲系統(tǒng).存儲站點(diǎn) 映射與管理EFI .DSIVDS故障站點(diǎn)數(shù)據(jù)暫存區(qū)EFI DSIVDS NEFI DSIEFI DSIEFI DSIVDS 1VDS N+1EFI DSI

27、VDS 2VDS N+2EFI DSIVDS M分 布 式 存 儲 站 點(diǎn)D-SSite 1客戶端分 布 式 存 儲 站 點(diǎn)D-SSite 2分 布 式 存儲 站 點(diǎn)D-SSite N真正做到請求自動分發(fā)，多節(jié)點(diǎn)、多線程并行執(zhí) 行，攻克了空間大數(shù)據(jù)背景下海量數(shù)據(jù)帶來的信息 檢索瓶頸難題。2、泛化地理信息高效并發(fā)檢索技術(shù)提出了“分布式泛化存儲”思想， 設(shè)計并實(shí)現(xiàn)了空間數(shù)據(jù)的分布式建庫和 高效并發(fā)檢索技術(shù)。關(guān)鍵技術(shù)：地理空間大數(shù)據(jù)多態(tài)存儲與彈性管理遙感、切片、矢量、文本數(shù)據(jù)一體化高效存儲管理國防科工局 國產(chǎn)PB級大規(guī)模時空數(shù)據(jù)云存儲系統(tǒng)創(chuàng)新效果影像存儲管理規(guī)格化切片產(chǎn)品存儲管理矢量數(shù)據(jù)存儲管理波普

28、特征數(shù)據(jù)存儲管理遙感、切片、矢量、文本數(shù)據(jù)一體化高效存儲管理國防科工局 國產(chǎn)PB級大規(guī)模時空數(shù)據(jù)云存儲系統(tǒng)創(chuàng)新效果數(shù)據(jù)類型與數(shù)據(jù)量統(tǒng)計分析資源使用量統(tǒng)計分析數(shù)據(jù)時空關(guān)聯(lián)分析元數(shù)據(jù)定制管理數(shù)據(jù)類型與數(shù)據(jù)量統(tǒng)計分析資源使用量統(tǒng)計分析國產(chǎn)高分影像數(shù)據(jù)多場景應(yīng)用國防科工局 國產(chǎn)PB級大規(guī)模時空數(shù)據(jù)云存儲系統(tǒng)創(chuàng)新效果時空大數(shù)據(jù)中心災(zāi)害重大應(yīng)用大數(shù)據(jù)服務(wù)平臺2013年8月黑龍江特大洪災(zāi)，成果直接為災(zāi)情決策篩選及處理8000多景遙感數(shù)據(jù)，全域矢量基礎(chǔ)數(shù)據(jù)、地面?zhèn)鞲衅鞅O(jiān)測數(shù)據(jù)與數(shù)值模式的大數(shù)據(jù)實(shí)時分析與發(fā)布GIS-Transforming our World點(diǎn)云數(shù)據(jù)高性能計算創(chuàng)新技術(shù)及應(yīng)用組合寬角光學(xué)相機(jī)+激

29、光雷達(dá)（LiDAR)數(shù)據(jù)采集：數(shù)據(jù)量巨大、單機(jī)處 理緩慢背景背景關(guān)鍵技術(shù)：時空數(shù)據(jù)高性能存算一體化技術(shù)實(shí)施路線基于Apache CXF編寫計 算服務(wù)。封裝計算接口提 供二次開發(fā)API。根據(jù)計算類別自動調(diào)度服 務(wù)。基于JBPM實(shí)現(xiàn)服務(wù)自組 織模塊和算法工具集管 理。搭建分布式計算模型。實(shí) 現(xiàn)影像拼接及點(diǎn)云解析等 分布式處理任務(wù)。使用HDFS NFS Gateway 實(shí)現(xiàn)HDFS多節(jié)點(diǎn)映射， 以支持GDAL。運(yùn)管系統(tǒng)中設(shè)計實(shí)現(xiàn)計算 任務(wù)監(jiān)控管理模塊。創(chuàng)新效果全景影像拼接任務(wù)（SSWCamDPS-Console）單機(jī)難以處理處理效率無法滿足時效性需求關(guān)鍵技術(shù)：時空數(shù)據(jù)高性能存算一體化技術(shù)運(yùn)行模 式單

30、個任務(wù) 時間(s)任務(wù) 數(shù)量計算節(jié) 點(diǎn)數(shù)量單節(jié)點(diǎn) 線程數(shù) 量理論耗 時(h)實(shí)際耗 時(h)全景照片 成功數(shù)量效率提 升（倍）單機(jī)單 線程601434/23.9/57.4云計算 框架405120.270.42100%處理效率無法滿足時效性需求運(yùn)行模 式單個任務(wù) 時間(s)任務(wù) 數(shù)量計算節(jié) 點(diǎn)數(shù)量單節(jié)點(diǎn) 線程數(shù) 量理論耗 時(h)實(shí)際耗 時(h)全景照片 成功數(shù)量效率提 升（倍）單機(jī)單 線程6020000/333.3/1960.6云計算 框架2010070.150.17100%創(chuàng)新效果全景影像拼接任務(wù)（SSWCamDPS-Console）單機(jī)難以處理關(guān)鍵技術(shù)：時空數(shù)據(jù)高性能存算一體化技術(shù)5年1天

31、運(yùn)行模式任務(wù) 量計算節(jié) 點(diǎn)數(shù)量單節(jié)點(diǎn)線 程數(shù)量理論耗 時(h)實(shí)際耗 時(s)全景照片 成功數(shù)量效率提升（倍）單機(jī)單線 程44G/14591523/50.8云計算框 架541330100%型號詳細(xì)配置作用數(shù) 量DELLPowerEdge R730服務(wù)器2*E5-2683V3(至強(qiáng)十四核2.0GHz/9.6GT/35MB) 4*8GDDR4-2133MHZ內(nèi)存 2*256GMLC SSD硬盤+3*300G(2.5寸10K)SAS硬盤RAID1+RAID5 H730P(2G緩存) 集成四千兆網(wǎng)卡主節(jié) 點(diǎn)1DELLPowerEdge R730服務(wù)器2*E5-2683V3(至強(qiáng)十四核2.0GHz/9.

32、6GT/35MB) 4*8GDDR4-2133MHZ內(nèi)存 2*256GMLC SSD硬盤+3*300G(2.5寸10K)SAS硬盤RAID1+RAID5 H730P(2G緩存) 集成四千兆網(wǎng)卡計算 節(jié)點(diǎn)5網(wǎng)絡(luò)環(huán)境TP-LINK千兆以太網(wǎng)交換機(jī)TL-SG1048創(chuàng)新效果車載激光點(diǎn)云數(shù)據(jù)自動解析單機(jī)處理效率緩慢處理效率無法滿足時效性需求關(guān)鍵技術(shù)：時空數(shù)據(jù)高性能存算一體化技術(shù)GIS-Transforming our World后云時代技術(shù)創(chuàng)新霧計算數(shù)據(jù)瓶頸采用分布式計算技術(shù)的“集中式計算”，地理空間大 必須都存在云端空間數(shù)據(jù)往往涉及保密性等問題，不能有效共享云中心云中心向外分發(fā)數(shù)據(jù)及計算結(jié)果時存在一

33、對多的網(wǎng)絡(luò)空間數(shù)據(jù)請求量很大時，分發(fā)能力有限移動互聯(lián)網(wǎng)時代接入的終端傳感器及終端設(shè)備暴增，加重 云中心負(fù)擔(dān)移動應(yīng)用支撐能力有限流式空間數(shù)據(jù)、實(shí)時空間數(shù)據(jù)計算能力不足云計算還有諸多尚未解決的問題后云時代技術(shù)創(chuàng)新霧計算霧 傳 感 器 網(wǎng) 設(shè) 計浮 動 車 計 算 結(jié) 果霧計算架構(gòu)設(shè)計及驗證后云時代技術(shù)創(chuàng)新霧計算霧計算總體架構(gòu)：中央數(shù)據(jù)中心+霧節(jié)點(diǎn)+傳感器霧計算關(guān)鍵技術(shù)一：流處理智能任務(wù)分組霧計算各節(jié)點(diǎn)智能任務(wù)分組：本地任務(wù)螺栓（霧節(jié)點(diǎn)）負(fù)責(zé)對產(chǎn)生的數(shù)據(jù)流實(shí)時處理，必須靠近流數(shù)據(jù)源。全局任務(wù)節(jié)點(diǎn)負(fù)責(zé)將一組本地任務(wù)的計算結(jié)果匯總以近一步處理。流處理智能任務(wù)分組技術(shù)路線杭-甬-湖霧集群實(shí)驗拓?fù)鋱D（已完成

34、跨省聯(lián)通實(shí)驗：杭州-湖州-鄭州-北京）霧計算關(guān)鍵技術(shù)二：霧節(jié)點(diǎn)自動調(diào)度策略霧節(jié)點(diǎn)自動調(diào)度策略：隨著任務(wù)以本地任務(wù)和全局任務(wù)的形式分配于霧節(jié)點(diǎn)和全局任務(wù) 節(jié)點(diǎn)后，霧節(jié)點(diǎn)自動調(diào)度策略按照霧節(jié)點(diǎn)的計算能力，自動所有任務(wù)分配至各個工作者 中，最大限度保證流數(shù)據(jù)低延遲運(yùn)行。不同任務(wù)調(diào)度效率實(shí)驗移動空間數(shù)據(jù)傳感器霧端分布式索引關(guān)鍵技術(shù)基于地理流移動對象統(tǒng)一時空數(shù)據(jù)模型地理時間窗口更新消息元組離散時空模型查詢消息元組流時空 模 型空間計 算分布式消息中間件Apache KafkaMetaQApache ActiveMQ中間件地理流時間戳線性時空模型Kestrel移動對象連續(xù)查詢CKNN范圍查詢鏈接查詢U-G

35、rid移動對象空間索引移動對象分析聚類分析軌跡預(yù)測U-RtreeLU RtreeTPRtree流式分布式平臺Apache StormApache Flin kSpark StreamingYahoo! S4Apache SamzaTime Stream分布式實(shí)時空間數(shù)據(jù)庫關(guān)系型空間數(shù)據(jù)庫 Oracle SpatialPo stGISMySQLSpatial空間引擎Arc SDENoSQL數(shù)據(jù)庫Memcac hedFastDBRedisMembaseCassandraHBase持久化文件數(shù)據(jù)Lu cen eSpatialShpFileGDB霧計算關(guān)鍵技術(shù)三：霧端大規(guī)模移動空間計算面向大規(guī)模移動空

36、間計算需求，我們提出霧端大規(guī)模移動空間數(shù)據(jù)計算總體框架，運(yùn) 行時云霧多節(jié)點(diǎn)空間索引的同步與更新關(guān)鍵技術(shù)，以及面向云霧計算均衡化的任務(wù)劃分 模型，實(shí)現(xiàn)移動空間大數(shù)據(jù)的實(shí)時計算。ParameterValue移動點(diǎn)的個數(shù),106 更新速率,百萬次/秒 范圍查詢大小 K 近鄰中的K值路網(wǎng)節(jié)點(diǎn)數(shù) 監(jiān)測范圍(km2)10.70.5%100232237895江蘇全省,511 494移動點(diǎn)信息霧計算關(guān)鍵技術(shù)四：云霧混合計算模型針對時空大數(shù)據(jù)計算窗口數(shù)據(jù)分布不均衡、空間計算復(fù)雜度各異、云霧計算各具優(yōu)勢的 特性，綜合利用時間和元組混合窗口評估時空計算量，均衡構(gòu)建流式并行計算任務(wù)，最 大限度發(fā)揮云集群和霧計算的計算

37、能力。創(chuàng)新效果后云時代技術(shù)創(chuàng)新霧計算杭州-湖州-北京-鄭州三省四市霧集群實(shí)驗霧集群數(shù)據(jù)來源：移動點(diǎn)流數(shù)據(jù)杭州中心集群節(jié)點(diǎn)數(shù)：6個杭州霧集群節(jié)點(diǎn)數(shù)：5個湖州霧集群幾點(diǎn)書：5個北京霧集群節(jié)點(diǎn)數(shù)：5個鄭州霧集群節(jié)點(diǎn)數(shù)：5個創(chuàng)新效果后云時代技術(shù)創(chuàng)新霧計算0.13590.954761.833752.4331552.1901230134地理流平均處理速率x 10 52霧集群個數(shù)不同霧集群數(shù)目和計算速率（/S）霧計算下地理流實(shí)時更新計算速率00.35湖州鄭州 北京 杭州x 104單地霧集群平均計算速率（/S）邊緣處理平均速率0248鄭州-杭州鄭州-北京 湖州-杭州 北京-杭州 北京-湖州 鄭州-湖州103兩地霧集群更新流處理計算速率（/S）云中心邊緣集群邊緣集群16集群總速率01234568北京-鄭州-杭州鄭州-湖州-杭州北京