高效生產(chǎn)力工具處理自動(dòng)化(GPA)技術(shù)新進(jìn)展

高效生產(chǎn)力工具處理自動(dòng)化高效生產(chǎn)力工具處理自動(dòng)化(GPA)技術(shù)新進(jìn)展鄭美玲產(chǎn)品工程師平臺(tái)產(chǎn)品線組件內(nèi)核產(chǎn)品管理與營銷工程團(tuán)隊(duì)北京超圖軟件股份有限公司2024年6月26日，北京P1P2處理自動(dòng)化(GPA)空間數(shù)據(jù)分析處理高效工具空間數(shù)據(jù)分析處理高效工具Geoprocessing支撐多行業(yè)場景Automation支撐多行業(yè)場景P3處理自動(dòng)化為您帶來便利無懼業(yè)務(wù)需求復(fù)雜多變無懼業(yè)務(wù)需求復(fù)雜多變，快速交付優(yōu)化業(yè)務(wù)流程優(yōu)化業(yè)務(wù)流程，減少開發(fā)復(fù)用成本P41更完備的GPA技術(shù)2更強(qiáng)大的GPA能力3更高效的分布式處理P5P6發(fā)展歷程桌面處理自動(dòng)化 處理自動(dòng)化服務(wù)GeoAI、大數(shù)據(jù)工具三維工具等條件、迭代、變量……2019-20212019-2021iPortalGPAApp1000+工具Spark升級(jí)工具性能優(yōu)化計(jì)劃執(zhí)行模型庫加密202211i全新WebUI900+工具變量列表、分組模型元數(shù)據(jù)局部執(zhí)行即時(shí)取消iPortal數(shù)據(jù)注冊數(shù)據(jù)拖拽建模讀寫更多類型數(shù)據(jù)任務(wù)排隊(duì)調(diào)度Spark多進(jìn)程P7處理自動(dòng)化(GPA)全功能概覽處理自動(dòng)化建模處理自動(dòng)化建模WebApp(SuperMapiPortal)處理自動(dòng)化建模(SuperMapiDesktopX）處理自動(dòng)化服務(wù)(SuperMapiServer)可視化建模模型庫模型管理模型文件模型庫模型管理模型文件模型執(zhí)行模型執(zhí)行邏輯控制邏輯控制模型基礎(chǔ)工具箱SuperMapiDesktopX處理自動(dòng)化建模菜單欄工作空間可視化建模視圖工具箱P8SuperMapiServer處理自動(dòng)化建模菜單欄菜單欄工具箱可視化建模視圖參數(shù)面板P10SuperMapiPortal處理自動(dòng)化建模P11P12低代碼可編程工具多可擴(kuò)展高性能P13模型管理與分享》模型執(zhí)行與調(diào)用模型管理與分享》模型執(zhí)行與調(diào)用》模型構(gòu)建P14模型管理與分享》模型執(zhí)行與調(diào)用模型管理與分享》模型執(zhí)行與調(diào)用》模型構(gòu)建P15模型構(gòu)建—數(shù)據(jù)作為節(jié)點(diǎn)添加到建模頁面支持直接拖拽數(shù)據(jù)目錄中的數(shù)據(jù)到建模頁面作為節(jié)點(diǎn)，后續(xù)可以連接GPA工具作為數(shù)據(jù)輸入?yún)?shù)，無需手動(dòng)配置，提升建模易用性，且能在處理流程中更好地掌握數(shù)據(jù)信息?型源件據(jù)文數(shù)?型源件據(jù)文數(shù)?式布儲(chǔ)存分Tiff……?庫源?庫源據(jù)據(jù)數(shù)數(shù)…………P16對(duì)接多類型矢柵數(shù)據(jù)進(jìn)行分析處理支持直接對(duì)接多類型矢量、柵格文件做分析，而無需進(jìn)行導(dǎo)入分析完的結(jié)果也可以直接寫出為相應(yīng)格式，減少數(shù)據(jù)格式轉(zhuǎn)換無需導(dǎo)入無需導(dǎo)入直接寫出直接寫出P17對(duì)接Web柵格數(shù)據(jù)進(jìn)行分析處理對(duì)指定范圍的對(duì)指定范圍的Web柵格數(shù)據(jù)進(jìn)行分析處理影像服務(wù)影像服務(wù)更多柵格影像分析：??????水文分析坡度、坡向剖面填挖方柵格統(tǒng)計(jì)……P18P19模型構(gòu)建—豐富的預(yù)定義工具ProcessingAutomation1000+預(yù)定義工具數(shù)據(jù)數(shù)據(jù)處理ad數(shù)據(jù)ad數(shù)據(jù)導(dǎo)出數(shù)據(jù)導(dǎo)入機(jī)器學(xué)習(xí)柵格機(jī)器學(xué)習(xí)柵格分析空間統(tǒng)計(jì)分析矢量分析地理編碼空間查詢影像地理編碼空間查詢影像管理制圖與服務(wù)發(fā)布分布式250+三維分析地圖地圖瓦片P20新增工具40+?三維數(shù)據(jù)（24）：模型瓦片續(xù)生成、生成材質(zhì)資產(chǎn)…?影像處理（12）：影像去霧、影像云修補(bǔ)、DSM水體填值…?影像管理（3導(dǎo)出影像服務(wù)集合VRT文件…?空間處理分析（2cressman插值、波段計(jì)算?分布式（2拓?fù)湟?guī)則、距離計(jì)算影像處理、影像影像處理、影像AI、三維、空間分析、分布式分析等更多工具持續(xù)更新……P21新增影像數(shù)據(jù)進(jìn)行波段計(jì)算滿足遙感數(shù)據(jù)流程化分析處理需求，新增支持對(duì)影像數(shù)據(jù)進(jìn)行波段計(jì)算黑臭水體識(shí)別提取黑臭水體識(shí)別提取P22增強(qiáng)拓?fù)滟|(zhì)檢規(guī)則面向數(shù)據(jù)質(zhì)檢業(yè)務(wù)，新增線面尖銳角檢查規(guī)則，即選即用優(yōu)化線無打折、面內(nèi)無縫隙、面內(nèi)無重疊等規(guī)則，滿足實(shí)際需求處理時(shí)間（單位：秒）處理時(shí)間（單位：秒）12高效易用高效易用37w線對(duì)象（無尖銳角）84w線對(duì)象（無尖P23模型管理與分享》模型執(zhí)行與調(diào)用模型管理與分享》模型執(zhí)行與調(diào)用》模型構(gòu)建P24模型執(zhí)行與調(diào)用調(diào)用方式調(diào)用方式模型執(zhí)行—覆蓋同名結(jié)果數(shù)據(jù)集避免冗余的中間結(jié)果造成數(shù)據(jù)源膨脹，減輕數(shù)據(jù)存儲(chǔ)壓力重復(fù)執(zhí)行業(yè)務(wù)模型流程時(shí)不需要修改參數(shù)，提高工作效率P25P26模型計(jì)劃執(zhí)行模型計(jì)劃執(zhí)行定時(shí)觸發(fā)PostGIS定時(shí)觸發(fā)PostGIS實(shí)時(shí)數(shù)據(jù)獲取入庫P27集成業(yè)務(wù)系統(tǒng)進(jìn)行服務(wù)接口調(diào)用P29模型調(diào)用—新增任務(wù)排隊(duì)調(diào)度能力避免服務(wù)器過載增加按優(yōu)先級(jí)排隊(duì)的模式，保障緊急業(yè)務(wù)優(yōu)先執(zhí)行調(diào)度管理器調(diào)度管理器任務(wù)任務(wù)1運(yùn)行運(yùn)行任務(wù)2根據(jù)優(yōu)先級(jí)提交任務(wù)等待任務(wù)2根據(jù)優(yōu)先級(jí)提交任務(wù)等待任務(wù)任務(wù)3高優(yōu)先級(jí)任務(wù)高優(yōu)先級(jí)任務(wù)模型調(diào)用—新增任務(wù)排隊(duì)調(diào)度能力避免服務(wù)器過載增加按優(yōu)先級(jí)排隊(duì)的模式，保障緊急業(yè)務(wù)優(yōu)先執(zhí)行P30P31模型管理與分享》模型執(zhí)行與調(diào)用模型管理與分享》模型執(zhí)行與調(diào)用》模型構(gòu)建更便捷、更安全的模型管理與分享全新的模型管理模式—模型庫桌面端GPA和WebGPA均支持通過模型庫的方式進(jìn)行模型管理，兩端互通將構(gòu)建的多個(gè)單模型匯集到相關(guān)業(yè)務(wù)模型庫，便于集中管理和分享復(fù)用P32模型管理與分享—模型庫授權(quán)管理設(shè)置授權(quán)碼，有效保護(hù)用戶模型資產(chǎn)P33P34模型管理與分享—模型庫授權(quán)管理設(shè)置授權(quán)碼，有效保護(hù)用戶模型資產(chǎn)P35小結(jié)—GPA能力增強(qiáng)模型構(gòu)建》模型執(zhí)行與調(diào)用模型構(gòu)建》模型執(zhí)行與調(diào)用》模型管理與分享P36P37Spark部署模式P38單機(jī)多進(jìn)程模擬分布式Sparklocal（多進(jìn)程）模式，在本機(jī)啟動(dòng)多進(jìn)程模擬分布式環(huán)境，實(shí)現(xiàn)算力資源高效利用，提升大數(shù)據(jù)處理分析性能推薦百萬級(jí)數(shù)據(jù)在桌面端產(chǎn)品直接使用600600萬+圖斑600600萬+圖斑600萬600萬+圖斑PostGISPostGIS56核256GB4h4h耗時(shí)縮短至1/8省級(jí)基礎(chǔ)地理信息中心實(shí)測省級(jí)基礎(chǔ)地理信息中心實(shí)測P39千萬級(jí)圖斑疊加分析性能提升通過優(yōu)化計(jì)算時(shí)的內(nèi)存管理，以及PostGIS數(shù)據(jù)引擎的分布式讀寫，省級(jí)以上千萬圖斑對(duì)千萬圖斑全量疊加分析性能提升的難題得到突破性進(jìn)展耗時(shí)約44分鐘疊加分析疊加分析集群總配置：140核280GBP40支撐多省自然資源復(fù)雜業(yè)務(wù)快速交付業(yè)務(wù)規(guī)則復(fù)雜?多次空間疊加業(yè)務(wù)規(guī)則復(fù)雜?多次空間疊加?字段計(jì)算與賦值?匯總統(tǒng)計(jì)?……數(shù)據(jù)體量大、特征復(fù)雜?全省千萬級(jí)圖斑?參數(shù)化、多部件、導(dǎo)洞?幾何拓?fù)溴e(cuò)誤?……結(jié)果算不準(zhǔn)?結(jié)果算不準(zhǔn)?疊加后面積精度不高處理效率低?分區(qū)縣計(jì)算?人工值守?短期無法出成果?……支撐多省自然資源復(fù)雜業(yè)務(wù)快速交付疊加分析結(jié)果疊加分析結(jié)果2023地類圖斑耗時(shí)縮短一半 2022地類圖斑城鎮(zhèn)村等用地PostGISPostGIS2*(88核512GB)P41P42支撐多省自然資源復(fù)雜業(yè)務(wù)快速交付耕地保護(hù)責(zé)任制考核相關(guān)數(shù)據(jù)核算耕地保護(hù)責(zé)任制考核相關(guān)數(shù)據(jù)核算永農(nóng)核實(shí)處置與變更分析永農(nóng)核實(shí)處置與變更分析進(jìn)出平衡考核進(jìn)出平衡考核土地利用變