淺析信息化在行業(yè)中的應(yīng)用

淺析信息化在行業(yè)中的應(yīng)用

隨著社會經(jīng)濟(jì)和信息技術(shù)的快速發(fā)展，國家對公共服務(wù)的需求顯著提高，如數(shù)據(jù)產(chǎn)品的共享、政府服務(wù)的一體化、業(yè)務(wù)流程的簡化等。服務(wù)的提供形式和形式逐漸從傳統(tǒng)的孤立和復(fù)雜模式轉(zhuǎn)變?yōu)橹悄芎腿诤系暮献餍问?。借助大?shù)據(jù)、云服務(wù)、互聯(lián)網(wǎng)+等成熟的信息化技術(shù)，根據(jù)實(shí)際業(yè)務(wù)應(yīng)用需求，建立以各類共享交換數(shù)據(jù)為核心的交換共享平臺，聯(lián)系橫貫不同部門之間的異構(gòu)系統(tǒng)、數(shù)據(jù)庫資源等，支持不同處理業(yè)務(wù)、不同軟硬平臺對不同結(jié)構(gòu)數(shù)據(jù)交換共享的需求生態(tài)保護(hù)紅線是國家生態(tài)安全的底線和生命線，核心是要實(shí)現(xiàn)一條紅線管控重要生態(tài)空間，確保生態(tài)功能不降低、面積不減少、性質(zhì)不改變本文對比分析了點(diǎn)對點(diǎn)方式、中央數(shù)據(jù)庫方式、基于中間件方式、服務(wù)接口方式共4種常見共享交換方式及其特點(diǎn)，初步構(gòu)建了“互聯(lián)網(wǎng)+政務(wù)專網(wǎng)”雙網(wǎng)并行的生態(tài)保護(hù)紅線數(shù)據(jù)互聯(lián)互通體系，基本打通國家和地方層面數(shù)據(jù)鏈路通道，實(shí)現(xiàn)了生態(tài)保護(hù)紅線數(shù)據(jù)匯交、在線填報、產(chǎn)品分發(fā)、臺賬共享等能力，測試并分析了數(shù)據(jù)傳輸效率，基本滿足國家和地方生態(tài)保護(hù)紅線監(jiān)管業(yè)務(wù)數(shù)據(jù)傳輸需求。1實(shí)現(xiàn)途徑分析根據(jù)數(shù)據(jù)交換各信息主體之間數(shù)據(jù)的共享策略，可以分為點(diǎn)對點(diǎn)方式、中央數(shù)據(jù)庫方式、基于中間件方式、服務(wù)接口方式，其代表性的實(shí)現(xiàn)途徑分別為FTP、云平臺、前置機(jī)和服務(wù)接口共4種方式。1.1pc服務(wù)器點(diǎn)對點(diǎn)方式的數(shù)據(jù)交換是指每個信息主體都要單獨(dú)為另外信息主體提供數(shù)據(jù)交換接口;數(shù)據(jù)不在中心平臺進(jìn)行歸集，數(shù)據(jù)供需雙方直接交換，如圖1所示?；诠W(wǎng)FTP的數(shù)據(jù)交換是采用點(diǎn)對點(diǎn)式交換方式之一。借助數(shù)據(jù)交換雙方的任一方已有的互聯(lián)網(wǎng)資源搭建FTP服務(wù)。用戶通過一個支持FTP協(xié)議的客戶端，連接到在遠(yuǎn)程主機(jī)上的FTP服務(wù)器，將需共享的數(shù)據(jù)從本地計算機(jī)上傳到FTP服務(wù)器存儲上，雙方只需通過FTP客戶端進(jìn)行上傳、下載數(shù)據(jù)。FTP具有下載即用、簡單易用、成本低等優(yōu)勢。能操作任何類型的文件而不需要進(jìn)一步處理，適用于資料種類單一、非正式的、一般數(shù)據(jù)的共享。但FTP有著極高的延時，從開始請求到第一次接收需求數(shù)據(jù)之間的時間較長，并且不時地必須執(zhí)行一些冗長的登錄進(jìn)程目前，常用的FTP工具包括FileZilla、FLASH-FTP、LEAPFTP、CuteFTP、8UFTP等;對于正式的數(shù)據(jù)交換，需共享的資料種類較多，可對FTP工具進(jìn)行封裝升級，在接收方數(shù)據(jù)庫中導(dǎo)入提供方數(shù)據(jù)庫中相關(guān)表結(jié)構(gòu)、索引、視圖等對象，在雙方服務(wù)器上同時運(yùn)行數(shù)據(jù)同步進(jìn)程，實(shí)現(xiàn)數(shù)據(jù)同步共享交換。1.2業(yè)務(wù)協(xié)同機(jī)制基于中央數(shù)據(jù)庫的數(shù)據(jù)交換是指數(shù)據(jù)交換雙方通過中央數(shù)據(jù)庫來進(jìn)行數(shù)據(jù)交換。信息提供者整合各類軟硬件和數(shù)據(jù)資源，將共享信息抽取、集中存儲到統(tǒng)一的中央數(shù)據(jù)庫中，通過互聯(lián)網(wǎng)，以按需共享、動態(tài)易擴(kuò)展的方式提供各類數(shù)據(jù)和應(yīng)用服務(wù)，信息的需求者通過訪問共享信息中央數(shù)據(jù)庫實(shí)現(xiàn)信息的共享和信息資源交換，如圖2所示。信息的提供者和需求者角色可以根據(jù)需要相互轉(zhuǎn)換，消除“數(shù)據(jù)煙囪”或“信息孤島”，實(shí)現(xiàn)不同組織機(jī)構(gòu)(或信息系統(tǒng))之間的信息共享與業(yè)務(wù)協(xié)同。基于云服務(wù)的數(shù)據(jù)交換是采用中央數(shù)據(jù)庫集中式交換方式之一?；谠品?wù)的數(shù)據(jù)交換，具有簡單易用、運(yùn)行維護(hù)簡單、建設(shè)維護(hù)成本低等優(yōu)勢。適用于自動化程度高的計算應(yīng)用服務(wù)、已定數(shù)據(jù)成果的分發(fā)服務(wù)、小數(shù)據(jù)量文件的存儲交換等，實(shí)現(xiàn)共享數(shù)據(jù)按需、穩(wěn)定的傳輸，減少通用常規(guī)業(yè)務(wù)處理平臺的重復(fù)性建設(shè)。目前，華為云、阿里云、百度云、騰訊云等是國內(nèi)公有云服務(wù)基礎(chǔ)設(shè)施、服務(wù)和應(yīng)用的主要提供廠商，自然資源衛(wèi)星遙感云服務(wù)平臺1.3實(shí)現(xiàn)不同節(jié)點(diǎn)間的信息共享基于中間件的數(shù)據(jù)交換是指數(shù)據(jù)交換雙方業(yè)務(wù)系統(tǒng)通過數(shù)據(jù)交換中間件來進(jìn)行數(shù)據(jù)交換，可有效解決跨系統(tǒng)的通信問題、傳輸數(shù)據(jù)的格式轉(zhuǎn)換、數(shù)據(jù)的預(yù)處理、認(rèn)證轉(zhuǎn)換、傳輸數(shù)據(jù)統(tǒng)計、異構(gòu)網(wǎng)絡(luò)之間安全共享等問題，以實(shí)現(xiàn)不同節(jié)點(diǎn)之間的信息交換，如圖3所示。前置機(jī)模式是采用中間件方式實(shí)現(xiàn)數(shù)據(jù)交換的主要途徑之一基于前置機(jī)的交換，具有傳輸穩(wěn)定性強(qiáng)、數(shù)據(jù)標(biāo)準(zhǔn)化處理程度高、網(wǎng)絡(luò)帶寬要求相對低、信息安全保障強(qiáng)等特點(diǎn)，確保數(shù)據(jù)完整性和一致性，并實(shí)現(xiàn)數(shù)據(jù)同步更新。適用于企業(yè)管理信息、地面實(shí)時監(jiān)測等增量更新頻繁、結(jié)構(gòu)化數(shù)據(jù)的實(shí)時傳輸交換的業(yè)務(wù)場景，通過ETL抽取工具實(shí)現(xiàn)數(shù)據(jù)庫實(shí)時同步更新。同時，適用于文件數(shù)量多、數(shù)據(jù)量大、傳輸頻次高的大批量數(shù)據(jù)分發(fā)服務(wù)的業(yè)務(wù)場景，通過交換前置機(jī)實(shí)現(xiàn)數(shù)據(jù)的同步推送。目前，工商、國稅、地稅、質(zhì)監(jiān)1.4基于公共接口的互操作服務(wù)接口方式是指將數(shù)據(jù)服務(wù)封裝成接口，數(shù)據(jù)服務(wù)的發(fā)布方進(jìn)行服務(wù)的注冊、發(fā)布、修改、刪除、用戶審核、監(jiān)控等管理并提供服務(wù)接口;服務(wù)的使用方申請使用被審核通過后，可進(jìn)行數(shù)據(jù)服務(wù)調(diào)用，如圖4所示。在空間數(shù)據(jù)互操作領(lǐng)域，基于公共接口訪問模式的互操作方法是一種基本的操作方法。采用數(shù)據(jù)服務(wù)訪問接口的方式，可以實(shí)現(xiàn)跨平臺、跨語言、跨硬件的互操作。數(shù)據(jù)的修改權(quán)限由發(fā)布方負(fù)責(zé)，數(shù)據(jù)統(tǒng)一發(fā)布，一致性強(qiáng)。適用于小數(shù)據(jù)量、實(shí)時性要求較高的業(yè)務(wù)場景，但容易因網(wǎng)絡(luò)復(fù)雜或網(wǎng)速過低出錯或響應(yīng)超時WebService是常用的數(shù)據(jù)交換共享服務(wù)接口方式，它是一個平臺獨(dú)立的，低耦合的，自包含的、基于可編程的Web的應(yīng)用程序點(diǎn)對點(diǎn)方式、基于中央數(shù)據(jù)庫方式、基于中間件方式和服務(wù)接口模式4種數(shù)據(jù)共享交換方式對比表如表1所示。2關(guān)鍵技術(shù)2.1下載或上傳數(shù)據(jù)斷點(diǎn)續(xù)傳是數(shù)據(jù)傳輸?shù)闹匾胧┲?，可?jié)約數(shù)據(jù)傳輸時間，有效提高數(shù)據(jù)傳輸效率。在下載(或上傳)過程中，因網(wǎng)絡(luò)故障、電量不足等原因?qū)е聰?shù)據(jù)下載(或上傳)中斷。通過斷點(diǎn)續(xù)傳功能，記錄上一次已下載(或上傳)完成數(shù)據(jù)中斷位置。下次啟動時，繼續(xù)下載(或上傳)未下載(或上傳)的部分?jǐn)?shù)據(jù)，避免數(shù)據(jù)的重復(fù)下載(或上傳)。斷點(diǎn)續(xù)傳實(shí)質(zhì)就是記錄上一次數(shù)據(jù)傳輸中斷的位置。采用多線程斷點(diǎn)續(xù)傳技術(shù)，將下載(或上傳)數(shù)據(jù)(一個文件或一個壓縮包)劃分為幾個部分，每一部分采用一個線程進(jìn)行下載(或上傳)，多個線程并發(fā)占用服務(wù)器端更多資源，從而加快下載速度。多線程斷點(diǎn)續(xù)傳主要包括以下幾個步驟:(1)下載過程中記錄每條線程的下載進(jìn)度;(2)每次重新下載開始之前先讀取數(shù)據(jù)庫傳遞報文消息，查詢是否有未完成的記錄，如有則繼續(xù)下載，沒有則創(chuàng)建新記錄插入數(shù)據(jù)庫;(3)每次向文件中寫入數(shù)據(jù)之后，數(shù)據(jù)庫報文消息同步更新下載進(jìn)度;(4)下載完成之后刪除數(shù)據(jù)庫中斷點(diǎn)續(xù)傳進(jìn)程記錄。采用多線程斷點(diǎn)續(xù)傳可有效提高數(shù)據(jù)傳輸效率。2.2數(shù)據(jù)安全控制國家和地方之間數(shù)據(jù)的安全傳輸是數(shù)據(jù)業(yè)務(wù)應(yīng)用的重要保障，需采取從采集、傳輸、存儲、處理、共享、銷毀等全生命周期的安全管理措施。確?；ヂ?lián)網(wǎng)、政務(wù)專網(wǎng)、衛(wèi)星中心內(nèi)網(wǎng)等不同網(wǎng)絡(luò)之間數(shù)據(jù)安全高效的傳輸，支撐地方用戶移動核查、業(yè)務(wù)用戶衛(wèi)星遙感處理和部委用戶管理決策等不同用戶的應(yīng)用需求。采用多級數(shù)據(jù)安全控制技術(shù)，依據(jù)相關(guān)法規(guī)和標(biāo)準(zhǔn)要求進(jìn)行安全性設(shè)計，建立嚴(yán)格的安全運(yùn)行機(jī)制，保證數(shù)據(jù)庫系統(tǒng)安全和數(shù)據(jù)安全(1)身份驗(yàn)證與權(quán)限控制:用戶訪問采用用戶賬號加密，加強(qiáng)用戶密碼復(fù)雜度或CA認(rèn)證加密，同時，對用戶角色進(jìn)行不同權(quán)限控制，限制不同用戶對數(shù)據(jù)的訪問和操作。(2)網(wǎng)絡(luò)加密傳輸:數(shù)據(jù)傳輸采用SSL協(xié)議和HTTPS方式，通過身份認(rèn)證并對數(shù)據(jù)進(jìn)行加密傳輸。同時，傳輸節(jié)點(diǎn)加入數(shù)據(jù)簽名信息。(3)雙機(jī)備份存儲:根據(jù)數(shù)據(jù)的數(shù)據(jù)量、數(shù)據(jù)類型、更新頻次等特點(diǎn)，選擇不同的備份策略進(jìn)行備份;同時，采用雙機(jī)備份保障傳輸安全。(4)消息總線通信:內(nèi)外網(wǎng)不同的組件之間的通信使用消息總線2.3同一條數(shù)據(jù)重復(fù)傳輸在數(shù)據(jù)傳輸過程中，需保證數(shù)據(jù)的一致性，提高數(shù)據(jù)交換效率。當(dāng)出現(xiàn)同一條數(shù)據(jù)重復(fù)傳輸時，以最后一條數(shù)據(jù)為準(zhǔn)，傳輸時間以接收方節(jié)點(diǎn)時間為準(zhǔn)。按照設(shè)定的規(guī)則提取交換數(shù)據(jù)，通過對交換信息的對比、數(shù)據(jù)版本匹配和增量信息傳輸?shù)仍O(shè)計，實(shí)現(xiàn)數(shù)據(jù)的增量交換2.4海量空間數(shù)據(jù)發(fā)布支持業(yè)務(wù)系統(tǒng)架構(gòu)地理空間數(shù)據(jù)共享和管理需要解決多用戶數(shù)據(jù)庫異構(gòu)、數(shù)據(jù)格式多樣的問題。利用空間數(shù)據(jù)互操作技術(shù)可在各用戶原有系統(tǒng)保持不變的情況下，基于統(tǒng)一公共接口訪問標(biāo)準(zhǔn)，通過信息共享和互操作插件，使部門之間的業(yè)務(wù)應(yīng)用相互調(diào)用彼此的數(shù)據(jù)，實(shí)現(xiàn)異構(gòu)系統(tǒng)間的互操作為提高空間數(shù)據(jù)發(fā)布的效率，通常采用基于金字塔結(jié)構(gòu)的瓦片技術(shù)和基于靜態(tài)圖片的地圖緩存技術(shù)進(jìn)行海量空間數(shù)據(jù)發(fā)布。(1)構(gòu)建金字塔瓦片:對海量遙感影像和地圖數(shù)據(jù)按金字塔結(jié)構(gòu)進(jìn)行瓦片分割和索引組織，包括瓦片比例尺登記、尺度以及緩存的切片原點(diǎn)。(2)多層瓦片預(yù)先緩存:對于使用頻次高的資源服務(wù)，采用以空間換時間的地圖緩存策略，提前生成切片塊，提供快速檢索匹配;(3)免切片按需緩存:對于使用頻次較低的資源服務(wù)，采用以時間換空間的地圖緩存策略，按需創(chuàng)建切片，節(jié)省緩存空間。3各部門間異構(gòu)互通以“互聯(lián)網(wǎng)+政務(wù)專網(wǎng)”為網(wǎng)絡(luò)傳輸通道，針對生態(tài)保護(hù)紅線數(shù)據(jù)共享交換業(yè)務(wù)需求，構(gòu)建覆蓋國家、省、市的多級生態(tài)保護(hù)紅線數(shù)據(jù)互聯(lián)互通網(wǎng)絡(luò)體系，實(shí)現(xiàn)不同部門間異構(gòu)應(yīng)用系統(tǒng)間松耦合的信息交換，形成各部門間信息資源物理分散、邏輯集中的信息交換模式，提供部門間按需信息交換服務(wù)。初步實(shí)現(xiàn)國家和地方生態(tài)保護(hù)紅線監(jiān)管的數(shù)據(jù)協(xié)同，為最終實(shí)現(xiàn)監(jiān)管業(yè)務(wù)協(xié)同、信息協(xié)同和決策協(xié)同3.1設(shè)計可靠的數(shù)據(jù)共享交換方式生態(tài)保護(hù)紅線數(shù)據(jù)互聯(lián)互通總體設(shè)計包括基礎(chǔ)層面、服務(wù)層面和應(yīng)用層面，如圖5所示?；A(chǔ)層面:依托“政務(wù)專網(wǎng)+前置機(jī)”和“互聯(lián)網(wǎng)+云平臺”兩種方式，提供服務(wù)、存儲、安全等基礎(chǔ)設(shè)施資源，為國家節(jié)點(diǎn)和地方節(jié)點(diǎn)數(shù)據(jù)互聯(lián)互通提供基礎(chǔ)設(shè)施環(huán)境。在國家平臺或地方平臺內(nèi)部，采取網(wǎng)閘、防火墻等措施保障互聯(lián)互通數(shù)據(jù)庫和內(nèi)部數(shù)據(jù)庫之間的數(shù)據(jù)傳輸安全。服務(wù)層面:提供支撐數(shù)據(jù)共享交換的各類服務(wù)組件及技術(shù)組件，是平臺功能組成的重要組成部分和關(guān)鍵環(huán)節(jié)。包括數(shù)據(jù)匯聚服務(wù)、數(shù)據(jù)轉(zhuǎn)換與整合服務(wù)、環(huán)境信息統(tǒng)計分析服務(wù)、多期遙感影像對比分析、環(huán)境異常信息在線矢量標(biāo)繪編輯、人類活動監(jiān)測產(chǎn)品交換、空間服務(wù)發(fā)布與管理等功能。應(yīng)用層面:針對不同數(shù)據(jù)類型選擇不同的數(shù)據(jù)共享交換方式。對于衛(wèi)星遙感影像產(chǎn)品分發(fā)、移動核查信息上報等大量的文件類型數(shù)據(jù)通過“互聯(lián)網(wǎng)+云平臺”模式進(jìn)行交換傳輸;對于小文件以及填報數(shù)據(jù)等通過“政務(wù)專網(wǎng)+匯交填報”方式進(jìn)行按需交換;對于表單類型的結(jié)構(gòu)化數(shù)據(jù)通過“政務(wù)專網(wǎng)+接口訪問”模式進(jìn)行傳輸;在線地圖、矢量服務(wù)等通過“政務(wù)專網(wǎng)+空間服務(wù)”方式進(jìn)行數(shù)據(jù)共享使用。3.2網(wǎng)絡(luò)帶寬及帶寬依托已有政務(wù)專網(wǎng)數(shù)據(jù)傳輸平臺進(jìn)行數(shù)據(jù)傳輸效率測試。其中，網(wǎng)絡(luò)帶寬為20Mbps，傳輸目的地為某省級節(jié)點(diǎn)，待傳輸數(shù)據(jù)量為100GB的衛(wèi)星遙感影像。經(jīng)實(shí)際測試，數(shù)據(jù)傳輸時間為23h22min，平均傳輸速度為1.21MB/s。按現(xiàn)有可用的互聯(lián)網(wǎng)網(wǎng)絡(luò)帶寬為500Mbps，理論下載和上傳速度為500Mbps÷8=62.5MB/s，扣除約12%的其他影響，實(shí)際速度為62.5MB/s×0.88=55MB/s。通過網(wǎng)頁版測速工具選擇多個節(jié)點(diǎn)進(jìn)行測速，在日常工作條件下，平均下載速度為42.67MB/s(即在不影響日常辦公網(wǎng)絡(luò)使用的情況下，可用數(shù)據(jù)交換約為實(shí)際可用帶寬的78%)。以全國范圍衛(wèi)星遙感影像產(chǎn)品分發(fā)為例，其中，全國一期高分一號衛(wèi)星2m分辨率影像產(chǎn)品約為1.34萬景，數(shù)據(jù)量約6.5TB;全國一期高分一號16m分辨率影像產(chǎn)品約為780景，數(shù)據(jù)量約500GB。不同網(wǎng)絡(luò)帶寬數(shù)據(jù)傳輸效率如表2所示。3.3數(shù)據(jù)傳輸效率通常，影響數(shù)據(jù)網(wǎng)絡(luò)傳輸效率的因素主要包括網(wǎng)絡(luò)帶寬和磁盤讀寫速度兩方面。磁盤讀寫方面，一般IDE和SATA機(jī)械硬盤的測試平均讀寫速度約在60MB/s～170MB/s之間;網(wǎng)絡(luò)帶寬方面，根據(jù)政務(wù)專網(wǎng)和互聯(lián)網(wǎng)的實(shí)際應(yīng)用測試發(fā)現(xiàn)，目前條件下，磁盤讀寫速度高于網(wǎng)絡(luò)帶寬傳輸速度，數(shù)據(jù)傳輸效率主要制約因素為網(wǎng)絡(luò)帶寬。為此，針對生態(tài)保護(hù)紅線數(shù)據(jù)多樣性的特點(diǎn)，建議政務(wù)專網(wǎng)和互聯(lián)網(wǎng)“雙網(wǎng)并行”進(jìn)行數(shù)據(jù)傳輸。針對數(shù)據(jù)量大、分發(fā)頻次高、用戶多等特點(diǎn)的生態(tài)環(huán)境衛(wèi)星遙感影像產(chǎn)品，受電子政務(wù)專網(wǎng)網(wǎng)絡(luò)帶寬限制，導(dǎo)致數(shù)據(jù)傳輸效率較低，建議采用高帶寬的互聯(lián)網(wǎng)云平臺作為傳輸通道，同時，可采用錯峰傳輸?shù)牟呗员苊庥绊懝ぷ骶W(wǎng)絡(luò)使用;對于數(shù)據(jù)量小、敏感性強(qiáng)、時效性高等特點(diǎn)的生態(tài)環(huán)境監(jiān)測、矢量數(shù)據(jù)、文檔數(shù)據(jù)等，可在政務(wù)專網(wǎng)環(huán)境中，采用網(wǎng)絡(luò)穩(wěn)定性強(qiáng)、傳輸效率高前置機(jī)中間件的方式進(jìn)行數(shù)據(jù)交換。4數(shù)據(jù)安全，構(gòu)建生