海量多波束水深數(shù)據(jù)快速處理及質(zhì)量檢查方法

1、海量多波束水深數(shù)據(jù)快速處理及質(zhì)量檢查方法(哇海剛張光華盧之杰肖志峰肖靜環(huán))摘耍：針對(duì)冃前多波來水深數(shù)據(jù)的管理與應(yīng)用存在的問題，提出了一種基于水深 數(shù)據(jù)塊管理的多吋相水深數(shù)據(jù)組織與管理方法，利用水深數(shù)據(jù)快速壓縮方法來構(gòu)建水 深金字塔模型，采用了實(shí)時(shí)投影、動(dòng)態(tài)壓縮和實(shí)時(shí)等深線牛成技術(shù)來提高海量水深數(shù) 據(jù)快速可視化效果。同時(shí)還對(duì)水深淺點(diǎn)的查找方法進(jìn)行了探討，并介紹了基于單源和 多源數(shù)據(jù)的水深數(shù)據(jù)質(zhì)量檢查方法。最后設(shè)計(jì)并開發(fā)了 “水深信息悖理系統(tǒng)”，該系 統(tǒng)在渤海航路掃測(cè)中得到了實(shí)際應(yīng)用，取得了良好政策。關(guān)鍵詞：多波來水深；海量數(shù)據(jù)管理；動(dòng)態(tài)壓縮；實(shí)時(shí)投影；實(shí)時(shí)等深線生成； 質(zhì)量檢査中國(guó)分類號(hào)：p33

2、5 文獻(xiàn)標(biāo)識(shí)碼：a 文章編號(hào):1001 - 4179(2008) 06 - 0018 -031概述隨著測(cè)繪技術(shù)的發(fā)展，多波束測(cè)深技術(shù)在航路測(cè)量中的應(yīng)用越來越廣泛。多波朿 測(cè)深儀最大的特點(diǎn)就是測(cè)點(diǎn)多、全覆蓋、精度高、能夠標(biāo)準(zhǔn)全面地反映水下地形起伏 變化情況，但是產(chǎn)生的數(shù)據(jù)屋巨大，通常會(huì)形成tb級(jí)的數(shù)據(jù)量。多波束測(cè)量數(shù)據(jù)后處 理軟件的應(yīng)用十分廣泛，然而到目前為止，人部分軟件都集中在對(duì)原始水深的預(yù)處理 和成圖水深的編輯:管理上，對(duì)原始水深資料預(yù)處理后的海量數(shù)據(jù)的管理還沒有過多的 研究，雖然h前在海量矢量電子地圖和影像數(shù)據(jù)管理方法的研究己經(jīng)比較成熟，但是 多波束水深數(shù)據(jù)具冇不規(guī)則性和“補(bǔ)丁”式更新的特

3、點(diǎn)，如何將數(shù)據(jù)進(jìn)行冇效的組織、 管理，并在有限的計(jì)算機(jī)碩件下進(jìn)行快速視覺化成為海量多波束水深數(shù)據(jù)管理的關(guān)鍵 問題。另外，因其準(zhǔn)確性直接關(guān)系到海上艦船航行的安全，因此如何對(duì)其質(zhì)量進(jìn)行有 效檢查和控制也是必須關(guān)注的問題。本文正是針對(duì)以上問題展開了研究和討論，提出 了一種新的海罐多波束水深數(shù)據(jù)的組織管理方法，并重點(diǎn)研究了海量多波束水深資料 快速可視化技術(shù)、水深淺點(diǎn)查找和基于單源和多源水深數(shù)據(jù)質(zhì)量檢查方法，最后根據(jù) 上述理論和方法設(shè)計(jì)了 “水深信息管理系統(tǒng)”，該系統(tǒng)已在渤海灣航路掃測(cè)屮得到實(shí) 際應(yīng)用。2海量多波束水深數(shù)據(jù)的組織與管理海量多波束水深數(shù)據(jù)的組織與管理是多波束水深數(shù)據(jù)應(yīng)用處理的關(guān)鍵問題，高效

4、 的數(shù)據(jù)組織與管理是多波束水深數(shù)據(jù)應(yīng)用的基礎(chǔ)。由于多波束水深數(shù)據(jù)不僅數(shù)據(jù)巨人、 數(shù)據(jù)文件多，而且水深數(shù)據(jù)在時(shí)刻變化，需定期進(jìn)行更新，且每次更新的區(qū)域都不盡相同。因此，如何對(duì)海量的、多時(shí)相的、不規(guī)則更新的水深數(shù)據(jù)進(jìn)行整體的冇效規(guī)劃 組織非常重要，同時(shí)數(shù)據(jù)的整體規(guī)劃述要考慮其通用性、靈活性及擴(kuò)展性。2. 1多時(shí)札（水深數(shù)據(jù)纟r織與管理在實(shí)際作業(yè)中，往往只需更新部分?jǐn)?shù)據(jù)，這就造成了多個(gè)時(shí)期水深數(shù)據(jù)并存的局 面，形成了多吋相的水深數(shù)據(jù)。從管理的角度看，多吋和水深數(shù)據(jù)管理主耍有兩種方 式，見表1所示。表1多時(shí)相水深數(shù)據(jù)的管理及優(yōu)缺點(diǎn)管理方式方法優(yōu)點(diǎn)缺點(diǎn)基于數(shù)據(jù)更新 域的時(shí)間版本 管理毎個(gè)更新域數(shù)據(jù)都單獨(dú)

5、 建庫,進(jìn)行分塊存儲(chǔ)，建 立測(cè)區(qū)級(jí)和數(shù)據(jù)塊兩級(jí) 累引，利用索引編碼進(jìn) 行數(shù)據(jù)查詢。數(shù)據(jù)處理時(shí)非 常靈活，而且 節(jié)約存儲(chǔ)空 間。齡查制調(diào)度時(shí)比較復(fù) 雜威據(jù)可視化和分發(fā) 的速度甌基于水深數(shù)據(jù)庫的時(shí)間版本管理每次更新后的數(shù)據(jù)以整 個(gè)溜完整的形式更新 亟新建庫，各數(shù)捱庫單 獨(dú)進(jìn)行數(shù)搖維護(hù)和管 理。數(shù)據(jù)查詢速度 非常快。娠冗余，需要占用大 瑩的存儲(chǔ)空間。本文在綜合上述兩種管理方法的特點(diǎn)的基礎(chǔ)上，采用了一種新的方法，即基于水 深數(shù)據(jù)塊的時(shí)間（時(shí)相）版木管理方法來管理多時(shí)相水深數(shù)據(jù)。此種管理模式的主要 原理是：將各個(gè)時(shí)期的水深數(shù)據(jù)按統(tǒng)一地理格網(wǎng)劃分，對(duì)劃分后的每一個(gè)水深數(shù)據(jù)塊 進(jìn)行吋空編碼（見圖1）。對(duì)于多

6、時(shí)相水深數(shù)據(jù)分析和統(tǒng)一的存儲(chǔ)來說，基于數(shù)據(jù)塊的時(shí)間版本管理方式可 以直接存取其屮的任一水深塊，進(jìn)行統(tǒng)一的調(diào)度和管理，同時(shí)水深數(shù)據(jù)的更新和增量 存儲(chǔ)以及其它的應(yīng)用會(huì)更加靈活和方便。2.2基于lod思想的水深數(shù)據(jù)金字塔模型的建立鑒于多波束水深數(shù)據(jù)海量性的特點(diǎn)，引入了 lod技術(shù)思想，通過建立水深數(shù)據(jù)金 字塔模型來提高水深數(shù)據(jù)的實(shí)時(shí)縮放顯示的速度，而且可以根據(jù)不同的顯示需要調(diào)用 不同密度的水深數(shù)據(jù)，達(dá)到快速漫游的目的。水深數(shù)據(jù)金字塔采用的是瓦片金字塔的 構(gòu)建原理，分塊的瓦片金字塔模型能夠減少數(shù)據(jù)訪問量，提高系統(tǒng)的輸入輸出執(zhí)行效 率，從而提升系統(tǒng)的整體性能，見圖2。(xoyo)ii f 0 1 1 f

7、 b i i i m «1111 1 10004 " .0004<>01004wdojc 0wo010c50005wm0w?.， * q005d03001r00070007(1010070»7<iqw2 .ooomoiomooca_jwotd020ct000t<f03003oow> t 一 vjoiodoicw00!0d030040011001i<m)3ani wl b ) i i 0 i ? f i i圖1基于水深數(shù)據(jù)塊的數(shù)據(jù)存儲(chǔ)模式相人/ /mi圖2水深數(shù)據(jù)金字塔結(jié)構(gòu)采用水深資料構(gòu)建金字塔時(shí)，首先把原始資料作為金字塔的底層即

8、第0層，并對(duì) 其分塊形成第0層塊矩陣。在第0層的基礎(chǔ)上進(jìn)行水深壓縮得到第1層，并對(duì)其分塊得到 第1層塊矩陣，如此下去構(gòu)成水深數(shù)據(jù)金字塔模型。3海量多波束水深數(shù)據(jù)的快速可視化為取得理想的實(shí)時(shí)交互性能，在實(shí)現(xiàn)海最多波束水深數(shù)據(jù)的快速可視化過程屮， 我們?cè)谑勾p緩存機(jī)制、數(shù)據(jù)的動(dòng)態(tài)裝載和卸載等策略來捉高水深數(shù)據(jù)的實(shí)時(shí)、快速 調(diào)度效率的基礎(chǔ)上，重點(diǎn)對(duì)水深數(shù)據(jù)選取、顯示主要采取的實(shí)時(shí)投影技術(shù)、動(dòng)態(tài)壓縮 和實(shí)吋等深線牛成術(shù)進(jìn)行了探討。3. 1實(shí)時(shí)投影技術(shù)在水深數(shù)據(jù)顯示吋，由于航路擔(dān)測(cè)的跨度大、地域廣，使用經(jīng)緯度直接顯示變形 太大，需要進(jìn)行處標(biāo)變換，而且不同航路數(shù)據(jù)的地標(biāo)系統(tǒng)也不盡相同，為了保持原始數(shù)據(jù)的完

9、整性和實(shí)測(cè)時(shí)投影后的坐標(biāo)，在顯示時(shí)采用了實(shí)時(shí)投影技術(shù)。實(shí)時(shí)投影是基于所冇的坐標(biāo)均存冇經(jīng)緯度（通過多波束測(cè)深儀得到的坐標(biāo)首先就 是經(jīng)緯度），在顯示時(shí)，更需要設(shè)置參數(shù)、選擇投影方式，然示在顯示緩存屮取出水深 點(diǎn)，進(jìn)行投影變換，最后進(jìn)行顯示，同時(shí)也可以在顯示后，更換投影方式或者投影參 數(shù)，然后重新進(jìn)行投影變換，以達(dá)到耍求顯示的效果。本文主要涉及墨卡托投影、高 斯-克呂格投影、utm投影3種投影。3.2水深數(shù)據(jù)動(dòng)態(tài)壓縮在水深數(shù)據(jù)顯示時(shí)，采用動(dòng)態(tài)壓縮技術(shù)主耍出于4個(gè)方而的考慮：多波束測(cè)深 儀在物理存儲(chǔ)時(shí)是按“線”存儲(chǔ)，分塊壓縮操作也是針對(duì)“線”進(jìn)行的，水深數(shù)據(jù)顯 示或成圖需要“由線到面”的轉(zhuǎn)換；在牛成金

10、字塔時(shí)，分別在每塊的內(nèi)部進(jìn)行壓縮, 沒有考慮塊邊緣點(diǎn)的壓縮情況，導(dǎo)致塊與塊的交界處點(diǎn)的密度與塊內(nèi)部不同，需要通 過統(tǒng)一壓縮半徑的動(dòng)態(tài)壓縮，實(shí)現(xiàn)屏幕顯示點(diǎn)密度的均勻化；在動(dòng)態(tài)調(diào)度數(shù)據(jù)時(shí)， 由于耍進(jìn)行無級(jí)縮放，所以很多時(shí)候調(diào)用的數(shù)據(jù)密度都大于當(dāng)前耍顯示的密度，于是 需要進(jìn)行實(shí)吋的壓縮；有吋須根據(jù)不同需要進(jìn)行顯示，如不同吋相的水深數(shù)據(jù)的重 迭顯示或不重迭顯示（按最淺原則顯示或按最近時(shí)間顯示），或者改變水深顯示的密度, 這也需要?jiǎng)訅簤嚎s實(shí)現(xiàn)。動(dòng)態(tài)壓縮，即在顯示時(shí)，根據(jù)需要和相應(yīng)的要求對(duì)顯示緩存中的所有的水深點(diǎn)進(jìn) 行統(tǒng)一選取綜合。在此壓縮分為兩級(jí)：一級(jí)為測(cè)線級(jí)的壓縮，該級(jí)壓縮為默認(rèn)壓縮， 其主耍h的是為

11、了實(shí)現(xiàn)水深點(diǎn)的基本顯示即實(shí)現(xiàn)“由線到面”的轉(zhuǎn)換；二級(jí)為項(xiàng)h級(jí) 壓縮，該級(jí)壓縮是可控的，可以選擇重迭顯示或不重迭顯示（按最淺原則顯示或按最 近時(shí)間進(jìn)行壓縮顯示）。水深數(shù)據(jù)動(dòng)態(tài)壓縮效果與非動(dòng)態(tài)壓縮效果如圖3與圖4所示。通 過対比看出，動(dòng)態(tài)壓縮可以達(dá)到很好的顯示效果。比例尺1:3459比例尺i - 86*1圖3無級(jí)縮放時(shí)動(dòng)態(tài)壓縮效果比傅尺u3459ttftr i 216圖4無級(jí)縮放時(shí)非動(dòng)態(tài)壓縮效果3. 3實(shí)時(shí)等深線生成實(shí)時(shí)等深線生成主要是基于當(dāng)前顯示的數(shù)據(jù)即顯示緩存小的數(shù)據(jù)可實(shí)時(shí)生成等 深線。由于每次顯示的數(shù)據(jù)量非常有限，所以能夠快速繪制出當(dāng)前屏的等深線，其最 人好處就是能夠和當(dāng)前顯示的水深數(shù)據(jù)完全

12、吻合，不會(huì)岀現(xiàn)因預(yù)先根據(jù)最低層資料主 成而產(chǎn)生的失真效果。同一區(qū)域無級(jí)縮放時(shí)實(shí)時(shí)生成等深線效果如圖5所示，漫游時(shí)實(shí) 吋牛:成等深線效果見圖6。圖5同一區(qū)域無級(jí)縮放時(shí)實(shí)吋生成等深線效果實(shí)驗(yàn)證明，實(shí)時(shí)等深線生成不僅可以節(jié)約數(shù)據(jù)預(yù)處理所用的時(shí)間，根據(jù)感興趣區(qū) 域或坐標(biāo)的變化實(shí)時(shí)生成等深線，非常靈活，而且實(shí)時(shí)生成的等深線可以與當(dāng)前水深 數(shù)據(jù)完全吻合，同時(shí)對(duì)解決不同投影間等深線的拼接問題具有良好效用。圖6連續(xù)區(qū)域漫游吋實(shí)時(shí)生成等深線效果4多波束水深資料的質(zhì)量檢查4. 1基于加權(quán)平均值的淺點(diǎn)自動(dòng)查找淺點(diǎn)是水深數(shù)據(jù)的關(guān)鍵數(shù)據(jù)，它肓接關(guān)系到航行安全，因此快速杳找出水深數(shù)據(jù)中的所冇淺點(diǎn)，并定位到該點(diǎn)加以確認(rèn)，是

13、非常有必要的。木文采用了一種加權(quán)平均 值的比綾方法，即對(duì)每個(gè)水深點(diǎn)，首先求出落入以給定點(diǎn)（do）為屮心，以給定半徑 的圓的所有水深的加權(quán)平均值depth平，然后求出該點(diǎn)的值deptho與均值depth平的 差值與給定的閥值e0比較，若&©0人于0則為淺點(diǎn)。具體算法見下式：depth f=習(xí)慶pg xd)/»i；e = depth、f depths式中depthi （i = l, 2,，n）為水深點(diǎn)的深度值；di為水深點(diǎn)距do的距離。該方法能夠求出所有可疑的淺點(diǎn)，加以人為的判斷，可以求出所有的淺點(diǎn)，見圖圖7淺點(diǎn)查找結(jié)果示意4.2基于單源水深資料的質(zhì)量檢查基于單源資料的

14、水深數(shù)據(jù)質(zhì)量檢査主耍是資料的口檢査和分析，主要包括統(tǒng)計(jì)分 析、等深線分析、剖面分析等方法。在統(tǒng)計(jì)分析中，通過統(tǒng)計(jì)給定水深點(diǎn)和落入其“影 響圓”（半徑給定）的其它水深點(diǎn)的深度差范圍的百分比的分析就可以知道該點(diǎn)是否 為異常點(diǎn)；等深線分析中，通過等深線剖面曲線得到的峰值和谷值可判斷該段航路的 通行情況，同時(shí)也可以根據(jù)illi線的變化程度來人致判斷該段航路是否有異常；剖面分 析中結(jié)合二維顯示圖，很容易發(fā)現(xiàn)存在一個(gè)杲常點(diǎn)或者是淺點(diǎn)，如圖8在畫剖而的參考 線冇一個(gè)水深為20. im的點(diǎn)（圖中黑點(diǎn)），而它周圍的水深都為25m左右，那么可以確 定該點(diǎn)為淺點(diǎn)或者為異常點(diǎn)。4.3基于多元數(shù)據(jù)的水深數(shù)據(jù)質(zhì)量檢查基于

15、多源資料的水深數(shù)據(jù)質(zhì)量檢查主耍是通過不同源的數(shù)據(jù)比對(duì)來分析水深數(shù) 據(jù)的質(zhì)量情況，主要包括多剖而分析、互差統(tǒng)計(jì)分析、差值dem和透明迭加顯示方法。 多剖面分析通過多條剖面illi線的對(duì)比分析，直觀地得到航路水深數(shù)據(jù)的準(zhǔn)確情況，主 要用于有觀判斷數(shù)據(jù)的準(zhǔn)確度，有-時(shí)也用于對(duì)航路變化趨勢(shì)的分析；互羌統(tǒng)計(jì)分析采川一種“影響関”的方法，算出基準(zhǔn)點(diǎn)和i員i內(nèi)點(diǎn)水深差值，形成一個(gè)水深互差文扌當(dāng)進(jìn) 行深度互差統(tǒng)計(jì)分析，在差值圖上可以非常宜觀地判斷水深數(shù)據(jù)測(cè)量的準(zhǔn)確度，并且 可以分析和航路的變化趨勢(shì)；差值dem通過多個(gè)時(shí)相水深數(shù)據(jù)求差得到。通過差值dem 的可視化可以直觀判斷不同時(shí)相間數(shù)據(jù)的吻合程度。圖8單剖面

16、圖進(jìn)行剖面分析5水深信息管理系統(tǒng)渤海超大型船舶航路招測(cè)工程是我國(guó)首次使用多波束測(cè)深儀進(jìn)行的大規(guī)模航路 掃測(cè)，本次航路招測(cè)覆蓋1227km2,測(cè)線里程達(dá)6500km,共生產(chǎn)多波束水深資料達(dá)1tb。 針對(duì)渤海超人型船舶路打測(cè)工程的需求，開發(fā)了渤海航路扌i測(cè)“水深信息管理系統(tǒng)”， 主要用于海量多波朿水深數(shù)據(jù)的管理與應(yīng)用。系統(tǒng)主要包括兩個(gè)子系統(tǒng)。即二維顯示 與分析了系統(tǒng)和三維可視化與分析了系統(tǒng)。系統(tǒng)的主要功能界面見圖9、10、11和圖12。圖9二維顯示與分析子系統(tǒng)圖10三維可視化與分析子系統(tǒng)圖11剖面對(duì)比分析<r-圖12三維航路顯示卜的剖面分析6結(jié)語木文資料針對(duì)冃前多波束原始水深數(shù)據(jù)管理缺乏的問

17、題，捉出了一種冇效的管理 海量多波束水深數(shù)據(jù)的方法。同時(shí)，針對(duì)目前在海量水深資料屮淺點(diǎn)杏找困難的問題， 提出了基于加權(quán)平均值的淺點(diǎn)快速查找方法、基于單源數(shù)據(jù)和多源數(shù)據(jù)的質(zhì)量檢查方 法，對(duì)多波束水深數(shù)據(jù)的質(zhì)量檢查収得了很好的效果。根據(jù)本文研究方法開發(fā)的系統(tǒng)， 已在渤海灣航路掃測(cè)中得到應(yīng)用。下一步的工作是根據(jù)實(shí)際的應(yīng)用需求，對(duì)多元數(shù)據(jù) 的質(zhì)量檢測(cè)方法進(jìn)行深入研究和完善，并進(jìn)一步推廣應(yīng)用。參考文獻(xiàn)：1 賴仲淄，方兆宋，陳金火.em120型多波束測(cè)深系統(tǒng)及在深海測(cè)量中的應(yīng)用. 海洋測(cè)繪，2006, 26 (2).2 張界彪.多波束勘測(cè)的特殊地形處理.海洋測(cè)繪，2004, 24 ( 3).3 劉經(jīng)南，趙建虎.多波朿測(cè)深系統(tǒng)的現(xiàn)狀和發(fā)展趨勢(shì).海洋測(cè)繪,2002, 22( 5).4 王俊，張文詩，王建濤.多國(guó)幅海量數(shù)據(jù)電子地圖快速顯示的研究與實(shí)現(xiàn).測(cè) 繪工程，2003, 12 ( 3).5 許涌，萬國(guó)龍.海量圖像數(shù)據(jù)快速顯示技術(shù).計(jì)算機(jī)工程與設(shè)計(jì),2003,24( 6).6 朱慶，李徳仁.多波束測(cè)深數(shù)據(jù)的誤差分析和.武漢測(cè)繪科技大學(xué)學(xué)報(bào)，1998, (1)： 1-4.7 herlihy dr,et al. filtering erroneous soundings from multibeam surveydate.intematinal hydmgraphic review