全球多分辨率地形數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)

全球多分辨率地形數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)

摘要：傳統(tǒng)基于文件系統(tǒng)的地形可視化系統(tǒng)，面對(duì)海量數(shù)據(jù)具有很大局限性，利用空間數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)海量空間數(shù)據(jù)的管理已經(jīng)成為當(dāng)前的主流技術(shù)，本文基于金字塔模型設(shè)計(jì)了全球多分辨率地形數(shù)據(jù)庫(kù)，對(duì)數(shù)據(jù)文件進(jìn)行有效合理的存取和管理，通過(guò)基于四叉樹索引技術(shù)從海量地形數(shù)據(jù)中快速獲取目標(biāo)數(shù)據(jù)，提高實(shí)時(shí)渲染速度，最后簡(jiǎn)單介紹了客戶端/服務(wù)器模式的數(shù)據(jù)庫(kù)訪問(wèn)方法。

論文關(guān)鍵詞：空間數(shù)據(jù)庫(kù),金字塔模型,多分辨率,數(shù)據(jù)引擎?zhèn)鹘y(tǒng)的地形可視化系統(tǒng)對(duì)地形數(shù)據(jù)的管理基本上都是基于文件系統(tǒng)，這在數(shù)據(jù)量較小時(shí)可以提供較快的數(shù)據(jù)存取。然而，隨著數(shù)字地球（DE:DigitalEarth）和全球信息網(wǎng)格（GIG:GlobalInformationGrid）概念的相繼提出，具有多分辨率、海量數(shù)據(jù)的大規(guī)模虛擬地形場(chǎng)景使得文件系統(tǒng)在數(shù)據(jù)的存取和管理上存在很大的局限性。由于無(wú)法預(yù)先將整個(gè)場(chǎng)景的數(shù)據(jù)全部裝載至內(nèi)存中，文件系統(tǒng)只能將大型場(chǎng)景分割成若干小場(chǎng)景，導(dǎo)致索引速度大幅降低，相互之間也難以實(shí)現(xiàn)查詢等空間操作[1]。另外，文件系統(tǒng)也無(wú)法解決數(shù)據(jù)安全、并發(fā)操作、網(wǎng)絡(luò)共享等問(wèn)題。而空間數(shù)據(jù)庫(kù)恰好能彌補(bǔ)這些不足，目前，空間數(shù)據(jù)庫(kù)在一些大型三維GIS系統(tǒng)中已經(jīng)開始應(yīng)用，通過(guò)利用空間數(shù)據(jù)庫(kù)的對(duì)象建模、數(shù)據(jù)共享、分布計(jì)算以及空間查詢等優(yōu)點(diǎn)，可以實(shí)現(xiàn)三維場(chǎng)景數(shù)據(jù)的動(dòng)態(tài)加載、遠(yuǎn)程存取、高逼真度實(shí)時(shí)空間漫游等特性，足以替代文件系統(tǒng)在傳統(tǒng)地形可視化系統(tǒng)中的地位。因此，全球虛擬地形場(chǎng)景要求通過(guò)空間數(shù)據(jù)庫(kù)完成海量地形數(shù)據(jù)的存儲(chǔ)管理，實(shí)現(xiàn)地形數(shù)據(jù)的動(dòng)態(tài)調(diào)度和實(shí)時(shí)渲染。2全球多分辨率地形數(shù)據(jù)庫(kù)的設(shè)計(jì)在文獻(xiàn)[2]中提出了一種基于海量數(shù)據(jù)庫(kù)的DEM動(dòng)態(tài)可視化方法，通過(guò)Oracle8i數(shù)據(jù)庫(kù)完成海量DEM數(shù)據(jù)的存儲(chǔ)、管理和實(shí)時(shí)調(diào)度?；舅悸肥窍壤玫乳g隔劃分方法對(duì)海量DEM數(shù)據(jù)進(jìn)行空間劃分，形成一個(gè)金字塔結(jié)構(gòu)，然后將金字塔結(jié)構(gòu)中一層DEM數(shù)據(jù)以一個(gè)數(shù)據(jù)表存儲(chǔ)到Oracle數(shù)據(jù)庫(kù)中，并以二進(jìn)制大對(duì)象(BLOB:BinaryLargeObject)作為DEM數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)類型。BLOB是一種非結(jié)構(gòu)性的數(shù)據(jù)，它可以進(jìn)行任意的裁減與添加等操作，在存儲(chǔ)空間方面，可以在一條記錄中處理高達(dá)4GB的數(shù)據(jù)。當(dāng)原始DEM數(shù)據(jù)在數(shù)據(jù)庫(kù)中存儲(chǔ)時(shí)，它首先被分解為塊，組織成二進(jìn)制的數(shù)據(jù)流，然后根據(jù)數(shù)據(jù)庫(kù)原點(diǎn)和塊的大小創(chuàng)建其索引。DEM數(shù)據(jù)表包括層數(shù)據(jù)管理表與層數(shù)據(jù)表兩種，層數(shù)據(jù)管理表包含對(duì)數(shù)據(jù)庫(kù)中DEM數(shù)據(jù)的總體描述信息，而層數(shù)據(jù)表存儲(chǔ)DEM實(shí)體數(shù)據(jù)。實(shí)時(shí)調(diào)度時(shí)，采用多線程技術(shù)實(shí)現(xiàn)前后臺(tái)兩個(gè)數(shù)據(jù)頁(yè)緩沖區(qū)之間的交換，其中Oracle數(shù)據(jù)庫(kù)負(fù)責(zé)為后臺(tái)緩沖區(qū)提供實(shí)時(shí)數(shù)據(jù)。該方法充分利用了Oracle數(shù)據(jù)庫(kù)的優(yōu)勢(shì)和普通個(gè)人計(jì)算機(jī)的硬件渲染能力，實(shí)現(xiàn)了海量DEM數(shù)據(jù)的存儲(chǔ)、管理、動(dòng)態(tài)裝載和漸進(jìn)描繪。這種方法實(shí)際上代表了目前基于海量數(shù)據(jù)的地形可視化與空間數(shù)據(jù)庫(kù)的典型結(jié)合模式，也是今后海量數(shù)據(jù)存儲(chǔ)管理的主要發(fā)展方向。2.1需求分析地形數(shù)據(jù)的存儲(chǔ)單元，主要包括兩類：文件型和數(shù)據(jù)庫(kù)型。文件系統(tǒng)存儲(chǔ)方式，一般適用于小型應(yīng)用系統(tǒng)。與文件型存儲(chǔ)單元相比，數(shù)據(jù)庫(kù)在檢索速度、管理、并發(fā)控制能力方面有著明顯的優(yōu)勢(shì)，特別是現(xiàn)代數(shù)據(jù)庫(kù)采用了緩存、聚類等技術(shù)，使索引速度提高了幾十倍，在多用戶并發(fā)訪問(wèn)環(huán)境下，數(shù)據(jù)庫(kù)的優(yōu)勢(shì)會(huì)更加明顯。全球多分辨率地形數(shù)據(jù)庫(kù)需要實(shí)現(xiàn)的功能包括：全球多分辨率地形數(shù)據(jù)的存儲(chǔ)與管理、全球多分辨率地形可視化數(shù)據(jù)的快速調(diào)度以及基于網(wǎng)絡(luò)環(huán)境的客戶端/服務(wù)器模式的數(shù)據(jù)庫(kù)訪問(wèn)。2.2語(yǔ)義描述地形數(shù)據(jù)的調(diào)度是按照一定的順序規(guī)則進(jìn)行查詢，因而地形數(shù)據(jù)信息的存儲(chǔ)是有規(guī)則的。本文中，先將地形數(shù)據(jù)按照金字塔模型存儲(chǔ)在文件中，然后由文件導(dǎo)入數(shù)據(jù)庫(kù)。金字塔是一種多分辨率層次(mufti-resolutionhierarchy)模型，即采用倍率方法構(gòu)建，形成多個(gè)分辨率層次。數(shù)據(jù)庫(kù)的結(jié)構(gòu)與金字塔模型是相對(duì)應(yīng)的，每一層對(duì)應(yīng)于數(shù)據(jù)庫(kù)的一個(gè)表，每一條記錄對(duì)應(yīng)于每一個(gè)數(shù)據(jù)塊，數(shù)據(jù)塊存儲(chǔ)的位置與所在層的位置相對(duì)應(yīng)。這種結(jié)構(gòu)使文件和數(shù)據(jù)庫(kù)保持一致，包括層的編排、塊的編排、塊的索引等，使存儲(chǔ)與管理更加靈活。2.3邏輯結(jié)構(gòu)設(shè)計(jì)（E-R關(guān)系圖）根據(jù)E-R圖，將概念模型轉(zhuǎn)換為邏輯關(guān)系數(shù)據(jù)模型。本文在金字塔模型上建立的數(shù)據(jù)庫(kù)，每個(gè)LOD級(jí)別為一層一個(gè)表，每一層由相應(yīng)的數(shù)據(jù)塊構(gòu)建，不足的行或列由原行或原列塊數(shù)計(jì)算。表的命名即可以LOD層命名，如“LOD0”，也可以附加上行和列的塊數(shù)，如“LOD_X_Y”。每個(gè)地形數(shù)據(jù)塊為表中的一條記錄，包括行號(hào)、列號(hào)和數(shù)據(jù)三個(gè)字段組成。字段名數(shù)據(jù)類型行號(hào)列號(hào)數(shù)據(jù)IntegerintegerBLOB例如：00二進(jìn)制數(shù)據(jù)采用數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)，本文通過(guò)大二進(jìn)制存儲(chǔ)類型（Oracle9i中是BLOB類型，Sqlserver中是image類型）存儲(chǔ)地形數(shù)據(jù)，包括DEM數(shù)據(jù)和紋理數(shù)據(jù)。Oracle9i中以BLOB字段類型存儲(chǔ)二進(jìn)制大對(duì)象，包括三種形式：聲像數(shù)據(jù)、二進(jìn)制數(shù)據(jù)和大文本數(shù)據(jù)。最常見的應(yīng)用是存儲(chǔ)圖形、聲音等對(duì)象，此外大型的二進(jìn)制對(duì)象、OLE對(duì)象也可以通過(guò)BLOB類型存入數(shù)據(jù)庫(kù)，如果文本對(duì)象過(guò)大，超出了文本類型的規(guī)定長(zhǎng)度，則必須用BLOB字段進(jìn)行存儲(chǔ)（本文的地形塊數(shù)據(jù)就屬于此類）。在Sqlserver中，它提供了兩種特殊數(shù)據(jù)類型text和image用于定義BLOB數(shù)據(jù)。SQLServer的基本存儲(chǔ)單元是頁(yè)，每頁(yè)2KB。一條記錄必須存放在一頁(yè)內(nèi)，不能跨頁(yè)存儲(chǔ)，因此SQLServer中的每條記錄的最大尺寸為1962個(gè)字節(jié)。對(duì)于一般數(shù)據(jù)類型的字段，其值直接存儲(chǔ)在分配的數(shù)據(jù)頁(yè)中，而對(duì)于text和image類型數(shù)據(jù)，值是存放在另分配的數(shù)據(jù)頁(yè)中的，內(nèi)容通過(guò)數(shù)據(jù)鏈串在一起。數(shù)據(jù)庫(kù)記錄的text和image類型數(shù)據(jù)字段內(nèi)放的是數(shù)據(jù)鏈地址指針，這種存儲(chǔ)機(jī)制使text和image類型數(shù)據(jù)可達(dá)2GB。因此，在經(jīng)常使用的編程環(huán)境中如不能直接支持BLOB字段，需要調(diào)用相應(yīng)的函數(shù)完成BLOB的使用。3全球多分辨率地形數(shù)據(jù)入庫(kù)模式的設(shè)計(jì)基于數(shù)據(jù)庫(kù)的多分辨率地形數(shù)據(jù)的調(diào)度，首先是要在數(shù)據(jù)庫(kù)中存儲(chǔ)數(shù)據(jù)。本文按照金字塔模型生成的數(shù)據(jù)文件，包括DEM數(shù)據(jù)文件和紋理數(shù)據(jù)文件，通過(guò)數(shù)據(jù)庫(kù)接口將數(shù)據(jù)文件中的每個(gè)數(shù)據(jù)塊依次導(dǎo)入到數(shù)據(jù)庫(kù)中相對(duì)應(yīng)的字段，并生成相應(yīng)的記錄。以SQLServer為例，采用ADO接口訪問(wèn)并操作數(shù)據(jù)庫(kù)。ADO(ActiveXDateObject)是Microsoft數(shù)據(jù)庫(kù)應(yīng)用程序開發(fā)接口，是建立在OLEDB之上的高層數(shù)據(jù)庫(kù)訪問(wèn)技術(shù)。ADO技術(shù)基于COM(ComponentObjectModal)，具有COM組建的諸多優(yōu)點(diǎn)，可以用來(lái)構(gòu)造可服用應(yīng)用框架，被多種語(yǔ)言支持，能夠訪問(wèn)關(guān)系數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)及所有的文件系統(tǒng)。另外，ADO還支持各種客戶/服務(wù)器模塊與基于Web的應(yīng)用程序，具有遠(yuǎn)程數(shù)據(jù)服務(wù)RDS(RemoteDataService)的特性，是遠(yuǎn)程數(shù)據(jù)存取的發(fā)展方向。?ADO的結(jié)構(gòu)如下：

使用ADO訪問(wèn)數(shù)據(jù)庫(kù)的主要步驟包括[3]：1)初始化COM，創(chuàng)建ADO連接AfxOleInit();m_pConnection.CreateInstance(__uuidof(Connection));2)利用Connection的對(duì)象的Open函數(shù)連接數(shù)據(jù)庫(kù)m_pConnection->Open(m_ServerName,m_DBname,m_User,m_PassWord,longlOptions);3)使用Recordset對(duì)象打開記錄集m_pRecordset->Open(LPCTSRstrSQL,longlOption,CursorTypeEnumCursorType,LockTypeEnumLockType);4)用Field對(duì)象的AppendChunk存儲(chǔ)二進(jìn)制大對(duì)象，用GetChunk訪問(wèn)二進(jìn)制大對(duì)象m_pRecordset->AppendChunk(FieldPtrpField,LPVOIDlpData,UINTnBytes);m_pRecordset->GetChunk(FieldPtrpField,LPVOIDlpData);入庫(kù)模式設(shè)計(jì)流程圖如下：數(shù)據(jù)文件準(zhǔn)備文件形式登錄連接、訪問(wèn)創(chuàng)建服務(wù)器數(shù)據(jù)庫(kù)4基于數(shù)據(jù)庫(kù)的全球多分辨率地形數(shù)據(jù)的調(diào)度由于全球地形實(shí)時(shí)漫游方式體現(xiàn)了虛擬現(xiàn)實(shí)的特征，可以給用戶提供直觀的視覺效果以及更加靈活的操作能力，同時(shí)全球三維地形可視化要求空間信息表達(dá)詳細(xì)準(zhǔn)確，并且對(duì)用戶交互操作能夠達(dá)到實(shí)時(shí)響應(yīng)，因而地形數(shù)據(jù)的實(shí)時(shí)快速調(diào)度是實(shí)現(xiàn)全球多分辨率地形仿真技術(shù)的重要內(nèi)容。4.1基于四叉樹索引數(shù)據(jù)引擎的設(shè)計(jì)數(shù)據(jù)引擎主要解決金字塔模型中各層各塊的索引問(wèn)題，即解決如何快速查詢數(shù)據(jù)，如何快速?gòu)暮Ａ康目臻g數(shù)據(jù)中提取用戶需要的目標(biāo)數(shù)據(jù)，以確保地形數(shù)據(jù)的實(shí)時(shí)顯示等需要。四叉樹是樹型結(jié)構(gòu)的一種，指的是一種每個(gè)非葉子節(jié)點(diǎn)最多只有四個(gè)分支(或稱孩子)的樹型結(jié)構(gòu)。如圖所示，圓形代表非葉子節(jié)點(diǎn)，矩形代表葉子節(jié)點(diǎn)。四叉樹顯然是一種層次數(shù)據(jù)結(jié)構(gòu)，其公共特性是空間遞歸分解[4]。第0層第1層第2層第3層4.2基于四叉樹索引地形數(shù)據(jù)的快速調(diào)度本文中引用的金字塔模型與四叉樹都屬于分層分塊性質(zhì)，且層之間都使用2倍率關(guān)系，因而可以采用四叉樹技術(shù)來(lái)建立數(shù)據(jù)引擎，實(shí)現(xiàn)地形數(shù)據(jù)塊的快速索引。根據(jù)四叉樹的特點(diǎn)，其中N鄰域、S鄰域、W鄰域和E鄰域四個(gè)鄰域?qū)?yīng)金字塔模型中同級(jí)的N鄰塊、S鄰塊、W鄰塊和E鄰塊，也就是上鄰塊，下鄰塊，左鄰塊和右鄰塊[5]。對(duì)于金字塔模型中的一個(gè)地形塊，用這個(gè)地形塊的LOD級(jí)別l，列號(hào)x，行號(hào)y，(l,x,y)來(lái)表示一個(gè)塊的全球唯一編號(hào)，由此可得：塊的編號(hào)塊的位置LOD級(jí)別l，列號(hào)x，行號(hào)y已知塊(l,x,y)左鄰塊(l,x-1,y)x≠0(l,2l+1-1,y)x=0右鄰塊(l,x+1,y)x≠2l+1-1(l,0,y)x=2l+1-1下鄰塊(l,x,y-1)y≠0(l,x,0)y=0上鄰塊(l,x,y+1)y≠2l-1(l,x,2l-1)y=2l-1高級(jí)塊(l+1,[x/2],[y/2])（[]表示取整）低級(jí)塊(l≥1)(l-1,2x,2y)(l-1,2x+1,2y)(l-1,2x,2y+1)(l-1,2x+1,2y+1)通過(guò)上述公式計(jì)算出來(lái)的編號(hào)，是一種全球唯一編號(hào)，記錄了數(shù)據(jù)塊的位置，在數(shù)據(jù)庫(kù)表中可定義為主鍵，以此來(lái)建立索引。采用了基于四叉樹的索引結(jié)構(gòu)，可以避免在可視化處理過(guò)程中將全部的空間數(shù)據(jù)索引信息讀入到內(nèi)存中，而只是將場(chǎng)景金字塔信息常駐內(nèi)存，根據(jù)當(dāng)前視點(diǎn)參數(shù)確定與視景體投影區(qū)域發(fā)生相交關(guān)系的一個(gè)或多個(gè)單元地形塊，此時(shí)再將相關(guān)的地形塊四叉樹索引信息讀入到內(nèi)存中，并且當(dāng)視點(diǎn)移動(dòng)，某個(gè)子場(chǎng)景變?yōu)椴豢梢姇r(shí)，則可以釋放該索引占用的內(nèi)存空間，這樣能夠有效地提高機(jī)器內(nèi)存的利用效率，為三維場(chǎng)景空間數(shù)據(jù)提供更多的計(jì)算資源，從而提高系統(tǒng)的運(yùn)行效率。從上述公式可以看出，計(jì)算鄰塊編號(hào)時(shí)只涉及一些簡(jiǎn)單的加減法運(yùn)算，占用CPU時(shí)鐘周期較少，因而采用四叉樹結(jié)構(gòu)索引是一種快捷有效的數(shù)據(jù)引擎方式。5客戶端/服務(wù)器模式（C/S）下的地形數(shù)據(jù)庫(kù)的訪問(wèn)通常情況下，存儲(chǔ)有海量數(shù)據(jù)的全球多分辨率地形數(shù)據(jù)庫(kù)，僅僅依靠單一的數(shù)據(jù)庫(kù)組織方式是不夠的，需要建立分布式空間數(shù)據(jù)庫(kù)，完成海量數(shù)據(jù)的存儲(chǔ)、管理和索引，實(shí)現(xiàn)多用戶遠(yuǎn)程并發(fā)訪問(wèn)。分布式數(shù)據(jù)庫(kù)系統(tǒng)是計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)與數(shù)據(jù)庫(kù)技術(shù)互相滲透和有機(jī)結(jié)合的產(chǎn)物，是由分布于計(jì)算機(jī)網(wǎng)絡(luò)上的多個(gè)邏輯相關(guān)的數(shù)據(jù)庫(kù)組成的集合，網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)具有獨(dú)立處理的能力，可執(zhí)行局部應(yīng)用，同時(shí)，每個(gè)結(jié)點(diǎn)通過(guò)網(wǎng)絡(luò)通訊系統(tǒng)也能執(zhí)行全局應(yīng)用。分布式數(shù)據(jù)庫(kù)相比集中式數(shù)據(jù)庫(kù)具有均衡負(fù)載、可靠性高、可擴(kuò)充性好等的優(yōu)勢(shì)，解決組織機(jī)構(gòu)分散而數(shù)據(jù)需要相互聯(lián)系的問(wèn)題。本文采用客戶端/服務(wù)器模式（C/S）完成主從機(jī)數(shù)據(jù)庫(kù)訪問(wèn)功能?？蛻舳颂峤环?wù)器（從機(jī)）（主機(jī)）6總結(jié)本文根據(jù)金字塔模型設(shè)計(jì)了數(shù)據(jù)庫(kù)表的結(jié)構(gòu)，有效的存儲(chǔ)了地形數(shù)據(jù)，同時(shí)建立了基于四叉樹的索引方式，為快速調(diào)用地形數(shù)據(jù)提供了基礎(chǔ)。全球多分辨率地形數(shù)據(jù)庫(kù)的建立為全球多分辨率地形環(huán)境仿真技術(shù)的實(shí)現(xiàn)提供了新平臺(tái)，數(shù)據(jù)庫(kù)的動(dòng)態(tài)更新和地形信息的實(shí)時(shí)刷新效率更高，滿足了用戶實(shí)時(shí)需求