第四章 海洋信息處理技術(shù)

1、第四章海洋信息處理技術(shù)二十一世紀是海洋的世紀，我國是海洋大國，社會經(jīng)濟的發(fā)展越快越依賴于海洋，海洋資源的發(fā)掘和有效利用日漸被人們所關(guān)注，海洋油氣等能源也成為各國爭搶的對象。世界上各國也都制定海洋開發(fā)戰(zhàn)略以抓住良好的發(fā)展機遇，海洋涉及國家安全、海洋權(quán)益維護、社會經(jīng)濟可持續(xù)發(fā)展，促進國內(nèi)經(jīng)濟、軍事等快速發(fā)展，我國在“十二五”規(guī)劃中首次將發(fā)展藍色海洋經(jīng)濟作為重點發(fā)展戰(zhàn)略提出。海洋充滿了神秘與未知，她的變化和運動時時刻刻影響著我們的生活，只有不斷的探索和研究，才能更好的認識海洋，更好的保護和利用海洋。海洋信息處理技術(shù)的研究與應(yīng)用是我國數(shù)字海洋建設(shè)的重要基礎(chǔ)和根本保證。海洋數(shù)據(jù)資料浩如煙海，它涵蓋了海底

2、地形數(shù)據(jù)、海洋遙感資料、船測數(shù)據(jù)、浮標資料、模式同化資料等諸多方面。由于海洋數(shù)據(jù)具有海量性、多類性、模糊性、時空過程性等特點。所以在對數(shù)據(jù)進行挖掘時要預(yù)先對數(shù)據(jù)進行清洗、轉(zhuǎn)換、選擇等預(yù)處理。在對數(shù)據(jù)進行挖掘時，常用的數(shù)據(jù)挖掘算法有回歸算法、統(tǒng)計分析、聚類分析、關(guān)聯(lián)規(guī)則挖掘。關(guān)聯(lián)數(shù)據(jù)挖掘是能夠有效的發(fā)現(xiàn)數(shù)據(jù)潛在的規(guī)律，聚類分析是一種不依賴于預(yù)先定義的類和帶類標號的訓(xùn)練數(shù)據(jù)的非監(jiān)督學(xué)習，實現(xiàn)了在未知類別標簽樣本集的非監(jiān)督學(xué)習，回歸分析是一個統(tǒng)計預(yù)測模型，用以描述和評估應(yīng)變量與一個或多個自變量之間的關(guān)系。下面主要介紹了數(shù)據(jù)處理技術(shù)的基本方法。4.1海洋數(shù)據(jù)特征4.1.1海量性海洋環(huán)境數(shù)據(jù)是大量不同歷

3、史、不同尺度、不同區(qū)域的數(shù)據(jù)的積累，需要對海量數(shù)據(jù)獲取、處理和管理的技術(shù)支持。早期由于技術(shù)手段的匱乏、投入少等原因，海洋環(huán)境調(diào)查多以年、月為周期，數(shù)據(jù)量相對較少。近年來，隨著各種長期定點觀測設(shè)備的使用，大量專項調(diào)查的開展，以及海洋觀測手段的豐富，獲取的海洋環(huán)境數(shù)據(jù)量呈幾何級數(shù)增長。如何將已有的和不斷產(chǎn)生的海洋環(huán)境數(shù)據(jù)進行整合、存儲、管理和利用已經(jīng)成為一個急需解決的問題。4.1.2多類性海洋環(huán)境數(shù)據(jù)資料的來源非常廣泛：主要包括海洋調(diào)查、觀測、檢測、專項調(diào)查、衛(wèi)星遙感、其他各專項調(diào)查資料，以及國際交換資料等，這些資料的質(zhì)量和精度等相關(guān)技術(shù)類數(shù)據(jù)信息又各不相同，包括監(jiān)測方法、數(shù)據(jù)提取方法與模型、技術(shù)

4、指標、儀器名稱及參數(shù)、鑒定分析和測試方法、訂正與校正方法及所涉及的相關(guān)技術(shù)標準等。而通過各種專業(yè)手段獲取的各類海洋基礎(chǔ)性數(shù)據(jù)又分屬不同學(xué)科，主要包括海洋水文、海洋氣象、衛(wèi)星遙感、海洋化學(xué)、海洋生物、海洋地質(zhì)、海洋地球物理、海底地形、人文地理、海洋經(jīng)濟、海洋資源、海洋管理等。對這些數(shù)據(jù)來源、數(shù)據(jù)質(zhì)量和精度以及數(shù)據(jù)格式等信息。另外，我國海洋系統(tǒng)不同的單位和部門業(yè)已形成了多種多樣的數(shù)據(jù)環(huán)境，如數(shù)據(jù)文件、操作型數(shù)據(jù)庫（或稱應(yīng)用數(shù)據(jù)庫）、以及不甚規(guī)范的主題數(shù)據(jù)庫（或稱專題數(shù)據(jù)庫、專業(yè)數(shù)據(jù)庫）等等，這些現(xiàn)存的數(shù)據(jù)環(huán)境需要進行改造，以保證高效率高質(zhì)量地利用數(shù)據(jù)資源。本課題都需要進行深入的調(diào)查分析，對在數(shù)據(jù)上

5、進行的應(yīng)用操作、數(shù)據(jù)量的大小及更新頻率等信息，也要進行深入了解。才能在更深層次上理解數(shù)據(jù)、分析數(shù)據(jù)、規(guī)劃數(shù)據(jù)。4.1.3模糊性由于海洋現(xiàn)象具有動態(tài)性，有些定義無法像陸地那么明確。海洋中地理區(qū)域諸如海陸交接的海濱濕地、海岸帶、領(lǐng)海界線、大陸架等界線無法像陸地區(qū)界線那樣精確和清晰，同樣環(huán)境分級界限都具有一定的模糊性。若人為劃分出區(qū)域邊界，似乎是給出了精確的邊界，實質(zhì)是給出了不精確的描述。4.1.4時空過程性海洋現(xiàn)象體現(xiàn)出了很強的時空過程性，在持續(xù)的一定的時間范圍、空間范圍內(nèi)，海洋現(xiàn)象都具有過程性。在海洋現(xiàn)象中，不同時刻的特點是不同的，有些特征會發(fā)生變化，以漩渦為例，上一時刻與下一時刻其漩渦中心、漩

6、渦邊界、漩渦面積等都可能會發(fā)生變化4.1.5動態(tài)更新頻繁。4.2海洋數(shù)據(jù)預(yù)處理4.2.1數(shù)據(jù)清洗數(shù)據(jù)清洗的原理,就是通過分析“臟數(shù)據(jù)”的產(chǎn)生原因和存在形式,利用現(xiàn)有的技術(shù)手段和方法去清洗“臟數(shù)據(jù)”,將“臟數(shù)據(jù)”轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量或應(yīng)用要求的數(shù)據(jù),從而提高數(shù)據(jù)集的數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗主要利用回溯的思想,從臟數(shù)據(jù)產(chǎn)生的源頭上開始分析數(shù)據(jù),對數(shù)據(jù)集流經(jīng)的每一個過程進行考察,從中提取數(shù)據(jù)清洗的規(guī)則和策略。最后在數(shù)據(jù)集上應(yīng)用這些規(guī)則和策略發(fā)現(xiàn)“臟數(shù)據(jù)”和清洗“臟數(shù)據(jù)”。這些清洗規(guī)則和策略的強度,決定了清洗后數(shù)據(jù)的質(zhì)量。4.2.2數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是用一種系統(tǒng)的數(shù)據(jù)文件格式讀出所需數(shù)據(jù)，再按另一系統(tǒng)的文件格式

7、將數(shù)據(jù)寫入文件。但從根本上講，系統(tǒng)之間的數(shù)據(jù)格式轉(zhuǎn)換是系統(tǒng)數(shù)據(jù)模型之間的轉(zhuǎn)換。兩系統(tǒng)能否進行數(shù)據(jù)轉(zhuǎn)換以及轉(zhuǎn)換的效果如何，從根本上取決于兩模型之間的關(guān)系。若模型之間差別較大，在轉(zhuǎn)換過程中則必然會導(dǎo)致信息的丟失，在這種情況下，系統(tǒng)之間不適于進行數(shù)據(jù)格式轉(zhuǎn)換。因此，對空間數(shù)據(jù)的描述是建立地理信息系統(tǒng)、實現(xiàn)空間數(shù)據(jù)轉(zhuǎn)換的前提。4.2.3數(shù)據(jù)選擇4.3海洋數(shù)據(jù)挖掘和分析4.3.1回歸預(yù)算預(yù)測型挖掘就是由歷史數(shù)據(jù)和當前數(shù)據(jù)來推測出未來數(shù)據(jù)的一種挖掘方式。從預(yù)測的主要功能上來看主要是對未來數(shù)據(jù)的分類和趨勢的輸出。分類與預(yù)測是兩種數(shù)據(jù)分析形式，它們可用于抽取能夠描述重要數(shù)據(jù)集合或預(yù)測未來數(shù)據(jù)趨勢的模型。分類方

8、法(classification)用于預(yù)測數(shù)據(jù)對象的離散類別；而預(yù)測(predication)則用于預(yù)測數(shù)據(jù)對象的連續(xù)取值。統(tǒng)計學(xué)中的回歸方法等可以通過歷史數(shù)據(jù)直接產(chǎn)生對未來數(shù)據(jù)的預(yù)測的連續(xù)值。回歸分析(regressionanalysis)，一個統(tǒng)計預(yù)測模型，用以描述和評估應(yīng)變量與一個或多個自變量之間的關(guān)系。回歸分析預(yù)測法，是在分析自變量和因變量之間相關(guān)關(guān)系的基礎(chǔ)上，建立變量之間的回歸方程，并將回歸方程作為預(yù)測模型，根據(jù)自變量在預(yù)測期的數(shù)量變化來預(yù)測因變量，它是一種具體的、行之有效的、實用價值很高的常用預(yù)測方法?；貧w分析預(yù)測法有多種類型。依據(jù)相關(guān)關(guān)系中自變量的個數(shù)不同分類，可分為一元回歸分析

9、預(yù)測法和多元回歸分析預(yù)測法。在一元回歸分析預(yù)測法中，自變量只有一個，而在多元回歸分析預(yù)測法中，自變量有兩個以上。依據(jù)自變量和因變量之間的相關(guān)關(guān)系不同，可分為線性回歸預(yù)測和非線性回歸預(yù)測。而借助變量轉(zhuǎn)換，也就是將一個非線性問題轉(zhuǎn)化成一個線性問題，以使得利用線性回歸方法可以幫助解決更多的問題。4.3.2統(tǒng)計分析海洋要素的具體屬性隨著時間變化而變化，一段時間內(nèi)的海洋要素變化的集合稱為總體，而我們通過儀器所得到的實測數(shù)據(jù)只是總體的一個樣本而已。為了研究實測數(shù)據(jù)所包含的規(guī)律，需要統(tǒng)計樣本的數(shù)字特征。常見的海洋數(shù)據(jù)的統(tǒng)計特征量，比如位置特征量、離散特征量。(1)位置特征量海洋觀測數(shù)據(jù)樣本會分布在一定范圍內(nèi)

10、，比如南海表層水溫一般分布在23°C28°C之間，但人們有時會更加關(guān)心樣本數(shù)據(jù)集中分布在什么位置，可以使用平均值、眾數(shù)和中位數(shù)等位置特征量來表示。平均值與數(shù)學(xué)期望既有聯(lián)系又有區(qū)別。數(shù)學(xué)期望表示隨機變量所有可能值的平均值，不會隨著觀測次數(shù)的變化而變化，代表了隨機變量本身的固有屬性；平均值表示若干次測量值的平均結(jié)果，會隨著測量次數(shù)的變化而變化，如果樣本觀測次數(shù)總夠大，也可以把均值看作該樣本的數(shù)學(xué)期望的估計值，平均值具有穩(wěn)定性，是數(shù)學(xué)期望的無偏估計量。海洋要素的平均值含義很廣泛，從時間上可分為日平均、月平均、年平均和累年平均值等，從空間上可分為垂直平均、斷面平均和某海區(qū)的大面平均

11、等。平均值的計算方法包括算數(shù)平均值、加權(quán)平均值和矢量平均值等。(2)離散特征量位置特征量還不能反映出數(shù)據(jù)序列的全部特征，比如數(shù)據(jù)集中的位置等，有時盡管兩組數(shù)據(jù)列的平均值相等，但數(shù)據(jù)離散程度卻差別很大，這時就需要引入離散特征量，離散特征量包括極差、距平、平均差和方差等。4.3.3聚類分析聚類分析(Clusteringanalysis)又稱為群分析、點群分析、簇分析、簇群分析，它是研究樣品(或變量)分類問題的一種多元統(tǒng)計方法。為了將樣品(或變量)進行分類，就需要研究樣品之間關(guān)系。目前用得最多的方法有兩個：一種方法是用相似系數(shù)，性質(zhì)越接近的樣品，它們的相似系數(shù)的絕對值越接近1，而彼此無關(guān)的樣品，它們的相似系數(shù)的絕對值越接近于零。比較相似的樣品歸為一類，不怎么相似的樣品歸為不同的類。另一種方法是將一個樣品看作P維空間的一個點，并在空間定義距離，距離越近的點歸為一類，距離較遠的點歸為不同的類。4.3.4關(guān)聯(lián)規(guī)則挖掘關(guān)聯(lián)規(guī)則可提供許多有價值的信息，關(guān)聯(lián)規(guī)則挖掘需要事先指定最小支持度與最小置信度。關(guān)聯(lián)規(guī)則挖掘可以使我們得