《遙感產(chǎn)品算法測評 第1部分 測評方法與流程導則》

T/CARSAXXXXX—202X

ICS37.040

V00/09

團體標準

T/CARSAXXXXX—202X

遙感產(chǎn)品算法測評

第1部分：測評方法與流程導則

AlgorithmTestofRemoteSensingProducts

Part1:GuideoftheTestMethodsandProcess

（征求意見稿）

（本稿完成時間：2023年4月3日）

XXXX-XX-XX發(fā)布XXXX-XX-XX實施

中國遙感應(yīng)用協(xié)會發(fā)布

T/CARSAXXXXX—202X

遙感產(chǎn)品算法測評第1部分：測評方法與流程導則

1范圍

本文件規(guī)定了遙感產(chǎn)品算法的通用測評方法與流程。

本文件適用于遙感產(chǎn)品算法的測評，包括但不限于幾何產(chǎn)品、輻射基礎(chǔ)產(chǎn)品、土地覆蓋/土地利用

產(chǎn)品、能量平衡參量產(chǎn)品、植被參量產(chǎn)品、水分參量產(chǎn)品等產(chǎn)品生產(chǎn)算法的測評。

2規(guī)范性引用文件

下列文件中的條款通過本標準的引用而構(gòu)成本標準的條款。凡是注日期的引用文件，其隨后所有的

修改單（不包括勘誤的內(nèi)容）或修訂版均不適用于本標準，然而，鼓勵根據(jù)本標準達成協(xié)議的各方研究

是否可使用這些文件的最新版本。凡是不注日期的引用文件，其最新版本適用于本標準。

GB/T32453-2015衛(wèi)星對地觀測數(shù)據(jù)產(chǎn)品分類分級規(guī)則

GB/T36296-2018遙感產(chǎn)品真實性檢驗導則

GB/T36299-2018光學遙感輻射傳輸基本術(shù)語

GB/T39468-2020陸地定量遙感產(chǎn)品真實性檢驗通用方法

3術(shù)語和定義

GB/T32453-2015、GB/T36296-2018、GB/T36299-2018、GB/T39468-2020界定的以及下列術(shù)語和

定義適用于本文件。

3.1

遙感產(chǎn)品remotesensingproduct

通過遙感方式獲取并被生產(chǎn)出來以滿足特定需求的數(shù)據(jù)產(chǎn)品，包括遙感傳感器獲取的數(shù)據(jù)、模型反

演得到的參量數(shù)據(jù)，以及經(jīng)更高層級處理后滿足行業(yè)應(yīng)用需求的相應(yīng)結(jié)果。

注：根據(jù)產(chǎn)品值的物理意義，可將遙感產(chǎn)品分為數(shù)值型產(chǎn)品、幾何型產(chǎn)品和類別型產(chǎn)品。

3.2

遙感共性產(chǎn)品remotesensingcommonproduct

通過遙感方式獲取可作為至少兩個行業(yè)專題產(chǎn)品生產(chǎn)所需要的輸入，且可利用同步實測數(shù)據(jù)進行

真實性檢驗的遙感產(chǎn)品。

注：根據(jù)應(yīng)用需求，可將遙感共性產(chǎn)品分為幾何產(chǎn)品、輻射基礎(chǔ)產(chǎn)品、土地覆蓋/土地利用產(chǎn)品、能

量平衡參量產(chǎn)品、植被參量產(chǎn)品和水分參量產(chǎn)品。

3.3

算法測評algorithmtest

利用一套指標體系、標準輸入數(shù)據(jù)和測評技術(shù)，獨立地對算法開展精度/不確定性、適用性、效率、

魯棒性等方面的綜合評價，定量化評價算法的性能。

3.4

1

T/CARSAXXXXX—202X

指標體系indicatorssystem

由一系列反映被評價算法多方面特性的、相互聯(lián)系的指標構(gòu)成的量化評價體系，反映了被評價算法

在實際需求場景下的多方面表現(xiàn)，是算法測評工作的核心和依據(jù)。

3.5

真實性檢驗validation

采用獨立的方法評價衛(wèi)星對地觀測數(shù)據(jù)產(chǎn)品的真實性和準確性。

[GB/T32453-2015,3.27]

3.6

標準輸入數(shù)據(jù)standardinputdata

具備標準化的數(shù)據(jù)組織形式，統(tǒng)一的時空尺度、數(shù)據(jù)質(zhì)量、地表類型和地形特征，用于遙感產(chǎn)品算

法測評的多源輸入數(shù)據(jù)。

3.7

參考數(shù)據(jù)referencedata

遙感產(chǎn)品真實性檢驗接受的參考值，用于檢驗產(chǎn)品精度的近似真值。包括：測量數(shù)據(jù)、已檢遙感產(chǎn)

品、已檢模型、時空分布趨勢和特征及相互關(guān)系等。

[GB/T36296-2018,5]

4基本要求

遙感產(chǎn)品算法測評應(yīng)符合以下基本要求：

a）遙感產(chǎn)品算法測評指標應(yīng)涵蓋算法精度、算法適用性、算法效率、算法魯棒性等一級指標；

b）算法測評數(shù)據(jù)集應(yīng)包括標準輸入數(shù)據(jù)集和參考數(shù)據(jù)集，數(shù)據(jù)集應(yīng)具有時間、空間代表性，滿足

算法測評指標計算要求；

c）算法的精度指標計算應(yīng)符合GB/T36296—2018第7章的規(guī)定；

d）待測評算法的輸入和輸出數(shù)據(jù)應(yīng)符合算法測評數(shù)據(jù)集對數(shù)據(jù)組織方式的要求。

5算法測評操作流程

算法測評的操作流程見圖5.1.

2

T/CARSAXXXXX—202X

開始

待測評算法

1.指標體系構(gòu)建3.算法接口規(guī)范化2.算法測評數(shù)據(jù)制備

算法測評指標集4.算法執(zhí)行與監(jiān)控算法測評數(shù)據(jù)集

遙感產(chǎn)品生產(chǎn)范圍確定（時間/空間）

指標選擇

算法執(zhí)行參數(shù)監(jiān)控數(shù)據(jù)查詢

權(quán)重確定

算法監(jiān)控參數(shù)數(shù)據(jù)制備

體系構(gòu)建

輸出共性產(chǎn)品標準輸入數(shù)據(jù)集

測評指標體系

參考數(shù)據(jù)集

算法測評指標

5.指標歸一化

6.測評指標綜合

7.測評報告生成

結(jié)束

圖5.1.算法測評流程

具體操作流程如下：

a）確定待測評的算法；

b）構(gòu)建算法測評的指標體系：

1)選擇測評指標：根據(jù)算法測評目標，可依據(jù)6.2規(guī)定的方法選取評價指標；

2)確定指標權(quán)重：可按照6.3規(guī)定的方法確定各指標權(quán)重；

3)建立評價指標體系：根據(jù)已選擇的指標和指標權(quán)重構(gòu)成一、二級評價指標體系。

c）制備算法測評數(shù)據(jù)集：根據(jù)b）選擇的測評指標，可依據(jù)算法測評的指標體系與指標測算方法確

定需要制備的算法測評數(shù)據(jù)集。

1)定范圍：確定算法測評數(shù)據(jù)集包含的時間和空間范圍；

2)查數(shù)據(jù)：查找包含相應(yīng)時間和空間范圍的遙感數(shù)據(jù)和地面觀測數(shù)據(jù)；

3)備數(shù)據(jù)：根據(jù)各項算法測評指標的測算方法，對遙感數(shù)據(jù)和地面觀測數(shù)據(jù)進行時空尺度轉(zhuǎn)換

和數(shù)據(jù)質(zhì)量控制，得到滿足算法測評指標所需類型和質(zhì)量要求的標準輸入數(shù)據(jù)集，以及與算

法輸出結(jié)果相對應(yīng)的參考數(shù)據(jù)集作為相對真值；

3

T/CARSAXXXXX—202X

d）確定算法接口規(guī)范：根據(jù)遙感產(chǎn)品算法接口規(guī)范的要求集成算法、標準輸入數(shù)據(jù)集和輔助數(shù)據(jù)

（若需要）；

e）算法執(zhí)行與監(jiān)控：在統(tǒng)一的硬件配置和操作系統(tǒng)配置下，基于標準輸入數(shù)據(jù)集和輔助數(shù)據(jù)集執(zhí)

行算法，得到算法的輸出結(jié)果。

1)在算法執(zhí)行過程中，根據(jù)選擇的測評指標對算法執(zhí)行過程中的系統(tǒng)參數(shù)進行監(jiān)控；

2)在算法執(zhí)行完成后，根據(jù)選擇的測評指標對算法輸出結(jié)果與參考數(shù)據(jù)集進行對比和結(jié)果評

價，結(jié)果評價方法可參考真實性檢驗及相關(guān)指標計算方法規(guī)范：GB/T36296-20188進行精

度指標測算；

f）測評指標數(shù)據(jù)歸一化：將測評指標量轉(zhuǎn)換為0-1之間的相對值；

g）測評指標綜合：將歸一化后的測評指標數(shù)據(jù)與評價指標體系權(quán)重相乘并求和，得到算法的一級

指標評分和綜合評分；

h）生成算法測評報告：可依據(jù)12.1的規(guī)定生成算法測評報告。

6指標體系構(gòu)建

6.1指標體系構(gòu)建要求

算法測評指標集應(yīng)包括：算法精度、算法適用性、算法效率和算法魯棒性共四個一級指標，以及相

應(yīng)的二級指標，測評指標應(yīng)反映待評價算法特性且相互獨立。算法精度的二級指標包括：數(shù)值精度、幾

何精度、類別精度；算法適用性的二級指標包括：地表類型適用性、地形特征適用性、空間尺度適用性、

時間尺度適用性、數(shù)據(jù)源類型適用性、輔助數(shù)據(jù)依賴性；算法效率的二級指標包括：運算時間效率、運

算空間效率；算法魯棒性的二級指標包括：算法容錯性、效率穩(wěn)定性、運行環(huán)境穩(wěn)定性、易維護性。算

法測評的指標體系構(gòu)建方法包括：選指標、定權(quán)重、建體系三步。

6.2指標選擇

根據(jù)待測評算法的類型和適用條件選擇測評指標。若算法輸出數(shù)據(jù)為數(shù)值型產(chǎn)品，則算法精度一級

指標下的二級指標應(yīng)選擇數(shù)值精度和幾何精度；若算法輸出數(shù)據(jù)為類別型產(chǎn)品，則算法精度一級指標下

的二級指標應(yīng)選擇類別精度；若算法運行條件無特殊要求，則選擇算法精度、算法適用性、算法效率和

算法魯棒性四個一級指標下的各項二級指標對算法進行測評；

6.3權(quán)重確定

依據(jù)專家經(jīng)驗打分并確定各指標兩兩之間的相對重要性，并根據(jù)附錄A的方法計算算法測評一級指

標和二級指標的權(quán)重；

6.4體系構(gòu)建

已選擇的指標和指標權(quán)重共同構(gòu)成算法測評的一、二級測評指標體系，相應(yīng)的指標體系適用于與待

測評算法同類型的算法評估和比較。

7算法測評數(shù)據(jù)制備

7.1數(shù)據(jù)集制備要求

根據(jù)算法測評指標，算法測評數(shù)據(jù)集應(yīng)滿足如下要求：

a）參考數(shù)據(jù)的制備應(yīng)符合GB/T36296—2018第7章的規(guī)定；

b）標準輸入數(shù)據(jù)集與參考數(shù)據(jù)集的時空尺度應(yīng)匹配；

4

T/CARSAXXXXX—202X

c）標準輸入數(shù)據(jù)集應(yīng)盡量保證包含的地表覆蓋類型、地形類型、數(shù)據(jù)源類型、時間范圍、數(shù)據(jù)時

空分辨率的多樣性，應(yīng)能在不同時間和空間尺度上支持算法測評；

d）同類算法的標準輸入數(shù)據(jù)集應(yīng)采用相同的預(yù)處理方法和精度檢驗流程。

7.2范圍確定

確定用于算法測評的數(shù)據(jù)時間和空間范圍。

7.3數(shù)據(jù)查詢

查詢滿足算法測評數(shù)據(jù)集制備要求的遙感數(shù)據(jù)和地面觀測數(shù)據(jù)。

7.4數(shù)據(jù)制備

7.4.1標準輸入數(shù)據(jù)集制備

根據(jù)算法測評需求制備標準輸入數(shù)據(jù)集。

a）數(shù)據(jù)篩選

篩選時間和空間范圍相匹配的遙感數(shù)據(jù)和地面觀測數(shù)據(jù)。

b）數(shù)據(jù)預(yù)處理

對篩選后的遙感數(shù)據(jù)進行處理，得到包含多種地表覆蓋類型、地形類型、數(shù)據(jù)源類型、時間范圍、

以及數(shù)據(jù)時空分辨率的標準輸入遙感數(shù)據(jù)集，使其符合GB/T32453-2015第7章的規(guī)定，具體方法見附錄

B。

c）數(shù)據(jù)精度檢驗

對標準輸入數(shù)據(jù)集進行精度檢驗，對于不滿足精度要求的數(shù)據(jù)進行重新篩選和預(yù)處理。

7.4.2參考數(shù)據(jù)集制備

根據(jù)算法測評需求制備參考數(shù)據(jù)集。

a）數(shù)據(jù)篩選

篩選與遙感數(shù)據(jù)的時間和空間范圍相匹配的地面觀測數(shù)據(jù)或交叉驗證數(shù)據(jù)。

b）數(shù)據(jù)質(zhì)量控制

對地面觀測數(shù)據(jù)按照統(tǒng)一的質(zhì)量控制流程進行處理（如圖7.1），評估參考對象數(shù)據(jù)的規(guī)范性、完整

性、準確性和代表性，保留質(zhì)量合格的參考數(shù)據(jù)代表地面目標的相對真值。形成算法測評參考數(shù)據(jù)集并

加入數(shù)據(jù)庫。

參考數(shù)據(jù)的質(zhì)量控制流程應(yīng)包括：

1)觀測數(shù)據(jù)采集：利用人工或自動化的方式，采集地面觀測數(shù)據(jù)，在采集過程中應(yīng)嚴格遵循相

應(yīng)參數(shù)的觀測規(guī)范，減少觀測過程帶來的誤差；

2)數(shù)據(jù)常規(guī)檢查：對觀測數(shù)據(jù)的格式規(guī)范性和內(nèi)容完整性進行檢查。格式規(guī)范性檢查指檢查數(shù)

據(jù)格式是否符合已有規(guī)范（如《地面觀測規(guī)范QX/T66-2007》《氣象數(shù)據(jù)歸檔格式QX/T93-

2008》等）的要求，內(nèi)容完整性檢查指檢查觀測文件、周期以及變量是否完整。對檢查不合

格的數(shù)據(jù)，應(yīng)進行格式規(guī)范化和空缺數(shù)據(jù)補全；

3)數(shù)據(jù)準確性判定：對觀測數(shù)據(jù)進行物理可能值檢查、極端值檢查及數(shù)據(jù)一致性檢查，以評價

觀測數(shù)據(jù)的準確性。物理可能值檢查指判定觀測數(shù)據(jù)是否位于觀測參數(shù)的物理定義所限定

的值域范圍，極端值檢查指判斷觀測數(shù)據(jù)是否位于已有的先驗知識限定的值域范圍，數(shù)據(jù)一

致性檢查指判斷觀測數(shù)據(jù)在物理、時間、空間上的變化是否符合客觀規(guī)律。對于準確性判定

中出現(xiàn)的各類異常值，判定其異常原因以決定數(shù)據(jù)刪除或保留；

5

T/CARSAXXXXX—202X

4)空間代表性評價：引入高分辨率影像數(shù)據(jù)，對觀測數(shù)據(jù)所在站點的空間代表性進行評價，判

斷該站點能夠代表周邊多大范圍的區(qū)域，在何種空間尺度上是均勻的，是否滿足算法測評的

需求。對于不滿足需求的站點，則更換其他觀測站點，重復（1）-（4）的質(zhì)量控制過程；

c）參考數(shù)據(jù)入庫

對于經(jīng)過上述質(zhì)量控制過程的地面觀測數(shù)據(jù)，可將其視為質(zhì)量合格的參考數(shù)據(jù)，將參考數(shù)據(jù)統(tǒng)一整

理入庫，形成算法測評參考數(shù)據(jù)集，用于后續(xù)算法測評的指標評價工作。

圖7.1參考數(shù)據(jù)質(zhì)量控制流程

8算法接口規(guī)范化

完成算法測評數(shù)據(jù)制備后，應(yīng)根據(jù)算法的輸入與輸出規(guī)定對算法接口進行規(guī)范化，使算法測評過程

中算法所需的輸入數(shù)據(jù)和輔助數(shù)據(jù)可正確調(diào)用，并且確保算法輸出的遙感產(chǎn)品滿足算法精度評估的數(shù)

據(jù)標準規(guī)范（參考《GB/T36296-2018遙感產(chǎn)品真實性檢驗導則》），還應(yīng)提供接口保證算法測評平臺

對算法執(zhí)行過程及結(jié)果的準確監(jiān)控。

6

T/CARSAXXXXX—202X

9算法執(zhí)行與監(jiān)控

9.1遙感產(chǎn)品生產(chǎn)

算法測評過程基于不同的標準輸入數(shù)據(jù)和參考數(shù)據(jù)多次執(zhí)行算法，輸出相應(yīng)的遙感產(chǎn)品，以評估算

法精度、算法適用性、算法效率和算法魯棒性等指標。

9.2算法執(zhí)行的參數(shù)監(jiān)控

在算法執(zhí)行過程中，不僅要記錄每一次算法執(zhí)行的結(jié)果，還應(yīng)監(jiān)控算法執(zhí)行過程中對CPU、GPU、

內(nèi)存和磁盤存儲空間的占用情況等參數(shù)并逐一記錄。

10指標歸一化

依據(jù)6.2確定的算法測評指標，將算法執(zhí)行與監(jiān)控過程獲取的遙感產(chǎn)品和監(jiān)控參數(shù)轉(zhuǎn)化為算法測評

指標量并歸一化。

11測評指標綜合

依據(jù)6.4建立的算法測評一、二級測評指標和指標權(quán)重，采用加權(quán)方法進行測評指標綜合，計算算

法綜合測評結(jié)果。方法見附錄C。

12測評報告生成

12.1測評報告

得到算法測評綜合評價結(jié)果后，即可生成算法測評報告，報告信息應(yīng)包括：

a）測評算法簡介；

b）測評人員與時間；

c）測評使用數(shù)據(jù)；

d）測評指標體系及方法流程；

e）測評結(jié)果與分析。

12.2數(shù)據(jù)儲存格式

遙感數(shù)據(jù)應(yīng)以圖像格式儲存，參考數(shù)據(jù)應(yīng)根據(jù)實際情況以文本或其他格式儲存，應(yīng)建立統(tǒng)一的數(shù)據(jù)

儲存格式，以便于數(shù)據(jù)管理與調(diào)用。

12.3附加信息

對測評過程中的非常規(guī)問題進行說明與描述。

7

T/CARSAXXXXX—202X

附錄A

（資料性）

基于AHP層次分析的指標權(quán)重確定方法

采用層次分析法，對算法測評體系的評價指標權(quán)重進行確定。層次分析法的運用可以將復雜的權(quán)重

確定問題模型化、數(shù)量化，以獲取各層指標在整體中所占的權(quán)重。利用層次分析法進行權(quán)重的計算，具

體可分為以下四個步驟：

1)構(gòu)建層次結(jié)構(gòu)模型

層次分析法的思維邏輯是先分解后綜合。首先要確定評價影響因子，并把影響因子按照對目標影響

的重要程度劃分成若干個層次，即確定層次結(jié)構(gòu)。一般來講，這種層次結(jié)構(gòu)主要包括目標層、準則層和

措施層三個層次。

2)構(gòu)建比較判斷矩陣

層次結(jié)構(gòu)模型是構(gòu)建判斷矩陣的前提，判斷矩陣是反映下層影響因子對于上層影響因子（如空間均

勻性對于地理特征）的相對重要性。如果把?作為準則層元素，然后再把它支配的下層元素稱為

?,?,?,…,?，在評價準則?時，首先就要判斷元素?與?的相對重要性，假設(shè)判斷矩陣為?=(?),

123??????×?

1

那么判斷矩陣?必需滿足三個條件???>0;???=;???=1。

???

根據(jù)建立的層次結(jié)構(gòu)模型進行專家打分，采用的方法為分別對同一層次的指標進行兩兩比較，確定

它們的相對重要性，結(jié)合“1-9標度法”，依次構(gòu)造出比較判斷矩陣模型，“1-9標度法”含義如表3.2：

表B.1“1-9標度法”含義

標度含義

1??和??同等重要

3??比??重要一點

5??比??更重要

7??比??重要得多

9??比??極端重要

2，4，6，8，10當5個等級不夠用時可作為補充

3)針對某一個標準，計算各備選元素的權(quán)重。

求判斷矩陣的最大特征根????，然后利用??=????得出其對應(yīng)的特征向量?，并進行歸一化處理。

具體的計算步驟如下：

首先，計算判斷矩陣B中每個元素的積。

n

Mi==aij(i1,2,...n)

j=1..........................................................................

第二步，計算每行??的n次方根

=nM

ii......................................................................................

?

第三步，將向量?=(?1,?2,...,??)進行歸一化處理，計算出權(quán)重系數(shù)。

n

=/

iii=0k...............................................................................

4)進行一致性檢查

8

T/CARSAXXXXX—202X

為了檢驗判斷矩陣是否具有合格的一致性，需要在求得判斷矩陣?=(?)中各指標的權(quán)重后，

???×?

對它進行一致性檢驗，即指對?確定不一致的允許范圍，使用??來衡量?的不一致程度。

首先計算一致性評價指標??。??值越大，一致性越差。

1n()Bwn?

==i,CImax

maxnwn?1

i=1i..................................................................

其中?為判斷矩陣階數(shù)。

其次，根據(jù)判斷矩陣的矩陣階數(shù)?查閱它所對應(yīng)的平均隨機一致性指標??(RandomIndex)的值，得

到矩陣階數(shù)?對應(yīng)的平均隨機一致性值。

最后，我們要計算出一致性比例??(ConsistencyRatio)值，通過??的值來確定判斷矩陣一致性。??

的表達式為：??=CI/RI。確定判斷矩陣一致性是否滿足的標準為：若??<0.1，則滿足；若??≥0.1，

則不滿足，則需要進一步調(diào)整判斷矩陣，直到??<0.1為止。其中隨機一致性指標RI的標準值如下表3.3

所示：

表B.2隨機一致性指標RI的標準值

n12345678910

RI000.520.91.121.241.321.411.451.49

根據(jù)算法測評指標因子的層次結(jié)構(gòu)圖，得到不同層級的判斷矩陣。計算判斷矩陣與次級判斷矩陣的

特征值及特征向量W，再把特征向量歸一化，最終得到各指標的權(quán)重系數(shù)。

9

T/CARSAXXXXX—202X

附錄B

（資料性）

算法測評數(shù)據(jù)預(yù)處理方法

針對不同的遙感產(chǎn)品算法測評，應(yīng)對標準輸入數(shù)據(jù)采用統(tǒng)一的預(yù)處理方法，主要包括對標準輸入遙

感數(shù)據(jù)的輻射定標、幾何校正和大氣校正。

1)輻射定標

使用絕對定標系數(shù)將遙感影像DN值轉(zhuǎn)換為輻亮度數(shù)據(jù)，使用公式為：

LGainDNOffset=+

ee()

其中，輻射定標公式與系數(shù)均從各衛(wèi)星影像官方發(fā)布網(wǎng)站獲取。利用上述公式將未進行輻射定標的

遙感影像DN值轉(zhuǎn)化為輻亮度數(shù)據(jù)。

2)幾何校正

a）利用影像數(shù)據(jù)內(nèi)部鑲嵌的RPC數(shù)據(jù)，對衛(wèi)星影像數(shù)據(jù)進行幾何粗校正；

b）尋找影像和地面的同名點，建立影像和實際位置的匹配關(guān)系，對粗校正后的影像進行幾何精校

正;

c）驗證幾何校正精度后，按參考數(shù)據(jù)時空間信息，根據(jù)測評需求對影像進行裁剪。

3)大氣校正

對需要地表反射率信息作為輸入的算法，在幾何校正后需要進行大氣校正以獲取地表反射率數(shù)據(jù)，

并以地表觀測得到的反射率數(shù)據(jù)對衛(wèi)星數(shù)據(jù)進行質(zhì)量檢驗。