檢測錯誤和ROC曲線課件

檢測錯誤與ROC曲線《信息隱藏實驗教程》教學幻燈片十八檢測錯誤與ROC曲線《信息隱藏實驗教程》教學1檢測錯誤

在檢測水印時，存在著兩類錯誤：第一類錯誤（FalsePositive）

第二類錯誤（TruePositive）

檢測錯誤在檢測水印時，存在著兩類錯誤：2第一類錯誤該類錯誤是指在沒有嵌入水印的接收圖像中檢測到了水印，也就是說水印檢測器輸出的相關性值大于給定的閾值。由于檢測器錯誤的發(fā)出報警，因此這類錯誤也被稱為虛警錯誤。

第一類錯誤該類錯誤是指在沒有嵌入水印的接收圖像中檢測到3第二類錯誤該類錯誤是指在有嵌入水印的接收圖像中沒有檢測到水印，也就是說水印檢測器的輸出的相關性值小于給定的閾值。在這種情況下，檢測器應該但沒有報警，因此這類錯誤也被稱為漏警錯誤。

第二類錯誤該類錯誤是指在有嵌入水印的接收圖像中沒有檢測4檢測錯誤的直觀表示下圖可以直觀的看出這兩類錯誤產生的情況，圖中的陰影部分表示的是發(fā)生第一類錯誤的概率：檢測錯誤的直觀表示下圖可以直觀的看出這兩類錯誤產生的情5檢測錯誤的直觀表示檢測錯誤的直觀表示6ROC曲線的引入為了進一步了解和分析兩類錯誤，我們引進利用ROC(ReceiverOperatingCharacteristic)曲線的ROC分析法來說明它。ROC曲線是關于檢測閾值的函數(shù)曲線。它直觀反映了水印檢測的靈敏度和特異性以及兩類錯誤率之間的關系。

ROC曲線的引入為了進一步了解和分析兩類錯誤，我們引進7ROC曲線的引入ROC曲線縱坐標定義為TPR(TruePositiveRatio),我們也稱之為靈敏度（sensitivity），用公式表示為：式中的TP表示正確接受測試結果的次數(shù)，也就是在嵌有水印的接收圖像中檢測到水印的次數(shù)，F(xiàn)N表示錯誤拒絕的測試結果的次數(shù)，也就是在嵌有水印的接收圖像中沒有檢測到水印的次數(shù)。ROC曲線的引入ROC曲線縱坐標定義為TPR(True8ROC曲線的引入ROC曲線橫坐標定義為FPR(FalsePositiveRatio)，它與特異性（specificity，TNR）是互補的關系，即FPR=1—特異性。式中的FP表示錯誤報警測試結果的次數(shù)，即在沒有嵌入水印的接收圖像中檢測到水印的次數(shù)，TN表示正確拒絕測試結果的次數(shù)，即在沒有嵌入水印的接收圖像中沒有檢測到水印的次數(shù)。

ROC曲線的引入ROC曲線橫坐標定義為FPR(Fals9ROC曲線的含義

ROC曲線的含義10ROC曲線的含義ROC曲線越向左上偏，曲線下的面積越大，其性能就越好。上圖上半部分所示的是4種類型檢測的加有水印的圖像和沒有加水印的圖像的分布。圖的下半部分是上半部分對應的ROC曲線，我們可以明顯的看出，b實驗的曲線最為理想。

ROC曲線的含義ROC曲線越向左上偏，曲線下的面積越大11繪制ROC曲線實例在標準圖像庫中我們選取如下所示的五幅JPEG圖像，其大小均為256×256。我們將使用它們來生成實驗的樣本空間。繪制ROC曲線實例在標準圖像庫中我們選取如下所示的五幅J12繪制ROC曲線實例繪制ROC曲線實例13繪制ROC曲線實例繪制ROC曲線實例14繪制ROC曲線實例檢測的樣本空間由以下幾個方面構成：5幅原始圖像；每幅原始圖像做以10%壓縮率為間隔的9幅JPEG壓縮圖像，這一共得到45幅圖像；對每幅原始圖像各自加入10個不同種子的水印，得到50幅加有水印的圖像；再分別對5幅圖像加入水印，并進行如前面的壓縮，得到45幅經過不同程度壓縮的嵌有水印的圖像和5幅嵌入水印但沒有壓縮的圖像。這樣共有100幅加有水印的圖像（不管有沒有壓縮），以此作為后面檢測漏警錯誤的樣本空間。50幅沒有加入水印的圖像，作為檢測虛警錯誤的樣本空間。

繪制ROC曲線實例檢測的樣本空間由以下幾個方面構成：15繪制ROC曲線實例以某一個檢測閾值（例如0.05）檢測一幅圖像，結果有四種組合：圖像加有水印并被檢測出來（TP）、圖像加有水印沒有被檢測出來（FN）、圖像沒有加水印檢測結果也無水印（TN）、圖像沒有加水印但檢測出水印（FP）。

繪制ROC曲線實例以某一個檢測閾值（例如0.05）檢測16繪制ROC曲線實例下面分別是常規(guī)檢測器和DCT檢測器檢測的結果：

繪制ROC曲線實例下面分別是常規(guī)檢測器和DCT檢測器檢測17繪制ROC曲線實例閾值

水印圖像中檢測到水印的累計數(shù)目（TP）

水印圖像中沒有檢測到水印的累計數(shù)目（FN

）無水印圖像中檢測到水印的累計數(shù)目（FP）

無水印圖像中沒有檢測到水印的累計數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.019824460.980.12繪制ROC曲線實例閾值水印圖像中檢測到水印的累計數(shù)目（18繪制ROC曲線實例0.02891138120.890.240.03851525250.850.50.04851519310.850.620.05841618320.840.640.06831712380.830.76繪制ROC曲線實例0.028911381219繪制ROC曲線實例0.0881196440.810.880.180200500.8010.1576240500.7610.270300500.7010.2568320500.681繪制ROC曲線實例0.08811964420繪制ROC曲線實例0.362380500.6210.458420500.5810.554460500.5410.653470500.5310.752480500.521繪制ROC曲線實例0.36238050021繪制ROC曲線實例閾值

水印圖像中檢測到水印的累計數(shù)目（TP）

水印圖像中沒有檢測到水印的累計數(shù)目（FN）

無水印圖像中檢測到水印的累計數(shù)目（FP）

無水印圖像中沒有檢測到水印的累計數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.029644370.960.140.0493736140.930.28繪制ROC曲線實例閾值水印圖像中檢測到水印的累計數(shù)目（T22繪制ROC曲線實例0.06901030200.900.400.08881226240.880.480.1861418320.860.640830.740.281195450.810.90繪制ROC曲線實例0.069010302023繪制ROC曲線實例0.2578223470.780.940.375250500.7510.3571290500.7110.469310500.6910.564360500.641繪制ROC曲線實例0.25782234724繪制ROC曲線實例0.658420500.5810.756440500.5610.853470500.531繪制ROC曲線實例0.65842050025ROC曲線

根據(jù)上表繪制的ROC曲線：

ROC曲線根據(jù)上表繪制的ROC曲線：26謝謝謝謝27檢測錯誤與ROC曲線《信息隱藏實驗教程》教學幻燈片十八檢測錯誤與ROC曲線《信息隱藏實驗教程》教學28檢測錯誤

在檢測水印時，存在著兩類錯誤：第一類錯誤（FalsePositive）

第二類錯誤（TruePositive）

檢測錯誤在檢測水印時，存在著兩類錯誤：29第一類錯誤該類錯誤是指在沒有嵌入水印的接收圖像中檢測到了水印，也就是說水印檢測器輸出的相關性值大于給定的閾值。由于檢測器錯誤的發(fā)出報警，因此這類錯誤也被稱為虛警錯誤。

第一類錯誤該類錯誤是指在沒有嵌入水印的接收圖像中檢測到30第二類錯誤該類錯誤是指在有嵌入水印的接收圖像中沒有檢測到水印，也就是說水印檢測器的輸出的相關性值小于給定的閾值。在這種情況下，檢測器應該但沒有報警，因此這類錯誤也被稱為漏警錯誤。

第二類錯誤該類錯誤是指在有嵌入水印的接收圖像中沒有檢測31檢測錯誤的直觀表示下圖可以直觀的看出這兩類錯誤產生的情況，圖中的陰影部分表示的是發(fā)生第一類錯誤的概率：檢測錯誤的直觀表示下圖可以直觀的看出這兩類錯誤產生的情32檢測錯誤的直觀表示檢測錯誤的直觀表示33ROC曲線的引入為了進一步了解和分析兩類錯誤，我們引進利用ROC(ReceiverOperatingCharacteristic)曲線的ROC分析法來說明它。ROC曲線是關于檢測閾值的函數(shù)曲線。它直觀反映了水印檢測的靈敏度和特異性以及兩類錯誤率之間的關系。

ROC曲線的引入為了進一步了解和分析兩類錯誤，我們引進34ROC曲線的引入ROC曲線縱坐標定義為TPR(TruePositiveRatio),我們也稱之為靈敏度（sensitivity），用公式表示為：式中的TP表示正確接受測試結果的次數(shù)，也就是在嵌有水印的接收圖像中檢測到水印的次數(shù)，F(xiàn)N表示錯誤拒絕的測試結果的次數(shù)，也就是在嵌有水印的接收圖像中沒有檢測到水印的次數(shù)。ROC曲線的引入ROC曲線縱坐標定義為TPR(True35ROC曲線的引入ROC曲線橫坐標定義為FPR(FalsePositiveRatio)，它與特異性（specificity，TNR）是互補的關系，即FPR=1—特異性。式中的FP表示錯誤報警測試結果的次數(shù)，即在沒有嵌入水印的接收圖像中檢測到水印的次數(shù)，TN表示正確拒絕測試結果的次數(shù)，即在沒有嵌入水印的接收圖像中沒有檢測到水印的次數(shù)。

ROC曲線的引入ROC曲線橫坐標定義為FPR(Fals36ROC曲線的含義

ROC曲線的含義37ROC曲線的含義ROC曲線越向左上偏，曲線下的面積越大，其性能就越好。上圖上半部分所示的是4種類型檢測的加有水印的圖像和沒有加水印的圖像的分布。圖的下半部分是上半部分對應的ROC曲線，我們可以明顯的看出，b實驗的曲線最為理想。

ROC曲線的含義ROC曲線越向左上偏，曲線下的面積越大38繪制ROC曲線實例在標準圖像庫中我們選取如下所示的五幅JPEG圖像，其大小均為256×256。我們將使用它們來生成實驗的樣本空間。繪制ROC曲線實例在標準圖像庫中我們選取如下所示的五幅J39繪制ROC曲線實例繪制ROC曲線實例40繪制ROC曲線實例繪制ROC曲線實例41繪制ROC曲線實例檢測的樣本空間由以下幾個方面構成：5幅原始圖像；每幅原始圖像做以10%壓縮率為間隔的9幅JPEG壓縮圖像，這一共得到45幅圖像；對每幅原始圖像各自加入10個不同種子的水印，得到50幅加有水印的圖像；再分別對5幅圖像加入水印，并進行如前面的壓縮，得到45幅經過不同程度壓縮的嵌有水印的圖像和5幅嵌入水印但沒有壓縮的圖像。這樣共有100幅加有水印的圖像（不管有沒有壓縮），以此作為后面檢測漏警錯誤的樣本空間。50幅沒有加入水印的圖像，作為檢測虛警錯誤的樣本空間。

繪制ROC曲線實例檢測的樣本空間由以下幾個方面構成：42繪制ROC曲線實例以某一個檢測閾值（例如0.05）檢測一幅圖像，結果有四種組合：圖像加有水印并被檢測出來（TP）、圖像加有水印沒有被檢測出來（FN）、圖像沒有加水印檢測結果也無水?。═N）、圖像沒有加水印但檢測出水?。‵P）。

繪制ROC曲線實例以某一個檢測閾值（例如0.05）檢測43繪制ROC曲線實例下面分別是常規(guī)檢測器和DCT檢測器檢測的結果：

繪制ROC曲線實例下面分別是常規(guī)檢測器和DCT檢測器檢測44繪制ROC曲線實例閾值

水印圖像中檢測到水印的累計數(shù)目（TP）

水印圖像中沒有檢測到水印的累計數(shù)目（FN

）無水印圖像中檢測到水印的累計數(shù)目（FP）

無水印圖像中沒有檢測到水印的累計數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.019824460.980.12繪制ROC曲線實例閾值水印圖像中檢測到水印的累計數(shù)目（45繪制ROC曲線實例0.02891138120.890.240.03851525250.850.50.04851519310.850.620.05841618320.840.640.06831712380.830.76繪制ROC曲線實例0.028911381246繪制ROC曲線實例0.0881196440.810.880.180200500.8010.1576240500.7610.270300500.7010.2568320500.681繪制ROC曲線實例0.08811964447繪制ROC曲線實例0.362380500.6210.458420500.5810.554460500.5410.653470500.5310.752480500.521繪制ROC曲線實例0.36238050048繪制ROC曲線實例閾值

水印圖像中檢測到水印的累計數(shù)目（TP）

水印圖像中沒有檢測到水印的累計數(shù)目（FN）

無水印圖像中檢測到水印的累計數(shù)目（FP）

無水印圖像中沒有檢測到水印的累計數(shù)目（TN）

靈敏度（TPR）

特異性(TNR)

0.02