ch2-2.3.2正態(tài)分布下的Bayes判據(jù)的判別函數(shù)和決策面(線性、二次分類器)

2.3.2正態(tài)分布下的Bayes判據(jù)的判別函數(shù)和決策面

(二次和線性分類器)2/4/20231四川大學、電氣信息學院、余勤前面講的提供了設計各種特定形式分類器的基礎。這一小節(jié)講述二次和線性分類器。所以叫作二次或線性分類器是因為分類（決策）面方程的數(shù)學形式是二次或線性的。這樣的分類器又叫參數(shù)分類器，因為它們由一些參數(shù)所規(guī)定（如分布的均值和方差）。2/4/20232四川大學、電氣信息學院、余勤二次或線性分類器的引出：在一定的分布和條件下（如正態(tài)、等協(xié)方差矩陣），貝葉斯決策可以導致二次或線性分類器。雖然貝葉斯決策（似然比檢驗）在錯誤率或風險上是最優(yōu)的，但必須知道類條件密度。(在大多數(shù)應用場合，類條件密度函數(shù)是從有限的樣本中估計的。后面我們將講一些密度函數(shù)估計的方法。但密度函數(shù)的估計本身是一件復雜工作（其難度不低于分類）并且需要大量樣本。)2/4/20233四川大學、電氣信息學院、余勤即使我們得到了密度函數(shù)，有時用似然比檢驗的方法也很難計算，需要大量的時間和空間。因此我們有時考慮實際中更簡便易行的分類器設計方法。用二次、線性、分段線性分類器。即先規(guī)定分類器的數(shù)學（函數(shù)）形式，然后在適當?shù)臏蕜t下，來確定這些函數(shù)中的未知參數(shù)。這一節(jié)先分析在什么條件下貝葉斯分類器變成二次和線性分類器，第四章再討論當這些條件不滿足時，如何設計“性能好”的參數(shù)分類器(LDA判別式分析法）。2/4/20234四川大學、電氣信息學院、余勤一.兩類問題的二次和線性分類器對于似然比檢驗的決策規(guī)則:2/4/20235四川大學、電氣信息學院、余勤當各類的類條件密度是多元高斯分布時，這時似然比為為協(xié)方差矩陣，d維均值向量。2/4/20236四川大學、電氣信息學院、余勤定義，-2倍自然對數(shù),則:(1)上式是二次分類器。計算

到各類均值的Mahalanobis距離，然后和閾值

相比較，決定屬于第一類或第二類。2/4/20237四川大學、電氣信息學院、余勤在一維時，馬氏距離，即比較用方差標準化的一般距離。展開(1)式，有式中2/4/20238四川大學、電氣信息學院、余勤決策邊界是二次曲面（超曲面）：超橢球面、超雙曲面、超拋物面、超平面等，或它們組合的形式。（為了確定二次曲面的形狀，首先要消掉x的各分量相乘的項，可采用旋轉(zhuǎn)坐標系的方法，把坐標軸旋轉(zhuǎn)到A的特征向量的方向。曲面的幾何形狀由A的特征值決定。如果A的特征值全部是正的，則是超橢球面；如果特征值有些正，有些負，則是超雙曲面；如果有些特征值是0，則是超拋物面。）2/4/20239四川大學、電氣信息學院、余勤當落到?jīng)Q策邊界的某一側(cè)時，就把它分到相應的類。也可以把上述二次分類器用到非高斯分布的密度函數(shù)，但這時不能保證錯誤率最小。（但所確定的邊界是和二階統(tǒng)計矩（均值、方差）最相匹配的。）

任何具有（2）式的分類器都叫作二次分類器。只有A、b、c是由高斯密度函數(shù)確定時，才叫高斯分類器。2/4/202310四川大學、電氣信息學院、余勤例1：兩維時的二次分類器的決策邊界假定兩類模式都是高斯分布的，參數(shù)為：求的分類邊界，并畫出其曲線。2/4/202311四川大學、電氣信息學院、余勤解：

2/4/202312四川大學、電氣信息學院、余勤當T=0，h(x)=T=0化為：，是一雙曲線。2/4/202313四川大學、電氣信息學院、余勤當先驗概率相等(）時，最小錯誤率決策規(guī)則選擇類條件概率密度函數(shù)大的。由于第二類在方向上的方差大于類1的，這樣密度函數(shù)在方向上將有較廣的延伸。使得在左邊區(qū)域內(nèi)從而有，盡管這些點比較靠近類1的均值點。2/4/202314四川大學、電氣信息學院、余勤在前面的中，如果兩類的協(xié)方差矩陣相等，則矩陣這時決策規(guī)則為:這時的決策邊界就退化為線性決策邊界（超平面），相應的分類器為線性分類器。特別地：當時，決策面方程可化為：其中：滿足（2－96）的x的軌跡是一個超平面該超平面過正交于和的連線。當時，在連線的中點，當時，在連線上靠近先驗概率小的一邊。2/4/202315四川大學、電氣信息學院、余勤二.判別函數(shù)和多類分類器多類的判別函數(shù)

當模式有類，這時的最小錯誤率的決策規(guī)則可以表示為：若（3）

式中稱為判別函數(shù)（discriminantfunction）。它表示決策規(guī)則。2/4/202316四川大學、電氣信息學院、余勤由貝葉斯公式，和等價。即把用（3）式中時，決策規(guī)則是一樣的。當先驗概率相等時，也是一組等價的判別函數(shù)。一般地，若是任意一組判別函數(shù)，則下面定義的也是一組等價的判別函數(shù)：a>0,b是常數(shù)。（也可以是x的函數(shù)，但不能是k的函數(shù)。）2/4/202317四川大學、電氣信息學院、余勤同樣，若f是單調(diào)增函數(shù)，它和也是等價的。這些性質(zhì)可以使我們從一組判別函數(shù)推導出另外的判別函數(shù)，以便計算上更加簡單，或者意義更清楚，便于理解。2/4/202318四川大學、電氣信息學院、余勤多類的二次和線性分類器

由于自然對數(shù)是單調(diào)增的，所以可以定義下面等價的判別函數(shù)：當每類都是正態(tài)分布，其均值和協(xié)方差分別為和時，這時的最小錯誤率決策規(guī)則的判別函數(shù)為：2/4/202319四川大學、電氣信息學院、余勤這是二次判別函數(shù)。當所有類的先驗概率相等時，可以省略。前面已經(jīng)證明，當兩類的協(xié)方差矩陣相等時，二次分類器退化為線性分類器。多類時也是如此。當時，（4）式化為：上式中，由于第一項和第四項對所有的類都是相同的，所以等價的一組判別函數(shù)為：（5）上式是x的線性函數(shù)。2/4/202320四川大學、電氣信息學院、余勤例2：最小距離分類器。假定各類的先驗概率相等，而且各類。即的各個分量不相關，且各類等方差。解：這時的判別函數(shù)化為：后兩項對所有類是共同的，可以省略。分母中的也可以去掉，因而有等價的判別函數(shù)：這時的決策規(guī)則的含義是：離哪類的均值最近，就把它分到哪類。2/4/202321四川大學、電氣信息學院、余勤例3

：內(nèi)積分類器（相關分類器）有假定。利用線性判別函數(shù)若進一步假定每類的均值的模相等，即相等，它們分布在半徑為的一個超球面上，且由于假定先驗概率也相等，因此，等價的判別函數(shù)為：即將觀測向量x和每類的均值μk作內(nèi)積（或稱相關），然后選擇值最大的，作為它的類。2/4/202322四川大學、電氣信息學院、余勤上述經(jīng)典例子是通信理論中信號檢測的一個例子。假定有c種已知信號要檢測。令x(t)表示接收到的信號，mk(t)是c種已知的信號，k=1，2，…，c

。mk(t)在發(fā)送的過程中，混入了白噪聲w(t)，即接收到的信號為：

如果隨機向量x和mk是由相應的時間函數(shù)取樣而成，即假設：白噪聲w(t)是零均值、等方差、不相關的信號（隨機過程）。即在任意時刻ti，，方差為，且當時，2/4/202323四川大學、電氣信息學院、余勤2/4/202324四川大學、電氣信息學院、余勤假定相等，即要求所有的信號具有相等的能量。把接收到的信號和已知信號作相關，然后選擇相關最大的輸出。作相關時通常通過一個“匹配濾波器”來實現(xiàn)。選擇最大的輸出

匹配濾波器

┇

匹配濾波器匹配濾波器2/4/202325四川大學、電氣信息學院、余勤在連續(xù)時，判別函數(shù)：上式的相關通常用一個線性濾波器的輸出來實現(xiàn)。該濾波器的輸出是相關值，濾波器的單位沖激響應，濾波器可由專門的儀器來做。其中：滿足，因此2/4/202326四川大學、電氣信息學院、余勤可以把上面的線性分類器的討論再進一步。在線性分類器中，如果把向量在∑的特征向量的坐標系下表示（作變換），并作比例變換使所有分量的方差變?yōu)?，這時。線性分類器將作μkT●x相關運算。在通信問題中，如果噪聲信號是相關的，而且方差是變化的，那么最優(yōu)的信號檢測是使噪聲變?yōu)椴幌嚓P的，然后作相關或匹配濾波器運算。

2/4/202327四川大學、電氣信息學院、余勤小結(jié)一些簡單的決策理論。最小錯誤率、風險、Neyman—Pearson

似然比檢驗，只是閾值不同。最小最大決策，當先驗概率變化時，使最大的錯誤率最小。序貫決策：測量的維數(shù)可變時，分析了閾值和錯誤率間的關系。在獨立同分布的假定下分析了維數(shù)的期望值。2/4/202328四川大學、電氣信息學院、余勤線性和二次分類器。對