廣義線性分段線性模式空間和權空間資料講解

廣義線性判別函數(shù)出發(fā)點線性判別函數(shù)簡單，容易實現(xiàn)；非線性判別函數(shù)復雜，不容易實現(xiàn)；若能將非線性判別函數(shù)轉(zhuǎn)換為線性判別函數(shù)，則有利于模式分類的實現(xiàn)。廣義線性判別函數(shù)基本思想 設有一個訓練用的模式集{x}，在模式空間x中線性不可分，但在模式空間x*中線性可分，其中x*的各個分量是x的單值實函數(shù)，x*的維數(shù)k高于x的維數(shù)n，即若取 x*=(f1(x),f2(x),….,fk(x)),k>n 則分類界面在x*中是線性的，在x中是非線性的，此時只要將模式x進行非線性變換，使之變換后得到維數(shù)更高的模式x*，就可以用線性判別函數(shù)來進行分類。[描述]廣義線性判別函數(shù)廣義線性判別函數(shù)的意義[線性的判別函數(shù)][fi(x)選用二次多項式函數(shù)][x是二維的情況][x是n維的情況][fi(x)選用r次多項式函數(shù)，x是n維的情況][例子][d(x)的總項數(shù)]說明d(x)的項數(shù)隨r和n的增加會迅速增大，即使原來模式x的維數(shù)不高，若采用次數(shù)r較高的多項式來變換，也會使變換后的模式x*的維數(shù)很高，給分類帶來很大困難。實際情況可只取r=2，或只選多項式的一部分，例如r=2時只取二次項，略去一次項，以減少x*的維數(shù)。分段線性判別函數(shù)出發(fā)點線性判別函數(shù)在進行分類決策時是最簡單有效的，但在實際應用中，常常會出現(xiàn)不能用線性判別函數(shù)直接進行分類的情況。采用廣義線性判別函數(shù)的概念，可以通過增加維數(shù)來得到線性判別，但維數(shù)的大量增加會使在低維空間里在解析和計算上行得通的方法在高維空間遇到困難，增加計算的復雜性。引入分段線性判別函數(shù)的判別過程，它比一般的線性判別函數(shù)的錯誤率小，但又比非線性判別函數(shù)簡單。分段線性判別函數(shù)圖例：用判別函數(shù)分類可用一個二次判別函數(shù)來分類也可用一個分段線性判別函數(shù)來逼近這個二次曲線分段線性判別函數(shù)分段線性判別函數(shù)的設計采用最小距離分類的方法[最小距離分類]分段線性判別函數(shù)圖例：分段線性分類設計模式空間和權空間[分類描述]模式空間對一個線性方程w1x1+w2x2+w3x3=0，它在三維空間(x1x2x3)中是一個平面方程式，w=(w1w2w3)T是方程的系數(shù)。把w向量作為該平面的法線向量，則該線性方程決定的平面通過原點且與w垂直。模式空間和權空間模式空間若x是二維的增廣向量，此時x3=1，則在非增廣的模式空間中即為{x1,x2}二維坐標，判別函數(shù)是下列聯(lián)立方程的解 w1x1+w2x2+w3=0 x3=1 即為這兩個平面相交的直線AB此時，w=(w1w2)T為非增廣的權向量，它與直線AB垂直；AB將平面分為正、負兩側(cè)，w離開直線的一側(cè)為正，w射向直線的一側(cè)為負。模式空間和權空間模式空間增廣向量決定的平面非增廣向量決定的直線模式空間和權空間權空間若將方程x1w1+x2w2+w3=0繪在權向量w=(w1w2w3)T的三維空間中，則x=(x1x21)T為方程的系數(shù)。若以x向量作為法線向量，則該線性方程所決定的平面為通過原點且與法線向量垂直的平面，它同樣將權空間劃分為正、負兩邊。在系數(shù)x不變的條件下，若w值落