第五周神經(jīng)網(wǎng)絡(luò)和模糊集-ToStu

1分類:高級(jí)方法后向傳播分類模糊集算法小結(jié)2什么是分類？分類，分類器銀行貸款員需要分析數(shù)據(jù)，以便搞清楚哪些貸款申請(qǐng)者是“安全的”；醫(yī)學(xué)研究人員分析癌癥數(shù)據(jù)，以便選擇治療方案數(shù)據(jù)分析任務(wù)都是分類，都需要構(gòu)造一個(gè)分類器來(lái)預(yù)測(cè)類標(biāo)號(hào)數(shù)值預(yù)測(cè)，預(yù)測(cè)器銷售經(jīng)理希望預(yù)測(cè)一位給定的顧客在雙11的一次購(gòu)物期間將花多少錢(qián)數(shù)據(jù)分析任務(wù)就是數(shù)值預(yù)測(cè)，所構(gòu)造的模型（預(yù)測(cè)器）預(yù)測(cè)一個(gè)連續(xù)值函數(shù)或有序值，而不是類標(biāo)號(hào)3分類預(yù)測(cè)類標(biāo)號(hào)(離散的或標(biāo)稱的)基于訓(xùn)練集和類標(biāo)號(hào)構(gòu)建分類器，并對(duì)新的數(shù)據(jù)進(jìn)行分類數(shù)值預(yù)測(cè)所構(gòu)造的模型預(yù)測(cè)一個(gè)連續(xù)值函數(shù)，而不是類標(biāo)號(hào)典型應(yīng)用信用卡/貸款批準(zhǔn):醫(yī)療診斷:腫瘤是良性的還是惡性的欺詐檢測(cè):一次交易是否是欺詐的網(wǎng)頁(yè)分類:屬于哪一類預(yù)測(cè)問(wèn)題:分類與數(shù)值預(yù)測(cè)4分類—一個(gè)兩階段過(guò)程兩階段：學(xué)習(xí)階段（構(gòu)建分類模型）和分類階段（使用模型預(yù)測(cè)給定數(shù)據(jù)的類標(biāo)號(hào)）分類模型構(gòu)建(學(xué)習(xí)階段):描述預(yù)先定義的類假設(shè)每個(gè)元組都屬于一個(gè)預(yù)先定義的類，由類標(biāo)號(hào)屬性確定，類標(biāo)號(hào)屬性是離散值的和無(wú)序的用于模型構(gòu)建的元組集合稱為訓(xùn)練集模型用分類規(guī)則，決策樹(shù)，或數(shù)學(xué)公式表示模型使用(分類階段):用于分類未知對(duì)象評(píng)估模型的準(zhǔn)確性檢驗(yàn)樣本的已知標(biāo)簽與模型的分類結(jié)果比較準(zhǔn)確率是被模型正確分類的檢驗(yàn)樣本所占的百分比檢驗(yàn)集是獨(dú)立于訓(xùn)練集的(否則過(guò)分?jǐn)M合)如果準(zhǔn)確性是可接受的，則使用模型來(lái)分類新的數(shù)據(jù)5分類：人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的解剖圖神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)。樹(shù)突由于電化學(xué)作用接受外界的刺激；通過(guò)胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過(guò)軸突末梢傳遞給其它的神經(jīng)元。這一過(guò)程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過(guò)程。6分類：人工神經(jīng)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型分類：人工神經(jīng)網(wǎng)絡(luò)分類：人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)節(jié)點(diǎn)層數(shù)，可分為單層網(wǎng)絡(luò)和多層網(wǎng)絡(luò)根據(jù)有無(wú)反饋，可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)分類：人工神經(jīng)網(wǎng)絡(luò)10分類：人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的分類：前向傳播網(wǎng)絡(luò)后向傳播網(wǎng)絡(luò)(Backpropagation簡(jiǎn)稱BP)遞歸神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)11分類：后向傳播(Backpropagation,BP)后向傳播:一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法由心理學(xué)家和神經(jīng)學(xué)家開(kāi)創(chuàng)，旨在尋求開(kāi)發(fā)和檢驗(yàn)神經(jīng)的計(jì)算模擬神經(jīng)網(wǎng)絡(luò):是一組連接的輸入/輸出單元，其中每個(gè)連接都與一個(gè)權(quán)重相關(guān)聯(lián)。在學(xué)習(xí)階段,通過(guò)調(diào)整這些權(quán)重，使得它能夠預(yù)測(cè)輸入元組的正確類標(biāo)號(hào)來(lái)學(xué)習(xí)由于單元之間的連接，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)又稱連接者學(xué)習(xí)12作為分類器的神經(jīng)網(wǎng)絡(luò)缺點(diǎn)需要很長(zhǎng)的訓(xùn)練時(shí)間需要大量靠經(jīng)驗(yàn)確定的參數(shù)，如網(wǎng)絡(luò)拓?fù)浠颉敖Y(jié)構(gòu)”可解釋性差:很難解釋網(wǎng)絡(luò)中學(xué)習(xí)的權(quán)重和“隱藏單元”的符號(hào)含義優(yōu)點(diǎn)對(duì)噪聲數(shù)據(jù)的高承受能力對(duì)未經(jīng)訓(xùn)練的數(shù)據(jù)的模式分類能力非常適合連續(xù)值的輸入和輸出(不像大部分決策樹(shù)算法)已經(jīng)成功地應(yīng)用于廣泛的現(xiàn)實(shí)世界的數(shù)據(jù)，如手寫(xiě)字符識(shí)別算法天生是并行的最近已經(jīng)開(kāi)發(fā)了一些從訓(xùn)練過(guò)的神經(jīng)網(wǎng)絡(luò)提取規(guī)則的技術(shù)13一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)wij輸入向量:X輸入層隱藏層輸出層輸出向量多層前饋神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層、一個(gè)或多個(gè)隱藏層和一個(gè)輸出層組成。網(wǎng)絡(luò)的輸入對(duì)應(yīng)于每個(gè)訓(xùn)練元組的觀測(cè)屬性這些輸入通過(guò)輸入層，然后加權(quán)作為隱藏層的輸入該隱藏層單元的輸出可以輸入到另一個(gè)隱藏層。隱藏層的數(shù)量是任意的最后一個(gè)隱藏層的權(quán)重輸出作為輸出層的單元的輸入。包含一個(gè)隱藏層的網(wǎng)絡(luò)稱做二層神經(jīng)網(wǎng)絡(luò)（不計(jì)算輸入層）網(wǎng)絡(luò)是前饋的，因?yàn)槠錂?quán)重都不回送到輸入單元。一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)15定義網(wǎng)絡(luò)拓?fù)浯_定網(wǎng)絡(luò)拓?fù)?說(shuō)明輸入層的單元數(shù)、隱藏層數(shù)(如果多于一層)、每個(gè)隱藏層的單元數(shù)和輸出層的單元數(shù)對(duì)訓(xùn)練元組中每個(gè)屬性的輸入測(cè)量值進(jìn)行規(guī)范化，使得它們落入0.0和1.0之間。離散值屬性可以重新編碼，使得每個(gè)域值有一個(gè)輸入單元對(duì)于分類，一個(gè)輸出單元可以用來(lái)表示兩個(gè)類；如果多于兩個(gè)類，則每個(gè)類使用一個(gè)輸出單元一旦網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練，并且其準(zhǔn)確率不能被接受，則通常用不同的網(wǎng)絡(luò)拓?fù)浠蚴褂貌煌某跏紮?quán)重集，重復(fù)訓(xùn)練過(guò)程。16后向傳播迭代地處理訓(xùn)練元組數(shù)據(jù)集，把每個(gè)元組的網(wǎng)絡(luò)預(yù)測(cè)與實(shí)際已知的目標(biāo)值相比較進(jìn)行學(xué)習(xí)(目標(biāo)值可以是訓(xùn)練元組的已知類標(biāo)號(hào)或者是連續(xù)值)對(duì)于每個(gè)訓(xùn)練樣本，修改權(quán)重使得網(wǎng)絡(luò)預(yù)測(cè)和實(shí)際目標(biāo)值之間的均方誤差最小這種修改“后向”進(jìn)行，即由輸出層，經(jīng)由每個(gè)隱藏層，到第一個(gè)隱藏層(因此稱做后向傳播)步驟網(wǎng)絡(luò)的權(quán)重被初始化為小隨機(jī)數(shù)。每個(gè)單元都有一個(gè)相關(guān)聯(lián)的偏倚(bias)向前傳播輸入(通過(guò)應(yīng)用激活函數(shù))向后傳播誤差(通過(guò)更新權(quán)重和偏倚)終止條件(例如當(dāng)誤差非常小,等)后向傳播算法流程18一個(gè)隱藏或輸出層單元一個(gè)隱藏或輸出單元：?jiǎn)卧妮斎胧莵?lái)自上一層的輸出。這些與對(duì)應(yīng)的權(quán)重相乘，以形成加權(quán)和。加權(quán)和加到與隱藏或輸出單元相關(guān)聯(lián)的偏倚上(形成凈輸入)。一個(gè)非線性的激活函數(shù)作用于凈輸入。mkf加權(quán)和輸入向量x(上一層的輸出)輸出

y激活函數(shù)權(quán)重?w0w1wnx0x1xn偏倚19向后傳播誤差對(duì)于輸出層單元j，誤差Errj用下式計(jì)算：Errj=Oj(1-Oj)(Tj-Oj)其中Oj是單元j的實(shí)際輸出，Ti是j給定訓(xùn)練元組的已知目標(biāo)值。計(jì)算隱藏層單元j的誤差:其中，wjk是由下一較高層中單元k到單元j的連接權(quán)重，而Errk是單元k的誤差。20更新權(quán)重和偏倚更新權(quán)重，其中是權(quán)wij的改變量其中，變量l是學(xué)習(xí)率，通常取0.0和1.0之間的常數(shù)值。更新偏倚，其中是偏倚的改變量

21用訓(xùn)練過(guò)的網(wǎng)絡(luò)對(duì)未知元組分類把該元組X輸入到訓(xùn)練過(guò)的網(wǎng)絡(luò)計(jì)算每個(gè)單元的凈輸入和輸出(不需要計(jì)算誤差和它們的后向傳播)如果每個(gè)類有一個(gè)輸出節(jié)點(diǎn)，則具有最高輸出值的節(jié)點(diǎn)決定X的預(yù)測(cè)類標(biāo)號(hào)如果只有一個(gè)輸出節(jié)點(diǎn)，則輸出值大于或等于0.5可以視為正類，而值小于0.5可以視為負(fù)類。。22分類:高級(jí)方法后向傳播分類模糊集算法小結(jié)23使用IF-THEN規(guī)則分類以

IF-THEN規(guī)則的形式表示學(xué)習(xí)得到的模型R:IFage=youthANDstudent=yesTHENbuys_computer=yes“IF”部分稱為規(guī)則前件或前提,“THEN”部分稱為規(guī)則的結(jié)論在規(guī)則前件，條件由一個(gè)或多個(gè)用邏輯連接詞AND連接的屬性測(cè)試組成；規(guī)則的結(jié)論包含一個(gè)類預(yù)測(cè)對(duì)于給定的元組，如果規(guī)則前件中的條件都成立，則規(guī)則覆蓋了該元組規(guī)則的評(píng)價(jià):覆蓋率和準(zhǔn)確率ncovers表示規(guī)則R覆蓋的元組數(shù)ncorrect表示規(guī)則R正確分類的元組數(shù)coverage(R)=ncovers/|D|/*D:訓(xùn)練數(shù)據(jù)集*/accuracy(R)=ncorrect/ncovers模糊性－模糊概念、模糊現(xiàn)象到處存在天氣冷熱雨的大小風(fēng)的強(qiáng)弱人的胖瘦年齡大小個(gè)子高低模糊集簡(jiǎn)介1965年，美國(guó)計(jì)算機(jī)與控制論專家扎德（L.A.Zadeh）提出了模糊集合論，用隸屬程度來(lái)描述差異的中介過(guò)渡，是一種用精確的數(shù)學(xué)語(yǔ)言對(duì)模糊性進(jìn)行描述的方法。

模糊數(shù)學(xué)的出現(xiàn)則把數(shù)學(xué)的應(yīng)用范圍從精確現(xiàn)象擴(kuò)大到模糊現(xiàn)象。

模糊集通用集合X–一般為精確集；精確集合指定值{0,1}給集合X中的元素；模糊集指定[0,1]給集合X中的元素；這些值被稱為隸屬函數(shù)

m.一個(gè)模糊集的隸屬函數(shù)定義為:

A:X[0,1] A:[x1/m1,x2/m2,…,xn/mn}模糊集圖例模糊集舉例(1)討論人及“youngness”令

S為人的集合模糊子集

YOUNG“什么樣的人才算年輕?"對(duì)每一個(gè)在論域中的人，我們都指定一個(gè)年輕程度的值給模糊子集。可以指定一個(gè)基于年齡的隸屬度函數(shù)：young(x)={1,如果age(x)<=20,

(30-age(x))/10,如果20<age(x)<=30,

0,如果

age(x)>30}

模糊集舉例(2)隸屬度函數(shù)圖示舉例:“Parthiban”是年輕人的隸屬程度為0.50A=全體高個(gè)子的集合Heights5’10’’1.0CrispsetAMembershipfunctionHeights5’10’’6’2’’.5.9Fuzzy

setA1.0模糊集舉例(3)離散值的模糊集模糊集C=“理想的居住城市”X={舊金山,波士頓,洛杉磯}(離散且無(wú)序)C={(舊金山,0.9),(波士頓,0.8),(洛杉磯,0.6)}模糊集A=“理想的孩子數(shù)目”X={0,1,2,3,4,5,6}(離散論域)A={(0,0.1),(1,0.3),(2,0.7),(3,1),(4,0.6),(5,0.2),(6,0.1)}隸屬函數(shù)隸屬函數(shù)的特性:面向測(cè)度的非概率函數(shù)MFsHeights5’10’’.5.8.1

“tall”inAsia“tall”intheUS

“tall”inNBA隸屬函數(shù)定義論域U上的一個(gè)模糊集合A通過(guò)一個(gè)隸屬函數(shù)刻畫(huà)：

μA

(x):U

[0,1]，x

U

對(duì)任意x

U，都指定一個(gè)數(shù)μA(x)

[0,1]與之對(duì)應(yīng)，稱為x對(duì)A的隸屬度，μA

稱為A的隸屬函數(shù)。

若μA

(x)=0，則x完全不屬于A；若μA

(x)=1，則x完全屬于A；若0<μA

(x)<1，則x屬于A的隸屬度為μA

(x)。

當(dāng)μA的值域?yàn)閧0,1}時(shí)，μA退化為經(jīng)典集合的特征函數(shù)，而A退化為經(jīng)典集合。

常用的隸屬函數(shù)舉例(1)三角隸屬函數(shù)常用的隸屬函數(shù)舉例(2)梯形隸屬函數(shù)常用的隸屬函數(shù)舉例(2))(2)/σ)((=--excx1/2AmGaussian(x,c,σ)=高斯隸屬函數(shù)廣義貝爾函數(shù)隸屬函數(shù)圖形disp_mf.mL-R隸屬函數(shù)Example:difflr.mc=65a=60b=10c=25a=10b=40模糊集合的表示法可以通過(guò)給出隸屬函數(shù)的解析式來(lái)表示一個(gè)模糊集?！澳昀稀監(jiān)與“年輕”Y的隸屬函數(shù)如下：模糊集合的表示法當(dāng)論域?yàn)橛邢藜瘯r(shí)，可以用序偶的形式或向量的形式表示模糊集。

可以采用序偶形式表示A，形如A={(a,0.3),(b,0.7),(c,1),(d,0),(e,0.25)}

，還可以采用向量形式表示A，形如A=(0.3,0.7,1,0,0.25)。

扎德的表示形式為：A=0.3/a+0.7/b+1/c+0/d+0.25/e核、支集、正規(guī)模糊集KerA={u|u∈U,μA(u)=1}SuppA={u|u∈U,μA(u)>0}則稱KerA為模糊集A的核，SuppA為模糊集A的支集。正規(guī)模糊集：若KerA≠Φ，則稱A為正規(guī)模糊集?；鶖?shù)——在限定的論域X內(nèi)給定一個(gè)模糊集A，它的基數(shù)定義為：λ截集設(shè)A為論域U上的模糊集，λ

[0,1]，令A(yù)λ={x|μA

(x)≥λ}，稱Aλ為A的λ截集。定理：(A

B)λ=Aλ

Bλ，(A

B)λ=Aλ

Bλ

定理：若λ≤μ，則Aλ

Aμ。

例：令U={x1,x2,x3,x4,x5}，

A=0.9/x1+0.7/x2+1/x3+0.2/x4+0.3/x5，求A0.7，A1，A0。

解：A0.7={x1,x2,x3}，A1={x3}，A0=U。

模糊集的并、交、補(bǔ)模糊集間的運(yùn)算實(shí)際上是逐點(diǎn)對(duì)隸屬度作相應(yīng)的運(yùn)算。

設(shè)A，B是同一論域U上的兩個(gè)模糊集合，其隸屬函數(shù)分別為μA

(x)和μB

(x)，A與B的并集、交集分別記為A

B和A

B。A的補(bǔ)集記為A’。它們的隸屬函數(shù)分別為：

其中，max和

表示最大運(yùn)算，min和

表示最小運(yùn)算。

笛卡爾乘積設(shè)A1，A2，…，An是論域U1，U2，…，Un上的模糊集，A1，A2，…，An的笛卡爾乘積記為A1×A2×…×An，定義為論域U1×U2…×Un上的模糊集R（A1，A2，…，An）。其隸屬函數(shù)根據(jù)論域的有限和無(wú)限這兩種情形，可有：模糊關(guān)系的笛卡爾乘積設(shè)論域U={x1,x2,x3}，是表示三個(gè)人的集合。下面是U×U上的模糊關(guān)系R（U，U）的例子，用來(lái)表示三個(gè)人彼此熟悉的模糊關(guān)系。R=1.0/(x1,x1)+0.8/(x1,x2)+0.7/(x1,x3)+0.9/(x2,x1)+1.0/(x2,x2)+0.1/(x2,x3)+0.6/(x3,x1)+0.2/(x3,x2)+1.0/(x3,x3)

在R中，μR(xi,xi)=1(i=1,2,3)表示每個(gè)人對(duì)其自己最了解。而μR(x2,x3)=0.1表示x2對(duì)x3基本上不熟悉。μR(x3,x2)=0.2表示x3對(duì)x2有點(diǎn)熟悉。模糊集間的包含關(guān)系、相等關(guān)系設(shè)A，B是同一論域U上的兩個(gè)模糊集，定義模糊集間的包含關(guān)系、相等關(guān)系如下：

若

x

U，都有μA

(x)≥μB

(x)，則稱A包含B，記作A

B；

若

x

U，都有μ