智能計(jì)算基礎(chǔ)

智能計(jì)算基礎(chǔ)第一章緒論第二章不精確推理第三章人工神經(jīng)網(wǎng)絡(luò)計(jì)算第四章演化計(jì)算第五章數(shù)據(jù)挖掘第六章粗集與模糊邏輯1第一章緒論智能的概念智能的發(fā)展歷史智能學(xué)的產(chǎn)生智能計(jì)算的分支2智能的概念哲學(xué)（philosophy）一詞來自于希臘語philosophia，是由愛好（philo）和智慧（sophia）組成。什么是智能？智能在哪里？智能什么樣？智能：個(gè)體有目的的行為、合理的思維，以及有效的適應(yīng)環(huán)境的綜合性能力。智能在人體中，是腦的重要功能。智能的表現(xiàn)形式多樣。其他動(dòng)物是否具有智能？人類和一些動(dòng)物具有的智力和行為能力。蚊子、蝙蝠、信天翁、海豚、猴子。電腦具有智能嗎？3最早的智力工具從起源中理解事物，就是從本質(zhì)上理解事物。4最早的智力工具最早的智力工具（大約公元前3500年）數(shù)的認(rèn)識計(jì)數(shù)數(shù)制計(jì)算算盤的發(fā)明算盤的樣子算盤的使用算盤的未來5思維邏輯研究公孫龍（約前320年-前250年）白馬論指物論通變論堅(jiān)白論名實(shí)論跡府白馬非馬6思維邏輯研究白馬論白和馬是兩個(gè)不同的概念白馬不同于馬白馬的“白”和“馬”可以分開黃馬和馬不同馬的顏色屬性并不固定7思維邏輯研究堅(jiān)白論石頭的白色和堅(jiān)硬是可以分離的屬性。眼睛看不到石之堅(jiān)，只能見石之白，這時(shí)堅(jiān)硬性等于沒有；手摸不到石之白，只能感到石之堅(jiān)，這時(shí)白等于沒有。有時(shí)感到堅(jiān)硬，有時(shí)感到白色，感覺到的和感覺不到的，彼此分離。彼此不聯(lián)在一起的，叫分離。分離就是潛在于自身之中。8思維邏輯研究名實(shí)論討論名詞（名）與其所指（實(shí)）的關(guān)系時(shí)，提出了名詞的所指必須有確定的規(guī)律。故彼彼止于彼，此此止于此，可。彼此而彼且此，此彼而此且彼，不可。如果認(rèn)為那個(gè)就是那個(gè)，這個(gè)就是這個(gè)，是正確的；而認(rèn)為那個(gè)也是這個(gè)，這個(gè)也是那個(gè)，則不正確。9思維邏輯研究墨子（約前468年-前376年）研究了類比推理、直接推理定義了具體名詞、抽象名詞區(qū)分了全稱判斷和特稱判斷兩個(gè)互相矛盾的判斷不能同時(shí)成立，必定有一個(gè)不能成立。墨子是中國邏輯學(xué)的奠基者。10思維邏輯研究荀子（約前313年-前238年）批判地改造了先秦諸子的學(xué)術(shù)思想，反對天命、神鬼迷信，形成了比較完整的唯物主義哲學(xué)體系。對于智力，有一定的認(rèn)識。他認(rèn)為“智力在心里?！倍⒛?、口、鼻、形，能各有接而不相能也，夫是之謂天官。心居中虛，以治五官，夫是之謂天君。11腦的作用和發(fā)現(xiàn)腦的發(fā)現(xiàn)，在公元前600年—前250年希臘哲學(xué)家、醫(yī)學(xué)教師希波克拉底，得出結(jié)論：大腦是人類感情的源地。亞里士多德也研究過腦，“在所有的動(dòng)物中，人擁有相對于身體比例而言最大的大腦。”12哲學(xué)的發(fā)展蘇格拉底：（前470—前399年），最早提出“歸納論證”方法。要求認(rèn)真考察前提和結(jié)論，精確地說明和定義概念，推斷必須有嚴(yán)格演繹，假設(shè)必須論證或駁斥。柏拉圖：（約前427年－前347年），把蘇格拉底的言論學(xué)說記錄，與自己的思想融合到一起，創(chuàng)建了哲學(xué)學(xué)科，史稱哲學(xué)王。亞里士多德：（前384—前322年），創(chuàng)造了形式邏輯學(xué)。主要著作有：形而上學(xué)、物理學(xué)、詩學(xué)、工具論、政治學(xué)、論靈魂、論產(chǎn)生與毀滅、倫理學(xué)。被稱為“動(dòng)物學(xué)之父”。與柏拉圖同在，與亞里士多德同在。13邏輯學(xué)判斷語句是對事物有所肯定或否定的思維形式。命題是具有真假意義的一句話。三段論如果所有闊葉植物都是落葉的，并且所有葡萄樹都是闊葉植物，則所有葡萄樹都是落葉的。14邏輯學(xué)證明指出了要通過推理獲得知識，就必須由已有的知識出發(fā)。駁斥了“一切知識都要經(jīng)過證明”的言論。公理、設(shè)定和定義都不需要證明。形而上學(xué)提出矛盾律、排中律和歸納法把矛盾律看作關(guān)于事物的規(guī)律承認(rèn)有一種“直覺推理”的思維方式不受邏輯支配。15形而上學(xué)形而上學(xué)(metaphysics)是哲學(xué)術(shù)語，哲學(xué)史上指哲學(xué)中探究宇宙根本原理的部分。形而上學(xué)可以理解為：對“終極實(shí)在”的研究。廣義上說，研究超越感性經(jīng)驗(yàn)存在的學(xué)問，都可以叫做形而上學(xué)。中文譯名“形而上學(xué)”取自《易經(jīng)》中“形而上者謂之道，形而下者謂之器”一語。16近代智能世界笛卡爾笛卡爾（1596-1650）提出了運(yùn)動(dòng)量守恒定律。他的學(xué)說導(dǎo)致關(guān)于人類存在與思維問題的理解發(fā)生了革命性的變化。《形而上學(xué)的沉思》、《方法論》、《哲學(xué)原理》、《心靈感受》發(fā)明了笛卡爾坐標(biāo)，被稱為“解析幾何之父”?，F(xiàn)代哲學(xué)之父、啟蒙之父17近代智能世界笛卡爾發(fā)生在腦部的任何特定的活動(dòng)，會立即影響人的心靈，并產(chǎn)生相應(yīng)的感受。如果每當(dāng)小提琴聲響時(shí)，你抽打一條狗五六次，那么，一旦它再聽到提琴聲，它就會吼叫而跑。18概率論的產(chǎn)生概率論源于意大利的賭博業(yè)。法國科學(xué)家Pascal和Fermat提出了概率論的概念。貝努力提出了“置信度”的概念。當(dāng)有了新的證據(jù)時(shí)，主觀概率可以更改。Bayes提出了Bayes公式，奠定了人工智能系統(tǒng)中不確定推理的現(xiàn)在方法論的基礎(chǔ)。拉普拉斯：把古典概率論推進(jìn)到現(xiàn)代概率論，形成了概率與統(tǒng)計(jì)。19數(shù)字計(jì)算器的發(fā)明Pascal于1642年發(fā)明了機(jī)械加減法機(jī)。Leibniz改進(jìn)了Pascal的機(jī)器，于1673年造出了四則運(yùn)算器，并提出了二進(jìn)制的想法。Babbage于1821年發(fā)明了通用計(jì)算機(jī)，可以存儲地址和程序，用于自動(dòng)計(jì)算數(shù)學(xué)表，貼近了現(xiàn)代電子計(jì)算機(jī)。20邏輯數(shù)學(xué)化布爾于1847年提出了邏輯代數(shù)，把邏輯學(xué)引入到數(shù)學(xué)領(lǐng)域。布爾名著《思想規(guī)律的研究》曾提出：用符號語言與運(yùn)算可以表示任何事物。提出了“類”的概念，類與集合相近，類由屬于它的元素組成，它們都可以用符號表示。邏輯可以看作是類的演算，即相應(yīng)的符號的代數(shù)。21邏輯數(shù)學(xué)化布爾指出：交換律X+Y=Y+XXY=YX分配率X(Y+Z)=XY+XZ結(jié)合律X+(Y+Z)=(X+Y)+ZX(YZ)=(XY)Z22生命進(jìn)化論法國博物學(xué)家拉馬克于1809年提出了進(jìn)化學(xué)說。闡述了物種是可變的，其穩(wěn)定性是相對的。拉馬克被認(rèn)為是科學(xué)進(jìn)化論的創(chuàng)始人。達(dá)爾文，于1859年發(fā)表了《物種起源》。繁殖過剩，生存競爭，適者生存，自然定向選擇，構(gòu)成了達(dá)爾文進(jìn)化論的核心。孟德爾，于1865年發(fā)表了《植物雜交試驗(yàn)》，為遺傳學(xué)奠定了基礎(chǔ)，也為生物進(jìn)化中的遺傳變異提供了理論基礎(chǔ)。被稱為現(xiàn)代遺傳學(xué)之父。23腦的研究腦部功能區(qū)的確定大腦左半側(cè)控制身體右側(cè)，右腦控制身體左側(cè)。左半部主管語言、數(shù)學(xué)解析和分析思維；右半部主管空間思維和樂感、理解普通名詞、簡單句子和簡單算術(shù)。24腦的研究大腦的解剖腦是由什么組成的：高爾基于1872年發(fā)現(xiàn)了神經(jīng)元，并且認(rèn)為它們是直接連接在一起的?？訝栒J(rèn)為神經(jīng)元之間存在間隙，即突觸。卡加爾被認(rèn)為是神經(jīng)元學(xué)說的創(chuàng)立者。25神經(jīng)網(wǎng)絡(luò)詹姆斯：由神經(jīng)元組成的神經(jīng)系統(tǒng)，其功能是調(diào)節(jié)生物體內(nèi)各器官的活動(dòng)和適應(yīng)外部環(huán)境。聯(lián)想是由事件A聯(lián)想起事件B的過程，是大腦皮層活動(dòng)區(qū)A去激活大腦皮層活動(dòng)區(qū)B的過程。1943年，由生理學(xué)家麥克卡洛和數(shù)理邏輯學(xué)家皮茨成立了腦模型，稱為MP模型，開創(chuàng)了用電子裝置模仿人腦結(jié)構(gòu)和功能的研究方向。26心理學(xué)心理學(xué)是研究心理過程和行為的科學(xué)，即研究認(rèn)識、感情、意志等心理過程和能力、性格等心理特性。實(shí)驗(yàn)心理學(xué)、認(rèn)知心理學(xué)取得了很重要的理論和應(yīng)用。在機(jī)器的心理學(xué)研究上未取得有效的突破。27計(jì)算機(jī)模型的提出圖靈，于1934年提出邏輯設(shè)計(jì)和通用機(jī)器的概念。被稱作人工智能之父，計(jì)算機(jī)科學(xué)之父。于1936年發(fā)表論文《論可計(jì)算數(shù)及其在判定問題中的應(yīng)用》，是闡明現(xiàn)代計(jì)算和計(jì)算機(jī)原理的開山之作。28計(jì)算機(jī)模型的提出圖靈機(jī)，是通過一條紙帶讀入某種符號，一次讀入一個(gè)符號。機(jī)器內(nèi)部有一個(gè)動(dòng)作表，決定具體的動(dòng)作。這些動(dòng)作組成一組計(jì)算的基本動(dòng)作，由它們構(gòu)成不同的數(shù)學(xué)運(yùn)算。通用圖靈機(jī)，就是能完成各種行為表的圖靈機(jī)，相當(dāng)于現(xiàn)代計(jì)算機(jī)。29計(jì)算機(jī)的出現(xiàn)馮諾依曼于1945年提出了“在計(jì)算機(jī)內(nèi)部存儲器中儲存指令”的工作原理，以及基于這一原理的計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)?？刂破鳌⑦\(yùn)算器、存儲器、輸入和輸出設(shè)備的結(jié)構(gòu)仍然是主流計(jì)算機(jī)的結(jié)構(gòu)。30控制論和信息論的出現(xiàn)控制論：維納于1948年提出。自動(dòng)控制和自我調(diào)節(jié)是生物智能行為的核心。控制論的基本思想是用統(tǒng)一的觀點(diǎn)討論控制、通信與計(jì)算機(jī)，指出了計(jì)算機(jī)與神經(jīng)系統(tǒng)工作機(jī)理的相似性。信息論：香農(nóng)于1948年提出。香農(nóng)的論文“通信的數(shù)學(xué)理論”，采用了信息編碼和概率論方法，研究信號傳輸過程中的波形和干擾問題，發(fā)展了關(guān)于信息量的計(jì)算方法和統(tǒng)計(jì)理論，解釋了通信過程的本質(zhì)。31神經(jīng)元學(xué)習(xí)Hebb，提出了著名的Hebb學(xué)習(xí)規(guī)則。神經(jīng)元是通過不斷的學(xué)習(xí)獲得能力的增長的。學(xué)習(xí)能力的大小與神經(jīng)元的特征及神經(jīng)元的學(xué)習(xí)強(qiáng)度有關(guān)。某些學(xué)習(xí)是由遺傳決定的。外界環(huán)境也會影響神經(jīng)元的學(xué)習(xí)。32人工智能的誕生1956年在美國Dartmouth大學(xué)舉行了2個(gè)月的研討會。會上首次提出了“ArtificialIntelligence”這個(gè)概念，討論如何使機(jī)器模擬人類智能這個(gè)中心問題。由Newell和Shannon研制的邏輯理論機(jī)LT數(shù)學(xué)定理證明程序，是第一個(gè)處理符號而不是數(shù)字的程序，是機(jī)器證明數(shù)學(xué)定理的最早嘗試。Samuel編制的跳棋程序具有學(xué)習(xí)能力，后來超過了設(shè)計(jì)者本人。1969年，第一屆國際人工智能聯(lián)合會召開。我國從1978年開始計(jì)劃人工智能的研究。33進(jìn)化計(jì)算生物從低級進(jìn)化到高級、從不完善到完善的過程，類似于計(jì)算機(jī)處理事務(wù)的過程。一個(gè)生命體用一組特征數(shù)據(jù)表示，用它對生存環(huán)境的的適應(yīng)程度來評價(jià)它的優(yōu)劣，讓適應(yīng)性更強(qiáng)的特征繁殖得更快，最終取代適應(yīng)性差的。這就是生物進(jìn)化的抽象過程，對它編程后就得到進(jìn)化計(jì)算。代表：遺傳算法34計(jì)算智能人工神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)和進(jìn)化計(jì)算統(tǒng)稱為計(jì)算智能，這三者都是模仿人的智能或自然規(guī)律，給出解決實(shí)際問題的一套計(jì)算方法，稱之為智能計(jì)算方法。35專家系統(tǒng)與知識工程Feigenbaum，1969年與同事開發(fā)出DENDRAL專家系統(tǒng)，該系統(tǒng)能從光譜儀提供的信息中推斷出物質(zhì)的分子結(jié)構(gòu)。1976年，他們又開發(fā)出MYCIN醫(yī)療專家系統(tǒng)，用于抗生素藥物治療和血液感染診斷。1977年，F(xiàn)eigenbaum提出了專家系統(tǒng)和知識工程的概念。36知識工程知識工程是人工智能的一種技藝，它運(yùn)用人工智能的原理和方法，對那些需要專家知識才能解決的應(yīng)用難題提供求解的手段。恰當(dāng)運(yùn)用專家知識的獲取、表達(dá)和推理過程的構(gòu)成與解釋，是設(shè)計(jì)基于知識的系統(tǒng)的重要技術(shù)問題。37人機(jī)大戰(zhàn)下棋是很抽象的活動(dòng)，是機(jī)器可以和人競爭的智能領(lǐng)域之一。香農(nóng)和圖靈都編寫過下棋程序。香農(nóng)提出的評估函數(shù)，至今還在廣泛應(yīng)用。Samuel編寫的西洋跳棋程序，首次引入了自適應(yīng)的概念。1997年，深藍(lán)和卡斯帕羅夫大戰(zhàn)。2004年，紫光計(jì)算機(jī)和諸宸大戰(zhàn)。38智能計(jì)算的分支人工智能專家系統(tǒng)機(jī)器學(xué)習(xí)語音識別機(jī)器翻譯人機(jī)對弈人工神經(jīng)網(wǎng)絡(luò)演化計(jì)算數(shù)據(jù)挖掘39第二章不精確推理不精確推理的概念不精確推理的方法可信度方法主觀Bayes方法證據(jù)理論40推理的類型演繹推理：由一組前提必然推導(dǎo)出某個(gè)結(jié)論的過程。演繹推理的核心是三段論。演繹推理沒有增加新的知識。演繹推理的結(jié)果是保真的。歸納推理：以某命題為前提，推論出與其有歸納關(guān)系的其他命題的過程。歸納推理增加了新的知識，但是不保真。在系統(tǒng)應(yīng)用時(shí)，先根據(jù)一些事實(shí)進(jìn)行歸納推理，得出一些結(jié)論，再根據(jù)一些事實(shí)對這些結(jié)論進(jìn)行驗(yàn)證，去掉錯(cuò)誤的，保留正確的。41推理的類型外展推理：已知某一結(jié)果已經(jīng)發(fā)生，去尋找這個(gè)結(jié)果的原因。也即由因到果的解釋論證過程。菜中放了糖會有甜味，放了醋會有酸味，放了鹽會有咸味。當(dāng)我們從菜中吃出了某種味道，推理出菜中放了什么。概率推理：按照事件發(fā)生概率的大小來進(jìn)行推理的過程。非單調(diào)推理：推理過程中，在增加某些新的事實(shí)時(shí)，能夠取消以前的一些結(jié)論。不確定推理：42不精確推理的因素知識不完備、不精確知識描述的模糊性知識的隨機(jī)性原因的多樣性解決方案不唯一43不精確推理的概念不精確推理就是在知識的不確定性和證據(jù)的不精確性基礎(chǔ)上進(jìn)行的具有一定程度不精確但卻是合理的結(jié)論的思維過程。

44不精確推理的基本問題不精確推理的基本問題，包括關(guān)于證據(jù)的不確定性表示，規(guī)則的不確定性表示，不確定性的計(jì)算。這些問題的不同解決方法形成了各種不精確推理方法。45證據(jù)的不確定性為C（E），它表示證據(jù)E為真的程度。規(guī)則的不確定性為f（H，E），它稱為規(guī)則強(qiáng)度，表示證據(jù)E為真的前提下，假設(shè)H為真的程度。不精確推理就是在規(guī)則強(qiáng)度和證據(jù)的不確定性的基礎(chǔ)上，定義一組函數(shù)，求出結(jié)論的不確定性度量。不精確推理模型的算法46（1）根據(jù)規(guī)則前提E的不確定性C(E)和規(guī)則強(qiáng)度f(H，E)求出假設(shè)H的不確定性C(H)，即定義函數(shù)g1，使C(H)=g1[C(E)，f(H，E)]（2）根據(jù)分別由獨(dú)立的證據(jù)E1、E2求得的假設(shè)H的不確定性C1(H)和C2(H)，求出證據(jù)E1和E2的組合所導(dǎo)致的假設(shè)H的不確定性C(H)，即定義函數(shù)g2，使C(H)=g2[C1(H)，C2(H)]不精確推理模型的算法47（3）根據(jù)兩個(gè)證據(jù)E1和E2的不確定性C(E1)和C(E2)，求出證據(jù)E1和E2的合取的不確定性，即定義函數(shù)g3，使C(E1ANDE2)=g3[C(E1)，C(E2)]（4）根據(jù)兩個(gè)證據(jù)E1和E2的不確定性C(E1)和C(E2)，求出證據(jù)E1和E2的析取的不確定性，即定義函數(shù)g4，使C(E1ORE2)=g4[C(E1)，C(E2)]不精確推理模型的算法48可信度方法：可信度方法是MYCIN系統(tǒng)使用的不精確推理模型，它以確定性理論為基礎(chǔ)，方法簡單實(shí)用。主觀Bayes方法：主觀Bayes方法是PROSPECTOR系統(tǒng)使用的不精確推理模型，它是對Bayes公式進(jìn)行修正后形成的一種不精確推理方法。缺點(diǎn)是難以給出每個(gè)命題的先驗(yàn)概率。證據(jù)理論：證據(jù)理論通過引進(jìn)信任函數(shù)，把不確定和不知道區(qū)別開來。這些函數(shù)滿足比概率函數(shù)還弱的公理。主要的不精確推理模型491．知識的不確定性 IfEthenH，CF規(guī)則強(qiáng)度（規(guī)則可信度）：CF(H，E)=MB(H，E)-MD(H，E)其中MB為信任增長度(MeasureBelief)，MB(H，E)>0表示因證據(jù)E的出現(xiàn)增加了相信假設(shè)H為真的程度，即P(H|E)>P(H)。MD為不信增長度(MeasureDisbelief)，MD(H，E)>0表示因證據(jù)E的出現(xiàn)減少了相信假設(shè)H為真的程度，即P(H|E)<P(H)。可信度方法50

1 ifP(H)=1MB(H,E)=max[P(H,E),P(H)]-P(H)else 1-P(H) 因E而對H信任的增長 不相信H的概率

1 ifP(H)=0MD(H,E)=min[P(H,E),P(H)]-P(H)else -P(H) 因E而對H信任的減小 相信H的概率51性質(zhì)：（1）互斥性 當(dāng)MB(H，E)>0時(shí)MD(H，E)=0 當(dāng)MD(H，E)>0時(shí)MB(H，E)=0（2）值域 0MB(H，E)1 0MD(H，E)1 -1CF(H，E)152（3）典型值若P(H|E)=1，即E為真時(shí)H為真，則CF(H，E)=1若P(H|E)=0，即E為真時(shí)H為假，則CF(H，E)=-1若P(H|E)=P(H)，即E對H無影響，則CF(H,E)=0，稱為單位元。（4）CF(H，E)+CF(~H，E)=0 此點(diǎn)與概率不同：P(H|E)+P(~H|E)=153證明CF(H，E)+CF(~H，E)=0CF(H，E)+CF(~H，E)=MB(H，E)–MD(H，E)+MB(~H，E)–MD(~H，E)IfP(H|E)>P(H)，P(~H|E)<P(~H)則MB(H，E)–MD(~H，E)={P(H|E)–P(H)}/(1–P(H))–{P(~H|E)–P(~H)}/(-P(~H))=54(P(H|E)–P(H)+P(~H|E)–P(~H))/(1-P(H))=0IfP(H|E)<P(H)，P(~H|E)>P(~H)則-MD(H，E)+MB(~H，E)=(P(H|E)–P(H))/P(H)+(P(~H|E)–P(~H))/(1-P(~H))=055（5）互斥假設(shè) 若同一證據(jù)E有K個(gè)互不相容的假設(shè)Hi，(i=1，2，…，K)，則

只有當(dāng)E邏輯蘊(yùn)含某個(gè)Hi時(shí)，等式才成立。562．證據(jù)的不確定性 原始證據(jù)的不確定性（可信度）由用戶在系統(tǒng)運(yùn)行時(shí)提供。 非原始證據(jù)的不確定性（可信度）由不精確推理而來。57性質(zhì)：（1）值域 當(dāng)證據(jù)E以某種程度為真時(shí)0<CF(E)1 反之 -1CF(E)<0（2）典型值 當(dāng)證據(jù)E肯定為真時(shí)，取CF(E)=1 當(dāng)證據(jù)E肯定為假時(shí)，取CF(E)=-1 當(dāng)對證據(jù)一無所知時(shí)，取CF(E)=0 單位元58

3．算法(1)動(dòng)態(tài)強(qiáng)度----組合規(guī)則前提與規(guī)則的可信度 CF(H)=CF(H，E).max{0，CF(E)}(2)新證據(jù)法則----組合兩個(gè)獨(dú)立證據(jù)導(dǎo)出的同一假設(shè)的可信度。IfE1thenH，CF1 IfE2thenH，CF259

CF1(H)+CF2(H)-CF1(H).CF2(H) CF1(H)0且CF2(H)0CF(H)=CF1(H)+CF2(H)+CF1(H).CF2(H) CF1(H)<0且CF2(H)<0

CF1(H)+CF2(H) 其它60 組合多個(gè)獨(dú)立證據(jù)導(dǎo)出的同一假設(shè)的可信度，分別組合MB和MD：

0 當(dāng)MD(H)=1MB(H)=

MB1(H)+MB2(H)-MB1(H).MB2(H) 其他

0 當(dāng)MB(H)=1MD(H)=

MD1(H)+MD2(H)-MD1(H).MD2(H) 其他CF(H)=MB(H)-MD(H)61對3個(gè)獨(dú)立證據(jù)E1，E2，E3導(dǎo)出同一假設(shè):MB(H)=MB1(H)+MB2(H)+MB3(H)-MB1(H).MB2(H)-MB1(H).MB3(H)-MB2(H).MB3(H)+MB1(H).MB2(H).MB3(H)MD(H)=MD1(H)+MD2(H)+MD3(H)-MD1(H).MD2(H)-MD1(H).MD3(H)-MD2(H).MD3(H)+MD1(H).MD2(H).MD3(H) CF(H)=MB(H)-MD(H)62（3）證據(jù)的邏輯合取IfE1andE2and…andEnThenH IfEthenHCF(E)=CF(E1andE2and…andEn)=min{CF(E1)，CF(E2)，…，CF(En)}（4）證據(jù)的邏輯析取IfE1orE2or…orEnThenH IfEthenHCF(E)=CF(E1orE2or…orEn)=max{CF(E1)，CF(E2)，…，CF(En)}63例：有如下推理規(guī)則：rule1:ifE1thenH，0.9rule2:ifE2thenH，0.7rule3:ifE3thenH，-0.8rule4:ifE4andE5thenE1，0.7rule5:ifE6and(E7orE8)thenE2，1已知：CF(E3)=0.3，CF(E4)=0.9，CF(E5)=0.6，CF(E6)=0.7，CF(E7)=-0.3，CF(E8)=0.864 H 0.9 0.7 -0.8 E1 E2 E3 0.7 1 0.3 E4 E5 E6 0.9 0.6 0.7 E7 E8 -0.30.865CF(E4andE5)=min{E4，E5}=E5=0.6CF(E1)=0.6*0.7=0.42CF1(H)=0.9x

0.42 CF(E7orE8)=max{E7，E8}=E8=0.8CF(E6and(E7orE8))=min{E6and(E7orE8)}=E6=0.7CF2(H)=0.7x0.7 CF3(H)=-0.8x0.366使用MB和MD組合：MB1=0.378，MB2=0.49，MB3=0MD1=0，MD2=0，MD3=0.24MB(H)=MB1+MB2+MB3-MB1xMB2-MB1xMB3-MB2xMB3+MB1xMB2xMB3=0.68278MD(H)=MD1+MD2+MD3-MD1xMD2-MD1xMD3-MD2xMD3+MD1xMD2xMD3=0.24CF(H)=MB(H)-MD(H)=0.4427867練習(xí)題已知：R1:IFA1THENB10.8R2:IFA2THENB10.5R3:IFB1∧A3THENB20.8初始證據(jù)A1、A2、A3的可信度分別假設(shè)為0.9，0.8，1，畫出網(wǎng)絡(luò)圖，并求CF(B1)和CF(B2)。68主觀Bayes方法 以概率論Bayes公式為基礎(chǔ)1．知識的不確定性 IfEthenH，(LS，LN) 規(guī)則表示為 LS，LN E H PROSPECTOR的非精確推理過程，就是根據(jù)證據(jù)E的概率P(E)，利用規(guī)則的LS，LN，把結(jié)論H的先驗(yàn)概率P(H)更新為后驗(yàn)概率P(H|E)的過程，也稱為概率傳播。69Bayse公式為：70兩式相除，得：

71記為結(jié)論的先驗(yàn)幾率(priorodds)記結(jié)論的后驗(yàn)幾率(posteriorodds)72上式變成：同理可得：73記得

O(H|E)=LS.O(H) (1) O(H|~E)=LN.O(H) (2)上式為修改的Bayes公式74LS，LN的性質(zhì)：(1)LS當(dāng)LS=1時(shí)，O(H|E)=O(H)，即E對H沒有影響。當(dāng)LS>1時(shí)，O(H|E)>O(H)，即E支持H。當(dāng)LS<1時(shí)，O(H|E)<O(H)，即E排斥H。故LS稱為充分性量度。75LS,LN的性質(zhì)：(2)LN當(dāng)LN=1時(shí)，O(H|~E)=O(H)，即~E對H沒有影響。當(dāng)LN>1時(shí)，O(H|~E)>O(H)，即~E支持H。當(dāng)LN<1時(shí)，O(H|~E)<O(H)，即~E排斥H,且LN0時(shí)O(H|~E)0,即LN越接近0，E對H越是必要的。故LN稱為必要性量度。76(3)LS,LN的關(guān)系，只有三種情況：LS>1且LN<1LS<1且LN>1LS=LN=1772．證據(jù)的不確定性 P(E)=1時(shí)，O(E)= P(E)=0時(shí)，O(E)=0 對E一無所知時(shí)，取E的先驗(yàn)概率----單位元783．算法(1)概率傳播 ifEthenH，(LS，LN)在P(E)=1或P(~E)=1時(shí)，已有：如果用概率來表示，則有：79同樣，對于后驗(yàn)幾率，也有：80對于不確定證據(jù)，在0<P(E)<1時(shí)，如何根據(jù)P(E)更新P(H)。即在觀察S之下，證據(jù)E有概率P(E|S)，求解P(H|S)。有：81對于上式，可以在P(E|S)的三個(gè)特殊點(diǎn)上求得P(H|S)的值。三個(gè)特殊值如下：P(E|S) P(H|S) 1 P(H|E) P(E) P(H) 0 P(H|~E)82 P(H|S) 1-P(H|E)-P(H)-P(H|~E)- 0 P(E) 1P(E|S)83分段線性插值，得

上式稱為EH公式。84(2)獨(dú)立證據(jù)導(dǎo)出同一假設(shè) ifE1thenH，(LS1，LN1) …… ifEnthenH，(LSn，LNn) 設(shè)獨(dú)立證據(jù)E1，E2，…，En的觀察為S1，S2，…，Sn，假設(shè)為H85(3)證據(jù)的合取 ifE1andE2and…thenH P(E1andE2and…|S)=min{P(E1|S，P(E2|S)，…}(4)證據(jù)的析取 ifE1orE2or…thenH P(E1orE2or…|S)=max{P(E1|S，P(E2|S)，…}86例：設(shè)有假設(shè)H，證據(jù)E1，E2，規(guī)則R1，R2：R1:E1H，(20，1)R2:E2H，(300，1)已知先驗(yàn)概率P(H)=0.03，若證據(jù)E1，E2依次出現(xiàn)，求P(H|E1，E2)。87解法1：O(H)=P(H)/[1-P(H)]=0.03/(1-0.03)=0.0309O(H|E1)=LS1O(H)=200.0309=0.618O(H|E1,E2)=LS2O(H|E1)=3000.618=185.5

88解法2：按獨(dú)立證據(jù)的組合公式：其中 O(H|E1)=LS1O(H) O(H|E2)=LS2O(H) O(H|E1，E2)=LS1LS2O(H)=185.5 與解1相同。89 最大相關(guān)：只要概率小的事件發(fā)生，則概率大的事件肯定發(fā)生。 P(AANDB)=min[P(A)，P(B)] P(AORB)=max[P(A)，P(B)]90 最小相關(guān)：兩個(gè)事件同時(shí)發(fā)生的概率盡量小，如果兩個(gè)事件發(fā)生的概率之和小于0，則同時(shí)發(fā)生的概率為0。P(AANDB)=max[0，P(A)+P(B)-1]P(AORB)=min[1，P(A)+P(B)]91 相互獨(dú)立： P(AANDB)=P(A).P(B) P(AORB)=P(A)+P(B)–P(A).P(B)92例：推理網(wǎng)絡(luò)如下 HYPE0.01 65，0.01 300，0.0001 0.1STIR SMIR0.032，0.000001 100，0.000001

0.2 FMGS FMGS&PT0.4用戶給出： P(FMGS|S1)=0.7, P(FMGS&PT|S2)=0.6,P(SMIR|S3)=0.02求P(HYPE|S1S2S3)93求解過程（1）根據(jù)P(FMGS|S1)計(jì)算P(STIR|S1)。由于P(FMGS|S1)=0.7>0.2，因此利用EH公式的后半部分。94（2）根據(jù)P(FMGS&PT|S2)計(jì)算P(STIR|S2)。由于P(FMGS&PT|S2)=0.6>0.4，故利用EH公式的后半部分。95（3）根據(jù)獨(dú)立證據(jù)FMGS和FMGS&PT計(jì)算P(STIR|S1&S2)。先計(jì)算后驗(yàn)幾率O(STIR|S1&S2)，由于96因此得然后得到后驗(yàn)概率P(STIR|S1&S2)97（4）根據(jù)P(STIR|S1&S2)計(jì)算P(HYPE|S1&S2)，由于P(STIR|S1&S2)=0.4875>0.1，故利用EH公式的后半部分。98（5）根據(jù)P(SMIR|S3)計(jì)算P(HYPE|S3)，由于P(SMIR|S3)=0.02<0.03，故利用EH公式的前半部分。99（6）根據(jù)獨(dú)立證據(jù)STIR和SMIR計(jì)算P(HYPE|S1&S2&S3)。先計(jì)算后驗(yàn)幾率O(HYPE|S1&S2&S3)，由于100因此得最后得到后驗(yàn)概率P(HYPE|S1&S2&S3)101經(jīng)過推理，假設(shè)HYPE的概率已從先驗(yàn)概率0.01增強(qiáng)到0.1245。102主觀Bayes方法小結(jié)主觀Bayes方法優(yōu)點(diǎn)：修正了概率論Bayes公式，應(yīng)用于不精確推理，取得了很好的效果。主觀Bayes方法缺點(diǎn)：先驗(yàn)概率難以合理的給出。103證據(jù)理論Dempster/Shafer證據(jù)理論1041．基本理論設(shè)為變量x的所有可能值的窮舉集合，且設(shè)中的各元素是相互排斥的，稱為辨別框。為簡單，以后假定為有限集合，中的元素也可以是連續(xù)變量。由于是可窮舉的，對于一個(gè)提問只能有一個(gè)答案是正確的。的所有子集對應(yīng)著論域中的所有可能的有效答案。105定義1：對任意一個(gè)屬于的子集A（命題），命它對應(yīng)一個(gè)數(shù)M(A)[0，1]，而且滿足

M()=0

則稱函數(shù)M為命題的基本概率分配函數(shù)bpa(basicprobabilityassignment)，稱數(shù)M(A)為A的基本概率數(shù)。 若A，且A，則M(A)表示對A的精確信任程度。 若A=，則M(A)表示這個(gè)數(shù)不知如何分配。106在Bayes理論中，后驗(yàn)概率隨證據(jù)的變化而變化是需要的；同樣在D-S證據(jù)理論中，關(guān)于證據(jù)的信任也可以改變。D-S證據(jù)理論和概率論的區(qū)別是對無知的處理。概率論即便是在無知的情況下，也必須分布一個(gè)等量的概率值；而證據(jù)理論不要求必須對無知假設(shè)H賦予信任值，而是將基本概率分配給用戶希望對其分配的環(huán)境子集。107定義2：若A且M(A)0，稱A為M的一個(gè)焦元(Focalelement)。例：對={紅，黃，白}的bpa為 M({紅}，{黃}，{白}，{紅，黃}，{紅，白}，{黃，白},{紅，黃，白}，{}) ={0.3，0，0.1，0.2，0.2，0，0.2，0}108定義3：命題的信任函數(shù)(Belieffunction)Bel:2

[0，1]為

其中2表示的所有子集。109 Bel(A)表示對A的總的信任。包含了這個(gè)集合和這個(gè)集合的所有包含A的任何一個(gè)子集。如上例： M({紅}，{黃}，{白}，{紅，黃}，{紅，白}，{黃，白}，{紅，黃，白}，{}) Bel(A)=Bel({紅，白})=M({紅})+M({白})+M({紅，白})=0.3+0.1+0.2=0.6易見：Bel()=0 Bel()=1110 定義4：命題的似然函數(shù)(不能排斥函數(shù)，plausibilityfunction)Pl:2

[0,1]為

其中~A=–

APl(A)表示不否定A的信任程度。111信任函數(shù)與似然函數(shù)的關(guān)系： Pl(A)Bel(A)稱Bel(A)和Pl(A)為命題A的下限函數(shù)和上限函數(shù)，記作A[Bel(A)，Pl(A)]。上下限的意義： A[0，1]說明對A一無所知。因?yàn)?Bel(A)=0說明A缺少信任。 Pl(A)=1–Bel(~A)=1Bel(~A)=0，說明對~A也缺少信任。112A[0，0]說明A是假 因?yàn)锽el(A)=0，Bel(~A)=1A[1，1]說明A是真 因?yàn)锽el(A)=1，Bel(~A)=0A[0.6，1]說明對A部分信任 因?yàn)锽el(A)=0.6，Bel(~A)=0A[0，0.4]說明對~A部分信任 因?yàn)锽el(A)=0，Bel(~A)=0.6A[0.3，0.9]說明同時(shí)對A和~A部分信任1132．證據(jù)的組合函數(shù)定義5：當(dāng)多個(gè)Mi可組合時(shí)，它們的正交和：M=M1M2…Mn為 M()=0 A其中

若k-1=0，則Mi之間是矛盾的。K表示兩個(gè)被組合證據(jù)的沖突程度。114組合證據(jù)：通過多個(gè)證據(jù)得到關(guān)于某件事物的更客觀的判斷。假設(shè)={airliner，bomber，fighter}，有兩種類型的傳感器，一種類型的傳感器觀察結(jié)果為m1（{B，F(xiàn)}）=0.7，m1（）=0.3另一種類型的傳感器觀察結(jié)果為m2（{B}）=0.9，m2()=0.1計(jì)算：m1m2=115Dempster采用了表格十字相乘法m2（{B}）=0.9M2()=0.1M1（{B，F(xiàn)}）=0.7{B}0.63{B，F(xiàn)}0.07M1（）=0.3{B}0.270.03116M3({B})=M1+M2({B})=0.63+0.27=0.9M3({B，F(xiàn)})=M1+M2({B，F(xiàn)})=0.07M3()=M1+M2()=0.03證據(jù)區(qū)間：支持目標(biāo)飛機(jī)是轟炸機(jī)的最大可能是0.9+0.07+0.03=1，最小可能是0.9。因此證據(jù)區(qū)間是[0.9，1]。117這時(shí)，第三個(gè)傳感器報(bào)告了關(guān)于飛機(jī)的一個(gè)沖突的證據(jù)：m3({a})=0.95，m3()=0.05，則應(yīng)繼續(xù)采用十字相乘法118M1+M2（{B}）=0.9M1+M2（{B，F(xiàn)}）=0.07M1+M2（）=0.03M3（{A}）=0.950.8550.0665{A}0.0285M3（）=0.05{B}0.045{B，F(xiàn)}0.0035（）0.0015119{A}0.0285{B}0.045{B，F(xiàn)}0.0035（）0.00150.9215把的情形按比例分給上面的前四種，使得=0120最終得：{A}0.0285+0.3346=0.3631{B}0.045+0.5282=0.5732{B，F(xiàn)}0.0035+0.0411=0.0446（）0.0015+0.0176=0.0191121第三章人工神經(jīng)網(wǎng)絡(luò)計(jì)算人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)感知器及其訓(xùn)練算法BP算法Hopfield網(wǎng)與Boltzmann機(jī)122人工神經(jīng)網(wǎng)絡(luò)的概念人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡記作ANN），是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)。123一、存儲組織ANN力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu)計(jì)算模擬存儲與操作訓(xùn)練概述124生物神經(jīng)網(wǎng)胞體(Soma)枝蔓（Dendrite）胞體(Soma)

軸突（Axon）突觸（Synapse）125生物神經(jīng)網(wǎng)基本特征1）神經(jīng)元及其聯(lián)接；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。126生物神經(jīng)元和人工神經(jīng)元的對照關(guān)系生物神經(jīng)元人工神經(jīng)元作用樹突輸入層接收輸入的信號細(xì)胞體加權(quán)和加工和處理信號軸突閾值函數(shù)（激活函數(shù)）控制輸出突觸輸出層輸出結(jié)果127神經(jīng)元的結(jié)構(gòu)模型神經(jīng)元是一個(gè)多輸入、單輸出的非線形結(jié)構(gòu)。樹突相當(dāng)于輸入，軸突相當(dāng)于輸出，圓相當(dāng)于神經(jīng)元的胞體。M-P的簡化模型：興奮性輸入抑制性輸入

T128人工神經(jīng)元的模擬人工神經(jīng)元模擬生物神經(jīng)元的一階特性輸入：X=（x1，x2，…，xn）聯(lián)接權(quán)：W=（w1，w2，…，wn）T網(wǎng)絡(luò)輸入： net=∑xiwi向量形式： net=XW129激活函數(shù)(ActivationFunction)

激活函數(shù)：執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)或活化函數(shù)：o=f（net）

1301、線性函數(shù)（LinerFunction）f（net）=k*net+c

netooc1312、斜面函數(shù)(RampFunction)

γ ifnet≥θf（net）=k*net if|net|<θ -γ ifnet≤-θ

γ>0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。

1322、斜面函數(shù)（RampFunction）γ-γθ

-θ

net

o

1333、閾值函數(shù)（ThresholdFunction）階躍函數(shù)

β ifnet>θf（net）= -γ ifnet≤θβ、γ、θ均為非負(fù)實(shí)數(shù)，θ為閾值二值形式： 1 ifnet>θf（net）= 0 ifnet≤θ雙極形式： 1 ifnet>θf（net）= -1 ifnet≤θ

1343、閾值函數(shù)（ThresholdFunction）階躍函數(shù)β

-γθonet01354、S形函數(shù)

壓縮函數(shù)（SquashingFunction）和邏輯函數(shù)（LogisticFunction）f（net）=a+b/(1+exp(-d*net))a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）=1/(1+exp(-d*net))函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制

1364、S形函數(shù)

a+bo(0,c)netac=(a+b)/21375、其它函數(shù)

小波基函數(shù)如果采用小波基函數(shù)來做激活函數(shù)，則成為小波神經(jīng)網(wǎng)絡(luò)概率密度函數(shù)如果采用概率密度函數(shù)來做激活函數(shù)，則成為概率神經(jīng)網(wǎng)絡(luò)

138M-P模型

x2w2

∑fo=f（net）xnwn…net=XWx1w1McCulloch—Pitts（M—P）模型，也稱為處理單元。139人工神經(jīng)元拓?fù)鋱D連接的拓?fù)浔硎?/p>

ANi wij ANj

140聯(lián)接模式

用正號（“+”，可省略）表示傳送來的信號起刺激作用，用于增加神經(jīng)元的活躍度；用負(fù)號（“-”）表示傳送來的信號起抑制作用，用于降低神經(jīng)元的活躍度。141神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，有正向網(wǎng)絡(luò)和反向網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)）；按照學(xué)習(xí)方式區(qū)分，有有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)和無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)；按照網(wǎng)絡(luò)性能區(qū)分，有連續(xù)型網(wǎng)絡(luò)和離散型網(wǎng)絡(luò)，隨機(jī)型網(wǎng)絡(luò)和確定型網(wǎng)絡(luò)；按照突觸性質(zhì)區(qū)分，有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高價(jià)非線性關(guān)聯(lián)網(wǎng)絡(luò)。142聯(lián)接模式

層次（又稱為“級”）的劃分，導(dǎo)致了神經(jīng)元之間的三種不同的互連模式：

1、層（級）內(nèi)聯(lián)接層內(nèi)聯(lián)接又叫做區(qū)域內(nèi)聯(lián)接或側(cè)聯(lián)接用來加強(qiáng)和完成層內(nèi)神經(jīng)元之間的競爭2、

循環(huán)聯(lián)接反饋信號

143聯(lián)接模式3、層（級）間聯(lián)接

層間（Inter-field）聯(lián)接指不同層中的神經(jīng)元之間的聯(lián)接。這種聯(lián)接用來實(shí)現(xiàn)層間的信號傳遞。前饋信號反饋信號

144簡單單級網(wǎng)……x1x2…xno1o2omwnmw11w1mw2mwn1輸出層輸入層 145簡單單級網(wǎng)W=（wij）輸出層的第j個(gè)神經(jīng)元的網(wǎng)絡(luò)輸入記為netj： netj=x1w1j+x2w2j+…+xnwnj其中,1≤j≤m。取NET=（net1，net2，…，netm）NET=XWO=F（NET）146單級橫向反饋網(wǎng)輸出層x1o1w11w1mx2o2w2m………xnomwn1輸入層 V147單級橫向反饋網(wǎng)

V=（vij）NET=XW+OVO=F（NET）時(shí)間參數(shù)——神經(jīng)元的狀態(tài)在主時(shí)鐘的控制下同步變化。148多級網(wǎng)輸出層隱藏層輸入層o1o2om…x1x2xn………………149信號只被允許從較低層流向較高層。層號確定層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：記作第0層。該層負(fù)責(zé)接收來自網(wǎng)絡(luò)外部的信息。第j層：第j-1層的直接后繼層（j>0），它直接接受第j-1層的輸出。層次劃分150輸出層：它是網(wǎng)絡(luò)的最后一層，具有該網(wǎng)絡(luò)的最大層號，負(fù)責(zé)輸出網(wǎng)絡(luò)的計(jì)算結(jié)果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發(fā)送信號。輸出層隱藏層輸入層o1o2om…x1x2xn………………151約定:輸出層的層號為該網(wǎng)絡(luò)的層數(shù)：n層網(wǎng)絡(luò)，或n級網(wǎng)絡(luò)。第j-1層到第j層的聯(lián)接矩陣為第j層聯(lián)接矩陣，輸出層對應(yīng)的矩陣叫輸出層聯(lián)接矩陣。一般用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2om…x1x2xn………………W(1)W(2)W(3)W(h)152循環(huán)網(wǎng)x1o1輸出層隱藏層輸入層x2o2omxn…………………153循環(huán)網(wǎng)

如果將輸出信號反饋到輸入端,就可構(gòu)成一個(gè)多層的循環(huán)網(wǎng)絡(luò)。輸入的原始信號被逐步地“加強(qiáng)”、被“修復(fù)”。大腦的短期記憶特征——看到的東西不是一下子就從腦海里消失的。穩(wěn)定性：反饋信號會引起網(wǎng)絡(luò)輸出的不斷變化。通常希望這種變化逐漸減小，并且最后消失。當(dāng)變化最后消失時(shí)，網(wǎng)絡(luò)就達(dá)到了平衡狀態(tài)。如果這種變化不能消失，則稱該網(wǎng)絡(luò)是不穩(wěn)定的。

154網(wǎng)絡(luò)信息流向類型根據(jù)神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來分，有以下兩種類型：前饋型網(wǎng)絡(luò)網(wǎng)絡(luò)信息處理方向是從輸入層到中間層再到輸出層逐層進(jìn)行的，不存在反饋環(huán)路。多層前饋型網(wǎng)絡(luò)可用一個(gè)有向無環(huán)圖來表示。反饋型網(wǎng)絡(luò)網(wǎng)絡(luò)信息既可以從外界接受收入，也可以向外界輸出，存在反饋環(huán)路。155神經(jīng)網(wǎng)絡(luò)的知識表示網(wǎng)絡(luò)中的每個(gè)神經(jīng)元只存儲少量的信息；神經(jīng)元只對輸入的數(shù)據(jù)進(jìn)行簡單的邏輯運(yùn)算或算術(shù)運(yùn)算；運(yùn)算操作由神經(jīng)元自主進(jìn)行，不由外部程序決定。156神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。157學(xué)習(xí)過程是一種經(jīng)過訓(xùn)練而使個(gè)體在行為上產(chǎn)生較為持久改變的過程。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多，可以大體分為三類：有導(dǎo)師學(xué)習(xí)：監(jiān)督學(xué)習(xí)，采用的是糾錯(cuò)規(guī)則。無導(dǎo)師學(xué)習(xí)：無監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)自行調(diào)整權(quán)值。灌輸式學(xué)習(xí)：特定輸入輸出結(jié)果，學(xué)習(xí)是一次性的。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)158有導(dǎo)師學(xué)習(xí)在學(xué)習(xí)訓(xùn)練過程中，需要不斷給網(wǎng)絡(luò)提供一個(gè)輸入模式和一個(gè)期望網(wǎng)絡(luò)正確輸出的模式，這兩個(gè)模式是一一對應(yīng)的，通常稱為“教師信號”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出和期望輸出相比較，當(dāng)網(wǎng)絡(luò)輸出和期望的教師信號不符時(shí)，根據(jù)誤差的方向和大小按一定規(guī)則調(diào)整權(quán)值，以使下一步網(wǎng)絡(luò)的輸出更接近期望結(jié)果。當(dāng)網(wǎng)絡(luò)對于各種給定的輸入均能產(chǎn)生所期望的輸出時(shí)，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下學(xué)會了訓(xùn)練集中包含的知識和規(guī)則，可以用來工作了。159有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括： 1）

從樣本集合中取一個(gè)樣本（Ai，Bi）； 2）

計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O； 3）

求D=Bi-O； 4）

根據(jù)D調(diào)整權(quán)矩陣W；5）對每個(gè)樣本重復(fù)上述過程，直到對整個(gè)樣本集來說，誤差不超過規(guī)定范圍，或者達(dá)到一定的運(yùn)算次數(shù)。160無導(dǎo)師學(xué)習(xí)學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動(dòng)態(tài)輸入信息，網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時(shí)能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)值。這個(gè)過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動(dòng)分類。在無導(dǎo)師學(xué)習(xí)模式中，網(wǎng)絡(luò)權(quán)值的調(diào)整不取決于外來教師信號的影響，認(rèn)為學(xué)習(xí)評價(jià)標(biāo)準(zhǔn)來自于網(wǎng)絡(luò)內(nèi)部。161Hebb學(xué)習(xí)規(guī)則若第i與第j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，否則被減弱，增量與它們各自的興奮程度si及sj成比例即Wij=asisj，0〈a〈1162競爭學(xué)習(xí)規(guī)則在學(xué)習(xí)過程中，網(wǎng)絡(luò)各輸出單元互相競爭，最好達(dá)到只有一個(gè)最強(qiáng)者激活。最常用的競爭規(guī)則可寫為：163感知器（感知機(jī)）感知機(jī)是一種由單層神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí)。感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律。基本思想：逐步地將樣本集里的樣本輸入到網(wǎng)絡(luò)中，根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣。164感知機(jī)算法二值網(wǎng)絡(luò)：自變量及其函數(shù)的值、向量分量的值只取0和1函數(shù)、向量。權(quán)向量：W=(w1，w2，…，wn)輸入向量：X=(x1，x2，…，xn)訓(xùn)練樣本集：{(X，Y)|Y為輸入向量X對應(yīng)的輸出}165感知機(jī)算法1、賦初值：各Wi一個(gè)較小的隨機(jī)非零值；2、重復(fù)下列過程，直至完成：對每個(gè)樣本，輸入X和它的期望輸出D；計(jì)算實(shí)際輸出o=F（XW）；如果輸出不正確，則修正權(quán)W。

當(dāng)o=0時(shí)，取W=W+X， 當(dāng)o=1時(shí)，取W=W-X；166多層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)，由輸入層、一個(gè)或多個(gè)隱層和一個(gè)輸出層組成。學(xué)習(xí)過程由信號正向傳播和誤差反向傳播兩個(gè)過程組成。信號正向傳播和誤差反向傳播的各層權(quán)值調(diào)整過程是周而復(fù)始進(jìn)行的。權(quán)值的不斷調(diào)整的過程，就是學(xué)習(xí)訓(xùn)練的過程。該過程一直進(jìn)行到誤差減少到可以接受的程度，或者進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。167用輸出層的誤差調(diào)整輸出層權(quán)矩陣，并用此誤差估計(jì)輸出層的直接前導(dǎo)層的誤差，再用輸出層前導(dǎo)層誤差估計(jì)更前一層的誤差。如此獲得所有其它各層的誤差估計(jì)，并用這些估計(jì)實(shí)現(xiàn)對權(quán)矩陣的修改。形成將輸出端表現(xiàn)出的誤差沿著與輸入信號相反的方向逐級向輸入端傳遞的過程。168多層前向網(wǎng)絡(luò)算法采用了誤差反向傳播的方法，因此稱為BP算法。（errorBackPropagation）算法使網(wǎng)絡(luò)的學(xué)習(xí)可以收斂。優(yōu)點(diǎn)：廣泛的適應(yīng)性和有效性?？梢圆捎弥鸫涡拚ɑ蛞焕ㄐ拚ㄕ{(diào)整權(quán)值向量。弱點(diǎn)：訓(xùn)練速度非常慢、局部極小點(diǎn)的逃離問題。169網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)x1o1輸出層隱藏層輸入層x2o2omxn…………………W(1)W(2)W(3)W(L)170基本BP算法神經(jīng)元的網(wǎng)絡(luò)輸入： neti=x1w1i+x2w2i+…+xnwni神經(jīng)元的輸出：171輸出函數(shù)分析

0.5f′(net)0.25o01

1（0,0.5）

net（0,0）o應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)?？梢杂闷渌暮瘮?shù)作為激活函數(shù)，只要該函數(shù)是處處可導(dǎo)的。172訓(xùn)練過程概述樣本：(輸入向量，理想輸出向量)權(quán)初始化：“小隨機(jī)數(shù)”與飽和狀態(tài)；“不同”保證網(wǎng)絡(luò)可以學(xué)習(xí)。1、向前傳播階段：（1）從樣本集中取一個(gè)樣本(Xp，Yp)，將Xp輸入網(wǎng)絡(luò)；（2）計(jì)算相應(yīng)的實(shí)際輸出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))173訓(xùn)練過程概述2、向后傳播階段——誤差傳播階段：（1）計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的差；（2）按極小化誤差的方式調(diào)整權(quán)矩陣；（3）網(wǎng)絡(luò)關(guān)于第p個(gè)樣本的誤差測度：（4）網(wǎng)絡(luò)關(guān)于整個(gè)樣本集的誤差測度：174誤差傳播分析1、輸出層權(quán)的調(diào)整wpq=wpq+?wpq?wpq=αδqop

=αfn′(netq)(yq-oq)op=αoq(1-oq)(yq-oq)op

wpqANpANq第L-1層第L層?wpq1752、隱藏層權(quán)的調(diào)整

ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2層第k層第k-1層……1762、隱藏層權(quán)的調(diào)整δpk-1的值和δ1k，δ2k，…，δmk有關(guān)。不妨認(rèn)為δpk-1通過權(quán)wp1對δ1k做出貢獻(xiàn)，通過權(quán)wp2對δ2k做出貢獻(xiàn)，……通過權(quán)wpm對δmk做出貢獻(xiàn)。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)1772、隱藏層權(quán)的調(diào)整vhp=vhp+?vhp

?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2層第k層第k-1層……178算法改進(jìn)收斂速度問題局部極小點(diǎn)問題網(wǎng)絡(luò)癱瘓問題穩(wěn)定性問題步長問題179Hopfield網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)的神經(jīng)單元是全連接的，每兩個(gè)單元都通過權(quán)值連接在一起。它的學(xué)習(xí)過程是一次完成的，工作過程則是模擬人的聯(lián)想記憶，通過反復(fù)迭代完成的。Hopfield網(wǎng)絡(luò)屬于循環(huán)型網(wǎng)絡(luò)，可分為離散型和連續(xù)型兩種形式。離散型采用加權(quán)無向圖表示，所有神經(jīng)元都存在雙向連接，每邊都附有權(quán)值，每結(jié)點(diǎn)都附有閾值，經(jīng)過符號函數(shù)作用后，形成兩個(gè)狀態(tài)。180網(wǎng)絡(luò)結(jié)構(gòu)

X1Xno1om………………181網(wǎng)絡(luò)的輸入輸出神經(jīng)元的網(wǎng)絡(luò)輸入：閾值函數(shù)：oj=1 ifnetj>θj0 ifnetj<θj

oj ifnetj=θj激活函數(shù)改為S形函數(shù)后，系統(tǒng)就成為一個(gè)連續(xù)系統(tǒng)。182Hopfield網(wǎng)絡(luò)的工作方式Hopfield網(wǎng)絡(luò)有兩種工作方式：異步方式：在任一時(shí)刻t，只有某一個(gè)神經(jīng)元狀態(tài)發(fā)生變化，而其余神經(jīng)元的狀態(tài)保持不變。同步方式：在任一時(shí)刻t，有部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)發(fā)生變化。當(dāng)從某一時(shí)刻起神經(jīng)網(wǎng)絡(luò)不再發(fā)生變化，則稱該Hopfield網(wǎng)絡(luò)是穩(wěn)定的。183Hopfield網(wǎng)絡(luò)穩(wěn)定性定理：對由N=（W，θ）描述的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，若W為具有非負(fù)對角元的對稱陣，則該網(wǎng)絡(luò)具有串行穩(wěn)定性；若W為非負(fù)定矩陣，則該網(wǎng)絡(luò)具有并行穩(wěn)定性。184Boltzmann機(jī)

統(tǒng)計(jì)Hopfield網(wǎng)在網(wǎng)絡(luò)運(yùn)行中，神經(jīng)元狀態(tài)與“人工溫度”確定的概率相關(guān)網(wǎng)絡(luò)運(yùn)行模擬金屬退火過程pi：ANi的狀態(tài)取1的概率neti：ANi所獲網(wǎng)絡(luò)輸入；θi：ANi的閾值；T：系統(tǒng)的人工溫度。

185Boltzmann機(jī)的訓(xùn)練

固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時(shí)，固體內(nèi)部粒子隨溫度上升變?yōu)闊o序狀，內(nèi)能增大，而徐徐冷卻時(shí)粒子漸趨有序，在每個(gè)溫度都達(dá)到平衡態(tài)，最后在常溫時(shí)達(dá)到基態(tài)，內(nèi)能減為最小。186Boltzmann機(jī)的訓(xùn)練

模擬退火過程，是模擬金屬退火過程，其實(shí)是一種貪心算法，但是它的搜索過程引入了隨機(jī)因素。模擬退火算法以一定的概率來接受一個(gè)比當(dāng)前解要差的解，因此有可能會跳出這個(gè)局部的最優(yōu)解，達(dá)到全局的最優(yōu)解。模擬退火算法在搜索到局部最優(yōu)解后，會以一定的概率向其它方向移動(dòng)。也許經(jīng)過幾次這樣的不是局部最優(yōu)的移動(dòng)后會到達(dá)全局最優(yōu)點(diǎn)，于是就跳出了局部最大值。187Boltzmann機(jī)的訓(xùn)練

Boltzmann機(jī)是多級循環(huán)網(wǎng)絡(luò)，是Hopfield網(wǎng)的一種擴(kuò)展。神經(jīng)元ANi實(shí)際輸出狀態(tài)oi=1的概率為：T趨近于0時(shí)，神經(jīng)元的狀態(tài)不再具有隨機(jī)性，Boltzmann機(jī)退化成一般Hopfield網(wǎng)。188神經(jīng)元ANi在運(yùn)行中狀態(tài)發(fā)生了變化：

Boltzmann機(jī)的能量函數(shù)(一致性函數(shù))Boltzmann機(jī)的訓(xùn)練189如果ΔΕi>0，則應(yīng)該選ANi輸出為1，否則，應(yīng)該選ANi輸出為0。ΔΕi的值越大，神經(jīng)元ANi應(yīng)該處于狀態(tài)1的概率就應(yīng)該越大。反之，ΔΕi的值越小，神經(jīng)元ANi應(yīng)該處于狀態(tài)1的概率就應(yīng)該越小。從而，oi=1的概率為：

Boltzmann機(jī)的訓(xùn)練190處于狀態(tài)a，b的概率Pa和Pb，對應(yīng)于oi=1和oi=0，其它的神經(jīng)元在a，b狀態(tài)下不變。

Pa=γpi

Pb=γ（1-pi）

Boltzmann機(jī)的訓(xùn)練191網(wǎng)絡(luò)進(jìn)行足夠多次迭代后，處于某狀態(tài)的概率與此狀態(tài)下的能量和此時(shí)系統(tǒng)的溫度有關(guān)。由于高溫時(shí)網(wǎng)絡(luò)的各個(gè)狀態(tài)出現(xiàn)的概率基本相同，這就給它逃離局部極小點(diǎn)提供了機(jī)會。當(dāng)系統(tǒng)的溫度較低時(shí)，如果Ea<Eb，則Pa>Pb：網(wǎng)絡(luò)處于較低能量狀態(tài)的概率較大。

Boltzmann機(jī)的訓(xùn)練192Hopfield網(wǎng)解決TSP問題1985年，J.J.Hopfield和D.W.Tank用循環(huán)網(wǎng)求解TSP。試驗(yàn)表明，當(dāng)城市的個(gè)數(shù)不超過30時(shí)，多可以給出最優(yōu)解的近似解。而當(dāng)城市的個(gè)數(shù)超過30時(shí)，最終的結(jié)果就不太理想了。

n個(gè)城市間存在n!/(2n)條可能路徑。設(shè)問題中含有n個(gè)城市,用n*n個(gè)神經(jīng)元構(gòu)成網(wǎng)絡(luò)。

193Hopfield網(wǎng)解決TSP問題dxy——城市X與城市Y之間的距離；yxi——城市X的第i個(gè)神經(jīng)元的狀態(tài)：

1 城市X在第i個(gè)被訪問 yxi= 0 城市X不在第i個(gè)被訪問wxi,yj——城市X的第i個(gè)神經(jīng)元到城市Y的第j個(gè)神經(jīng)元的連接權(quán)。

194Hopfield網(wǎng)解決TSP問題例如：四個(gè)城市X、Y、Z、W城市名訪問順序標(biāo)示1234X0100Y0001Z1000W0010195Hopfield網(wǎng)解決TSP問題

聯(lián)接矩陣

wxi,yj=-Aδxy(1-δij)–Bδij(1-δxy)–C–ζdxy(δji+1+δji-1)

1 如果i=jδj= 0 如果i≠j

196網(wǎng)絡(luò)的能量函數(shù)197網(wǎng)絡(luò)的能量函數(shù)

僅當(dāng)所有的城市最多只被訪問一次時(shí)取得極小值0。A、B、C、D為懲罰因子第1項(xiàng)198網(wǎng)絡(luò)的能量函數(shù)僅當(dāng)每次最多只訪問一個(gè)城市時(shí)取得極小值0。第2項(xiàng)199網(wǎng)絡(luò)的能量函數(shù)當(dāng)且僅當(dāng)所有的n個(gè)城市一共被訪問n次時(shí)才取得最小值0。第3項(xiàng)200網(wǎng)絡(luò)的能量函數(shù)表示按照當(dāng)前的訪問路線的安排，所需要走的路徑的總長度。

第4項(xiàng)201神經(jīng)網(wǎng)絡(luò)的特點(diǎn)大規(guī)模并行處理與容錯(cuò)能力信息的分布式存儲與處理學(xué)習(xí)與自適應(yīng)能力聯(lián)想與記憶能力202神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域信息處理領(lǐng)域信號處理模式識別數(shù)據(jù)壓縮自動(dòng)化領(lǐng)域系統(tǒng)辨識神經(jīng)控制器智能檢測203神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域工程領(lǐng)域汽車工程軍事工程化學(xué)工程水利工程醫(yī)學(xué)領(lǐng)域檢測數(shù)據(jù)分析生物活性研究醫(yī)學(xué)專家系統(tǒng)經(jīng)濟(jì)領(lǐng)域信貸分析市場預(yù)測204第四章演化計(jì)算演化計(jì)算的概念遺傳算法的基本術(shù)語遺傳算法的理論基礎(chǔ)模式定理遺傳算法的實(shí)現(xiàn)技術(shù)205優(yōu)化搜索問題優(yōu)化問題，是針對某種問題，去尋找最好的、或者盡可能好的解。隨著問題復(fù)雜度的增加，算法的效率成為選擇的關(guān)鍵。206優(yōu)化搜索問題207優(yōu)化搜索問題208優(yōu)化搜索問題209優(yōu)化搜索問題210優(yōu)化搜索問題211優(yōu)化搜索問題212優(yōu)化搜索問題213214215染色體216演化計(jì)算演化計(jì)算（EvolutionaryComputation）是一類模擬生物進(jìn)化過程求解的人工智能計(jì)算方法。實(shí)際上是一種自適應(yīng)的機(jī)器學(xué)習(xí)方法，核心思想是利用進(jìn)化信息指導(dǎo)搜索或計(jì)算。生物進(jìn)化是通過遺傳、繁殖、變異、競爭和選擇來實(shí)現(xiàn)的，如果把待解決的問題理解為對某個(gè)目標(biāo)函數(shù)的全局優(yōu)化，則演化計(jì)算就是建立在模擬生物進(jìn)化過程基礎(chǔ)上的隨機(jī)搜索優(yōu)化技術(shù)。217囚犯困境問題囚犯困境問題是一個(gè)古老的游戲問題。假設(shè)有兩個(gè)囚犯共同參與了某項(xiàng)犯罪而被關(guān)在兩個(gè)不同的牢房里。每個(gè)囚犯都被要求供出犯罪事實(shí)，依據(jù)他們的表現(xiàn)，審問人員將對他們進(jìn)行懲罰或者給出不同程度的獎(jiǎng)勵(lì)。每個(gè)囚犯或者選擇背叛同伴，或者選擇與對方訂立攻守同盟，即兩人合作。如果只有一人選擇背叛，則該人就會受到獎(jiǎng)勵(lì)，另一人會被懲罰；如果兩人都選擇背叛，則兩人都會被懲罰；如果兩人都選擇合作，則兩人都會受到中等程度的獎(jiǎng)勵(lì)。218囚犯困境問題對囚犯的獎(jiǎng)勵(lì)與懲罰以下表決定，則囚犯困境問題是指：對每一個(gè)囚犯而言，如何選擇背叛與合作，以使自己能獲得最高的獎(jiǎng)勵(lì)。219囚犯困境問題囚犯1囚犯2P1P2評注背叛背叛11相互背叛受懲罰背叛合作50背叛者受獎(jiǎng)勵(lì)合作背叛05受獎(jiǎng)?wù)T發(fā)背叛合作合作33相互合作受獎(jiǎng)220遺傳算法概述遺傳算法(GeneticAlgorithms)是一類以Darwin自然進(jìn)化論與Mendal遺傳變異理論為基礎(chǔ)的求解復(fù)雜全局優(yōu)化問題的仿生型算法。由美國學(xué)者Holland等人在1975年發(fā)展起來的。GA對包含可能解的群體反復(fù)使用遺傳學(xué)的基本操作，不斷生成新的群體，使種群不斷優(yōu)化，以求解滿足要求的最優(yōu)解或準(zhǔn)最優(yōu)解。221遺傳算法概述遺傳算法的主要特點(diǎn)是：處理參數(shù)集合的編碼，而不是參數(shù)的本身；始終保持整個(gè)種群而不是個(gè)體的進(jìn)化；只需知道目標(biāo)函數(shù)的信息，僅用適應(yīng)度來評估個(gè)體，無需搜索空間的其它知識；使用隨機(jī)轉(zhuǎn)換規(guī)則而不是確定性規(guī)則指導(dǎo)搜索，不易陷入局部極值點(diǎn)，并能以較大概率找到全局最優(yōu)點(diǎn)。算法具有很強(qiáng)的并行性，適合于大規(guī)模復(fù)雜問題求解。222若干術(shù)語染色體：生物遺傳物質(zhì)的主要載體稱為染色體。DNA：染色體中的最主要遺傳物質(zhì)。基因：基因是控制生物性狀的遺傳物質(zhì)的功能單位和結(jié)構(gòu)單位?；蜃喝旧w中基因的位置稱為基因座。等位基因：基因所取的值稱為等位基因。單倍體：細(xì)胞核中有n個(gè)正常的不配對染色體。二倍體、多倍體：細(xì)胞核中有2n或更多倍的正常配對染色體。223若干術(shù)語一定數(shù)量的個(gè)體（individual）組成了群體（population）。一個(gè)群體是若干個(gè)個(gè)體的集合。群體中個(gè)體的數(shù)目稱為群體規(guī)模（populationsize）。各個(gè)個(gè)體對環(huán)境的適應(yīng)程度稱為適應(yīng)度（fitness）。適應(yīng)度越大，說明個(gè)體對環(huán)境越適應(yīng)。224若干術(shù)語位串：個(gè)體的表示形式，對應(yīng)于遺傳學(xué)中的染色體?；蚓幋a：生物的基因編碼決定生物的性狀，一個(gè)基因編碼對應(yīng)著遺傳算法中的某個(gè)解。繁殖：重組染色體基因，形成新的個(gè)體。交叉：有性生殖生物在繁殖下一代時(shí)，兩個(gè)同源染色體在某一相同位置處被切斷，其前后兩個(gè)串分別交叉組合形成兩個(gè)新的染色體，這個(gè)過程稱為交叉。遺傳算法中把交叉當(dāng)作一個(gè)算子。在很多應(yīng)用中，交叉是以一定概率發(fā)生的，稱為交叉概率。225若干術(shù)語選擇：選擇是從當(dāng)前群體中選擇出優(yōu)良的個(gè)體，使它們有機(jī)會作為父代產(chǎn)生后代個(gè)體。判斷個(gè)體優(yōu)良與否的準(zhǔn)則就是各自的適應(yīng)度的值。變異：在染色體中的某個(gè)基因發(fā)生突變。遺傳算法中把變異當(dāng)作一個(gè)算子，變異同樣是以一定概率發(fā)生的，稱為變異概率。變異的目的是為了克服陷入局部解的可能。226名詞意義對照表生物遺傳遺傳算法群體問題搜索空間的一組有效解種群經(jīng)過選擇產(chǎn)生的新群體染色體問題解的編碼串基因染色體的一個(gè)編碼單元適應(yīng)能力染色體的適應(yīng)值交配兩個(gè)染色體交換部分基因得到兩個(gè)新的子代染色體變異染色體某些基因的數(shù)值發(fā)生改變進(jìn)化結(jié)束算法滿足終止條件時(shí)結(jié)束，找到全局最優(yōu)解227遺傳算法的要素參數(shù)編碼初始群體的設(shè)定適應(yīng)度函數(shù)的設(shè)計(jì)控制參數(shù)設(shè)定遺傳參數(shù)設(shè)定228遺傳算法概述遺傳算法可描述如下：1、定義問題與目標(biāo)函數(shù)F；2、選擇候選解作為初始種群，每個(gè)解用一個(gè)二進(jìn)制位串X表示；3、計(jì)算每個(gè)染色體的適應(yīng)度值F（Xi）；4、指定與其適值成正比的繁殖概率pi；5、根據(jù)概率pi選擇染色體，通過交叉變異等產(chǎn)生新一代染色體種群；6、如果找到了滿意解或其他條件，則結(jié)束；否則返回3。229遺傳算法的框圖產(chǎn)生初始群體是否滿足停止準(zhǔn)則是輸出結(jié)果并結(jié)束計(jì)算個(gè)體適應(yīng)度值比例選擇運(yùn)算單點(diǎn)交叉運(yùn)算基本位變異運(yùn)算否產(chǎn)生新一代群體執(zhí)行n/2次230遺傳算法的偽代碼/*p(t)表示某一代的群體，t為當(dāng)前進(jìn)化代數(shù)，Best表示目前已找到