人工智能與應(yīng)用

人工智能與應(yīng)用第一頁，共七十頁，2022年，8月28日主要內(nèi)容概述機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2第二頁，共七十頁，2022年，8月28日第六章機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)3第三頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述目前為止的大多數(shù)人工智能系統(tǒng)還完全沒有或僅有很有限的學(xué)習(xí)能力現(xiàn)有的大多數(shù)人工智能系統(tǒng)是演繹的，沒有歸納推理，因而不能自動(dòng)獲取和生成知識(shí)未來的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力它們直接由書本學(xué)習(xí)，通過與人談話學(xué)習(xí)，通過觀察環(huán)境學(xué)習(xí)它們通過實(shí)踐自我完善，克服人的局限性→有必要對(duì)這一前景給以關(guān)注4第四頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述爭(zhēng)論：機(jī)器的能力是否能超過人的能力？否定意見：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者來規(guī)定的，因此無論如何其能力也不會(huì)超過設(shè)計(jì)者本人肯定意見：對(duì)具備學(xué)習(xí)能力的機(jī)器而言，它的能力在應(yīng)用中不斷地提高，過一段時(shí)間以后，設(shè)計(jì)者本人也不知他的能力到了何種水平——這就是機(jī)器學(xué)習(xí)的不可預(yù)測(cè)問題5第五頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述學(xué)習(xí)結(jié)果的不確定性帶來的新的問題：學(xué)習(xí)系統(tǒng)產(chǎn)生的知識(shí)可能是系統(tǒng)設(shè)計(jì)者都無法預(yù)測(cè)，如果用這種系統(tǒng)解決重要問題，就可能產(chǎn)生意外的困難或危險(xiǎn)必須設(shè)計(jì)新的有自適應(yīng)能力的系統(tǒng)：用于安排測(cè)試過程來審查學(xué)習(xí)系統(tǒng)產(chǎn)生的知識(shí)這個(gè)系統(tǒng)必須具有與被監(jiān)測(cè)的系統(tǒng)相當(dāng)?shù)膶W(xué)習(xí)能力，才能夠跟隨系統(tǒng)知識(shí)的變化，完成實(shí)時(shí)的檢測(cè)這個(gè)監(jiān)測(cè)系統(tǒng)本身的變化又如何了解、控制呢？6第六頁，共七十頁，2022年，8月28日ThreelawsofRobotics(1)科幻小說家艾薩克·阿西莫夫在他的機(jī)器人相關(guān)作品和其他機(jī)器人相關(guān)小說中為機(jī)器人設(shè)定的行為準(zhǔn)則第一法則：機(jī)器人不得傷害人類，或袖手旁觀坐視人類受到傷害第二法則：除非違背第一法則，機(jī)器人必須服從人類的命令第三法則：在不違背第一及第二法則下，機(jī)器人必須保護(hù)自己7第七頁，共七十頁，2022年，8月28日ThreelawsofRobotics(2)1985年，《機(jī)器人與帝國(guó)》這本書中，阿西莫夫?qū)⑷蠓▌t擴(kuò)張為四大法則：第零法則：機(jī)器人不得傷害人類整體，或袖手旁觀坐視人類整體受到傷害第一法則：除非違背第零法則，機(jī)器人不得傷害人類，或袖手旁觀坐視人類受到傷害第二法則：除非違背第零或第一法則，機(jī)器人必須服從人類的命令第三法則：在不違背第零至第二法則下，機(jī)器人必須保護(hù)自己8第八頁，共七十頁，2022年，8月28日ThreelawsofRobotics(3)三定律在科幻小說中大放光彩，一些其他作者的科幻小說中的機(jī)器人也遵守這三條定律三定律也具有一定的現(xiàn)實(shí)意義，在三定律基礎(chǔ)上建立新興學(xué)科“機(jī)械倫理學(xué)”旨在研究人類和機(jī)械之間的關(guān)系截至2006年，三定律在現(xiàn)實(shí)機(jī)器人工業(yè)中沒有應(yīng)用，但目前很多人工智能和機(jī)器人領(lǐng)域的技術(shù)專家也認(rèn)同這個(gè)準(zhǔn)則9第九頁，共七十頁，2022年，8月28日ThreelawsofRobotics(4)羅杰·克拉克添加了以下的定律：元定律：機(jī)器人可以什么也不做，除非它的行動(dòng)符合機(jī)器人學(xué)定律。此定律置于第零、第一、第二、第三定律之前第四定律：機(jī)器人必須履行內(nèi)置程序所賦予的責(zé)任，除非這與其他高階的定律沖突繁殖定律：機(jī)器人不得參與機(jī)器人的設(shè)計(jì)和制造，除非新的機(jī)器人的行動(dòng)服從機(jī)器人學(xué)定律10第十頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述什么是學(xué)習(xí)？什么是機(jī)器學(xué)習(xí)？沒有被廣泛認(rèn)可的準(zhǔn)確定義Simon（1983）：學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或相類似的任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高M(jìn)insky(1985)：學(xué)習(xí)是在我們頭腦中（心里內(nèi)部）進(jìn)行有用的變化學(xué)習(xí)是一種具有多側(cè)面的現(xiàn)象。學(xué)習(xí)基本形式有知識(shí)獲取和技能求精11第十一頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述知識(shí)獲取——學(xué)習(xí)的本質(zhì)例如科學(xué)知識(shí)的學(xué)習(xí)是一個(gè)自覺的過程，其結(jié)果是產(chǎn)生新的符號(hào)知識(shí)結(jié)構(gòu)和智力模型技能求精——通過教育或?qū)嵺`改進(jìn)機(jī)制和認(rèn)知能力借助觀察和實(shí)驗(yàn)發(fā)現(xiàn)新的事實(shí)和新的理論。例如學(xué)習(xí)騎自行車是下意識(shí)地借助于反復(fù)地實(shí)踐來實(shí)現(xiàn)的12第十二頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述機(jī)器學(xué)習(xí)的任務(wù)主要包括以下兩個(gè)方面：獲得對(duì)于輸入的數(shù)據(jù)進(jìn)行分類能力：如醫(yī)療診斷，信用卡業(yè)務(wù)或交易，投資，DNA序列，口語，手寫字，天文圖象等等獲得解決問題，行為計(jì)劃和行為控制等的能力如解決微分問題，下跳棋，象棋，平衡杠桿，駕車等等13第十三頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述對(duì)系統(tǒng)學(xué)習(xí)性能進(jìn)行評(píng)價(jià)的指標(biāo)：分類精度：是否能夠?qū)斎氲臄?shù)據(jù)進(jìn)行正確、精確的分類解答的正確性和質(zhì)量：對(duì)用于分類和解決問題的系統(tǒng)都有解答正確性問題；同時(shí)正確性不一定保證有好的質(zhì)量好的質(zhì)量包括：可讀性、穩(wěn)定性等多方面的因素學(xué)習(xí)的速度：它不僅僅影響系統(tǒng)的設(shè)計(jì)，還影響系統(tǒng)的實(shí)現(xiàn)14第十四頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述機(jī)器學(xué)習(xí)一直是AI研究的瓶頸之一，表現(xiàn)在：

預(yù)測(cè)難：學(xué)習(xí)后知識(shí)庫發(fā)生了什么變化，系統(tǒng)功能的變化的預(yù)測(cè)歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真而且，歸納的結(jié)論是無限多的，其中相當(dāng)多是假的，給生成的知識(shí)帶來不可靠性機(jī)器目前很難觀察什么重要、什么有意義15第十五頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述發(fā)展歷史：大體上可分為兩個(gè)時(shí)期早期機(jī)器學(xué)習(xí)的發(fā)展經(jīng)歷了下面三個(gè)發(fā)展階段神經(jīng)系統(tǒng)模型階段

開始于20世紀(jì)50年代，所研究的內(nèi)容是沒有知識(shí)的學(xué)習(xí)主要研究目標(biāo)是各種自組織系統(tǒng)和自適應(yīng)系統(tǒng)主要理論基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)模型代表工作F.Rosenblatt提出的感知器模型機(jī)器學(xué)習(xí)的決策理論方法也應(yīng)運(yùn)而生。Samuel的跳棋程序是最著名的成功的學(xué)習(xí)系統(tǒng)之一16第十六頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述符號(hào)概念獲取研究階段1975年左右提出這類學(xué)習(xí)過程通過分析一些概念的正例和反例構(gòu)造出這些概念的符號(hào)表示表示的形式一般是邏輯表達(dá)式、決策樹、產(chǎn)生式規(guī)則或語義網(wǎng)絡(luò)代表有Winston的ARCH由于這類學(xué)習(xí)只能學(xué)習(xí)單個(gè)概念，未能投入實(shí)際應(yīng)用17第十七頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述知識(shí)加強(qiáng)和論域?qū)Ｓ脤W(xué)習(xí)階段此方法是70年代中期開始，沿著符號(hào)主義路線進(jìn)行的。在原有基礎(chǔ)上逐步加強(qiáng)、重于專業(yè)的專用性強(qiáng)調(diào)使用面向任務(wù)的知識(shí)和它對(duì)學(xué)習(xí)過程的引導(dǎo)作用。系統(tǒng)包括預(yù)先確定的概念、知識(shí)結(jié)構(gòu)、論域約束、啟發(fā)式規(guī)則和論域有關(guān)的變換。系統(tǒng)在開始并不具有所有的屬性或概念，在學(xué)習(xí)過程中系統(tǒng)應(yīng)得到一些新的屬性或概念

18第十八頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：機(jī)器學(xué)習(xí)已成為新的邊緣科學(xué)并在高校形成一門課程結(jié)合各種學(xué)習(xí)方法，取長(zhǎng)補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問題的統(tǒng)一性觀點(diǎn)正在形成各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍19第十九頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述機(jī)器學(xué)習(xí)的分類：方法種類不少，很難系統(tǒng)分類。根據(jù)強(qiáng)調(diào)側(cè)面的不同可以有多種分法按學(xué)習(xí)風(fēng)格分類，機(jī)器學(xué)習(xí)可以分為：記憶學(xué)習(xí)、演繹學(xué)習(xí)、歸納學(xué)習(xí)、類比學(xué)習(xí)、分析學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)、遺傳學(xué)習(xí)、連接學(xué)習(xí)等等20第二十頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述機(jī)械式學(xué)習(xí)（記憶學(xué)習(xí)），即向機(jī)器直接輸入新知識(shí)不需要進(jìn)行任何推理或知識(shí)轉(zhuǎn)換，將知識(shí)直接裝進(jìn)機(jī)器中。有多少寫多少，系統(tǒng)本身沒有學(xué)習(xí)過程，對(duì)知識(shí)不做任何修改，只有使用通過類推學(xué)習(xí)（演繹學(xué)習(xí)）系統(tǒng)找出現(xiàn)有知識(shí)中所要產(chǎn)生的新概念或技能十分類似的部分。將它們轉(zhuǎn)換或擴(kuò)大成適合新情況的形式，從而取得新的事實(shí)或技能。該種學(xué)習(xí)方法是大量知識(shí)的總結(jié)、推廣21第二十一頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述從例子中學(xué)習(xí)（歸納學(xué)習(xí)）給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個(gè)總的概念描述類比學(xué)習(xí)通過目標(biāo)對(duì)象與源對(duì)象的相似性，運(yùn)用源對(duì)象的求解方法解決目標(biāo)對(duì)象的問題連接學(xué)習(xí)主要是指神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，實(shí)質(zhì)上就是神經(jīng)網(wǎng)絡(luò)的建立過程22第二十二頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

概述按照實(shí)現(xiàn)途徑分類，機(jī)器學(xué)習(xí)可以分為：符號(hào)學(xué)習(xí)連接學(xué)習(xí)按學(xué)習(xí)方法分類，機(jī)器學(xué)習(xí)可分為有教師指導(dǎo)學(xué)習(xí)，也稱從樣本學(xué)習(xí)無教師指導(dǎo)學(xué)習(xí)，也稱從環(huán)境中學(xué)習(xí)、強(qiáng)化學(xué)習(xí)23第二十三頁，共七十頁，2022年，8月28日第六章機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)24第二十四頁，共七十頁，2022年，8月28日第六章機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)25第二十五頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)機(jī)器學(xué)習(xí)的系統(tǒng)結(jié)構(gòu)模型西蒙認(rèn)為：學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或相類似的任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高以西蒙的學(xué)習(xí)定義作為出發(fā)點(diǎn)，建立起下圖所示的簡(jiǎn)單的學(xué)習(xí)系統(tǒng)結(jié)構(gòu)模型26第二十六頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部分利用這些信息修改知識(shí)庫，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識(shí)庫完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分27第二十七頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)環(huán)境可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件對(duì)環(huán)境提供給系統(tǒng)的信息評(píng)價(jià)包含以下兩個(gè)方面信息水平：信息的一般性程度，即適用范圍的廣泛性信息的質(zhì)量：信息的正確性、是否是適當(dāng)?shù)倪x擇和合理的組織環(huán)境中信息的水平和質(zhì)量是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第一個(gè)因素，而影響學(xué)習(xí)系統(tǒng)效率的另一個(gè)重要因素是知識(shí)庫的形式和內(nèi)容28第二十八頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)知識(shí)庫：知識(shí)庫的形式即知識(shí)表示的形式是否適宜非常重要知識(shí)庫的內(nèi)容是指知識(shí)庫在初始階段要有相當(dāng)?shù)某跏贾R(shí)，并且在學(xué)習(xí)過程中不斷修正和增加新的知識(shí)。知識(shí)庫內(nèi)的知識(shí)大多是以概念的形式存儲(chǔ)的29第二十九頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)知識(shí)庫的形式常用的知識(shí)表示方法有：特征向量、謂詞演算、產(chǎn)生式規(guī)則、過程、LISP函數(shù)、數(shù)字多項(xiàng)式、語義網(wǎng)絡(luò)和框架選擇知識(shí)表示方法要考慮可表達(dá)性：表達(dá)方式要能描述缺乏內(nèi)在結(jié)構(gòu)的事物推理難度：表示的不同，推理當(dāng)然有的容易，有的難可修改性：知識(shí)是否可修改。不能修改的知識(shí)不能更新可擴(kuò)充性：系統(tǒng)學(xué)習(xí)通過增加詞典條目和表示結(jié)構(gòu)來擴(kuò)大表示能力，使得系統(tǒng)能夠?qū)W習(xí)并表示更復(fù)雜的知識(shí)30第三十頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)學(xué)習(xí)環(huán)節(jié)是核心模塊，是和外部交互的接口學(xué)習(xí)部分對(duì)環(huán)境提供的信息整理、分析、歸納或類比，生成新的知識(shí)元或利用這些信息修改知識(shí)庫，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能學(xué)習(xí)環(huán)節(jié)從執(zhí)行環(huán)節(jié)得到執(zhí)行結(jié)果的反饋信號(hào)，進(jìn)行學(xué)習(xí)修正，進(jìn)一步改善執(zhí)行環(huán)節(jié)的行為執(zhí)行環(huán)節(jié)的復(fù)雜性、反饋和透明度都對(duì)學(xué)習(xí)環(huán)節(jié)有影響。復(fù)雜的任務(wù)需要更多的知識(shí)31第三十一頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)執(zhí)行環(huán)節(jié)

根據(jù)知識(shí)庫執(zhí)行一系列任務(wù)，同時(shí)把執(zhí)行結(jié)果或執(zhí)行過程中獲得的信息反饋給學(xué)習(xí)部分，完成對(duì)新知識(shí)庫的評(píng)價(jià)，指導(dǎo)進(jìn)一步的工作任務(wù)的復(fù)雜性由執(zhí)行任務(wù)所需的是單個(gè)概念還是多個(gè)概念，執(zhí)行任務(wù)采用的方式是單步還是多步來決定32第三十二頁，共七十頁，2022年，8月28日第六章機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)33第三十三頁，共七十頁，2022年，8月28日第六章機(jī)器學(xué)習(xí)概述機(jī)器學(xué)習(xí)的基本系統(tǒng)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)34第三十四頁，共七十頁，2022年，8月28日機(jī)器學(xué)習(xí)—

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)發(fā)展史生物神經(jīng)元基本模型神經(jīng)網(wǎng)絡(luò)基本模型神經(jīng)網(wǎng)絡(luò)特性前饋型人工神經(jīng)元網(wǎng)絡(luò)線性閾值單元感知器及其學(xué)習(xí)算法BP算法35第三十五頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)發(fā)展史1890年，美國(guó)生物學(xué)家W.James出版了《Physiology》（生理學(xué)）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律1943年McCulloch（心理學(xué)家）和Pitts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型描述了一個(gè)簡(jiǎn)單的人工神經(jīng)元模型的活動(dòng)是服從二值（興奮和抑制）變化的總結(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法36第三十六頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－發(fā)展史1957年FrankRosenblatt定義了一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實(shí)現(xiàn)。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮通過在IBM704計(jì)算機(jī)上的模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達(dá)到正確分類的結(jié)果1969M.Minsky和S.Papert發(fā)表了《Perceptrons》的論著：指出感知器僅能解決一階謂詞邏輯，只能做線性劃分對(duì)于非線性或其他分類會(huì)遇到很大困難。一個(gè)簡(jiǎn)單的XOR問題的例子就證明了這一點(diǎn)神經(jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮37第三十七頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－發(fā)展史使神經(jīng)網(wǎng)絡(luò)研究一度達(dá)到低潮原因還有，計(jì)算機(jī)不夠發(fā)達(dá)、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮七十年代,據(jù)說全球只有幾十個(gè)人在研究，但還是成功的。如：日本Fukusima的Neocognitron（新認(rèn)知機(jī)）芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)SOM(Self-Organizingfeaturemap)StephenCrossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等(AdaptiveResonanceTheory)38第三十八頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－發(fā)展史1982年JohnJ.Hopfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)——全新的具有完整理論基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型。３年后AT&T等做出了半導(dǎo)體芯片?！窠?jīng)網(wǎng)絡(luò)復(fù)興時(shí)期開始1986年美國(guó)的一個(gè)并行計(jì)算研究小組提出了前向反饋神經(jīng)網(wǎng)絡(luò)的BackPropagation（BP）學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望

39第三十九頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－發(fā)展史運(yùn)用BP學(xué)習(xí)算法進(jìn)行學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型與“多層感知器”模型在原理上是完全相同的感知器也同樣具有與多層前饋網(wǎng)絡(luò)相同的分類能力，只是由于當(dāng)時(shí)沒有理論支撐的設(shè)計(jì)算法，也就是學(xué)習(xí)算法，因而失去了實(shí)際應(yīng)用的意義

40第四十頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－發(fā)展史1987年在美國(guó)召開了第一屆世界神經(jīng)網(wǎng)絡(luò)大會(huì)，1000人參加IJCNN等大會(huì)NeuralComputing,IEEENeuralNetwork等期刊41第四十一頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—符號(hào)主義與連接主義共同之處：研究怎樣用計(jì)算機(jī)來模仿人腦工作過程。最終目的是希望機(jī)器能夠做到學(xué)習(xí)--實(shí)踐--再學(xué)習(xí)--再實(shí)踐，最終獲得智能不同之處：符號(hào)主義研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動(dòng)，解決需人類專家才能處理的復(fù)雜問題連接主義企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性）42第四十二頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—符號(hào)主義與連接主義例如：符號(hào)主義建立的專家系統(tǒng)是制造一個(gè)專家，幾十年難以培養(yǎng)的專家連接主義的神經(jīng)網(wǎng)絡(luò)是制造一個(gè)嬰兒，一個(gè)幼兒，一個(gè)可以學(xué)習(xí)，不斷完善，從一些自然知識(shí)中汲取智慧的生命成長(zhǎng)過程同樣是模仿人腦，但所考慮的角度不同成年人和嬰兒。學(xué)習(xí)過程不一樣。一個(gè)是總結(jié)出常人都不懂得規(guī)律；一個(gè)是沒完沒了向他出示、重復(fù)一樣?xùn)|西，就象教一個(gè)小孩子說話43第四十三頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—符號(hào)主義與連接主義44第四十四頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型神經(jīng)元是腦組織的基本單元，人腦是由大約1011（一百億）個(gè)神經(jīng)元組成的系統(tǒng)。神經(jīng)元的生物結(jié)構(gòu)如下圖所示45第四十五頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型神經(jīng)元具有一下結(jié)構(gòu)特性：細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)與細(xì)胞膜等組成軸突：由細(xì)胞體向外伸出的最長(zhǎng)的一條分支，稱為軸突，即神經(jīng)纖維。軸突相當(dāng)于細(xì)胞的輸出電纜，其端部的許多神經(jīng)末梢為信號(hào)輸出端子，用于傳出神經(jīng)沖動(dòng)樹突：由細(xì)胞體向外伸出的其它許多較短的分支，稱為樹突。它相當(dāng)于細(xì)胞的輸入端，接受來自四面八方的傳入神經(jīng)沖動(dòng)46第四十六頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型突觸：細(xì)胞與細(xì)胞之間（即神經(jīng)元之間）通過軸突與樹突相互連接，其接口稱為突觸。每個(gè)細(xì)胞約有103～104個(gè)突觸。突觸有兩種類型：興奮型與抑制型膜電位：細(xì)胞膜內(nèi)外之間有電位差，約為20～100mV，稱為膜電位。膜外為正，膜內(nèi)為負(fù)結(jié)構(gòu)可塑性：由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，其傳遞作用可增強(qiáng)或減弱，所以，細(xì)胞之間的連接是柔性的，故稱為結(jié)構(gòu)可塑性47第四十七頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型神經(jīng)元神經(jīng)網(wǎng)絡(luò)的基本處理單元，科學(xué)研究過程中一般是一個(gè)多輸入/單輸出的非線性器件來模擬生物神經(jīng)細(xì)胞的，其結(jié)構(gòu)模型如圖所示48第四十八頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型yi表示神經(jīng)元的輸出；u表示神經(jīng)元的輸入總和，它相當(dāng)于生物神經(jīng)細(xì)胞的膜電位,si表示外部輸入信號(hào)（在某些情況下，它可以控制神經(jīng)元u，使它保持在某一狀態(tài)）函數(shù)y=f(u)稱為特性函數(shù)（也稱作用函數(shù)或傳遞函數(shù)），特性函數(shù)可看作是神經(jīng)元的數(shù)學(xué)模型49第四十九頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型常見的特性函數(shù)有以下幾種：閾值型：如S狀：這類函數(shù)的輸入－輸出特性多采用指數(shù)、對(duì)數(shù)或雙曲正切等S型函數(shù)表示。例如：sigmoid函數(shù)分段線性型：神經(jīng)元的輸入－輸出特性滿足一定的區(qū)間線性關(guān)系，其特性函數(shù)表達(dá)為：50第五十頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—生物神經(jīng)元基本模型以上三種特性函數(shù)的圖像依次如圖中的(a)、(b)、(c)所示51第五十一頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)的基本模型人腦神經(jīng)網(wǎng)絡(luò)：人腦中約有140億個(gè)神經(jīng)細(xì)胞根據(jù)Stubbz的估計(jì)這些細(xì)胞被安排在約1000個(gè)主要模塊內(nèi)每個(gè)模塊上有上百個(gè)神經(jīng)網(wǎng)絡(luò)每個(gè)網(wǎng)絡(luò)約有十萬個(gè)神經(jīng)細(xì)胞人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元廣泛互連而成的網(wǎng)絡(luò)，反映了人腦功能的基本特性52第五十二頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)的基本模型前饋網(wǎng)絡(luò)：信號(hào)由輸入層到輸出層單向傳輸每層的神經(jīng)元僅與前層的神經(jīng)元相連接每一層的神經(jīng)元之間沒有橫向的信息傳輸每一個(gè)神經(jīng)元受到前層全部神經(jīng)元的控制53第五十三頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)的基本模型輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個(gè)反饋回路，將信號(hào)反饋到輸入層網(wǎng)絡(luò)本身還是前饋型的輸出反饋信號(hào)可以是原始輸出信號(hào)，也可以是經(jīng)過轉(zhuǎn)化的輸出信號(hào)?？梢允潜緯r(shí)刻的也可以是經(jīng)過一定延遲的經(jīng)常用于系統(tǒng)控制、實(shí)時(shí)信號(hào)處理等，需要根據(jù)系統(tǒng)當(dāng)前狀態(tài)進(jìn)行調(diào)節(jié)的場(chǎng)合54第五十四頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)的基本模型前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個(gè)前向網(wǎng)絡(luò)內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著55第五十五頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)—神經(jīng)網(wǎng)絡(luò)的基本模型反饋型全互聯(lián)網(wǎng)絡(luò)：所有計(jì)算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò)56第五十六頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－神經(jīng)網(wǎng)絡(luò)的屬性基本屬性：非線性：

大腦的智慧就是一種非線性現(xiàn)象。人工神經(jīng)元處于激活或抑制兩種不同的狀態(tài)。這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性

非局域性：

人腦的非局域性非常顯著。例如，人腦的（小范圍）局部損傷通常不影響整個(gè)腦組織的正常工作。神經(jīng)網(wǎng)絡(luò)通過單元之間的大量聯(lián)接模擬大腦的非局域性。聯(lián)想記憶是非局域性的典型例子57第五十七頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－神經(jīng)網(wǎng)絡(luò)的屬性非定常性：

非定常性是人腦發(fā)育的一個(gè)重要特征。人類腦神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)是在不停地變化以適應(yīng)外界環(huán)境的變化。人工神經(jīng)網(wǎng)絡(luò)也同樣具有這種功能，可以通過樣本提示來模擬環(huán)境變換，使得系統(tǒng)能夠?qū)W習(xí)、自適應(yīng)、自組織非凸性： 一個(gè)系統(tǒng)的演化方向，在一定條件下，將取決于某個(gè)特定的狀態(tài)函數(shù)，如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性

58第五十八頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)基礎(chǔ)－優(yōu)缺點(diǎn)評(píng)價(jià)優(yōu)點(diǎn)： 并行性；分布存儲(chǔ)；容錯(cuò)性；學(xué)習(xí)能力缺點(diǎn)： 不適合高精度計(jì)算；學(xué)習(xí)問題沒有根本解決，慢；目前沒有完整的設(shè)計(jì)方法，經(jīng)驗(yàn)參數(shù)太多59第五十九頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)－前饋型人工神經(jīng)網(wǎng)絡(luò)在前饋網(wǎng)絡(luò)中的神經(jīng)單元輸入與輸出的關(guān)系，可采用線性閾值傳遞函數(shù)或單調(diào)上升的非線性傳遞函數(shù)線性閾值傳遞函數(shù)60第六十頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)－前饋型人工神經(jīng)網(wǎng)絡(luò)感知器Rosenblatt，1957是一個(gè)由線性閾值元件組成的單層（或多層）神經(jīng)元的神經(jīng)網(wǎng)絡(luò)當(dāng)輸入的加權(quán)和大于或等于閾值時(shí)，輸出為1，否則為0模型假定神經(jīng)元中間的耦合程度（即加權(quán)系數(shù)W）可變，這樣，該模型可以學(xué)習(xí)61第六十一頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)－前饋型人工神經(jīng)網(wǎng)絡(luò)當(dāng)感知器用于兩類模式的分類時(shí):相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開Rosenblatt給出了相應(yīng)的學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是神經(jīng)網(wǎng)絡(luò)參數(shù)的設(shè)定過程一個(gè)神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)確定之后，需要對(duì)一系列參數(shù)（權(quán)重、閾值等）進(jìn)行有效的設(shè)定。這個(gè)過程叫做學(xué)習(xí)或訓(xùn)練過程，此時(shí)的方法叫學(xué)習(xí)算法62第六十二頁，共七十頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)－前饋型人工神經(jīng)網(wǎng)絡(luò)感知器具體學(xué)習(xí)算法如下：給定初始值：賦給wi(0)各一個(gè)較小的隨機(jī)非零值，這里wi(t)為