Agent結(jié)構(gòu)筆記JADE基礎(chǔ)知識(shí)

1、Agent結(jié)構(gòu)筆記JADE基礎(chǔ)知識(shí) 1抽象結(jié)構(gòu) s為環(huán)境狀態(tài)集合 A為動(dòng)作集合 Agent的行為可以表示為 S* - A也就是根據(jù)環(huán)境狀態(tài)集(可能考慮到歷史狀態(tài))決定動(dòng)作 對(duì)于環(huán)境來(lái)說(shuō) env： SXA - P(S) P(S)表示S的幕集。整個(gè)式子表示Agent執(zhí)行動(dòng)作以后可能是環(huán)境狀態(tài)的一個(gè) 子集。如果這個(gè)子集只有一個(gè)元素則環(huán)境是確定的，否則就是不確定的。 粗略的Agent結(jié)構(gòu)應(yīng)該至少包括兩個(gè)部分一一感知部分和動(dòng)作部分。更細(xì)致一 2具體結(jié)構(gòu) 2. 1基于邏輯的結(jié)構(gòu) Agent用一些符號(hào)表示環(huán)境狀態(tài)和自身動(dòng)作，決定動(dòng)作的過(guò)程就是基于這些符 號(hào)做公式推導(dǎo)的過(guò)程。其中推導(dǎo)是根據(jù)自身已有的規(guī)則集。

2、具體來(lái)說(shuō)，包括三個(gè)選擇動(dòng)作的標(biāo)準(zhǔn)： ，如果根據(jù)規(guī)則集合，當(dāng)前狀態(tài)能夠直接推導(dǎo)出某動(dòng)作符號(hào)，則執(zhí)行該動(dòng)作； ，如果上一條不滿足，根據(jù)規(guī)則，狀態(tài)不能推出不做某個(gè)動(dòng)作，則執(zhí)行這個(gè)動(dòng) 作； ，如果上面兩條都不能確定動(dòng)作，則不執(zhí)行動(dòng)作。 由于每次決策都要遍歷一次規(guī)則庫(kù)，所以基于邏輯的實(shí)現(xiàn)效率比較低。但是它 結(jié)構(gòu)簡(jiǎn)潔、實(shí)現(xiàn)簡(jiǎn)單且具有優(yōu)美的邏輯語(yǔ)義。 2. 2反應(yīng)式結(jié)構(gòu) 某些學(xué)者認(rèn)為agent通過(guò)和環(huán)境的交互就可以產(chǎn)生理性行為而不需要進(jìn)行復(fù)雜 的推理。于是便有了反應(yīng)式agento 它的結(jié)構(gòu)很簡(jiǎn)單，就是根據(jù)當(dāng)前的狀態(tài)決定下一步做什么，感覺(jué)是有點(diǎn)魯莽的 味道。行為集合是全序關(guān)系的，如果有多個(gè)動(dòng)作都符合要求，那么

3、選擇優(yōu)先級(jí)最高 的執(zhí)行。 一個(gè)具體的例子就是火星探測(cè)車(chē)。車(chē)本身只有很簡(jiǎn)單的兒個(gè)動(dòng)作和決策過(guò)程， 但是在完成任務(wù)中卻顯示出很高的理性。 反應(yīng)式鷗ent的好處是簡(jiǎn)單、經(jīng)濟(jì)、訃算開(kāi)銷(xiāo)小、穩(wěn)定而優(yōu)雅。缺點(diǎn)是短視、 不能學(xué)習(xí)、不能很好應(yīng)對(duì)突發(fā)事件。 2. 3決策理論結(jié)構(gòu) ,決策理論，概率理論，實(shí)用理論 ,Decision theory = Probability Theory + Utility Theory 具體思想也就是在一個(gè)非確定環(huán)境中學(xué)習(xí)一個(gè)效用函數(shù)，然后根據(jù)這個(gè)效用函 數(shù)通過(guò)實(shí)用推理決定在當(dāng)前狀態(tài)如何行動(dòng)。這個(gè)時(shí)候可以用增量學(xué)習(xí) Reinforcement Learning, RL)來(lái)做學(xué)習(xí)。

4、 這個(gè)結(jié)構(gòu)的好處是： ,可以用增量學(xué)習(xí)來(lái)建立環(huán)境的模型。 壞處是 ,學(xué)要知道環(huán)境完全的概率模型和效用函數(shù)； ,雖然馬爾可夫決策過(guò)程(MDP)建模能力很強(qiáng)，但是計(jì)算開(kāi)銷(xiāo)卻很大。 2.4 BDI Agent 對(duì)于高度動(dòng)態(tài)的環(huán)境，BDI模型是一個(gè)不錯(cuò)的選擇。BDI模型主要核心是三個(gè) 集合。 ,B Belief,信念集。表示對(duì)環(huán)境的觀點(diǎn)。比如，相信努力學(xué)習(xí)就能取 得 好成績(jī)。 ,D Disire,愿望集。表示當(dāng)前想達(dá)到的狀態(tài)。比如，我想取得好成 績(jī)。 ,I Intention,意圖集。表示目前要做事情。比如，我要努力學(xué)習(xí)。 Belief是直接山環(huán)境和當(dāng)前的B確定的，Desire是根據(jù)B和I來(lái)定的，并且

5、 如果實(shí)現(xiàn)理想的條件還在就應(yīng)該堅(jiān)持下去。Intention是根據(jù)B、D、I確定的，意 思是當(dāng)前的意圖不能違背客觀環(huán)境，不能違背自己的理想，也不能違背之前的正確 決定。動(dòng)作是由I直接推導(dǎo)出的。 環(huán)境會(huì)變，所以導(dǎo)致B會(huì)變。那么實(shí)現(xiàn)理想的條件可能會(huì)消失，那么這時(shí)就要 修正D和I,這就是一個(gè)慎思過(guò)程。于是根據(jù)慎思的頻繁程度可以將agent分為魯 莽型(Bold)和謹(jǐn)慎型(cautious)的。 意圖I應(yīng)該有優(yōu)先級(jí)的，可以使用用堆棧來(lái)存意圖。采用某意圖的時(shí)候push, 放棄或 完成的時(shí)候POP。抽象的意圖在底部，具體(可執(zhí)行)的意圖在頂部。 2. 5層次結(jié)構(gòu) 層次結(jié)構(gòu)是一種混合式結(jié)構(gòu)，直觀的理解是，如果遇到一些常識(shí)性的狀態(tài)，那 么直接用反應(yīng)式的方式處理就行了，如果遇到一些比較復(fù)雜的狀態(tài)，則通過(guò)。層次 結(jié)構(gòu)分水平和垂直兩種。如下圖所示。 Layern Percepts Input pL企陶 2 Layer 1 * Action f Output Layern + 4 * Layer 2 *十 Layer 1 PerceptAction