Agent結(jié)構(gòu)筆記JADE基礎(chǔ)知識

1、Agent結(jié)構(gòu)筆記JADE基礎(chǔ)知識 1抽象結(jié)構(gòu) s為環(huán)境狀態(tài)集合 A為動作集合 Agent的行為可以表示為 S* - A也就是根據(jù)環(huán)境狀態(tài)集(可能考慮到歷史狀態(tài))決定動作 對于環(huán)境來說 env： SXA - P(S) P(S)表示S的幕集。整個式子表示Agent執(zhí)行動作以后可能是環(huán)境狀態(tài)的一個 子集。如果這個子集只有一個元素則環(huán)境是確定的，否則就是不確定的。 粗略的Agent結(jié)構(gòu)應(yīng)該至少包括兩個部分一一感知部分和動作部分。更細致一 2具體結(jié)構(gòu) 2. 1基于邏輯的結(jié)構(gòu) Agent用一些符號表示環(huán)境狀態(tài)和自身動作，決定動作的過程就是基于這些符 號做公式推導(dǎo)的過程。其中推導(dǎo)是根據(jù)自身已有的規(guī)則集。

2、具體來說，包括三個選擇動作的標準： ，如果根據(jù)規(guī)則集合，當前狀態(tài)能夠直接推導(dǎo)出某動作符號，則執(zhí)行該動作； ，如果上一條不滿足，根據(jù)規(guī)則，狀態(tài)不能推出不做某個動作，則執(zhí)行這個動 作； ，如果上面兩條都不能確定動作，則不執(zhí)行動作。 由于每次決策都要遍歷一次規(guī)則庫，所以基于邏輯的實現(xiàn)效率比較低。但是它 結(jié)構(gòu)簡潔、實現(xiàn)簡單且具有優(yōu)美的邏輯語義。 2. 2反應(yīng)式結(jié)構(gòu) 某些學者認為agent通過和環(huán)境的交互就可以產(chǎn)生理性行為而不需要進行復(fù)雜 的推理。于是便有了反應(yīng)式agento 它的結(jié)構(gòu)很簡單，就是根據(jù)當前的狀態(tài)決定下一步做什么，感覺是有點魯莽的 味道。行為集合是全序關(guān)系的，如果有多個動作都符合要求，那么

3、選擇優(yōu)先級最高 的執(zhí)行。 一個具體的例子就是火星探測車。車本身只有很簡單的兒個動作和決策過程， 但是在完成任務(wù)中卻顯示出很高的理性。 反應(yīng)式鷗ent的好處是簡單、經(jīng)濟、訃算開銷小、穩(wěn)定而優(yōu)雅。缺點是短視、 不能學習、不能很好應(yīng)對突發(fā)事件。 2. 3決策理論結(jié)構(gòu) ,決策理論，概率理論，實用理論 ,Decision theory = Probability Theory + Utility Theory 具體思想也就是在一個非確定環(huán)境中學習一個效用函數(shù)，然后根據(jù)這個效用函 數(shù)通過實用推理決定在當前狀態(tài)如何行動。這個時候可以用增量學習 Reinforcement Learning, RL)來做學習。

4、 這個結(jié)構(gòu)的好處是： ,可以用增量學習來建立環(huán)境的模型。 壞處是 ,學要知道環(huán)境完全的概率模型和效用函數(shù)； ,雖然馬爾可夫決策過程(MDP)建模能力很強，但是計算開銷卻很大。 2.4 BDI Agent 對于高度動態(tài)的環(huán)境，BDI模型是一個不錯的選擇。BDI模型主要核心是三個 集合。 ,B Belief,信念集。表示對環(huán)境的觀點。比如，相信努力學習就能取 得 好成績。 ,D Disire,愿望集。表示當前想達到的狀態(tài)。比如，我想取得好成 績。 ,I Intention,意圖集。表示目前要做事情。比如，我要努力學習。 Belief是直接山環(huán)境和當前的B確定的，Desire是根據(jù)B和I來定的，并且

5、 如果實現(xiàn)理想的條件還在就應(yīng)該堅持下去。Intention是根據(jù)B、D、I確定的，意 思是當前的意圖不能違背客觀環(huán)境，不能違背自己的理想，也不能違背之前的正確 決定。動作是由I直接推導(dǎo)出的。 環(huán)境會變，所以導(dǎo)致B會變。那么實現(xiàn)理想的條件可能會消失，那么這時就要 修正D和I,這就是一個慎思過程。于是根據(jù)慎思的頻繁程度可以將agent分為魯 莽型(Bold)和謹慎型(cautious)的。 意圖I應(yīng)該有優(yōu)先級的，可以使用用堆棧來存意圖。采用某意圖的時候push, 放棄或 完成的時候POP。抽象的意圖在底部，具體(可執(zhí)行)的意圖在頂部。 2. 5層次結(jié)構(gòu) 層次結(jié)構(gòu)是一種混合式結(jié)構(gòu)，直觀的理解是，如果遇到一些常識性的狀態(tài)，那 么直接用反應(yīng)式的方式處理就行了，如果遇到一些比較復(fù)雜的狀態(tài)，則通過。層次 結(jié)構(gòu)分水平和垂直兩種。如下圖所示。 Layern Percepts Input pL企陶 2 Layer 1 * Action f Output Layern + 4 * Layer 2 *十 Layer 1 PerceptAction