建模與仿真(MAS部分)

1、建模與仿真主 講 人：許 良復(fù)雜系統(tǒng)建模經(jīng)濟(jì)管理學(xué)院工業(yè)工程系主講內(nèi)容主講內(nèi)容主體與多主體系統(tǒng)主體與多主體系統(tǒng)多主體建模與仿真多主體建模與仿真多主體模型的實(shí)現(xiàn)多主體模型的實(shí)現(xiàn)多主體仿真在社會(huì)科學(xué)中的應(yīng)用多主體仿真在社會(huì)科學(xué)中的應(yīng)用Aspen多主體經(jīng)濟(jì)模型多主體經(jīng)濟(jì)模型一、一、 主體與多主體系統(tǒng)主體與多主體系統(tǒng)(一一) 主體概念主體概念（1）主體的來源）主體的來源Agent ：主體，智能體，代理：主體，智能體，代理來源于分布式人工智能領(lǐng)域來源于分布式人工智能領(lǐng)域Minsky，1986The Society of Mind 1990s在人工智能領(lǐng)域得到重視在人工智能領(lǐng)域得到重視 1990s 在其他

2、領(lǐng)域廣泛應(yīng)用在其他領(lǐng)域廣泛應(yīng)用 （2）Agent的定義的定義研究人員對(duì)研究人員對(duì)Agent的理解并不一致，至今還沒有一個(gè)的理解并不一致，至今還沒有一個(gè)普遍接受的關(guān)于普遍接受的關(guān)于Agent的定義。的定義?！癆gent”一般用來描述自包含的、能感知環(huán)境并能在一般用來描述自包含的、能感知環(huán)境并能在一定程度上控制自身行為的計(jì)算實(shí)體。一定程度上控制自身行為的計(jì)算實(shí)體。Hewitt:“什么是主體對(duì)于基于主體的計(jì)算來說是個(gè)尷什么是主體對(duì)于基于主體的計(jì)算來說是個(gè)尷尬的問題，就像主流的人工智能研究中什么是智能這尬的問題，就像主流的人工智能研究中什么是智能這個(gè)問題一樣個(gè)問題一樣” （3）主體的弱概念）主體的弱概

3、念主體的弱概念從廣義的角度規(guī)定主體的特性：主體的弱概念從廣義的角度規(guī)定主體的特性：自治性自治性(autonomy)：n主體的運(yùn)行不受人或其它物的直接控制，它對(duì)自己的行動(dòng)和內(nèi)部狀主體的運(yùn)行不受人或其它物的直接控制，它對(duì)自己的行動(dòng)和內(nèi)部狀態(tài)有一定程度的控制權(quán)。態(tài)有一定程度的控制權(quán)。社會(huì)能力社會(huì)能力(social ability)：n主體通過某種主體通信語言與其它主體或人進(jìn)行信息交互。主體通過某種主體通信語言與其它主體或人進(jìn)行信息交互。反應(yīng)能力反應(yīng)能力(reactivity)：n即對(duì)環(huán)境的感知和影響。無論主體生存在現(xiàn)實(shí)世界還是虛擬世界，即對(duì)環(huán)境的感知和影響。無論主體生存在現(xiàn)實(shí)世界還是虛擬世界，主體都

4、應(yīng)該可以感知所處環(huán)境，并能及時(shí)地對(duì)環(huán)境中發(fā)生的變化做主體都應(yīng)該可以感知所處環(huán)境，并能及時(shí)地對(duì)環(huán)境中發(fā)生的變化做出反應(yīng)，通過行為影響環(huán)境。出反應(yīng)，通過行為影響環(huán)境。預(yù)動(dòng)性預(yù)動(dòng)性(pro-activeness)：n主體不是簡單的對(duì)環(huán)境被動(dòng)反應(yīng)，而是能采取主動(dòng)，表現(xiàn)出目標(biāo)導(dǎo)主體不是簡單的對(duì)環(huán)境被動(dòng)反應(yīng)，而是能采取主動(dòng)，表現(xiàn)出目標(biāo)導(dǎo)向（向（goal-directed）的行為。）的行為。（4）主體的強(qiáng)概念）主體的強(qiáng)概念主體的強(qiáng)概念主要應(yīng)用在人工智能領(lǐng)域主體的強(qiáng)概念主要應(yīng)用在人工智能領(lǐng)域認(rèn)為主體是一個(gè)計(jì)算機(jī)系統(tǒng)，除了上述弱概念認(rèn)為主體是一個(gè)計(jì)算機(jī)系統(tǒng)，除了上述弱概念說明的特性外，主體還應(yīng)該具有人類的某些一

5、說明的特性外，主體還應(yīng)該具有人類的某些一般特性，如知識(shí)、信念、意圖、承諾等心智狀般特性，如知識(shí)、信念、意圖、承諾等心智狀態(tài)，甚至具有情感等態(tài)，甚至具有情感等 （1）為什么需要多主體系統(tǒng)？）為什么需要多主體系統(tǒng)？n單一主體很難對(duì)存在于單一主體很難對(duì)存在于動(dòng)態(tài)開放環(huán)境動(dòng)態(tài)開放環(huán)境之中的大之中的大規(guī)模復(fù)雜問題進(jìn)行求解規(guī)模復(fù)雜問題進(jìn)行求解 。n人類智能本質(zhì)上是人類智能本質(zhì)上是社會(huì)性社會(huì)性的，人們往往為解決復(fù)的，人們往往為解決復(fù)雜問題組織起來，這些組織能夠解決任何個(gè)人都雜問題組織起來，這些組織能夠解決任何個(gè)人都無法解決的問題。無法解決的問題。(二二) 多主體系統(tǒng)多主體系統(tǒng)(Multi-Agent Sys

6、tems)（2）多主體系統(tǒng)的特點(diǎn)）多主體系統(tǒng)的特點(diǎn)概念：概念：多主體系統(tǒng)是由多個(gè)可以相互交互的主體所組成的系多主體系統(tǒng)是由多個(gè)可以相互交互的主體所組成的系統(tǒng)。統(tǒng)。多主體系統(tǒng)的特點(diǎn)：多主體系統(tǒng)的特點(diǎn)：n有限視角，即每個(gè)主體都面臨不完全信息，或只具備有限能有限視角，即每個(gè)主體都面臨不完全信息，或只具備有限能力；力；n沒有系統(tǒng)全局控制；沒有系統(tǒng)全局控制；n數(shù)據(jù)分散；數(shù)據(jù)分散；n計(jì)算是異步的計(jì)算是異步的（3）多主體系統(tǒng)的結(jié)構(gòu)）多主體系統(tǒng)的結(jié)構(gòu)各個(gè)主體相對(duì)獨(dú)立，主體之間可能存在復(fù)雜的各個(gè)主體相對(duì)獨(dú)立，主體之間可能存在復(fù)雜的關(guān)系關(guān)系主體之間的關(guān)系類型主體之間的關(guān)系類型結(jié)構(gòu)相關(guān)結(jié)構(gòu)相關(guān)結(jié)構(gòu)相關(guān)性是指不同主體

7、之間具有結(jié)構(gòu)關(guān)系，如小組結(jié)構(gòu)相關(guān)性是指不同主體之間具有結(jié)構(gòu)關(guān)系，如小組關(guān)系、上下級(jí)關(guān)系等。關(guān)系、上下級(jí)關(guān)系等。這種結(jié)構(gòu)關(guān)系將對(duì)系統(tǒng)中主體的運(yùn)行以及主體之間的這種結(jié)構(gòu)關(guān)系將對(duì)系統(tǒng)中主體的運(yùn)行以及主體之間的相互作用產(chǎn)生影響。相互作用產(chǎn)生影響。 行為相關(guān)行為相關(guān)不同的主體對(duì)環(huán)境的一部分產(chǎn)生影響，不同的主體對(duì)環(huán)境的一部分產(chǎn)生影響，某些主體的影響范圍發(fā)生重疊，則它們之間就產(chǎn)生了某些主體的影響范圍發(fā)生重疊，則它們之間就產(chǎn)生了行為上的相互影響。行為上的相互影響。 (三三) 主體的一般結(jié)構(gòu)主體的一般結(jié)構(gòu)從計(jì)算的角度看，主體是一個(gè)計(jì)算實(shí)體，從計(jì)算的角度看，主體是一個(gè)計(jì)算實(shí)體，n具有屬于自身的具有屬于自身的資源資

8、源，n能夠能夠感知感知環(huán)境信息，環(huán)境信息，n根據(jù)內(nèi)部的根據(jù)內(nèi)部的行為控制機(jī)制行為控制機(jī)制確定主體應(yīng)采取的行動(dòng)，確定主體應(yīng)采取的行動(dòng)，n主體的行動(dòng)實(shí)施后，將對(duì)自身狀態(tài)和環(huán)境狀態(tài)產(chǎn)生主體的行動(dòng)實(shí)施后，將對(duì)自身狀態(tài)和環(huán)境狀態(tài)產(chǎn)生影響影響。要實(shí)現(xiàn)這樣的主體，可以采用不同的結(jié)構(gòu)。要實(shí)現(xiàn)這樣的主體，可以采用不同的結(jié)構(gòu)。所謂結(jié)構(gòu)就是定義主體的基本成分以及各成分之間的所謂結(jié)構(gòu)就是定義主體的基本成分以及各成分之間的關(guān)系和交互機(jī)制。關(guān)系和交互機(jī)制。對(duì)特定的應(yīng)用場(chǎng)合采用某種結(jié)構(gòu)可能會(huì)更自然，也更對(duì)特定的應(yīng)用場(chǎng)合采用某種結(jié)構(gòu)可能會(huì)更自然，也更容易理解。容易理解。 （1）標(biāo)準(zhǔn)主體）標(biāo)準(zhǔn)主體形式化形式化假設(shè)環(huán)境變化可以抽

9、象為一個(gè)環(huán)境狀態(tài)序列，環(huán)境在任何離散的假設(shè)環(huán)境變化可以抽象為一個(gè)環(huán)境狀態(tài)序列，環(huán)境在任何離散的瞬時(shí)狀態(tài)的有窮集合為瞬時(shí)狀態(tài)的有窮集合為:主體有一個(gè)可執(zhí)行動(dòng)作集合主體有一個(gè)可執(zhí)行動(dòng)作集合主體在環(huán)境中的一次執(zhí)行主體在環(huán)境中的一次執(zhí)行r是環(huán)境狀態(tài)與主體動(dòng)作的一個(gè)交替序是環(huán)境狀態(tài)與主體動(dòng)作的一個(gè)交替序列：列：主體的動(dòng)作決策部件可以定義為以下函數(shù)：主體的動(dòng)作決策部件可以定義為以下函數(shù)： 為環(huán)境演化的狀態(tài)序列。為環(huán)境演化的狀態(tài)序列。,210eeeE ,210aaaA uaaaaeeeeru1210210:AEChoose*:*E主體的動(dòng)作將對(duì)環(huán)境狀態(tài)產(chǎn)生影響，定義影響主體的動(dòng)作將對(duì)環(huán)境狀態(tài)產(chǎn)生影響，定義影

10、響函數(shù)為：函數(shù)為：標(biāo)準(zhǔn)主體定義為以下三元組：標(biāo)準(zhǔn)主體定義為以下三元組：ChangeChooseAAgent,)(:EAEChange（2）純反應(yīng)式主體）純反應(yīng)式主體有一種有一種Agent決策完全基于當(dāng)前狀態(tài)，不考慮決策完全基于當(dāng)前狀態(tài)，不考慮過去的狀態(tài)。過去的狀態(tài)。這種這種Agent只是直接對(duì)環(huán)境做出反應(yīng)，因此稱只是直接對(duì)環(huán)境做出反應(yīng)，因此稱為純反應(yīng)式為純反應(yīng)式Agent。其動(dòng)作決策部件與標(biāo)準(zhǔn)主體有所不同，決策函其動(dòng)作決策部件與標(biāo)準(zhǔn)主體有所不同，決策函數(shù)為：數(shù)為：AEChooser:（3）具有感知部件的主體）具有感知部件的主體 將標(biāo)準(zhǔn)主體的決策部件分解為感知子系統(tǒng)和動(dòng)將標(biāo)準(zhǔn)主體的決策部件分解為

11、感知子系統(tǒng)和動(dòng)作子系統(tǒng)，稱為具有感知部件的作子系統(tǒng)，稱為具有感知部件的Agent。 （4）具有狀態(tài)部件的主體）具有狀態(tài)部件的主體一種與標(biāo)準(zhǔn)主體等價(jià)的表示方法，思路是認(rèn)為一種與標(biāo)準(zhǔn)主體等價(jià)的表示方法，思路是認(rèn)為Agent具有內(nèi)部狀態(tài)具有內(nèi)部狀態(tài) (四四)主體之間的通信與交互主體之間的通信與交互主體之間實(shí)現(xiàn)交互需要三個(gè)方面的技術(shù)保障：主體之間實(shí)現(xiàn)交互需要三個(gè)方面的技術(shù)保障：n要有一致的消息協(xié)議，要有一致的消息協(xié)議，n要有實(shí)現(xiàn)通信的機(jī)制，要有實(shí)現(xiàn)通信的機(jī)制，n要有高層的交互協(xié)議。要有高層的交互協(xié)議。這三個(gè)方面密切配合，才能實(shí)現(xiàn)主體之間的協(xié)這三個(gè)方面密切配合，才能實(shí)現(xiàn)主體之間的協(xié)作。作。 （1）主體通

12、信語言）主體通信語言主體通信語言主體通信語言n是一種用于表達(dá)主體之間交互消息的描述性語言，是一種用于表達(dá)主體之間交互消息的描述性語言，n它定義了交互消息的格式（即它定義了交互消息的格式（即語法語法）和內(nèi)涵（即）和內(nèi)涵（即語義語義）。）。影響較大的主體通信語言：影響較大的主體通信語言：nKQML nACLACL 消息結(jié)構(gòu)消息結(jié)構(gòu)一個(gè)一個(gè)ACL消息是由消息是由通信行為、通信內(nèi)容通信行為、通信內(nèi)容以及一以及一組組消息參數(shù)消息參數(shù)等幾部分組成等幾部分組成 （2）通信方式）通信方式主體之間常用的通信機(jī)制有三種：主體之間常用的通信機(jī)制有三種：n黑板機(jī)制黑板機(jī)制n郵箱機(jī)制郵箱機(jī)制n消息傳遞機(jī)制消息傳遞機(jī)制

13、（3）交互協(xié)議）交互協(xié)議 交互協(xié)議定義了主體之間為了進(jìn)行協(xié)作，實(shí)現(xiàn)交互協(xié)議定義了主體之間為了進(jìn)行協(xié)作，實(shí)現(xiàn)某個(gè)特定目標(biāo)而進(jìn)行交互的結(jié)構(gòu)化消息。某個(gè)特定目標(biāo)而進(jìn)行交互的結(jié)構(gòu)化消息。 FIPA對(duì)一些典型的對(duì)話定義了交互協(xié)議，對(duì)一些典型的對(duì)話定義了交互協(xié)議，n請(qǐng)求請(qǐng)求(request)n查詢查詢(query)n合同網(wǎng)合同網(wǎng)(contract-net)n代理代理(broking)n訂閱訂閱(subscribe)n建議建議(propose)查詢交互協(xié)議查詢交互協(xié)議二、二、 多主體建模與仿真多主體建模與仿真 (一一) 多主體建模思想多主體建模思想ABM：MAS是對(duì)人類或生物群體的自然隱喻，采用多主是對(duì)人類

14、或生物群體的自然隱喻，采用多主體觀點(diǎn)可以更自然的對(duì)這些系統(tǒng)建模，由此形成了基體觀點(diǎn)可以更自然的對(duì)這些系統(tǒng)建模，由此形成了基于主體的建模方法（于主體的建模方法（Agent-Based Modeling，ABM ）。）。ABM的基本出發(fā)點(diǎn)是：的基本出發(fā)點(diǎn)是：許多系統(tǒng)可以看作是由多個(gè)自治的主體構(gòu)成的，主體許多系統(tǒng)可以看作是由多個(gè)自治的主體構(gòu)成的，主體之間的相互作用是系統(tǒng)宏觀模式出現(xiàn)的根源，通過建之間的相互作用是系統(tǒng)宏觀模式出現(xiàn)的根源，通過建立主體模型，可以更好的理解和解釋這些系統(tǒng)。立主體模型，可以更好的理解和解釋這些系統(tǒng)。 (二二) 多主體仿真研究框架多主體仿真研究框架用多主體思想建立的復(fù)雜系統(tǒng)模型

15、往往用仿真技術(shù)求用多主體思想建立的復(fù)雜系統(tǒng)模型往往用仿真技術(shù)求解。這樣就形成了多主體仿真解。這樣就形成了多主體仿真(Multi-Agent Simulation) 技術(shù)。技術(shù)。多主體仿真方法的本質(zhì)特征是采用多主體視角建立實(shí)多主體仿真方法的本質(zhì)特征是采用多主體視角建立實(shí)際系統(tǒng)的際系統(tǒng)的概念模型概念模型 n首先辨識(shí)組成實(shí)際系統(tǒng)的首先辨識(shí)組成實(shí)際系統(tǒng)的微觀個(gè)體微觀個(gè)體，將這些個(gè)體抽象為具有，將這些個(gè)體抽象為具有自治性的主體，自治性的主體，n主體之間通過主體之間通過相互作用相互作用構(gòu)成一個(gè)多主體系統(tǒng)構(gòu)成一個(gè)多主體系統(tǒng)n以這樣的多主體概念模型為基礎(chǔ)通過以這樣的多主體概念模型為基礎(chǔ)通過仿真計(jì)算仿真計(jì)算展開

16、研究。展開研究。 多主體仿真基本過多主體仿真基本過程程多主體仿真過程的特點(diǎn)多主體仿真過程的特點(diǎn)在對(duì)實(shí)際系統(tǒng)進(jìn)行觀察時(shí)應(yīng)同時(shí)收集微觀數(shù)據(jù)在對(duì)實(shí)際系統(tǒng)進(jìn)行觀察時(shí)應(yīng)同時(shí)收集微觀數(shù)據(jù)和宏觀數(shù)據(jù)。和宏觀數(shù)據(jù)。 概念模型采用多主體視角建立。概念模型采用多主體視角建立。 仿真模型一般采用多主體技術(shù)實(shí)現(xiàn)。仿真模型一般采用多主體技術(shù)實(shí)現(xiàn)。 模型驗(yàn)證采用微觀和宏觀相結(jié)合的方法。模型驗(yàn)證采用微觀和宏觀相結(jié)合的方法。 仿真所得到的結(jié)論主要用來幫助理解系統(tǒng)微觀仿真所得到的結(jié)論主要用來幫助理解系統(tǒng)微觀和宏觀的聯(lián)系。和宏觀的聯(lián)系。 (三三) 與其它仿真方法的比較與其它仿真方法的比較（1）與離散事件系統(tǒng)仿真的區(qū)別）與離散事件

17、系統(tǒng)仿真的區(qū)別 基本要素：事件基本要素：事件/主體主體 狀態(tài)變化：串行狀態(tài)變化：串行/并發(fā)并發(fā) 結(jié)構(gòu)變化：無結(jié)構(gòu)變化：無/有有 學(xué)習(xí)適應(yīng)：無學(xué)習(xí)適應(yīng)：無/有有(四四) 與其它仿真方法的比較與其它仿真方法的比較（2） 與微觀分析模擬的區(qū)別與微觀分析模擬的區(qū)別 應(yīng)用目的：政策效果應(yīng)用目的：政策效果/理論揭示理論揭示 個(gè)體動(dòng)機(jī)：無個(gè)體動(dòng)機(jī)：無/有有 個(gè)體交互：無個(gè)體交互：無/有有(五五) 與其它仿真方法的比較與其它仿真方法的比較（3）與元胞自動(dòng)機(jī)的區(qū)別）與元胞自動(dòng)機(jī)的區(qū)別 空間結(jié)構(gòu)：規(guī)則空間結(jié)構(gòu)：規(guī)則/靈活靈活 個(gè)體記憶：無個(gè)體記憶：無/有或無有或無 學(xué)習(xí)推理：一般無學(xué)習(xí)推理：一般無/一般有一般有

18、交互結(jié)構(gòu)：臨近交互結(jié)構(gòu)：臨近/網(wǎng)絡(luò)網(wǎng)絡(luò) 三、三、 多主體仿真的實(shí)現(xiàn)技術(shù)多主體仿真的實(shí)現(xiàn)技術(shù)(一一) 主體構(gòu)建技術(shù)主體構(gòu)建技術(shù)（1）產(chǎn)生式系統(tǒng)）產(chǎn)生式系統(tǒng)一個(gè)產(chǎn)生式系統(tǒng)包括三個(gè)部分：規(guī)則集、事實(shí)庫和控一個(gè)產(chǎn)生式系統(tǒng)包括三個(gè)部分：規(guī)則集、事實(shí)庫和控制器。制器。n規(guī)則集存儲(chǔ)有關(guān)問題的狀態(tài)轉(zhuǎn)移、性質(zhì)變化等過程性知識(shí)，規(guī)則集存儲(chǔ)有關(guān)問題的狀態(tài)轉(zhuǎn)移、性質(zhì)變化等過程性知識(shí)，簡單產(chǎn)生式規(guī)則的形式為簡單產(chǎn)生式規(guī)則的形式為“if,then”,每個(gè)規(guī)則有條件和每個(gè)規(guī)則有條件和行為兩部分組成，當(dāng)前提條件滿足時(shí)就執(zhí)行動(dòng)作。行為兩部分組成，當(dāng)前提條件滿足時(shí)就執(zhí)行動(dòng)作。n事實(shí)庫存儲(chǔ)關(guān)于目前環(huán)境事實(shí)庫存儲(chǔ)關(guān)于目前環(huán)境/自身狀

19、態(tài)、性質(zhì)等信息，由此決定自身狀態(tài)、性質(zhì)等信息，由此決定某個(gè)規(guī)則的前件是否滿足。某個(gè)規(guī)則的前件是否滿足。n控制器根據(jù)主體的性質(zhì)選擇控制策略，將規(guī)則與事實(shí)進(jìn)行匹控制器根據(jù)主體的性質(zhì)選擇控制策略，將規(guī)則與事實(shí)進(jìn)行匹配，消解沖突，進(jìn)行推理，實(shí)現(xiàn)主體決策，產(chǎn)生行動(dòng)。配，消解沖突，進(jìn)行推理，實(shí)現(xiàn)主體決策，產(chǎn)生行動(dòng)。（2）面向?qū)ο蠹夹g(shù)）面向?qū)ο蠹夹g(shù)為每類主體設(shè)計(jì)相應(yīng)的為每類主體設(shè)計(jì)相應(yīng)的類類，用屬性表達(dá)主體的，用屬性表達(dá)主體的內(nèi)部狀態(tài)，用方法表示主體的行為。內(nèi)部狀態(tài)，用方法表示主體的行為。 多主體系統(tǒng)中的主體本質(zhì)上是并發(fā)的。主體的多主體系統(tǒng)中的主體本質(zhì)上是并發(fā)的。主體的主動(dòng)性主動(dòng)性和和并發(fā)性并發(fā)性需要在面向

20、對(duì)象框架中采用一需要在面向?qū)ο罂蚣苤胁捎靡欢ǖ募夹g(shù)手段進(jìn)行模擬。定的技術(shù)手段進(jìn)行模擬。(二二) 主體的學(xué)習(xí)算法主體的學(xué)習(xí)算法學(xué)習(xí)是智能生物的一個(gè)重要特征學(xué)習(xí)是智能生物的一個(gè)重要特征n如果一個(gè)系統(tǒng)能夠通過執(zhí)行某個(gè)過程改進(jìn)他的性能，如果一個(gè)系統(tǒng)能夠通過執(zhí)行某個(gè)過程改進(jìn)他的性能，我們就認(rèn)為它有學(xué)習(xí)能力。我們就認(rèn)為它有學(xué)習(xí)能力。對(duì)主體而言，學(xué)習(xí)的含義是對(duì)主體而言，學(xué)習(xí)的含義是n主體根據(jù)所觀察到的事件，在連續(xù)交互過程中結(jié)構(gòu)主體根據(jù)所觀察到的事件，在連續(xù)交互過程中結(jié)構(gòu)化的修改化的修改行為策略行為策略，改進(jìn)它的性能。，改進(jìn)它的性能。 （1）強(qiáng)化學(xué)習(xí)）強(qiáng)化學(xué)習(xí)基本思想：基本思想：n如果某個(gè)行動(dòng)引起的后果較好，

21、則在以后增加使用如果某個(gè)行動(dòng)引起的后果較好，則在以后增加使用該行動(dòng)的可能，反之則減少。該行動(dòng)的可能，反之則減少。 強(qiáng)化學(xué)習(xí)主體的一般結(jié)構(gòu)強(qiáng)化學(xué)習(xí)主體的一般結(jié)構(gòu) ：目標(biāo)是學(xué)習(xí)一個(gè)策略目標(biāo)是學(xué)習(xí)一個(gè)策略：SA，使系統(tǒng)選擇的動(dòng)作能夠獲得回報(bào)的累計(jì)值最大。，使系統(tǒng)選擇的動(dòng)作能夠獲得回報(bào)的累計(jì)值最大。 Roth-Erev算法算法 初始化：選擇各行動(dòng)的傾向（初始化：選擇各行動(dòng)的傾向（Propensity）重復(fù)重復(fù): n根據(jù)各個(gè)行動(dòng)的傾向計(jì)算選擇概率根據(jù)各個(gè)行動(dòng)的傾向計(jì)算選擇概率n按概率選擇行動(dòng)按概率選擇行動(dòng)n根據(jù)該行動(dòng)的回報(bào)調(diào)整其傾向根據(jù)該行動(dòng)的回報(bào)調(diào)整其傾向返回返回 行動(dòng)傾向的更新方法：行動(dòng)傾向的更新方

22、法： ),()(1 ) 1(tkEtqtqjjj if 1)( if 1)(),(kjNtqkjtrtkEjkj概率計(jì)算概率計(jì)算將傾向轉(zhuǎn)換為選擇概率有多種方法，較簡單的將傾向轉(zhuǎn)換為選擇概率有多種方法，較簡單的一種是計(jì)算相對(duì)傾向作為概率：一種是計(jì)算相對(duì)傾向作為概率：)()()(tqtqtpmjj（2）遺傳算法）遺傳算法基本思想：基本思想：n首先將狀態(tài)首先將狀態(tài)-行動(dòng)對(duì)表達(dá)為染色體，行動(dòng)對(duì)表達(dá)為染色體，n然后主體在動(dòng)態(tài)環(huán)境中感知狀態(tài)然后主體在動(dòng)態(tài)環(huán)境中感知狀態(tài)選擇行動(dòng)選擇行動(dòng)得到得到回報(bào)回報(bào)計(jì)算適應(yīng)度，計(jì)算適應(yīng)度，n根據(jù)個(gè)體適應(yīng)度指標(biāo)淘汰低適應(yīng)度個(gè)體，根據(jù)個(gè)體適應(yīng)度指標(biāo)淘汰低適應(yīng)度個(gè)體，n染色體之

23、間進(jìn)行交叉，以小概率發(fā)生變異，產(chǎn)生下染色體之間進(jìn)行交叉，以小概率發(fā)生變異，產(chǎn)生下一代種群，重復(fù)進(jìn)行一代種群，重復(fù)進(jìn)行。 例：多人囚徒困境博弈例：多人囚徒困境博弈狀態(tài)狀態(tài)State=(上次行動(dòng)，上輪對(duì)手行動(dòng)上次行動(dòng)，上輪對(duì)手行動(dòng)) 主體的行動(dòng)有兩種：合作主體的行動(dòng)有兩種：合作=1，欺騙，欺騙=0 有四種可能的狀態(tài)，編碼為有四種可能的狀態(tài)，編碼為n狀態(tài)狀態(tài)1為為(1,1),2為（為（1，0）,3為為(0,1),4為為(0,0) 個(gè)體的一個(gè)策略就可以用位串表示個(gè)體的一個(gè)策略就可以用位串表示例如針鋒相對(duì)（例如針鋒相對(duì)（TFT）策略就是：）策略就是：n初次選擇行動(dòng)初次選擇行動(dòng)1nif State 1,t

24、hen choose action 1;nif State 2,then choose action 0;nif State 3,then choose action 1;nif State 4,then choose action 0;則該策略可以編碼為（則該策略可以編碼為（1 1 0 1 0），表示初次選擇行），表示初次選擇行動(dòng)動(dòng)1，以后若狀態(tài)為，以后若狀態(tài)為1則選擇則選擇1，若狀態(tài)，若狀態(tài)2則選擇則選擇0，狀，狀態(tài)態(tài)3則選擇則選擇1，狀態(tài)，狀態(tài)4則選擇則選擇0。 四、多主體仿真在經(jīng)濟(jì)中的應(yīng)用四、多主體仿真在經(jīng)濟(jì)中的應(yīng)用經(jīng)濟(jì)系統(tǒng)的特點(diǎn)：經(jīng)濟(jì)系統(tǒng)的特點(diǎn)：n經(jīng)濟(jì)系統(tǒng)是一個(gè)復(fù)雜動(dòng)態(tài)系統(tǒng)經(jīng)濟(jì)系統(tǒng)是

25、一個(gè)復(fù)雜動(dòng)態(tài)系統(tǒng)n微觀上由許多相對(duì)獨(dú)立的個(gè)體組成，個(gè)體具有智能微觀上由許多相對(duì)獨(dú)立的個(gè)體組成，個(gè)體具有智能性，存在學(xué)習(xí)和適應(yīng)行為性，存在學(xué)習(xí)和適應(yīng)行為n個(gè)體之間存在復(fù)雜的相互作用個(gè)體之間存在復(fù)雜的相互作用（1） 基于基于Agent的計(jì)算經(jīng)濟(jì)學(xué)的計(jì)算經(jīng)濟(jì)學(xué)ACE ，Agent-based Computational Economics 將經(jīng)濟(jì)過程看作是由交互作用的主體構(gòu)成的動(dòng)態(tài)系將經(jīng)濟(jì)過程看作是由交互作用的主體構(gòu)成的動(dòng)態(tài)系統(tǒng)，采用仿真手段對(duì)經(jīng)濟(jì)系統(tǒng)進(jìn)行研究。統(tǒng)，采用仿真手段對(duì)經(jīng)濟(jì)系統(tǒng)進(jìn)行研究。研究方法：研究方法： 采用采用“培養(yǎng)皿培養(yǎng)皿”（culture dish）類比）類比 ，對(duì)經(jīng)濟(jì)過，對(duì)經(jīng)濟(jì)

26、過程進(jìn)行理論研究。程進(jìn)行理論研究。（2） “培養(yǎng)皿培養(yǎng)皿”研究方法研究方法首先構(gòu)建一個(gè)由多種主體構(gòu)成的虛擬經(jīng)濟(jì)世界，首先構(gòu)建一個(gè)由多種主體構(gòu)成的虛擬經(jīng)濟(jì)世界，設(shè)定初始條件（如結(jié)構(gòu)條件、制度安排、主體設(shè)定初始條件（如結(jié)構(gòu)條件、制度安排、主體行為分配等），行為分配等），然后令虛擬世界自然發(fā)展，發(fā)展的根本原因是然后令虛擬世界自然發(fā)展，發(fā)展的根本原因是主體之間的交互；主體之間的交互；研究者對(duì)虛擬世界進(jìn)行觀察，收集數(shù)據(jù)，進(jìn)行研究者對(duì)虛擬世界進(jìn)行觀察，收集數(shù)據(jù)，進(jìn)行分析。分析。 主體主體將經(jīng)濟(jì)系統(tǒng)中的個(gè)人、公司、市場(chǎng)、政府等抽象為主將經(jīng)濟(jì)系統(tǒng)中的個(gè)人、公司、市場(chǎng)、政府等抽象為主體體主體可能很簡單，也可能具

27、有不同程度的認(rèn)知能力：主體可能很簡單，也可能具有不同程度的認(rèn)知能力：n適應(yīng)適應(yīng)n社會(huì)交互社會(huì)交互n目標(biāo)導(dǎo)向的學(xué)習(xí)目標(biāo)導(dǎo)向的學(xué)習(xí)n自治自治在主體的交互過程中行為模式或交互模式演化發(fā)展在主體的交互過程中行為模式或交互模式演化發(fā)展研究過程研究過程（3）ACE的主要研究內(nèi)容的主要研究內(nèi)容實(shí)證性理解實(shí)證性理解規(guī)范性理解規(guī)范性理解定性洞察定性洞察/理論產(chǎn)生理論產(chǎn)生方法和工具方法和工具實(shí)證性理解實(shí)證性理解目的目的為實(shí)證中經(jīng)常觀察到的規(guī)律提供因果解釋。為實(shí)證中經(jīng)常觀察到的規(guī)律提供因果解釋。研究方法研究方法 構(gòu)建一個(gè)反映構(gòu)建一個(gè)反映實(shí)際系統(tǒng)主要特征的基于主體的虛擬世界，然后的基于主體的虛擬世界，然后研究實(shí)證規(guī)律

28、是否能夠在這個(gè)虛擬世界里可靠的研究實(shí)證規(guī)律是否能夠在這個(gè)虛擬世界里可靠的再現(xiàn)。研究實(shí)例研究實(shí)例 金融市場(chǎng)，為觀察到的格式化特征提供解釋。金融市場(chǎng)，為觀察到的格式化特征提供解釋。 規(guī)范性理解規(guī)范性理解目的目的將基于主體的模型作為將基于主體的模型作為“實(shí)驗(yàn)室實(shí)驗(yàn)室”用于發(fā)現(xiàn)比較好的經(jīng)濟(jì)設(shè)用于發(fā)現(xiàn)比較好的經(jīng)濟(jì)設(shè)計(jì)，判斷制度設(shè)計(jì)是否會(huì)導(dǎo)致效率、公平、有序的社會(huì)結(jié)果。計(jì)，判斷制度設(shè)計(jì)是否會(huì)導(dǎo)致效率、公平、有序的社會(huì)結(jié)果。研究方法研究方法構(gòu)造一個(gè)反映構(gòu)造一個(gè)反映制度設(shè)計(jì)主要設(shè)計(jì)主要特征的基于主體的虛擬世界，引的基于主體的虛擬世界，引入具有不同稟賦、需求、目標(biāo)、信念等的主體，令虛擬世界入具有不同稟賦、需求、

29、目標(biāo)、信念等的主體，令虛擬世界自發(fā)演進(jìn)，觀察和評(píng)價(jià)社會(huì)結(jié)果。自發(fā)演進(jìn)，觀察和評(píng)價(jià)社會(huì)結(jié)果。研究實(shí)例研究實(shí)例 設(shè)計(jì)失業(yè)救濟(jì)計(jì)劃、電力市場(chǎng)定價(jià)等。設(shè)計(jì)失業(yè)救濟(jì)計(jì)劃、電力市場(chǎng)定價(jià)等。 定性洞察定性洞察/發(fā)展理論發(fā)展理論目的目的加強(qiáng)對(duì)經(jīng)濟(jì)系統(tǒng)規(guī)律的全面了解加強(qiáng)對(duì)經(jīng)濟(jì)系統(tǒng)規(guī)律的全面了解研究方法研究方法設(shè)定不同的初始條件，系統(tǒng)全面的考察系統(tǒng)的演化動(dòng)設(shè)定不同的初始條件，系統(tǒng)全面的考察系統(tǒng)的演化動(dòng)態(tài)態(tài)研究實(shí)例研究實(shí)例分散市場(chǎng)的自組織，瓦爾拉斯均衡的條件分散市場(chǎng)的自組織，瓦爾拉斯均衡的條件方法和工具方法和工具目的目的為通過受控計(jì)算實(shí)驗(yàn)進(jìn)行嚴(yán)格的經(jīng)濟(jì)理論研究提供方法和工具。為通過受控計(jì)算實(shí)驗(yàn)進(jìn)行嚴(yán)格的經(jīng)濟(jì)理論研究

30、提供方法和工具。 方法方面方法方面如何建模，如何提出理論命題，如何簡明、充分的報(bào)告實(shí)驗(yàn)過如何建模，如何提出理論命題，如何簡明、充分的報(bào)告實(shí)驗(yàn)過程和結(jié)果，如何對(duì)實(shí)驗(yàn)產(chǎn)生的理論與實(shí)際數(shù)據(jù)進(jìn)行檢驗(yàn)等程和結(jié)果，如何對(duì)實(shí)驗(yàn)產(chǎn)生的理論與實(shí)際數(shù)據(jù)進(jìn)行檢驗(yàn)等 工具方面工具方面建模工具、仿真工具、數(shù)據(jù)分析工具等建模工具、仿真工具、數(shù)據(jù)分析工具等（4）ACE的優(yōu)點(diǎn)的優(yōu)點(diǎn)主體的決策和交互可以采用直觀描述。主體的決策和交互可以采用直觀描述。適合對(duì)由一群具有不同特性的決策者形成的群適合對(duì)由一群具有不同特性的決策者形成的群體進(jìn)行建模體進(jìn)行建模 允許對(duì)主體之間復(fù)雜的關(guān)系建模允許對(duì)主體之間復(fù)雜的關(guān)系建模 能夠跟蹤不同均衡態(tài)之

31、間的過渡路徑能夠跟蹤不同均衡態(tài)之間的過渡路徑 引入學(xué)習(xí)算法，研究主體行為的變化引入學(xué)習(xí)算法，研究主體行為的變化 （5）ACE的缺點(diǎn)的缺點(diǎn)需要大量的計(jì)算實(shí)驗(yàn)需要大量的計(jì)算實(shí)驗(yàn) 輸出結(jié)果是隨機(jī)的輸出結(jié)果是隨機(jī)的模型校核驗(yàn)證困難模型校核驗(yàn)證困難（6）近期研究實(shí)例）近期研究實(shí)例Aspen美國經(jīng)濟(jì)模型美國經(jīng)濟(jì)模型ASM 股票市場(chǎng)模型股票市場(chǎng)模型SugarScape技術(shù)變遷技術(shù)變遷產(chǎn)業(yè)組織產(chǎn)業(yè)組織貿(mào)易網(wǎng)絡(luò)貿(mào)易網(wǎng)絡(luò)五、五、Aspen經(jīng)濟(jì)系統(tǒng)多主體模型經(jīng)濟(jì)系統(tǒng)多主體模型(一一) Aspen簡介簡介名稱：基于主體的微觀分析模擬模型基于主體的微觀分析模擬模型 Agent-based Simulation Mode

32、l of the U.S. economy 開發(fā)者：開發(fā)者： 美國美國Sandia National Lab. 發(fā)展歷史：發(fā)展歷史： 1996 原型開發(fā)、驗(yàn)證原型開發(fā)、驗(yàn)證 研究美國經(jīng)濟(jì)、過渡經(jīng)濟(jì)、電力市場(chǎng)研究美國經(jīng)濟(jì)、過渡經(jīng)濟(jì)、電力市場(chǎng) 最近研究突發(fā)事件（恐怖襲擊）的影響最近研究突發(fā)事件（恐怖襲擊）的影響Aspen的特點(diǎn)的特點(diǎn)針對(duì)美國經(jīng)濟(jì)特點(diǎn)抽象出多類主體，各類主體針對(duì)美國經(jīng)濟(jì)特點(diǎn)抽象出多類主體，各類主體具有比較堅(jiān)實(shí)的微觀基礎(chǔ)具有比較堅(jiān)實(shí)的微觀基礎(chǔ)采用學(xué)習(xí)算法采用學(xué)習(xí)算法GALCS模擬企業(yè)定價(jià)，通過學(xué)模擬企業(yè)定價(jià)，通過學(xué)習(xí)過程模擬企業(yè)行為習(xí)過程模擬企業(yè)行為運(yùn)行在運(yùn)行在Paragon并行計(jì)算機(jī)

33、上并行計(jì)算機(jī)上主體分散決策，通過消息傳遞進(jìn)行交互主體分散決策，通過消息傳遞進(jìn)行交互Aspen模型的優(yōu)缺點(diǎn)模型的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：優(yōu)點(diǎn)：n模擬各類經(jīng)濟(jì)政策的影響模擬各類經(jīng)濟(jì)政策的影響n對(duì)單部門或多部門進(jìn)行分析對(duì)單部門或多部門進(jìn)行分析n明確放棄了一般均衡論明確放棄了一般均衡論n主體決策比較真實(shí)主體決策比較真實(shí)n能夠模擬新概念能夠模擬新概念缺點(diǎn)：缺點(diǎn)：n參數(shù)設(shè)置困難參數(shù)設(shè)置困難n計(jì)算性能要求太高計(jì)算性能要求太高(二二) Aspen基本模型基本模型（1）主體）主體n家庭家庭n企業(yè)，又分為四類：企業(yè)，又分為四類：w食品生產(chǎn)商、其他非耐用品生產(chǎn)商、汽車制造商、房地產(chǎn)商食品生產(chǎn)商、其他非耐用品生產(chǎn)商、汽車制造商、房地產(chǎn)商n銀行銀行n政府政府n美聯(lián)儲(chǔ)美聯(lián)儲(chǔ)n資本物品生產(chǎn)商資本物品生產(chǎn)商n金融市場(chǎng)金融市場(chǎng)（2）消息傳遞技術(shù)）消息傳遞技術(shù)主體分布在不同的計(jì)算節(jié)點(diǎn)上主體分布在不同的計(jì)算節(jié)點(diǎn)上將連續(xù)的時(shí)間劃分為離散的時(shí)期（天），每天又劃分將連續(xù)的時(shí)間劃分為離散的時(shí)期（天），每天又劃分為為11個(gè)階段個(gè)階段多數(shù)行動(dòng)每天只發(fā)生多數(shù)行動(dòng)每天只發(fā)生1次，且在特定的階段發(fā)生次，且在特定的階段發(fā)生每個(gè)主體有一個(gè)消息隊(duì)列，用于存放收到的消息每個(gè)主體有一個(gè)消息隊(duì)列，用于存放收到的消息消息分發(fā)過程消息分發(fā)過程（3）主體之間的交互）主體之間的交互（4）各類主體的行為）各類主體的行為 家庭主體家庭主體14個(gè)個(gè)人