博弈論最優(yōu)策略的產(chǎn)生

1、博弈論最優(yōu)策略的產(chǎn)生一、博弈中最優(yōu)策略的產(chǎn)生艾克斯羅德(Robert Axelrod)在開始研究合作之前，設(shè)定了兩個(gè)前提：一、每個(gè)人都是自 私的；二、沒有權(quán)威干預(yù)個(gè)人決策。也就是說，個(gè)人可以完全按照自己利益最大化的企圖進(jìn) 行決策。在此前提下，合作要研究的問題是：第一、人為什么要合作；第二、人什么時(shí)候是 合作的，什么時(shí)候又是不合作的；第三、如何使別人與你合作。社會(huì)實(shí)踐中有很多合作的問題。比如國(guó)家之間的關(guān)稅報(bào)復(fù)，對(duì)他國(guó)產(chǎn)品提高關(guān)稅有利于保護(hù) 本國(guó)的經(jīng)濟(jì)，但是國(guó)家之間互提關(guān)稅，產(chǎn)品價(jià)格就提高了，喪失了競(jìng)爭(zhēng)力，損害了國(guó)際貿(mào)易 的互補(bǔ)優(yōu)勢(shì)。在對(duì)策中，由于雙方各自追求自己利益的最大化，導(dǎo)致了群體利益的損害

2、。對(duì) 策論以著名的囚犯困境來描述這個(gè)問題。A和B各表示一個(gè)人，他們的選擇是完全無差異的。選擇C代表合作，選擇D代表不合作。 如果AB都選擇C合作，則兩人各得3分；如果一方選C，一方選D，則選C的得零分， 選D的得5分；如果AB都選。，雙方各得1分。顯然，對(duì)群體來說最好的結(jié)果是雙方都選C，各得3分，共得6分。如果一方選C，一方選 D，總體得5分。如果兩人都選D，總體得2分。對(duì)策學(xué)界用這個(gè)矩陣來描述個(gè)體理性與群體理性的沖突：每個(gè)人在追求個(gè)體利益最大化時(shí)， 就使群體利益受損，這就是囚徒困境。在矩陣中，對(duì)于A來說，當(dāng)對(duì)方選C，他選D得5 分，選C只得3分；當(dāng)對(duì)方選D，他選D得1分，選C得零分。因此，無

3、論對(duì)方選C或D， 對(duì)A來說，選D都得分最多。這是A單方面的優(yōu)超策略。而當(dāng)兩個(gè)優(yōu)超策略相遇，即A， B都選D時(shí)，結(jié)果是各得1分。這個(gè)結(jié)果在矩陣中并非最優(yōu)。困境就在于，每個(gè)人采取各 自的優(yōu)超策略時(shí)，得出的解是穩(wěn)定的，但不是帕累托最優(yōu)的，這個(gè)結(jié)果體現(xiàn)了個(gè)體理性與群 體理性的矛盾。在數(shù)學(xué)上，這個(gè)一次性決策的矩陣沒有最優(yōu)解。如果博弈進(jìn)行多次，只要對(duì)策者知道博弈次數(shù)，他們?cè)谧詈笠淮慰隙ú扇』ハ啾撑训牟呗浴?既然如此，前面的每一次也就沒有合作的必要，因此，在次數(shù)已知的多次博弈中，對(duì)策者沒 有一次會(huì)合作。如果博弈在多人間進(jìn)行，而且次數(shù)未知，對(duì)策者就會(huì)意識(shí)到，當(dāng)持續(xù)地采取合作并達(dá)成默契 時(shí)，對(duì)策者就能持續(xù)地各得

4、3分，但如果持續(xù)地不合作的話，每個(gè)人就永遠(yuǎn)得1分。這樣， 合作的動(dòng)機(jī)就顯現(xiàn)出來。多次對(duì)局下，未來的收益應(yīng)比現(xiàn)在的收益多一個(gè)折現(xiàn)率W，W越 大，表示未來的收益越重要。在多人對(duì)策持續(xù)進(jìn)行下去，且W比較大，即未來充分重要時(shí)， 最優(yōu)的策略是與別人采取的策略有關(guān)的。假設(shè)某人的策略是，第一次合作，以后只要對(duì)方不 合作一次，他就永不合作。對(duì)這種對(duì)策者，當(dāng)然合作下去是上策。假如有的人不管對(duì)方采取 什么策略，他總是合作，那么總是對(duì)他采取不合作的策略得分最多。對(duì)于總是不合作的人， 也只能采取不合作的策略。艾克斯羅德做了一個(gè)實(shí)驗(yàn)，邀請(qǐng)多人來參加游戲，得分規(guī)則與前面的矩陣相同，什么時(shí)候結(jié) 束游戲是未知的。他要求每個(gè)參

5、賽者把追求得分最多的策略寫成計(jì)算機(jī)程序，然后用單循環(huán) 賽的方式將參賽程序兩兩博弈，以找出什么樣的策略得分最高。第一輪游戲有14個(gè)程序參加，再加上艾克斯羅德自己的一個(gè)隨機(jī)程序(即以50%的概率選取 合作或不合作)，運(yùn)轉(zhuǎn)了 300次。結(jié)果得分最高的程序是加拿大學(xué)者羅伯布寫的一報(bào)還一報(bào) (tit for tat)o這個(gè)程序的特點(diǎn)是，第一次對(duì)局采用合作的策略，以后每一步都跟隨對(duì)方上一 步的策略，你上一次合作，我這一次就合作，你上一次不合作，我這一次就不合作。艾克斯 羅德還發(fā)現(xiàn)，得分排在前面的程序有三個(gè)特點(diǎn)：第一，從不首先背叛，即善良的”；第二， 對(duì)于對(duì)方的背叛行為一定要報(bào)復(fù)，不能總是合作，即”可激怒的

6、”；第三，不能人家一次背 叛，你就沒完沒了的報(bào)復(fù)，以后人家只要改為合作，你也要合作，即”寬容性”。為了進(jìn)一步驗(yàn)證上述結(jié)論，艾氏決定邀請(qǐng)更多的人再做一次游戲，并把第一次的結(jié)果公開發(fā) 表。第二次征集到了 62個(gè)程序，加上他自己的隨機(jī)程序，又進(jìn)行了一次競(jìng)賽。結(jié)果，第一 名的仍是一報(bào)還一報(bào)”。艾氏總結(jié)這次游戲的結(jié)論是：第一，”一報(bào)還一報(bào)”仍是最優(yōu)策略。 第二，前面提到的三個(gè)特點(diǎn)仍然有效，因?yàn)?3人中的前15名里，只有第8名的哈靈頓程序 是”不善良的”，后15名中，只有1個(gè)總是合作的是善良的”?？杉づ院蛯捜菪砸驳玫搅?證明。此外，好的策略還必須具有的一個(gè)特點(diǎn)是%清晰性”，能讓對(duì)方在三、五步對(duì)局內(nèi)辨識(shí)

7、出來，太復(fù)雜的對(duì)策不見得好?！币粓?bào)還一報(bào)”就有很好的清晰性，讓對(duì)方很快發(fā)現(xiàn)規(guī)律，從 而不得不采取合作的態(tài)度。二、合作的進(jìn)行過程及規(guī)律”一報(bào)還一報(bào)”的策略在靜態(tài)的群體中得到了很好的分?jǐn)?shù)，那么，在一個(gè)動(dòng)態(tài)的進(jìn)化的群體中， 這種合作者能否產(chǎn)生、發(fā)展、生存下去呢？群體是會(huì)向合作的方向進(jìn)化，還是向不合作的方 向進(jìn)化？如果大家開始都不合作，能否在進(jìn)化過程中產(chǎn)生合作？為了回答這些疑問，艾氏用 生態(tài)學(xué)的原理來分析合作的進(jìn)化過程。假設(shè)對(duì)策者所組成的策略群體是一代一代進(jìn)化下去的，進(jìn)化的規(guī)則包括：一，試錯(cuò)。人們?cè)?對(duì)待周圍環(huán)境時(shí)，起初不知道該怎么做，于是就試試這個(gè)，試試那個(gè)，哪個(gè)結(jié)果好就照哪個(gè) 去做。第二，遺傳。一

8、個(gè)人如果合作性好，他的后代的合作基因就多。第三，學(xué)習(xí)。比賽過 程就是對(duì)策者相互學(xué)習(xí)的過程，”一報(bào)還一報(bào)”的策略好，有的人就愿意學(xué)。按這樣的思路， 艾氏設(shè)計(jì)了一個(gè)實(shí)驗(yàn)，假設(shè)63個(gè)對(duì)策者中，誰(shuí)在第一輪中的得分高，他在第二輪的群體中 所占比例就越高，而且是他的得分的正函數(shù)。這樣，群體的結(jié)構(gòu)就會(huì)在進(jìn)化過程中改變，由 此可以看出群體是向什么方向進(jìn)化的。實(shí)驗(yàn)結(jié)果很有趣?！币粓?bào)還一報(bào)”原來在群體中占1/63，經(jīng)過1000代的進(jìn)化，結(jié)構(gòu)穩(wěn)定下來 時(shí)，它占了 24%。另外，有一些程序在進(jìn)化過程中消失了。其中有一個(gè)值得研究的程序， 即原來前15名中唯一的那個(gè)”不善良的”哈靈頓程序，它的對(duì)策方案是，首先合作，當(dāng)發(fā)現(xiàn)

9、 對(duì)方一直在合作，它就突然來個(gè)不合作，如果對(duì)方立刻報(bào)復(fù)它，它就恢復(fù)合作，如果對(duì)方仍 然合作，它就繼續(xù)背叛。這個(gè)程序一開始發(fā)展很快，但等到除了一報(bào)還一報(bào)”之外的其它程 序開始消失時(shí)，它就開始下降了。因此，以合作系數(shù)來測(cè)量，群體是越來越合作的。進(jìn)化實(shí)驗(yàn)揭示了一個(gè)哲理：一個(gè)策略的成功應(yīng)該以對(duì)方的成功為基礎(chǔ)?！币粓?bào)還一報(bào)”在兩個(gè) 人對(duì)策時(shí)，得分不可能超過對(duì)方，最多打個(gè)平手，但它的總分最高。它賴以生存的基礎(chǔ)是很 牢固的，因?yàn)樗寣?duì)方得到了高分。哈靈頓程序就不是這樣，它得到高分時(shí)，對(duì)方必然得到 低分。它的成功是建立在別人失敗的基礎(chǔ)上的，而失敗者總是要被淘汰的，當(dāng)失敗者被淘汰之后，這個(gè)好占別人便宜的成功者也

10、要被淘汰。那么，在一個(gè)極端自私者所組成的不合作者的群體中，”一報(bào)還一報(bào)”能否生存呢？艾氏發(fā)現(xiàn)， 在得分矩陣和未來的折現(xiàn)系數(shù)一定的情況下，可以算出，只要群體的5%或更多成員是”一 報(bào)還一報(bào)”的，這些合作者就能生存，而且，只要他們的得分超過群體的總平均分，這個(gè)合 作的群體就會(huì)越來越大，最后蔓延到整個(gè)群體。反之，無論不合作者在一個(gè)合作者占多數(shù)的 群體中有多大比例，不合作者都是不可能自下而上的。這就說明，社會(huì)向合作進(jìn)化的棘輪是 不可逆轉(zhuǎn)的，群體的合作性越來越大。艾克斯羅德正是以這樣一個(gè)鼓舞人心的結(jié)論，突破了 ”囚犯困境”的研究困境。在研究中發(fā)現(xiàn)，合作的必要條件是：第一、關(guān)系要持續(xù)，一次性的或有限次的博

11、弈中，對(duì)策 者是沒有合作動(dòng)機(jī)的；第二、對(duì)對(duì)方的行為要做出回報(bào)，一個(gè)永遠(yuǎn)合作的對(duì)策者是不會(huì)有人 跟他合作的。那么，如何提高合作性呢？首先，要建立持久的關(guān)系，即使是愛情也需要建立婚姻契約以維 持雙方的合作。（火車站的小販為什么要騙人？為什么工作中要形成小組制度？換防的時(shí)候 一方總是要小小地進(jìn)攻一下的，在中越前線就是這樣）第二、要增強(qiáng)識(shí)別對(duì)方行動(dòng)的能力， 如果不清楚對(duì)方是合作還是不合作，就沒法回報(bào)他了。第三、要維持聲譽(yù)，說要報(bào)復(fù)就一定 要做到，人家才知道你是不好欺負(fù)的，才不敢不與你合作。第四、能夠分步完成的對(duì)局不要 一次完成，以維持長(zhǎng)久關(guān)系，比如，貿(mào)易、談判都要分步進(jìn)行，以促使對(duì)方采取合作態(tài)度。 第

12、五、不要嫉妒人家的成功，”一報(bào)還一報(bào)”正是這樣的典范。第六、不要首先背叛，以免擔(dān) 上罪魁禍?zhǔn)椎牡赖聣毫?。第七、不僅對(duì)背叛要回報(bào)，對(duì)合作也要作出回報(bào)。第八、不要耍小 聰明，占人家便宜。（打橋牌和打麻將的區(qū)別）艾克斯羅德在合作的進(jìn)化一書結(jié)尾提出幾個(gè)結(jié)論。第一、友誼不是合作的必要條件，即 使是敵人，只要滿足了關(guān)系持續(xù)，互相回報(bào)的條件，也有可能合作。比如，第一次世界大戰(zhàn) 期間，德英兩軍在戰(zhàn)壕戰(zhàn)中遇上了三個(gè)月的雨季，雙方在這三個(gè)月中達(dá)成了默契，互相不攻 擊對(duì)方的糧車給養(yǎng)，到大反攻時(shí)再你死我活地打。這個(gè)例子說明，友誼不是合作的前提。第二、預(yù)見性也不是合作的前提，艾氏舉出生物界低等動(dòng)物、植物之間合作的例子來

13、說明這一 點(diǎn)。但是，當(dāng)有預(yù)見性的人類了解了合作的規(guī)律之后，合作進(jìn)化的過程就會(huì)加快。這時(shí)，預(yù) 見性是有用的，學(xué)習(xí)也是有用的。當(dāng)游戲中考慮到隨機(jī)干擾，即對(duì)策者由于誤會(huì)而開始互相背叛的情形時(shí)，吳堅(jiān)忠博士經(jīng)研究 發(fā)現(xiàn)，以修正的”一報(bào)還一報(bào)”，即以一定的概率不報(bào)復(fù)對(duì)方的背叛，和”悔過的一報(bào)還一報(bào) ”，即以一定的概率主動(dòng)停止背叛。群體所有成員處理隨機(jī)環(huán)境的能力越強(qiáng)，”悔過的一報(bào)還 一報(bào)”效果越好，”寬大的一報(bào)還一報(bào)”效果越差。三、艾克斯羅德的貢獻(xiàn)與局限性 艾克斯羅德通過數(shù)學(xué)化和計(jì)算機(jī)化的方法研究如何突破囚徒困境，達(dá)成合作，將這項(xiàng)研究帶 到了一個(gè)全新境界，他在數(shù)學(xué)上的證明無疑是十分雄辯和令人信服的，而且，他

14、在計(jì)算機(jī)模 擬中得出的一些結(jié)論是非常驚人的發(fā)現(xiàn)，比如，總分最高的人在每次博弈中都沒有拿到最高分。（劉邦和項(xiàng)羽的戰(zhàn)爭(zhēng)） 艾氏所發(fā)現(xiàn)的”一報(bào)還一報(bào)”策略，從社會(huì)學(xué)的角度可以看作是一種互惠式利他”，這種行為 的動(dòng)機(jī)是個(gè)人私利，但它的結(jié)果是雙方獲利，并通過互惠式利他有可能覆蓋了范圍最廣的社 會(huì)生活，人們通過送禮及回報(bào)，形成了一種社會(huì)生活的秩序，這種秩序即使在多年隔絕，語(yǔ) 言不通的人群之間也是最易理解的東西。比如，哥倫布登上美洲大陸時(shí)，與印地安人最初的 交往就開始于互贈(zèng)禮物。有些看似純粹的利他行為，比如無償損贈(zèng)，也通過某些間接方式， 比如社會(huì)聲譽(yù)的獲得，得到了回報(bào)。研究這種行為，將對(duì)我們理解社會(huì)生活有很

15、重要的意義。囚徒困境擴(kuò)展為多人博弈時(shí)，就體現(xiàn)了一個(gè)更廣泛的問題一社會(huì)悖論”，或”資源悖論”。 人類共有的資源是有限的，當(dāng)每個(gè)人都試圖從有限的資源中多拿一點(diǎn)兒時(shí)，就產(chǎn)生了局部利 益與整體利益的沖突。人口問題、資源危機(jī)、交通阻塞，都可以在社會(huì)悖論中得以解釋，在 這些問題中，關(guān)鍵是通過研究，制定游戲規(guī)則來控制每個(gè)人的行為。艾克斯羅德的一些結(jié)論在中國(guó)古典文化道德傳統(tǒng)中可以很容易地找到對(duì)應(yīng)，”投桃報(bào)李”、” 人不犯我，我不犯人”都體現(xiàn)了”鈕for tat的思想。但這些東西并不是最優(yōu)的，因?yàn)椤币粓?bào)還 一報(bào)”在充滿了隨機(jī)性的現(xiàn)實(shí)社會(huì)生活里是有缺陷的。對(duì)此，孔子在幾千年前就說出了”以德 報(bào)德，以直報(bào)怨”這樣精

16、彩的修正策略，所謂直”，就是公正，以公正來回報(bào)對(duì)方的背叛， 是一種修正了的”一報(bào)還一報(bào)”，修正的是報(bào)復(fù)的程度，本來會(huì)讓你損失5分，現(xiàn)在只讓你損 失3分，從而以一種公正審判來結(jié)束代代相續(xù)的報(bào)復(fù)，形成文明。但是，艾氏對(duì)博弈者的一些假設(shè)和結(jié)論使其研究不可避免地與現(xiàn)實(shí)脫節(jié)。首先，合作的進(jìn) 化一書暗含著一個(gè)重要的假定，即，個(gè)體之間的博弈是完全無差異的?，F(xiàn)實(shí)的博弈中，對(duì) 策者之間絕對(duì)的平等是不可能達(dá)到的。一方面，對(duì)策者在實(shí)際的實(shí)力上有差異，雙方互相背 叛時(shí)，可能不是各得1分，而是強(qiáng)者得5分，弱者得0分，這樣，弱者的報(bào)復(fù)就毫無意義。 另一方面，即使對(duì)局雙方確實(shí)旗鼓相當(dāng)，但某一方可能懷有賭徒心理，認(rèn)定自己更強(qiáng)

17、大，采 取背叛的策略能占便宜。艾氏的得分矩陣忽視了這種情形，而這種賭徒心理恰恰在社會(huì)上大 量引發(fā)了零和博弈。因此，程序還可以在此基礎(chǔ)上進(jìn)一步改進(jìn)。其次，艾氏認(rèn)為合作不需預(yù)期和信任。這是他受到質(zhì)疑頗多之處。對(duì)策者根據(jù)對(duì)方前面的戰(zhàn) 術(shù)來制定自己下面的戰(zhàn)術(shù)，合作要求個(gè)體能夠識(shí)別那些曾經(jīng)相遇過的個(gè)體并且記得與其相互 作用的歷史，以便作出反應(yīng)，這些都暗含著預(yù)期”行為。在應(yīng)付復(fù)雜的對(duì)策環(huán)境時(shí)，信任可 能是對(duì)局雙方達(dá)成合作的必不可少的環(huán)節(jié)。但是，預(yù)期與信任如何在計(jì)算機(jī)的程序中體現(xiàn)出 來，仍是需要研究的。最后，重復(fù)博弈在現(xiàn)實(shí)中是很難完全實(shí)現(xiàn)的。一次性博弈的大量存在，引發(fā)了很多不合作的 行為，而且，對(duì)策的一方在

18、遭到對(duì)方背叛之后，往往沒有機(jī)會(huì)也沒有還手之力去進(jìn)行報(bào)復(fù)。 比如，資本積累階段的違約行為，國(guó)家之間的核威懾。在這些情況下，社會(huì)要使交易能夠進(jìn) 行，并且防止不合作行為，必須通過法制手段，以法律的懲罰代替?zhèn)€人之間的”一報(bào)還一報(bào)”， 規(guī)范社會(huì)行為。這是艾克斯羅德的研究對(duì)制度學(xué)派的一個(gè)重要啟發(fā)。書目：1、羅伯特艾克斯羅德1984 / 1996：對(duì)策中的致勝之道一合作的進(jìn)化the Evolution of Cooperation 上海人民出版社2、奧爾森美1995年版集體行動(dòng)的邏輯上海三聯(lián)書店3、Martin A. Nowak、Robert M. May、Karl Sigmund互助的算術(shù)科學(xué)1995 年

19、第 10 期4、謝林沖突戰(zhàn)略武器與影響微觀動(dòng)機(jī)和宏觀行為奧曼 博弈論的定義應(yīng)為“交互的決策論”博弈論是交互式條件下的“最優(yōu)理性決策”，即每個(gè)參 與者都希望能以其偏好獲得最大的滿足。如果一個(gè)參與者在既定的信息下最大化其效用，他 就是理性的?！盁o投機(jī)定理”：如果人們能夠充分交流，而且都是理性的，那么人們之間不可能對(duì)給定事 件的判斷存在不一致。根據(jù)這個(gè)結(jié)論可以進(jìn)一步證明的是，在人們都是風(fēng)險(xiǎn)規(guī)避的前提下， 不可能在有共同的事先概率的情況下做相反方向的投機(jī)，因而只有在交流不夠、信息不充分， 或者人們并不理性的情況下才可能存在投機(jī)，否則投機(jī)是不可能發(fā)生的。研究“無限重復(fù)博弈”：在現(xiàn)實(shí)世界，長(zhǎng)期關(guān)系比短期關(guān)

20、系更加容易合作，并且具有效 率更高的博弈結(jié)果，因此一次性博弈往往有失偏頗，奧曼通過對(duì)重復(fù)博弈原創(chuàng)性的全面研究， 很好地詮釋了長(zhǎng)期中的合作行為。重復(fù)博弈加強(qiáng)了我們對(duì)合作條件的理解：為什么在參與者 越多、互動(dòng)越不頻繁、關(guān)系越不牢固、時(shí)間越短、信息越不透明的背景下合作越難維持？這 些問題都能從重復(fù)博弈中得到啟發(fā)，并進(jìn)而理解貿(mào)易戰(zhàn)、價(jià)格戰(zhàn)、公共產(chǎn)品管理效率等現(xiàn)實(shí) 問題?！盁o名氏定理”(the folk theorem):重復(fù)博弈最早討論的是完全信息的情形。在一個(gè)無限重 復(fù)博弈中，如果參與者有足夠的耐心的話，許多原本不是靜態(tài)納什均衡的行動(dòng)都將可能成為 均衡的結(jié)果。該定理把多階段博弈的非合作行為與一次性博

21、弈的合作行為聯(lián)系了起來。完全 信息的重復(fù)博弈論與人們之間相互作用的基本形式的演化相關(guān)。不完全信息的重復(fù)博弈論：不完全信息下，行為人可能不會(huì)擁有被重復(fù)著的一次性博弈所具 有的一些相關(guān)信息。在這種情況下，重復(fù)博弈的重要性在于能使行為人從其他行為人的行為 中獲取并了解到信息。不完全信息博弈的觀點(diǎn)被應(yīng)用于寡頭壟斷、委托人與代理人、保險(xiǎn)中。謝林博弈論之沖突經(jīng)濟(jì)學(xué)，沖突戰(zhàn)略、武器與影響、微觀動(dòng)機(jī)和宏觀行為主要的觀點(diǎn)是：主動(dòng)約束自己隨意性和自主性反而會(huì)增強(qiáng)自我主動(dòng)性。這一看似矛盾的結(jié)論成立的奧妙在于，有些策略行為會(huì)像項(xiàng)羽破釜沉舟一樣，通過自斷后 路從而使自己的承諾足以令對(duì)手相信，這正好與“欲將取之，必先與之”、“置之死地而后生” 的中國(guó)智慧不謀而