大語言模型通識微課課件：智能體和環(huán)境

大語言模型通識微課

智能體和環(huán)境智能體是人工智能領(lǐng)域中的一個很重要的概念，它指的是一個能自主活動的軟件或者硬件實(shí)體。任何獨(dú)立的能夠思考并可以與環(huán)境交互的實(shí)體都可以抽象為智能體。大模型在人工智能應(yīng)用領(lǐng)域的重大突破，讓人們看到了智能體新的發(fā)展機(jī)會。像ChatGPT和GPT-4這樣的基于Transformer架構(gòu)的大模型，成為了為智能體裝備的擁有廣泛任務(wù)能力的“大腦”，從推理、規(guī)劃和決策到行動都使智能體展現(xiàn)出前所未有的能力?；诖竽Ｐ偷闹悄荏w將廣泛深刻地影響人們生活工作的方式。微課10.1智能體和環(huán)境智能體通過傳感器感知環(huán)境并通過執(zhí)行器作用于該環(huán)境的事物。我們從檢查智能體、環(huán)境以及它們之間的耦合，觀察到某些智能體比其他智能體表現(xiàn)得更好，可以自然而然地引出理性智能體的概念，即行為盡可能好。智能體的行為取決于環(huán)境的性質(zhì)。

圖10-1智能體通過傳感器和執(zhí)行器與環(huán)境交互微課10.1智能體和環(huán)境一個人類智能體以眼睛、耳朵和其他器官作為傳感器，以手、腿、聲道等作為執(zhí)行器。而機(jī)器人智能體可能以攝像頭和紅外測距儀作為傳感器，各種電動機(jī)作為執(zhí)行器。軟件智能體接收文件內(nèi)容、網(wǎng)絡(luò)數(shù)據(jù)包和人工輸入（鍵盤/鼠標(biāo)/觸摸屏/語音）作為傳感輸入，并通過寫入文件、發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包、顯示信息或生成聲音對環(huán)境進(jìn)行操作。環(huán)境可以是一切，甚至是整個宇宙。實(shí)際上，我們在設(shè)計智能體時關(guān)心的只是宇宙中某一部分的狀態(tài)，即影響智能體感知以及受智能體動作影響的部分。微課10.1智能體和環(huán)境智能體這一概念主要作為分析系統(tǒng)的工具。理性智能體是做正確事情的事物。人工智能通常通過結(jié)果來評估智能體的行為。當(dāng)智能體進(jìn)入環(huán)境時，它會根據(jù)接受的感知產(chǎn)生一個動作序列，這會導(dǎo)致環(huán)境經(jīng)歷一系列的狀態(tài)。如果序列是理想的，則智能體表現(xiàn)良好，這個概念由性能度量描述，評估任何給定環(huán)境狀態(tài)的序列。10.1.1關(guān)于智能體人類有適用于自身的理性概念，它與成功選擇產(chǎn)生環(huán)境狀態(tài)序列的行動有關(guān)，而這些環(huán)境狀態(tài)序列從人類的角度來看是可取的。但是，機(jī)器沒有自己的欲望和偏好，至少在最初，性能度量是在機(jī)器設(shè)計者或者機(jī)器受眾的頭腦中。一些智能體設(shè)計具有性能度量的顯式表示，而在其他設(shè)計中，性能度量完全是隱式的，智能體可能會做正確的事情，但它不知道為什么。應(yīng)該確?！笆┮詸C(jī)器的目的是我們真正想要的”，但是正確地制定性能度量可能非常困難。例如，考慮真空吸塵器智能體，我們可能會用單個8小時班次中清理的灰塵量來度量其性能。然而，一個理性的智能體可以通過清理灰塵，然后將其全部傾倒在地板上，然后再次清理，如此反復(fù)，從而最大化這一性能度量值。更合適的性能度量是獎勵擁有干凈地板的智能體。例如，在每個時間步中，每個干凈方格可以獲得1分（可能會對耗電和產(chǎn)生的噪聲進(jìn)行懲罰）。作為一般規(guī)則，更好的做法是根據(jù)一個人在環(huán)境中真正想要實(shí)現(xiàn)的目標(biāo)，而不是根據(jù)一個人認(rèn)為智能體應(yīng)該如何表現(xiàn)來設(shè)計性能度量。10.1.2性能度量在任何時候，理性取決于以下4方面：（1）定義成功標(biāo)準(zhǔn)的性能度量；（2）智能體對環(huán)境的先驗(yàn)知識；（3）智能體可以執(zhí)行的動作；（4）智能體到目前為止的感知序列。于是，對理性智能體的定義是：對于每個可能的感知序列，給定感知序列提供的證據(jù)和智能體所擁有的任何先驗(yàn)知識，理性智能體應(yīng)該選擇一個期望最大化其性能度量的動作。10.1.3理性需要區(qū)分理性和全知。全知的智能體能預(yù)知其行動的實(shí)際結(jié)果，并據(jù)此采取行動，但現(xiàn)實(shí)中這是不可能的，理性不等同于完美。理性使期望性能最大化，而完美使實(shí)際性能最大化。因此，對理性的定義并不需要全知，因?yàn)槔硇詻Q策只取決于迄今為止的感知序列。首先，考慮到這種缺乏信息的感知序列，過馬路是不理性的：不觀察路況就過馬路發(fā)生事故的風(fēng)險太大。其次，理性智能體在上街之前應(yīng)該選擇“觀察”動作，因?yàn)橛^察有助于最大化期望性能。采取行動來改變未來的感知，有時被稱為信息收集，這是理性的一個重要組成部分。10.1.4全知、學(xué)習(xí)和自主理性智能體不僅要收集信息，還要盡可能多地從它所感知到的東西中學(xué)習(xí)。智能體的初始配置反映對環(huán)境的一些先驗(yàn)知識，隨著智能體獲得經(jīng)驗(yàn)，這可能會被修改和增強(qiáng)。在一些極端情況下，環(huán)境完全是先驗(yàn)已知和完全可預(yù)測的，這種情況下智能體只需要感知或?qū)W習(xí)，但這樣的智能體是脆弱的。一個理性的智能體應(yīng)該學(xué)習(xí)如何彌補(bǔ)部分或不正確的先驗(yàn)知識。實(shí)際上，很少從一開始就要求智能體完全自主，除非設(shè)計者提供幫助，否則它將不得不隨機(jī)行動。10.1.4全知、學(xué)習(xí)和自主構(gòu)建理性智能體還必須考慮任務(wù)環(huán)境，它本質(zhì)上是“問題”，而理性智能體是其“解決方案”。首先指定任務(wù)環(huán)境，然后展示任務(wù)環(huán)境的多種形式。任務(wù)環(huán)境的性質(zhì)直接影響到智能體程序的恰當(dāng)設(shè)計。例如在討論簡單真空吸塵器智能體的理性時，必須為其指定性能度量、環(huán)境以及智能體的執(zhí)行器和傳感器（PEAS）描述，這些都在任務(wù)環(huán)境的范疇下。設(shè)計智能體時，第一步始終是盡可能完整地指定任務(wù)環(huán)境。10.1.5指定任務(wù)環(huán)境人工智能中可能出現(xiàn)的任務(wù)環(huán)境范圍非常廣泛。然而，我們可以確定少量的維度，并根據(jù)這些維度對任務(wù)環(huán)境進(jìn)行分類。完全可觀測與部分可觀測：如果智能體的傳感器能讓它在每個時間點(diǎn)都能訪問環(huán)境的完整狀態(tài)，那么就說任務(wù)環(huán)境是完全可觀測的。單智能體與多智能體：多智能體環(huán)境中的智能體設(shè)計問題通常與單智能體環(huán)境下有較大差異。確定性與非確定性：如果環(huán)境的下一個狀態(tài)完全由當(dāng)前狀態(tài)和智能體執(zhí)行的動作決定，那么就說環(huán)境是確定性的，否則是非確定性的。10.1.6任務(wù)環(huán)境的屬性回合式與序貫：在回合式任務(wù)中，智能體的經(jīng)驗(yàn)被劃分為原子式回合，每接收一個感知執(zhí)行單個動作。下一回合不依賴于前幾回合采取的動作?；睾鲜江h(huán)境下的智能體不需要提前思考，所以要比序貫環(huán)境簡單很多。靜態(tài)與動態(tài)：如果環(huán)境在智能體思考時發(fā)生了變化，就說該智能體的環(huán)境是動態(tài)的，否則是靜態(tài)的。離散與連續(xù)：這之間的區(qū)別適用于環(huán)境的狀態(tài)、處理時間的方式以及智能體的感知和動作。例如駕駛出租車是一個連續(xù)狀態(tài)和連續(xù)時間的問題。10.1.6任務(wù)環(huán)境的屬性已知與未知：這種區(qū)別是指智能體（或設(shè)計者）對環(huán)境“物理定律”的認(rèn)知狀態(tài)。在已知環(huán)境中，所有行動的結(jié)果（如