大語(yǔ)言模型基礎(chǔ)微課版課件 第9、10章 大模型智能體、大模型應(yīng)用框架

浙江省普通本科高校“十四五”重點(diǎn)教材建設(shè)成果之一大語(yǔ)言模型基礎(chǔ)大語(yǔ)言模型基礎(chǔ)周蘇教授QQ：81505050第9章大模型智能體隨著計(jì)算能力的提升和大數(shù)據(jù)的出現(xiàn)，人工智能有了顯著的發(fā)展，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)技術(shù)的突破使人工智能在視覺識(shí)別、語(yǔ)言處理等領(lǐng)域取得驚人的成就，隨之興起的智能體標(biāo)志著人工智能從單純的任務(wù)執(zhí)行者轉(zhuǎn)變?yōu)槟軌虼砘騾f(xié)助人類做出決策的智能實(shí)體，它們?cè)诶斫夂皖A(yù)測(cè)人類意圖、提高決策質(zhì)量等方面發(fā)揮著越來越重要的作用。智能體是人工智能領(lǐng)域中的一個(gè)重要概念，它指的是一個(gè)能自主活動(dòng)的軟件或者硬件實(shí)體。任何獨(dú)立的能夠思考并可以與環(huán)境交互的實(shí)體都可以抽象為智能體。第9章大模型智能體大模型在人工智能應(yīng)用領(lǐng)域的重大突破，給智能體帶來了新的發(fā)展機(jī)會(huì)。像ChatGPT這樣的基于Transformer架構(gòu)的大模型，成為為智能體裝備的擁有廣泛任務(wù)能力的“大腦”，從推理、規(guī)劃和決策到行動(dòng)都使智能體展現(xiàn)出前所未有的能力。基于大模型的智能體將廣泛深刻地影響人們生活工作的方式，由于可以更好地理解和應(yīng)對(duì)復(fù)雜多變的現(xiàn)實(shí)世界場(chǎng)景，具備更強(qiáng)的智能和自適應(yīng)能力。因此，智能體被認(rèn)為是通往通用人工智能（AGI）的必經(jīng)之路。第9章大模型智能體01智能體和環(huán)境02智能體的良好行為03環(huán)境的本質(zhì)04智能體的結(jié)構(gòu)目錄/CONTENTS05構(gòu)建大模型智能體06AIGCPART01智能體和環(huán)境智能體通過傳感器感知環(huán)境并通過執(zhí)行器作用于該環(huán)境的事物。我們從檢查智能體、環(huán)境以及它們之間的耦合，觀察到某些智能體比其他智能體表現(xiàn)得更好，自然引出了理性智能體的概念，即行為盡可能好。智能體的行為取決于環(huán)境的性質(zhì)，環(huán)境可以是一切，甚至是整個(gè)宇宙。實(shí)際上，設(shè)計(jì)智能體時(shí)關(guān)心的只是宇宙中影響智能體感知以及受智能體動(dòng)作影響的某一部分的狀態(tài)。

圖9-2智能體通過傳感器和執(zhí)行器與環(huán)境交互9.1智能體和環(huán)境一個(gè)人類智能體以眼睛、耳朵和其他器官作為傳感器，以手、腿、聲道等作為執(zhí)行器。而機(jī)器人智能體可能以攝像頭和紅外測(cè)距儀作為傳感器，各種電動(dòng)機(jī)作為執(zhí)行器。軟件智能體接收文件內(nèi)容、網(wǎng)絡(luò)數(shù)據(jù)包和人工輸入（鍵盤/鼠標(biāo)/觸摸屏/語(yǔ)音）作為傳感輸入，并通過寫入文件、發(fā)送網(wǎng)絡(luò)數(shù)據(jù)包、顯示信息或生成聲音對(duì)環(huán)境進(jìn)行操作。9.1智能體和環(huán)境術(shù)語(yǔ)“感知”用來表示智能體的傳感器知覺的內(nèi)容。一般而言，一個(gè)智能體在任何給定時(shí)刻的動(dòng)作選擇，可能取決于其內(nèi)置知識(shí)和迄今為止觀察到的整個(gè)感知序列，而不是它未感知到的任何事物。從數(shù)學(xué)上講，智能體的行為由智能體函數(shù)描述，該函數(shù)將任意給定的感知序列映射到一個(gè)動(dòng)作。9.1智能體和環(huán)境可以想象，將描述任何給定智能體的智能體函數(shù)制成表格，對(duì)大多數(shù)智能體來說這個(gè)表格會(huì)非常大，事實(shí)上是無限的（除非限制所考慮的感知序列的長(zhǎng)度），當(dāng)然，該表只是該智能體的外部特征。在內(nèi)部，人工智能體的智能體函數(shù)由智能體程序?qū)崿F(xiàn)。智能體函數(shù)是一種抽象的數(shù)學(xué)描述，而智能體程序是一個(gè)可以在某些物理系統(tǒng)中運(yùn)行的具體實(shí)現(xiàn)。9.1智能體和環(huán)境我們來看一個(gè)簡(jiǎn)單的例子——真空吸塵器。在一個(gè)由方格組成的世界中，包含一個(gè)機(jī)器人真空吸塵器智能體，其中的方格可能是臟的，也可能是干凈的。考慮只有兩個(gè)方格——方格A和方格B——的情況。真空吸塵器智能體可以感知它在哪個(gè)方格中，以及方格中是否干凈。從方格A開始，智能體可選的操作包括向右移動(dòng)、向左移動(dòng)、吸塵或什么都不做（其實(shí)，真正的機(jī)器人不太可能會(huì)有“向右移動(dòng)”和“向左移動(dòng)”這樣的動(dòng)作，而是采用“向前旋轉(zhuǎn)輪子”和“向后旋轉(zhuǎn)輪子”這樣的動(dòng)作）。一個(gè)非常簡(jiǎn)單的智能體函數(shù)如下：如果當(dāng)前方格是臟的，就吸塵；否則，移動(dòng)到另一個(gè)方格。9.1智能體和環(huán)境PART02智能體的良好行為人工智能通常通過結(jié)果來評(píng)估智能體的行為。當(dāng)智能體進(jìn)入環(huán)境時(shí)，它會(huì)根據(jù)接受的感知產(chǎn)生一個(gè)動(dòng)作序列，這會(huì)導(dǎo)致環(huán)境經(jīng)歷一系列的狀態(tài)。如果序列是理想的，則智能體表現(xiàn)良好，這個(gè)概念由性能度量描述，評(píng)估任何給定環(huán)境狀態(tài)的序列。9.2智能體的良好行為人類有適用于自身的理性概念，它與成功選擇產(chǎn)生環(huán)境狀態(tài)序列的行動(dòng)有關(guān)，而這些環(huán)境狀態(tài)序列從人類的角度來看是可取的。但是，機(jī)器沒有自己的欲望和偏好，至少在最初，性能度量是在機(jī)器設(shè)計(jì)者或者機(jī)器受眾的頭腦中。一些智能體設(shè)計(jì)具有性能度量的顯式表示，但它也可能是完全隱式的。智能體盡管會(huì)做正確的事情，但它并不知道這是為什么。9.2.1性能度量有時(shí)，正確地制定性能度量可能非常困難。例如，考慮真空吸塵器智能體，我們可能會(huì)用單個(gè)8小時(shí)班次中清理的灰塵量來度量其性能。然而，一個(gè)理性的智能體可以通過清理灰塵，然后將其全部?jī)A倒在地板上，然后再次清理，如此反復(fù)，從而最大化這一性能度量值。更合適的性能度量是獎(jiǎng)勵(lì)擁有干凈地板的智能體。例如，在每個(gè)時(shí)間步中，每個(gè)干凈方格可以獲得1分（可能會(huì)對(duì)耗電和產(chǎn)生的噪聲進(jìn)行懲罰）。作為一般規(guī)則，更好的做法是根據(jù)一個(gè)人在環(huán)境中真正想要實(shí)現(xiàn)的目標(biāo)，而不是根據(jù)一個(gè)人認(rèn)為智能體應(yīng)該如何表現(xiàn)來設(shè)計(jì)性能度量。9.2.1性能度量即使避免了明顯的缺陷，一些棘手的問題仍然存在。例如，“干凈地板”的概念是基于一段時(shí)間內(nèi)的平均整潔度。然而，兩個(gè)不同的智能體可以達(dá)到相同的平均整潔度，其中一個(gè)智能體工作始終保持一般水平，而另一個(gè)智能體短時(shí)間工作效率很高，但需要長(zhǎng)時(shí)間的休息。哪種工作方式更可取，這似乎是保潔工作的好課題，而實(shí)際上還是一個(gè)具有深遠(yuǎn)影響的哲學(xué)問題。9.2.1性能度量通常，理性取決于以下4個(gè)方面：（1）定義成功標(biāo)準(zhǔn)的性能度量；（2）智能體對(duì)環(huán)境的先驗(yàn)知識(shí)；（3）智能體可以執(zhí)行的動(dòng)作；（4）智能體到目前為止的感知序列。于是，對(duì)理性智能體的定義是：對(duì)于每個(gè)可能的感知序列，給定感知序列提供的證據(jù)和智能體所擁有的任何先驗(yàn)知識(shí)，理性智能體應(yīng)該選擇一個(gè)期望最大化其性能度量的動(dòng)作。9.2.2理性考慮一個(gè)簡(jiǎn)單的真空吸塵器智能體，如果一個(gè)方格是臟的就清理它，如果不臟就移動(dòng)到另一個(gè)方格，它是理性智能體嗎？假設(shè)：·在1000個(gè)時(shí)間步的生命周期內(nèi)，性能度量在每個(gè)時(shí)間步為每個(gè)干凈的方格獎(jiǎng)勵(lì)1分；·環(huán)境的“地理信息”是先驗(yàn)的，但灰塵的分布和智能體的初始位置不是先驗(yàn)的，干凈的方格會(huì)繼續(xù)保持干凈，吸塵動(dòng)作會(huì)清理當(dāng)前方格，向左或向右的動(dòng)作使智能體移動(dòng)一個(gè)方格，如果該動(dòng)作會(huì)讓智能體移動(dòng)到環(huán)境之外，智能體將保持在原來的位置；9.2.2理性·可用的動(dòng)作僅有向右、向左和吸塵；·智能體能夠正確感知其位置以及該位置是否有灰塵。在這種情況下，智能體確實(shí)是理性的，它的預(yù)期性能至少與任何其他智能體一樣。9.2.2理性顯然，同一個(gè)智能體在不同情況下可能會(huì)變得不理性。例如，在清除所有灰塵后，該智能體會(huì)毫無必要地反復(fù)來回；如果考慮對(duì)每個(gè)動(dòng)作罰1分，那么智能體的表現(xiàn)就會(huì)很差。在確定所有方格都干凈的情況下，一個(gè)好的智能體不會(huì)做任何事情。如果干凈的方格再次變臟，智能體應(yīng)該偶爾檢查，并在必要時(shí)重新清理。如果環(huán)境地理信息是未知的，智能體則需要對(duì)其進(jìn)行探索。9.2.2理性全知的智能體能預(yù)知其行動(dòng)的實(shí)際結(jié)果，并據(jù)此采取行動(dòng)，但在現(xiàn)實(shí)中，全知是不可能的。理性不等同于完美。理性使期望性能最大化，而完美使實(shí)際性能最大化。不要求完美不僅僅是對(duì)智能體公平的問題，關(guān)鍵是，如果期望一個(gè)智能體做事后證明是最好的行動(dòng)，就不可能設(shè)計(jì)一個(gè)符合規(guī)范的智能體。因此，對(duì)理性的定義并不需要全知，因?yàn)槔硇詻Q策只取決于迄今為止的感知序列，我們還必須確保沒有無意中允許智能體進(jìn)行低智的行動(dòng)。9.2.2理性理性智能體不僅要收集信息，還要盡可能多地從它所感知到的東西中學(xué)習(xí)。智能體的初始配置可以反映對(duì)環(huán)境的一些先驗(yàn)知識(shí)，但隨著智能體獲得經(jīng)驗(yàn)，這可能會(huì)被修改和增強(qiáng)。在一些極端情況下，環(huán)境完全是先驗(yàn)已知的和完全可預(yù)測(cè)的，這種情況下，智能體不需要感知或?qū)W習(xí)，只需正確地運(yùn)行。當(dāng)然，這樣的智能體是脆弱的。如果在某種程度上，智能體依賴于其設(shè)計(jì)者的先驗(yàn)知識(shí)，而不是其自身的感知和學(xué)習(xí)過程，就說該智能體缺乏自主性。一個(gè)理性的智能體應(yīng)該是自主的，它應(yīng)該學(xué)習(xí)如何彌補(bǔ)部分或不正確的先驗(yàn)知識(shí)。9.2.2理性PART03環(huán)境的本質(zhì)構(gòu)建理性智能體還必須考慮任務(wù)環(huán)境，它本質(zhì)上是“問題”，而理性智能體是“解決方案”。首先指定任務(wù)環(huán)境，然后展示任務(wù)環(huán)境的多種形式。任務(wù)環(huán)境的性質(zhì)直接影響到智能體程序的恰當(dāng)設(shè)計(jì)。9.3環(huán)境的本質(zhì)在討論簡(jiǎn)單真空吸塵器智能體的理性時(shí)，必須為其指定性能度量、環(huán)境以及智能體的執(zhí)行器和傳感器（即PEAS）描述，這些都在任務(wù)環(huán)境的范疇下。設(shè)計(jì)智能體時(shí)，第一步始終是盡可能完整地指定任務(wù)環(huán)境。我們來考慮一個(gè)更復(fù)雜的問題：自動(dòng)駕駛出租車的任務(wù)環(huán)境PEAS描述（見表9-1）。9.3.1指定任務(wù)環(huán)境表9-1自動(dòng)駕駛出租車司機(jī)任務(wù)環(huán)境的PEAS描述9.3.1指定任務(wù)環(huán)境首先，對(duì)于自動(dòng)駕駛追求的性能度量，理想的標(biāo)準(zhǔn)包括到達(dá)正確的目的地，盡量減少油耗和磨損，盡量減少行程時(shí)間或成本，盡量減少違反交通法規(guī)和對(duì)其他駕駛員的干擾，最大限度地提高安全性和乘客舒適度，最大化利潤(rùn)。顯然，其中有一些目標(biāo)是相互沖突的，需要權(quán)衡。9.3.1指定任務(wù)環(huán)境接著，出租車將面臨什么樣的駕駛環(huán)境？如司機(jī)必須能夠在鄉(xiāng)村車道、城市小巷以及多個(gè)車道的高速公路的各種道路上行駛。道路上有其他交通工具、行人、流浪動(dòng)物、道路工程、警車、水坑和坑洼。出租車還必須與潛在以及實(shí)際的乘客互動(dòng)。另外，還有一些可選項(xiàng)。出租車可以選擇在很少下雪的南方或者經(jīng)常下雪的北方運(yùn)營(yíng)。顯然，環(huán)境越受限，設(shè)計(jì)問題就越容易解決。9.3.1指定任務(wù)環(huán)境自動(dòng)駕駛出租車的執(zhí)行器包括可供人類駕駛員使用的器件，例如通過加速器控制發(fā)動(dòng)機(jī)以及控制轉(zhuǎn)向和制動(dòng)。此外，它還需要輸出到顯示屏或語(yǔ)音合成器，以便與駕駛員以及乘客進(jìn)行對(duì)話，或許還需要某種方式與其他車輛進(jìn)行禮貌的或其他方式的溝通。9.3.1指定任務(wù)環(huán)境出租車的基本傳感器包括一個(gè)或多個(gè)攝像頭以便觀察，以及激光雷達(dá)和超聲波傳感器以便檢測(cè)其他車輛和障礙物的距離。為了避免超速罰單，出租車應(yīng)該有一個(gè)速度表，而為了正確控制車輛（特別是在彎道上），它應(yīng)該有一個(gè)加速度表。要確定車輛的機(jī)械狀態(tài)，需要發(fā)動(dòng)機(jī)、燃油和電氣系統(tǒng)的傳感器常規(guī)陣列。像許多人類駕駛者一樣，它可能需要獲取北斗導(dǎo)航信號(hào)，這樣就不會(huì)迷路。最后，乘客需要觸摸屏或語(yǔ)音輸入才能說明目的地。9.3.1指定任務(wù)環(huán)境表9-2中簡(jiǎn)要列舉了一些其他智能體類型的基本PEAS元素。這些示例包括物理環(huán)境和虛擬環(huán)境。注意，虛擬任務(wù)環(huán)境可能與“真實(shí)”世界一樣復(fù)雜。例如，在拍賣和轉(zhuǎn)售網(wǎng)站上進(jìn)行交易的軟件智能體，它為數(shù)百萬其他用戶和數(shù)十億對(duì)象提供交易業(yè)務(wù)。9.3.1指定任務(wù)環(huán)境表9-2智能體類型及其PEAS描述的示例9.3.1指定任務(wù)環(huán)境人工智能中可能出現(xiàn)的任務(wù)環(huán)境范圍非常廣泛，但可以確定少量的維度，并根據(jù)這些維度對(duì)任務(wù)環(huán)境進(jìn)行分類。這些維度在很大程度上決定了恰當(dāng)?shù)闹悄荏w設(shè)計(jì)以及智能體實(shí)現(xiàn)的主要技術(shù)系列的適用性。首先列出維度，然后分析任務(wù)環(huán)境，闡明思路。9.3.2任務(wù)環(huán)境的屬性完全可觀測(cè)與部分可觀測(cè)：如果能讓智能體的傳感器在每個(gè)時(shí)間點(diǎn)都能訪問環(huán)境的完整狀態(tài)，那么就說任務(wù)環(huán)境是完全可觀測(cè)的。如果傳感器檢測(cè)到與動(dòng)作選擇相關(guān)的所有方面，那么任務(wù)環(huán)境就是有效的完全可觀測(cè)的，而這里的“相關(guān)”又取決于性能度量標(biāo)準(zhǔn)。完全可觀測(cè)的環(huán)境容易處理，因?yàn)橹悄荏w不需要維護(hù)任何內(nèi)部狀態(tài)來追蹤世界。由于傳感器噪聲大且不準(zhǔn)確，或者由于傳感器數(shù)據(jù)中缺少部分狀態(tài)，環(huán)境可能部分可觀測(cè)。9.3.2任務(wù)環(huán)境的屬性例如，只有一個(gè)局部灰塵傳感器的真空吸塵器無法判斷其他方格是否有灰塵，或者自動(dòng)駕駛出租車無法感知其他司機(jī)的想法。如果智能體根本沒有傳感器，那么環(huán)境是不可觀測(cè)的。在這種情況下，智能體的困境可能是無解的，但智能體的目標(biāo)仍然可能實(shí)現(xiàn)。9.3.2任務(wù)環(huán)境的屬性單智能體與多智能體：?jiǎn)沃悄荏w和多智能體環(huán)境之間的區(qū)別似乎足夠簡(jiǎn)單。例如，獨(dú)自解決縱橫字謎的智能體顯然處于單智能體環(huán)境中，而下國(guó)際象棋的智能體則處于二智能體環(huán)境中。然而，這里也有一些微妙的問題，例如我們已經(jīng)描述了如何將一個(gè)實(shí)體視為智能體，但沒有解釋哪些實(shí)體必須視為智能體。智能體A（例如出租車司機(jī)）是否必須將對(duì)象B（另一輛車）視為智能體，還是可以僅將其視為根據(jù)物理定律運(yùn)行的對(duì)象，類似于海灘上的波浪或隨風(fēng)飄動(dòng)的樹葉？9.3.2任務(wù)環(huán)境的屬性多智能體設(shè)計(jì)問題與單智能體有較大差異。例如，在多智能體環(huán)境中，通信通常作為一種理性行為出現(xiàn)：在某些競(jìng)爭(zhēng)環(huán)境中，隨機(jī)行為是理性的，因?yàn)樗苊饬艘恍┛深A(yù)測(cè)性的陷阱。確定性與非確定性：如果環(huán)境的下一個(gè)狀態(tài)完全由當(dāng)前狀態(tài)和智能體執(zhí)行的動(dòng)作決定，那么就說環(huán)境是確定性的，否則是非確定性的。原則上，在完全可觀測(cè)的確定性環(huán)境中，智能體不需要擔(dān)心不確定性。然而，如果環(huán)境是部分可觀測(cè)的，那么它可能是非確定性的。9.3.2任務(wù)環(huán)境的屬性大多數(shù)真實(shí)情況非常復(fù)雜，以至于不可能追蹤所有未觀測(cè)到的方面，實(shí)際上必須將其視為非確定性的。出租車駕駛顯然是非確定性的，因?yàn)闊o法準(zhǔn)確地預(yù)測(cè)交通行為，例如輪胎可能會(huì)意外爆胎，發(fā)動(dòng)機(jī)可能會(huì)在沒有警告的情況下失靈等。雖然所描述的真空吸塵器世界是確定性的，但可能存在非確定性因素，如隨機(jī)出現(xiàn)的灰塵和不可靠的吸力機(jī)制等。注意到“隨機(jī)”與“非確定性”不同。如果環(huán)境模型顯式地處理概率（例如“明天的降雨可能性為25％”），那么它是隨機(jī)的；如果可能性沒有被量化，那么它是“非確定性的”（例如“明天有可能下雨”）。9.3.2任務(wù)環(huán)境的屬性回合式與序貫：許多分類任務(wù)是回合式的。例如，在裝配流水線上檢測(cè)缺陷零件的智能體，它需要根據(jù)當(dāng)前零件做出每個(gè)決策，而無須考慮以前的決策，而且當(dāng)前的決策并不影響下一個(gè)零件是否有缺陷。在回合式任務(wù)環(huán)境中，智能體的經(jīng)驗(yàn)被劃分為原子式回合，每接收一個(gè)感知執(zhí)行單個(gè)動(dòng)作。重要的是，下一回合并不依賴于前幾回合采取的動(dòng)作。但是，在序貫環(huán)境中，當(dāng)前決策可能會(huì)影響未來所有決策。國(guó)際象棋和出租車駕駛是序貫的：在這兩種情況下，短期行為可能會(huì)產(chǎn)生長(zhǎng)期影響?；睾鲜江h(huán)境下的智能體不需要提前思考，所以要比序貫環(huán)境簡(jiǎn)單很多。9.3.2任務(wù)環(huán)境的屬性靜態(tài)與動(dòng)態(tài)：如果環(huán)境在智能體思考時(shí)發(fā)生了變化，就說該智能體的環(huán)境是動(dòng)態(tài)的，否則是靜態(tài)的。靜態(tài)環(huán)境容易處理，因?yàn)橹悄荏w在決定某個(gè)操作時(shí)不需要一直關(guān)注世界，也不需要擔(dān)心時(shí)間的流逝。但是，動(dòng)態(tài)環(huán)境會(huì)不斷地詢問智能體想要采取什么行動(dòng)，如果它還沒有決定，那就什么都不做。如果環(huán)境本身不會(huì)隨著時(shí)間的推移而改變，但智能體的性能分?jǐn)?shù)會(huì)改變，就說環(huán)境是半動(dòng)態(tài)的。駕駛出租車顯然是動(dòng)態(tài)的，因?yàn)轳{駛算法在計(jì)劃下一步該做什么時(shí)，其他車輛和出租車本身在不斷移動(dòng)。在用時(shí)鐘計(jì)時(shí)的情況下國(guó)際象棋是半動(dòng)態(tài)的，而填字游戲是靜態(tài)的。9.3.2任務(wù)環(huán)境的屬性離散與連續(xù)：這之間的區(qū)別適用于環(huán)境的狀態(tài)、處理時(shí)間的方式以及智能體的感知和動(dòng)作。例如，國(guó)際象棋環(huán)境具有有限數(shù)量的不同狀態(tài)（不包括時(shí)鐘），國(guó)際象棋也有一組離散的感知和動(dòng)作。駕駛出租車是一個(gè)連續(xù)狀態(tài)和連續(xù)時(shí)間的問題，出租車和其他車輛的速度和位置是一系列連續(xù)的值，并隨著時(shí)間平穩(wěn)地變化。出租車的駕駛動(dòng)作也是連續(xù)的（轉(zhuǎn)向角等）。嚴(yán)格來說，來自數(shù)字照相機(jī)的輸入是離散的，但通常被視為表示連續(xù)變化的強(qiáng)度和位置。9.3.2任務(wù)環(huán)境的屬性已知與未知：這種區(qū)別是指智能體（或設(shè)計(jì)者）對(duì)環(huán)境“物理定律”的認(rèn)知狀態(tài)。在已知環(huán)境中，所有行動(dòng)的結(jié)果（如果環(huán)境是非確定性的，則對(duì)應(yīng)結(jié)果的概率）都是既定的。顯然，如果環(huán)境未知，智能體將不得不了解它是如何工作的，才能做出正確的決策。9.3.2任務(wù)環(huán)境的屬性最困難的情況是部分可觀測(cè)、多智能體、非確定性、序貫、動(dòng)態(tài)、連續(xù)且未知的。表9-3列出許多熟悉環(huán)境的可變化屬性。例如，將患者的患病過程作為智能體建模并不適合，所以我們將醫(yī)療診斷任務(wù)列為單智能體，但是醫(yī)療診斷系統(tǒng)還可能會(huì)應(yīng)對(duì)頑固的病人和多疑的工作人員，因此環(huán)境具有多智能體方面。此外，如果將任務(wù)設(shè)想為根據(jù)癥狀列表進(jìn)行診斷，那么醫(yī)療診斷是回合式的；如果任務(wù)包括一系列測(cè)試、評(píng)估治療進(jìn)展、處理多個(gè)患者等，那就是序貫的。9.3.2任務(wù)環(huán)境的屬性表9-3任務(wù)環(huán)境的例子及其特征9.3.2任務(wù)環(huán)境的屬性PART04智能體的結(jié)構(gòu)人工智能的工作是設(shè)計(jì)一個(gè)智能體程序?qū)崿F(xiàn)智能體函數(shù)，即從感知到動(dòng)作的映射。假設(shè)該程序?qū)⑦\(yùn)行在某種具有物理傳感器和執(zhí)行器的計(jì)算設(shè)備上，稱之為智能體架構(gòu)。智能體＝架構(gòu)＋程序9.4智能體的結(jié)構(gòu)智能體的關(guān)鍵組成如下圖所示。顯然，選擇的程序必須適合相應(yīng)的架構(gòu)。如果程序打算推薦步行這樣的動(dòng)作，那么對(duì)應(yīng)的架構(gòu)最好有腿。架構(gòu)可能只是一臺(tái)普通PC，也可能是一輛帶有多臺(tái)車載計(jì)算機(jī)、攝像頭和其他傳感器的機(jī)器人汽車。通常，架構(gòu)使程序可以使用來自傳感器的感知，然后運(yùn)行程序，并將程序生成的動(dòng)作選擇反饋給執(zhí)行器。圖9-3智能體的關(guān)鍵組成9.4智能體的結(jié)構(gòu)我們考慮的智能體程序都有相同的框架：將當(dāng)前感知作為傳感器的輸入，并將動(dòng)作返回給執(zhí)行器。而智能體程序框架還有其他選擇，例如可以讓智能體程序作為與環(huán)境異步運(yùn)行的協(xié)程。每個(gè)這樣的協(xié)程都有一個(gè)輸入和輸出端口，并由一個(gè)循環(huán)組成，該循環(huán)讀取輸入端口的感知，并將動(dòng)作寫到輸出端口。注意智能體程序（將當(dāng)前感知作為輸入）和智能體函數(shù)（可能依賴整個(gè)感知?dú)v史）之間的差異。因?yàn)榄h(huán)境中沒有其他可用信息，所以智能體程序別無選擇，只能將當(dāng)前感知作為輸入。如果智能體的動(dòng)作需要依賴于整個(gè)感知序列，那么智能體必須記住歷史感知。9.4.1智能體程序人工智能面臨的關(guān)鍵挑戰(zhàn)是找出編寫程序的方法，盡可能從一個(gè)小程序而不是從一個(gè)大表中產(chǎn)生理性行為。有4種基本的智能體程序，它們體現(xiàn)了幾乎所有智能系統(tǒng)的基本原理，每種智能體程序以特定的方式組合特定的組件來產(chǎn)生動(dòng)作。（1）簡(jiǎn)單反射型智能體。最簡(jiǎn)單的智能體，根據(jù)當(dāng)前感知選擇動(dòng)作，忽略感知?dú)v史的其余部分。9.4.1智能體程序（2）基于模型的反射型智能體。處理部分可觀測(cè)性的最有效方法是讓智能體追蹤它現(xiàn)在觀測(cè)不到的部分世界。也就是說，智能體應(yīng)該維護(hù)某種依賴于感知?dú)v史的內(nèi)部狀態(tài)，從而反映當(dāng)前狀態(tài)的一些未觀測(cè)到的方面。例如剎車問題，內(nèi)部狀態(tài)范圍不僅限于攝像頭拍攝圖像的前一幀，要讓智能體能夠檢測(cè)車輛邊緣的兩個(gè)紅燈何時(shí)同時(shí)亮起或熄滅。對(duì)于其他駕駛?cè)蝿?wù)，如變道，如果智能體無法同時(shí)看到其他車輛，則需要追蹤它們的位置。9.4.1智能體程序隨著時(shí)間的推移，更新這些內(nèi)部狀態(tài)信息需要在智能體程序中以某種形式編碼兩種知識(shí)。首先，需要一些關(guān)于世界如何隨時(shí)間變化的信息，這些信息大致可以分為兩部分：智能體行為的影響和世界如何獨(dú)立于智能體而發(fā)展。例如，當(dāng)智能體順時(shí)針轉(zhuǎn)動(dòng)方向盤時(shí)汽車會(huì)右轉(zhuǎn)；而下雨時(shí)汽車的攝像頭會(huì)被淋濕。這種關(guān)于“世界如何運(yùn)轉(zhuǎn)”的知識(shí)（無論是在簡(jiǎn)單的布爾電路中還是在完整的科學(xué)理論中實(shí)現(xiàn)）被稱為世界的轉(zhuǎn)移模型。9.4.1智能體程序其次，需要一些關(guān)于世界狀態(tài)如何反映在智能體感知中的信息。例如，當(dāng)前面的汽車開始剎車時(shí)，前向攝像頭的圖像中會(huì)出現(xiàn)一個(gè)或多個(gè)亮起的紅色區(qū)域；當(dāng)攝像頭被淋濕時(shí)，圖像中會(huì)出現(xiàn)水滴狀物體并部分遮擋道路。這種知識(shí)稱為傳感器模型。轉(zhuǎn)移模型和傳感器模型結(jié)合在一起讓智能體能夠在傳感器受限的情況下盡可能地跟蹤世界的狀態(tài)。使用此類模型的智能體稱為基于模型的智能體。9.4.1智能體程序（3）基于目標(biāo)的智能體。即使了解了環(huán)境的現(xiàn)狀也并不總是能決定做什么。例如，在一個(gè)路口，出租車可以左轉(zhuǎn)、右轉(zhuǎn)或直行。正確的決定還取決于出租車要去哪里。換句話說，除了當(dāng)前狀態(tài)的描述之外，智能體還需要某種描述理想情況的目標(biāo)信息，例如設(shè)定目的地。智能體程序可以將其與模型相結(jié)合，并選擇實(shí)現(xiàn)目標(biāo)的動(dòng)作。9.4.1智能體程序（4）基于效用的智能體。在大多數(shù)環(huán)境中，僅靠目標(biāo)并不足以產(chǎn)生高質(zhì)量的行為。例如，許多動(dòng)作序列都能使出租車到達(dá)目的地，但有些動(dòng)作序列比其他動(dòng)作序列更快、更安全、更可靠或者更便宜。這個(gè)時(shí)候，目標(biāo)只是在“快樂”和“不快樂”狀態(tài)之間提供了一個(gè)粗略的二元區(qū)別。更一般的性能度量應(yīng)該允許根據(jù)不同世界狀態(tài)的“快樂”程度來對(duì)智能體進(jìn)行比較。經(jīng)濟(jì)學(xué)家和計(jì)算機(jī)科學(xué)家通常用效用這個(gè)詞來代替“快樂”。9.4.1智能體程序我們已經(jīng)看到，性能度量會(huì)給任何給定的環(huán)境狀態(tài)序列打分，因此它可以很容易地區(qū)分到達(dá)出租車目的地所采取的更可取和更不可取的方式。智能體的效用函數(shù)本質(zhì)上是性能度量的內(nèi)部化。如果內(nèi)部效用函數(shù)和外部性能度量一致，那么根據(jù)外部性能度量選擇動(dòng)作，以使其效用最大化的智能體是理性的。9.4.1智能體程序在圖靈早期的著名論文中，曾經(jīng)考慮了手動(dòng)編程實(shí)現(xiàn)智能機(jī)器的想法。他估計(jì)了這可能需要多少工作量，并得出結(jié)論，“似乎需要一些更快捷的方法”。他提出的方法是構(gòu)造學(xué)習(xí)型機(jī)器，然后教它們。在人工智能的許多領(lǐng)域，這是目前創(chuàng)建最先進(jìn)系統(tǒng)的首選方法。任何類型的智能體（基于模型、基于目標(biāo)、基于效用等）都可以構(gòu)建（或不構(gòu)建）成學(xué)習(xí)型智能體。9.4.2學(xué)習(xí)型智能體學(xué)習(xí)還有另一個(gè)優(yōu)勢(shì)：它讓智能體能夠在最初未知的環(huán)境中運(yùn)作，并變得比其最初的能力更強(qiáng)。學(xué)習(xí)型智能體可分為4個(gè)概念組件，其中，“性能元素”框表示我們之前認(rèn)為的整個(gè)智能體程序，“學(xué)習(xí)元素”框可以修改該程序以提升其性能。最重要的區(qū)別在于負(fù)責(zé)提升的學(xué)習(xí)元素和負(fù)責(zé)選擇外部行動(dòng)的性能元素。性能元素接受感知并決定動(dòng)作，學(xué)習(xí)元素使用來自評(píng)估者對(duì)智能體表現(xiàn)的反饋，并以此確定應(yīng)該如何修改性能元素以在未來做得更好。圖9-4通用學(xué)習(xí)型智能體9.4.2學(xué)習(xí)型智能體學(xué)習(xí)元素的設(shè)計(jì)在很大程度上取決于性能元素的設(shè)計(jì)。當(dāng)設(shè)計(jì)者試圖設(shè)計(jì)一個(gè)學(xué)習(xí)某種能力的智能體時(shí)，第一個(gè)問題是“一旦智能體學(xué)會(huì)了如何做，它將使用什么樣的性能元素？”給定性能元素的設(shè)計(jì)，可以構(gòu)造學(xué)習(xí)機(jī)制來改進(jìn)智能體的每個(gè)部分。9.4.2學(xué)習(xí)型智能體評(píng)估者告訴學(xué)習(xí)元素：智能體在固定性能標(biāo)準(zhǔn)方面的表現(xiàn)如何。評(píng)估者是必要的，因?yàn)楦兄旧聿⒉粫?huì)指示智能體是否成功。例如，國(guó)際象棋程序可能會(huì)收到一個(gè)感知，提示它已將死對(duì)手，但它需要一個(gè)性能標(biāo)準(zhǔn)來知道這是一件好事。從概念上講，應(yīng)該把性能標(biāo)準(zhǔn)看作完全在智能體之外，智能體不能修改性能標(biāo)準(zhǔn)以適應(yīng)自己的行為。9.4.2學(xué)習(xí)型智能體學(xué)習(xí)型智能體的最后一個(gè)組件是問題生成器。它負(fù)責(zé)建議動(dòng)作，這些動(dòng)作將獲得全新和信息豐富的經(jīng)驗(yàn)。如果性能元素完全根據(jù)自己的方式，它會(huì)繼續(xù)選擇已知最好的動(dòng)作。但如果智能體愿意進(jìn)行一些探索，并在短期內(nèi)做一些可能不太理想的動(dòng)作，那么從長(zhǎng)遠(yuǎn)來看，它可能會(huì)發(fā)現(xiàn)更好的動(dòng)作。問題生成器的工作是建議這些探索性行動(dòng)。這就是科學(xué)家在進(jìn)行實(shí)驗(yàn)時(shí)所做的。伽利略并不認(rèn)為從比薩斜塔頂端扔石頭本身有價(jià)值。他并不是想要打碎石頭或改造不幸的行人的大腦。他的目的是通過確定更好的物體運(yùn)動(dòng)理論來改造自己的大腦。9.4.2學(xué)習(xí)型智能體學(xué)習(xí)元素可以對(duì)智能體圖中顯示的任何“知識(shí)”組件進(jìn)行更改。最簡(jiǎn)單的情況是直接從感知序列學(xué)習(xí)。觀察成對(duì)相繼的環(huán)境狀態(tài)可以讓智能體了解“我的動(dòng)作做了什么”以及“世界如何演變”以響應(yīng)其動(dòng)作。例如，如果自動(dòng)駕駛出租車在濕滑路面上行駛時(shí)進(jìn)行一定程度的剎車，那么它很快就會(huì)發(fā)現(xiàn)實(shí)際減速多少，以及它是否滑出路面。問題生成器可能會(huì)識(shí)別出模型中需要改進(jìn)的某些部分，并建議進(jìn)行實(shí)驗(yàn)，例如在不同條件下的不同路面上嘗試剎車。無論外部性能標(biāo)準(zhǔn)如何，改進(jìn)基于模型的智能體的組件，使其更好地符合現(xiàn)實(shí)幾乎總是一個(gè)好主意。9.4.2學(xué)習(xí)型智能體從計(jì)算的角度來看，在某些情況下簡(jiǎn)單但稍微不準(zhǔn)確的模型比完美但極其復(fù)雜的模型更好。當(dāng)智能體試圖學(xué)習(xí)反射組件或效用函數(shù)時(shí)，需要外部標(biāo)準(zhǔn)的信息。從某種意義上說，性能標(biāo)準(zhǔn)將傳入感知的一部分區(qū)分為獎(jiǎng)勵(lì)或懲罰，以提供對(duì)智能體行為質(zhì)量的直接反饋。更一般地說，人類的選擇可以提供有關(guān)人類偏好的信息。例如，假設(shè)出租車不知道人們通常不喜歡噪聲，于是決定不停地按揚(yáng)聲器以確保行人知道它即將到來。隨之而來的人類行為，如蓋住耳朵、說臟話甚至可能剪斷喇揚(yáng)聲器上的電線，將為智能體提供更新其效用函數(shù)的證據(jù)。9.4.2學(xué)習(xí)型智能體總之，智能體有各種組件，這些組件可以在智能體程序中以多種方式表示，因此學(xué)習(xí)方法之間似乎存在很大差異。然而，主題仍然是統(tǒng)一的：智能體中的學(xué)習(xí)可以概括為對(duì)智能體的各個(gè)組件進(jìn)行修改的過程，使各組件與可用的反饋信息更接近，從而提升智能體的整體性能。9.4.2學(xué)習(xí)型智能體智能體程序由各種組件組成，組件表示了智能體所處環(huán)境的各種處理方式。我們通過一個(gè)復(fù)雜性和表達(dá)能力不斷增加的方式來描述，即原子表示、因子化表示和結(jié)構(gòu)化表示。例如，我們來考慮一個(gè)特定的智能體組件，處理“我的動(dòng)作會(huì)導(dǎo)致什么”。這個(gè)組件描述了采取動(dòng)作的結(jié)果可能在環(huán)境中引起的變化。

圖9-5表示狀態(tài)及其轉(zhuǎn)移的3種方法9.4.3智能體組件的工作圖9-5（a）中，原子表示一個(gè)狀態(tài)（如B或C）是沒有內(nèi)部結(jié)構(gòu)的黑盒；圖9-5（b）中因子化表示狀態(tài)由屬性值向量組成，值可以是布爾值、實(shí)值或一組固定符號(hào)中的一個(gè)；圖9-5（c）中結(jié)構(gòu)化表示狀態(tài)包括對(duì)象，每個(gè)對(duì)象可能有自己的屬性以及與其他對(duì)象的關(guān)系。9.4.3智能體組件的工作在原子表示中，世界的每一個(gè)狀態(tài)都是不可分割的，它沒有內(nèi)部結(jié)構(gòu)?？紤]這樣一個(gè)任務(wù)：通過城市序列找到一條從某個(gè)國(guó)家的一端到另一端的行車路線。為了解決這個(gè)問題，將世界狀態(tài)簡(jiǎn)化為所處城市的名稱就足夠了，這就是單一知識(shí)原子，也是一個(gè)“黑盒”，唯一可分辨的屬性是與另一個(gè)黑盒相同或不同。搜索和博弈中的標(biāo)準(zhǔn)算法、隱馬爾可夫模型以及馬爾可夫決策過程都基于原子表示。9.4.3智能體組件的工作因子化表示將每個(gè)狀態(tài)拆分為一組固定的變量或?qū)傩裕總€(gè)變量或?qū)傩远伎梢杂幸粋€(gè)值?？紤]同一個(gè)駕駛問題，即我們需要關(guān)注的不僅僅是一個(gè)城市或另一個(gè)城市的原子位置，可能還需要關(guān)注油箱中的汽油量、當(dāng)前的北斗導(dǎo)航坐標(biāo)、油量警示燈是否工作、通行費(fèi)、收音機(jī)頻道等。兩個(gè)不同的原子狀態(tài)沒有任何共同點(diǎn)（只是不同的黑盒），但兩個(gè)不同的因子化狀態(tài)可以共享某些屬性（如位于某個(gè)導(dǎo)航位置），而其他屬性不同（如有大量汽油或沒有汽油），這使得研究如何將一種狀態(tài)轉(zhuǎn)換為另一種狀態(tài)變得更加容易。9.4.3智能體組件的工作人工智能的許多重要領(lǐng)域都基于因子化表示，包括約束滿足算法、命題邏輯、規(guī)劃、貝葉斯網(wǎng)絡(luò)以及各種機(jī)器學(xué)習(xí)算法。此外，我們還需要將世界理解為存在著相互關(guān)聯(lián)的事物，而不僅僅是具有值的變量。例如，我們可能注意到前面有一輛卡車正在倒車進(jìn)入一個(gè)奶牛場(chǎng)的車道，但一頭奶牛擋住了卡車的路。這時(shí)就需要一個(gè)結(jié)構(gòu)化表示，可以明確描述諸如奶牛和卡車之類的對(duì)象及其各種不同的關(guān)系。結(jié)構(gòu)化表示是關(guān)系數(shù)據(jù)庫(kù)和一階邏輯、一階概率模型和大部分自然語(yǔ)言理解的基礎(chǔ)。事實(shí)上，人類用自然語(yǔ)言表達(dá)的大部分內(nèi)容都與對(duì)象及其關(guān)系有關(guān)。9.4.3智能體組件的工作PART05構(gòu)建大模型智能體盡管能力出色，但大模型還只是被動(dòng)的工具，它們依賴簡(jiǎn)單的執(zhí)行過程，無法直接當(dāng)智能體使用。智能體機(jī)制具有主動(dòng)性，特別是在與環(huán)境的交互、主動(dòng)決策和執(zhí)行各種任務(wù)方面。另外，智能體通過挖掘大模型的潛在優(yōu)勢(shì)，可以進(jìn)一步增強(qiáng)決策制定。特別是使用人工、環(huán)境或模型來提供反饋，使得智能體可以具備更深思熟慮和自適應(yīng)的問題解決機(jī)制，超越大模型現(xiàn)有技術(shù)的局限。可以說，智能體是真正釋放大模型潛能的關(guān)鍵，它能為大模型核心提供強(qiáng)大的行動(dòng)能力；而另一方面，大模型能提供智能體所需要的強(qiáng)大引擎?？梢哉f，大模型和智能體可以互補(bǔ)而相互成就。9.5構(gòu)建大模型智能體智能體根據(jù)設(shè)定的目標(biāo)，確定好需要履行特定角色，自主觀測(cè)感知環(huán)境，根據(jù)獲得的環(huán)境狀態(tài)信息，檢索歷史記憶以及相關(guān)知識(shí)，通過推理規(guī)劃分解任務(wù)并確定行動(dòng)策略，并反饋?zhàn)饔糜诃h(huán)境，以達(dá)成目標(biāo)。在這個(gè)過程中，智能體持續(xù)學(xué)習(xí)，以像人類一樣不斷進(jìn)化?；诖竽Ｐ蛠順?gòu)建一個(gè)智能體，能充分地利用大模型的各種能力，驅(qū)動(dòng)不同的組成單元。圖9-6基于大模型的智能體應(yīng)用9.5構(gòu)建大模型智能體智能體本身包括觀測(cè)感知模塊、記憶檢索、推理規(guī)劃和行動(dòng)執(zhí)行等模塊。它呈現(xiàn)強(qiáng)大能力的關(guān)鍵在于系統(tǒng)形成反饋閉環(huán)，使智能體可以持續(xù)地迭代學(xué)習(xí)，不斷地獲得新知識(shí)和能力。反饋除了來自環(huán)境外，還可以來自人類和語(yǔ)言模型。智能體不斷積累必要的經(jīng)驗(yàn)來增強(qiáng)改進(jìn)自己，以顯著提高規(guī)劃能力并產(chǎn)生新的行為，以越來越適應(yīng)環(huán)境并符合常識(shí)，更加完滿地完成任務(wù)。在執(zhí)行任務(wù)過程中的不同階段，基于大模型的智能體通過提示等方式與大模型交互獲得必要的資源和相關(guān)結(jié)果。9.5構(gòu)建大模型智能體PART06人工智能生成內(nèi)容AIGC就是由人工智能技術(shù)來自動(dòng)創(chuàng)作生成內(nèi)容，比如生成圖形圖像、視頻、音樂、文字（文章、短篇小說、報(bào)告）等。AIGC就像一支神奇的畫筆，擁有無限的創(chuàng)造力。這支畫筆的特別之處在于它是由人工智能打造的。利用人工智能的理解力、想象力和創(chuàng)作力，根據(jù)指定的需求和風(fēng)格，創(chuàng)作出各種內(nèi)容。AIGC的出現(xiàn)，打開了一個(gè)全新的創(chuàng)作世界，為人們提供了無數(shù)的可能性。9.6人工智能生成內(nèi)容（AIGC）從用戶生成內(nèi)容（UGC），到專業(yè)生成內(nèi)容（PGC），再到現(xiàn)在的人工智能生成內(nèi)容（AIGC），我們看到了內(nèi)容創(chuàng)作方式的巨大變革和進(jìn)步。例如，AIGC是人工智能大模型，特別是自然語(yǔ)言處理模型的一種重要應(yīng)用，而ChatGPT是AIGC在聊天對(duì)話場(chǎng)景的一個(gè)具體應(yīng)用。可以把AIGC看作是一個(gè)大的范疇，而ChatGPT是其中一個(gè)類別的應(yīng)用。9.6人工智能生成內(nèi)容（AIGC）智能數(shù)字內(nèi)容孿生主要分為內(nèi)容的增強(qiáng)與轉(zhuǎn)譯。增強(qiáng)即對(duì)數(shù)字內(nèi)容修復(fù)、去噪、細(xì)節(jié)增強(qiáng)等。轉(zhuǎn)譯即對(duì)數(shù)字內(nèi)容轉(zhuǎn)換如翻譯等。該技術(shù)旨在將現(xiàn)實(shí)世界中的內(nèi)容進(jìn)行智能增強(qiáng)與智能轉(zhuǎn)譯，更好的完成現(xiàn)實(shí)世界到數(shù)字世界映射。例如，我們拍攝了一張低分辨率的圖片，通過智能增強(qiáng)中的圖像超分可對(duì)低分辨率進(jìn)行放大，同時(shí)增強(qiáng)圖像的細(xì)節(jié)信息，生成高清圖。再比如，對(duì)于老照片中的像素缺失部分，可通過智能增強(qiáng)技術(shù)進(jìn)行內(nèi)容復(fù)原。而智能轉(zhuǎn)譯則更關(guān)注不同模態(tài)之間的相互轉(zhuǎn)換。9.6.1內(nèi)容孿生比如，錄制一段音頻，可通過智能轉(zhuǎn)譯技術(shù)自動(dòng)生成字幕；再比如，輸入一段文字可以自動(dòng)生成語(yǔ)音，兩個(gè)例子均為模態(tài)間智能轉(zhuǎn)譯應(yīng)用。內(nèi)容孿生的應(yīng)用主要有語(yǔ)音轉(zhuǎn)字幕、文字轉(zhuǎn)語(yǔ)音、圖像超分等。其中，圖像超分辨率是指利用光學(xué)及其相關(guān)光學(xué)知識(shí)，根據(jù)已知圖像信息恢復(fù)圖像細(xì)節(jié)和其他數(shù)據(jù)信息的過程，簡(jiǎn)單來說就是增大圖像的分辨率，防止其圖像質(zhì)量下降。9.6.1內(nèi)容孿生智能數(shù)字內(nèi)容編輯是通過對(duì)內(nèi)容的理解以及屬性控制，進(jìn)而實(shí)現(xiàn)對(duì)內(nèi)容的修改。如在計(jì)算機(jī)視覺領(lǐng)域，通過對(duì)視頻內(nèi)容的理解實(shí)現(xiàn)不同場(chǎng)景視頻片段的剪輯。通過人體部位檢測(cè)以及目標(biāo)衣服的變形控制與截?cái)嗵幚恚瑢⒛繕?biāo)衣服覆蓋至人體部位，實(shí)現(xiàn)虛擬試衣。在語(yǔ)音信號(hào)處理領(lǐng)域，通過對(duì)音頻信號(hào)分析，實(shí)現(xiàn)人聲與背景聲分離。以上例子都是在理解數(shù)字內(nèi)容的基礎(chǔ)上對(duì)內(nèi)容的編輯與控制。9.6.2內(nèi)容編輯內(nèi)容編輯的應(yīng)用例如有視頻場(chǎng)景剪輯、虛擬試衣、人聲分離等。智能數(shù)字內(nèi)容生成是通過從海量數(shù)據(jù)中學(xué)習(xí)抽象概念，并通過概念的組合生成全新的內(nèi)容。如人工智能繪畫，從海量繪畫中學(xué)習(xí)作品不同筆法、內(nèi)容、藝術(shù)風(fēng)格，并基于學(xué)習(xí)內(nèi)容重新生成特定風(fēng)格的繪畫。采用此方式，人工智能在文本創(chuàng)作、音樂創(chuàng)作和詩(shī)詞創(chuàng)作中取得了不錯(cuò)的表現(xiàn)。再比如，在跨模態(tài)領(lǐng)域，通過輸入文本輸出特定風(fēng)格與屬性的圖像，不僅能夠描述圖像中主體的數(shù)量、形狀、顏色等屬性信息，而且能夠描述主體的行為、動(dòng)作以及主體之間的關(guān)系。9.6.2內(nèi)容編輯內(nèi)容生成的應(yīng)用例如文本生成（AI寫作）、圖像生成（AI繪畫）、音頻生成、視頻生成、多模態(tài)生成等5個(gè)方面。（1）文本生成。根據(jù)使用場(chǎng)景，基于自然語(yǔ)言處理的文本內(nèi)容生成可分為非交互式與交互式文本生成。非交互式文本生成包括摘要/標(biāo)題生成、文本風(fēng)格遷移、文章生成、圖像生成文本等。交互式文本生成主要包括聊天機(jī)器人、文本交互游戲等。文本生成的代表性產(chǎn)品或模型例如ChatGPT。9.6.2內(nèi)容編輯（2）圖像生成。根據(jù)使用場(chǎng)景，可分為圖像編輯修改與圖像自主生成。圖像編輯修改可應(yīng)用于圖像超分、圖像修復(fù)、人臉替換、圖像去水印、圖像背景去除等。圖像自主生成包括端到端的生成，如真實(shí)圖像生成卡通圖像、參照?qǐng)D像生成繪畫圖像、真實(shí)圖像生成素描圖像、文本生成圖像等。圖像生成的代表性產(chǎn)品或模型例如Midjourney、文心一格等。9.6.2內(nèi)容編輯（3）音頻生成。技術(shù)較為成熟，在C端產(chǎn)品中也較為常見，如語(yǔ)音克隆，將人聲1替換為人聲2。還可應(yīng)用于文本生成特定場(chǎng)景語(yǔ)音，如數(shù)字人播報(bào)、語(yǔ)音客服等。此外，可基于文本描述、圖片內(nèi)容理解生成場(chǎng)景化音頻、樂曲等。音頻生成的代表性產(chǎn)品或模型例如DeepMusic、WaveNet、DeepVoice、MusicAutoBot等。9.6.2內(nèi)容編輯（4）視頻生成。它與圖像生成在原理上相似，主要分為視頻編輯與視頻自主生成。視頻編輯可應(yīng)用于視頻超分（視頻畫質(zhì)增強(qiáng)）、視頻修復(fù)（老電影上色、畫質(zhì)修復(fù)）、視頻畫面剪輯（識(shí)別畫面內(nèi)容，自動(dòng)場(chǎng)景剪輯）。視頻自主生成可應(yīng)用于圖像生成視頻（給定參照?qǐng)D像，生成一段運(yùn)動(dòng)視頻）、文本生成視頻（給定一段描述性文字，生成內(nèi)容相符視頻）。視頻生成的代表性產(chǎn)品或模型例如Deepfake，videoGPT，Gliacloud、Make-A-Video、Imagenvideo等。9.6.2內(nèi)容編輯（5）多模態(tài)生成。前面四種模態(tài)可以進(jìn)行組合搭配，進(jìn)行模態(tài)間轉(zhuǎn)換生成。如文本生成圖像（AI繪畫、根據(jù)提示語(yǔ)生成特定風(fēng)格圖像）、文本生成音頻（AI作曲、根據(jù)提成是語(yǔ)生成特定場(chǎng)景音頻）、文本生成視頻（AI視頻制作、根據(jù)一段描述性文本生成語(yǔ)義內(nèi)容相符視頻片段）、圖像生成文本（根據(jù)圖像生成標(biāo)題、根據(jù)圖像生成故事）、圖像生成視頻。多模態(tài)生成的代表性產(chǎn)品或模型例如DALL-E、MidJourney、StableDiffusion等。9.6.2內(nèi)容編輯01智能體和環(huán)境02智能體的良好行為03環(huán)境的本質(zhì)04智能體的結(jié)構(gòu)目錄/CONTENTS05構(gòu)建大模型智能體06AIGC大語(yǔ)言模型基礎(chǔ)第9章大模型智能體浙江省普通本科高?！笆奈濉敝攸c(diǎn)教材建設(shè)成果之一大語(yǔ)言模型基礎(chǔ)大語(yǔ)言模型基礎(chǔ)周蘇教授QQ：81505050第10章大模型應(yīng)用框架大語(yǔ)言模型技術(shù)就像一把神奇的鑰匙，正在為產(chǎn)品開發(fā)打開新世界的大門。無論是個(gè)人開發(fā)者想要借助這項(xiàng)技術(shù)來提升自己的技能和打造酷炫的產(chǎn)品，還是企業(yè)團(tuán)隊(duì)希望通過它在商業(yè)戰(zhàn)場(chǎng)上取得競(jìng)爭(zhēng)優(yōu)勢(shì)，都得學(xué)會(huì)運(yùn)用大模型輔助產(chǎn)品的全流程開發(fā)與應(yīng)用。簡(jiǎn)單來說，使用預(yù)訓(xùn)練的大模型開發(fā)的主要優(yōu)勢(shì)在于簡(jiǎn)化開發(fā)過程，降低開發(fā)難度，而傳統(tǒng)的機(jī)器學(xué)習(xí)開發(fā)則需要更多的專業(yè)知識(shí)和資源投入。第10章大模型應(yīng)用框架PART01大模型哲學(xué)問題人工神經(jīng)網(wǎng)絡(luò)（ANN）和早期的自然語(yǔ)言處理（NLP）結(jié)構(gòu)一直是哲學(xué)討論的焦點(diǎn)，聚焦在它們作為建模人類認(rèn)知的適用性上。具體而言，相比于經(jīng)典的、符號(hào)的、基于規(guī)則的對(duì)應(yīng)物模型，它們是否構(gòu)成了更好的人類認(rèn)知模型。其中有些爭(zhēng)論因深度學(xué)習(xí)的發(fā)展和大語(yǔ)言模型的成功而復(fù)蘇和轉(zhuǎn)變。10.1大模型哲學(xué)問題長(zhǎng)期以來，研究者們批評(píng)人工神經(jīng)網(wǎng)絡(luò)無法解釋認(rèn)知的核心結(jié)構(gòu)，在模擬人類思維方面存在局限。批評(píng)者認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)要么無法捕捉經(jīng)典符號(hào)架構(gòu)中可以輕松解釋的認(rèn)知特征，或者實(shí)際上只是實(shí)現(xiàn)了這種符號(hào)處理的架構(gòu)，但在真正理解思維過程方面并沒有提供新的見解。10.1.1組成性近年來，大模型的迅速發(fā)展挑戰(zhàn)了這種模型局限性的傳統(tǒng)觀點(diǎn)。大量實(shí)證研究調(diào)查了大模型在需要組合處理的任務(wù)上是否能表現(xiàn)出類人水平的性能，這些研究主要評(píng)估模型的組合泛化能力，即它們是否能夠系統(tǒng)地重新組合先前學(xué)到的元素，并將這些元素組成的新輸入映射到正確的輸出上。這對(duì)于大模型來說，本來就是一項(xiàng)困難的任務(wù)，因?yàn)樗鼈兺ǔＪ怯谬嫶蟮淖匀徽Z(yǔ)言語(yǔ)料庫(kù)訓(xùn)練而成的，而這些數(shù)據(jù)可能包含了很多特定的句子模式。但研究者通過精心設(shè)計(jì)的訓(xùn)練-測(cè)試劃分合成數(shù)據(jù)集，克服了這一問題。10.1.1組成性在組合泛化的合成數(shù)據(jù)集上，許多基于Transformer的模型在測(cè)試上取得了不錯(cuò)的表現(xiàn)。元學(xué)習(xí)，即通過從許多相關(guān)的學(xué)習(xí)任務(wù)中進(jìn)行泛化以更好地學(xué)習(xí)，也表現(xiàn)出無需進(jìn)一步進(jìn)行架構(gòu)調(diào)整即可進(jìn)行泛化的潛力。元學(xué)習(xí)讓模型接觸到多個(gè)相關(guān)任務(wù)的分布，從而幫助它們獲取通用知識(shí)。通過元學(xué)習(xí)，在一系列不同于人工訓(xùn)練的Transformer模型上實(shí)現(xiàn)了系統(tǒng)性泛化，展現(xiàn)出與人類相似的準(zhǔn)確性和錯(cuò)誤模式，而且這些模型不需要明確的組合規(guī)則。這表明，要模仿人類大腦的認(rèn)知結(jié)構(gòu)，可能不需要嚴(yán)格的內(nèi)置規(guī)則。10.1.1組成性福多認(rèn)為，思維和認(rèn)知過程中涉及的信息以一種類似語(yǔ)言的形式存在，這種“心靈的語(yǔ)言”包含可以組合并且具有明確意義的符號(hào)。在福多的框架下，心理過程涉及對(duì)這些離散符號(hào)的操作，這些符號(hào)不僅在語(yǔ)義上可以被評(píng)估，還在認(rèn)知處理中發(fā)揮直接的因果作用。哲學(xué)家和認(rèn)知科學(xué)家杰里·福多也主張，心理過程應(yīng)該基于離散符號(hào)。10.1.1組成性相比之下，人工神經(jīng)網(wǎng)絡(luò)使用的是連續(xù)向量，這些向量被認(rèn)為缺乏離散的、語(yǔ)義上可評(píng)估的成分，這些成分在算法層面參與處理。在這種觀點(diǎn)下，人工神經(jīng)網(wǎng)絡(luò)處理的是較低層級(jí)的激活值，而不是直接操作語(yǔ)義上明確的符號(hào)。這引發(fā)了人工神經(jīng)網(wǎng)絡(luò)是否滿足經(jīng)典成分結(jié)構(gòu)要求的質(zhì)疑。主張聯(lián)結(jié)主義（通過模擬神經(jīng)元之間的相互連接和權(quán)值來實(shí)現(xiàn)人工智能。其他還有符號(hào)主義和行為主義）的人們認(rèn)為人工神經(jīng)網(wǎng)絡(luò)可能建立在一種非經(jīng)典的建模認(rèn)知結(jié)構(gòu)之上。10.1.1組成性連續(xù)性原則認(rèn)為，信息編碼和處理機(jī)制應(yīng)使用可以連續(xù)變化的實(shí)數(shù)表示，而不是離散符號(hào)表示的實(shí)數(shù)進(jìn)行形式化。首先，這使得對(duì)自然語(yǔ)言等領(lǐng)域進(jìn)行更靈活的建模成為可能。其次，利用連續(xù)性的統(tǒng)計(jì)推理方法，如神經(jīng)網(wǎng)絡(luò)，能夠提供可處理的近似解決方案。最后，連續(xù)性允許使用深度學(xué)習(xí)技術(shù)，這些技術(shù)可以同時(shí)優(yōu)化信息編碼和模型參數(shù)，以發(fā)現(xiàn)最大化性能的任務(wù)特定表示空間。10.1.1組成性總體而言，通過利用連續(xù)性的優(yōu)勢(shì)，可以解決離散符號(hào)方法在靈活性、可處理性和編碼方面長(zhǎng)期面臨的挑戰(zhàn)。因此，基于Transformer的人工神經(jīng)為“神經(jīng)組合計(jì)算”提供了有希望的見解：表明人工神經(jīng)網(wǎng)絡(luò)可以滿足認(rèn)知建模的核心約束，特別是連續(xù)和組合結(jié)構(gòu)以及處理的要求。10.1.1組成性天賦觀念是哲學(xué)、美學(xué)用語(yǔ)，指人類生來就有的觀念。一個(gè)傳統(tǒng)爭(zhēng)議在于，人工神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型是否挑戰(zhàn)了語(yǔ)言發(fā)展中天賦論的論點(diǎn)？這場(chǎng)爭(zhēng)論集中在兩個(gè)主張上：一種是較強(qiáng)的原則性主張，另一種是較弱的發(fā)展性主張。原則性主張認(rèn)為，即使接觸再多的語(yǔ)言資料，也不足以使兒童迅速掌握句法知識(shí)。也就是說，如果沒有內(nèi)在的先驗(yàn)語(yǔ)法知識(shí)，人類就無法學(xué)習(xí)語(yǔ)言規(guī)則。發(fā)展性主張則基于“貧乏刺激”理論，認(rèn)為兒童在發(fā)展過程中，實(shí)際接觸的語(yǔ)言輸入的性質(zhì)和數(shù)量不足以誘導(dǎo)出底層句法結(jié)構(gòu)的正確概念，除非他們擁有先天知識(shí)。10.1.2天賦論與語(yǔ)言習(xí)得喬姆斯基派的語(yǔ)言學(xué)家認(rèn)為兒童天生具有“通用語(yǔ)法”，這使得兒童能夠通過少量的經(jīng)驗(yàn)，高效適應(yīng)特定語(yǔ)言中的特定語(yǔ)法。大模型在學(xué)習(xí)語(yǔ)法結(jié)構(gòu)上的成功，成了天賦論的反例。大模型僅通過訓(xùn)練數(shù)據(jù)集，就能夠獲得復(fù)雜的句法知識(shí)。從這個(gè)意義上說，大模型提供了一種經(jīng)驗(yàn)主義的證據(jù)，即統(tǒng)計(jì)學(xué)習(xí)者可以在沒有先天語(yǔ)法的幫助下歸納出語(yǔ)法知識(shí)。然而，這并不直接與發(fā)展性主張相矛盾，因?yàn)榇竽Ｐ屯ǔ＝邮盏恼Z(yǔ)言輸入量比人類兒童要多上幾個(gè)數(shù)量級(jí)。而且，人類兒童面對(duì)的語(yǔ)言輸入和學(xué)習(xí)環(huán)境與大模型有很大不同。10.1.2天賦論與語(yǔ)言習(xí)得人類學(xué)習(xí)更具有互動(dòng)性、迭代性、基礎(chǔ)性和體驗(yàn)性。研究者逐漸通過在更接近真實(shí)學(xué)習(xí)環(huán)境中訓(xùn)練較小的語(yǔ)言模型，提供證據(jù)來支持這種發(fā)展性主張。10.1.2天賦論與語(yǔ)言習(xí)得班德和科勒認(rèn)為，由于語(yǔ)言模型僅在語(yǔ)言形式的方面接受訓(xùn)練，它們無法直接學(xué)習(xí)到語(yǔ)義，因此，即便大模型能夠通過分析語(yǔ)言序列掌握句法結(jié)構(gòu)，也并不意味著它們真的理解了語(yǔ)義。相關(guān)批評(píng)與哈納德在1990年所述的“基礎(chǔ)問題”不謀而合。這個(gè)問題指出，自然語(yǔ)言處理中的語(yǔ)言詞元與它們?cè)诂F(xiàn)實(shí)世界中所指代的對(duì)象之間存在明顯脫節(jié)。在傳統(tǒng)的自然語(yǔ)言處理中，單詞由任意符號(hào)表示，這些符號(hào)與現(xiàn)實(shí)世界中的指代物沒有直接聯(lián)系，它們的語(yǔ)義通常由外部編程者賦予。從系統(tǒng)的角度來看，它們只是嵌入語(yǔ)法規(guī)則中的毫無意義的詞元。10.1.3語(yǔ)言理解與基礎(chǔ)哈納德認(rèn)為，要使自然語(yǔ)言處理系統(tǒng)中的符號(hào)具有內(nèi)在意義，需要這些內(nèi)部符號(hào)表示與符號(hào)所指代的外部世界中的對(duì)象、事件和屬性存在某種基礎(chǔ)聯(lián)系。如果沒有這種聯(lián)系，系統(tǒng)的表示將與現(xiàn)實(shí)脫節(jié)，只能從外部解釋者的角度獲得意義。盡管這一問題最初是針對(duì)經(jīng)典符號(hào)系統(tǒng)提出的，但對(duì)僅在文本上進(jìn)行訓(xùn)練的現(xiàn)代大模型來說，也存在類似的問題。大模型將語(yǔ)言詞元處理為向量，而不是離散符號(hào)，這些向量表示同樣可能與現(xiàn)實(shí)世界脫節(jié)。盡管它們能生成對(duì)熟練的語(yǔ)言使用者有意義的句子，但這些句子在沒有外部解釋的情況下可能就沒有獨(dú)立的意義。10.1.3語(yǔ)言理解與基礎(chǔ)第三則批評(píng)涉及大模型是否具有交際意圖的能力。這涉及到傳統(tǒng)中兩種意義的區(qū)別：一種是與語(yǔ)言表達(dá)相關(guān)的、固定的、與上下文無關(guān)的意義（通常稱為語(yǔ)言意義），另一種是說話者通過話語(yǔ)傳達(dá)的意圖（通常稱為說話者意義）。大模型的輸出包含按照實(shí)際語(yǔ)言使用的統(tǒng)計(jì)模式組織和組合的單詞，因此具有語(yǔ)言意義。然而，為了實(shí)現(xiàn)有效的交流，大模型需要具有相應(yīng)的交際意圖。批評(píng)的觀點(diǎn)認(rèn)為，大模型缺乏交際意圖的基本構(gòu)建塊，如內(nèi)在目標(biāo)和心智理論。10.1.3語(yǔ)言理解與基礎(chǔ)語(yǔ)義能力通常指的是人們使用和理解一種語(yǔ)言中所表達(dá)的含義的能力和知識(shí)。有人提出大模型可能展現(xiàn)出一定程度的語(yǔ)義能力。皮安塔多西和希爾認(rèn)為，大模型中詞匯項(xiàng)的含義與人類一樣，不取決于外部引用，而取決于相應(yīng)表示之間的內(nèi)部關(guān)系，這些表示可以在高維語(yǔ)義空間中，以向量形式進(jìn)行描述。這個(gè)向量空間的“內(nèi)在幾何”指的是不同向量之間的空間關(guān)系，例如向量間的距離、向量組之間形成的角度，以及向量在響應(yīng)上下文內(nèi)容時(shí)的變化方式。10.1.3語(yǔ)言理解與基礎(chǔ)皮安塔多西和希爾認(rèn)為，大模型展示的令人印象深刻的語(yǔ)言能力表明，它們的內(nèi)部表示空間具有大致反映人類概念空間的基本特性的幾何結(jié)構(gòu)。因此，評(píng)估大模型的語(yǔ)義能力不能僅通過檢查它們的架構(gòu)、學(xué)習(xí)目標(biāo)或訓(xùn)練數(shù)據(jù)來確定；相反，至少應(yīng)該部分地基于系統(tǒng)向量空間的內(nèi)在幾何結(jié)構(gòu)。雖然關(guān)于大模型是否獲得指稱語(yǔ)義能力存在爭(zhēng)議，但一些觀點(diǎn)認(rèn)為，通過在語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，大模型可能在一定程度上實(shí)現(xiàn)真正的語(yǔ)言指稱。10.1.3語(yǔ)言理解與基礎(chǔ)雖然大模型通過它們的訓(xùn)練數(shù)據(jù)與世界之間存在間接的因果關(guān)系，但這并不能保證它們的輸出是基于真實(shí)世界的實(shí)際指代。莫洛和米利埃認(rèn)為，僅在文本上進(jìn)行訓(xùn)練的大模型實(shí)際上可能通過依據(jù)人類反饋優(yōu)化語(yǔ)言模型的微調(diào)，獲得涉及世界的功能。雖然經(jīng)過精細(xì)調(diào)整的大模型仍然無法直接訪問世界，但反饋信號(hào)可以將它們的輸出與實(shí)際情況聯(lián)系起來。10.1.3語(yǔ)言理解與基礎(chǔ)還有重要的一點(diǎn)是大模型不具有溝通意圖。大模型輸出的句子可能沒有明確的含義，句子的含義是由外部解答產(chǎn)生的。當(dāng)人類給定一個(gè)外部目標(biāo)時(shí)，大模型可能表現(xiàn)出類似溝通意圖的東西，但這個(gè)“意圖”完全是由人類設(shè)定的目標(biāo)確定的，大模型本質(zhì)上無法形成溝通意圖。10.1.3語(yǔ)言理解與基礎(chǔ)在機(jī)器學(xué)習(xí)中，世界模型通常指的是模擬外部世界某些方面的內(nèi)部表征，使系統(tǒng)能夠以反映現(xiàn)實(shí)世界動(dòng)態(tài)的方式理解、解釋和預(yù)測(cè)現(xiàn)象，包括因果關(guān)系和直觀的物理現(xiàn)象。于是，一個(gè)核心問題是，設(shè)計(jì)用于預(yù)測(cè)下一個(gè)詞元的大模型是否能構(gòu)建出一個(gè)“世界模型”。10.1.4世界模型與通過和環(huán)境互動(dòng)并接收反饋來學(xué)習(xí)的強(qiáng)化學(xué)習(xí)代理不同，大模型并不是通過這種方式進(jìn)行學(xué)習(xí)的。它們能否構(gòu)建出世界模型，實(shí)際上是探討它們是否能夠內(nèi)部構(gòu)建出對(duì)世界的理解，并生成與現(xiàn)實(shí)世界知識(shí)和動(dòng)態(tài)相一致的語(yǔ)言。評(píng)估大模型是否具有世界模型并沒有統(tǒng)一的方法，部分原因在于這個(gè)概念通常定義模糊，部分原因在于難以設(shè)計(jì)實(shí)驗(yàn)來區(qū)分大模型是依賴淺層啟發(fā)式回答問題，還是使用了環(huán)境核心動(dòng)態(tài)的內(nèi)部表征這一假設(shè)。10.1.4世界模型有理論支持大模型可能學(xué)會(huì)了模擬世界的一部分，而不僅僅是進(jìn)行序列概率估計(jì)。更具體地說，互聯(lián)網(wǎng)規(guī)模的訓(xùn)練數(shù)據(jù)集由大量單獨(dú)的文檔組成。對(duì)這些文本的最有效壓縮可能涉及對(duì)生成它們的隱藏變量值進(jìn)行編碼：即文本的人類作者的句法知識(shí)、語(yǔ)義信念和交際意圖。10.1.4世界模型一些理論家提出，人類智能的一個(gè)關(guān)鍵特征在于其獨(dú)特的文化學(xué)習(xí)能力。盡管其他靈長(zhǎng)類動(dòng)物也有類似的能力，但人類在這方面顯得更為突出。人類能夠相互合作，將知識(shí)從上一代傳到下一代，人類能夠從上一代結(jié)束的地方繼續(xù)，并在語(yǔ)言學(xué)、科學(xué)和社會(huì)學(xué)知識(shí)方面取得新的進(jìn)展。這種方式使人類的知識(shí)積累和發(fā)現(xiàn)保持穩(wěn)步發(fā)展，與黑猩猩等其他動(dòng)物相對(duì)停滯的文化演變形成鮮明對(duì)比。10.1.5知識(shí)傳遞和語(yǔ)言支持這里，產(chǎn)生一個(gè)有趣的問題，大模型是否可能參與文化習(xí)得并在知識(shí)傳遞中發(fā)揮作用。鑒于深度學(xué)習(xí)系統(tǒng)已經(jīng)在多個(gè)任務(wù)領(lǐng)域超過了人類表現(xiàn)。那么問題就變成了，大模型是否能夠模擬文化學(xué)習(xí)的許多組成部分，將它們的發(fā)現(xiàn)傳遞給人類理論家。研究發(fā)現(xiàn)，現(xiàn)在主要是人類通過解釋模型來得到可傳播的知識(shí)。也有證據(jù)表明，大模型似乎能夠在已知任務(wù)范圍內(nèi)處理新數(shù)據(jù)，實(shí)現(xiàn)局部任務(wù)泛化。10.1.5知識(shí)傳遞和語(yǔ)言支持此外，文化的持續(xù)進(jìn)步不僅涉及創(chuàng)新，還包括穩(wěn)定的文化傳播。大模型是否能夠像人類一樣，不僅生成新穎的解決方案，還能夠通過認(rèn)識(shí)和表達(dá)它們?nèi)绾纬较惹暗慕鉀Q方案，從而“鎖定”這些創(chuàng)新？這種能力不僅涉及生成新穎的響應(yīng)，還需要對(duì)解決方案的新穎性及其影響有深刻理解，類似于人類科學(xué)家不僅發(fā)現(xiàn)新事物，還能理論化、情境化和傳達(dá)他們的發(fā)現(xiàn)。因此，對(duì)大模型的挑戰(zhàn)不僅僅在于生成問題的新穎解決方案，還在于培養(yǎng)一種能夠反思和傳達(dá)其創(chuàng)新性質(zhì)的能力，從而促進(jìn)文化學(xué)習(xí)的累積過程。這種能力可能需要更先進(jìn)的交際意圖理解和世界模型構(gòu)建。10.1.5知識(shí)傳遞和語(yǔ)言支持PART02大模型應(yīng)用流程大模型正在重塑產(chǎn)業(yè)。但是，企業(yè)想要真正擁抱大模型，實(shí)現(xiàn)自建大模型，仍然面臨著很多現(xiàn)實(shí)問題：怎樣才能擁有企業(yè)專屬的領(lǐng)域大模型？如何高效率、低成本地處理數(shù)據(jù)？模型數(shù)據(jù)如何動(dòng)態(tài)更新？私有數(shù)據(jù)如何安全地接入大模型？等等。

圖10-1構(gòu)建大模型的分布指南10.2大模型應(yīng)用流程在構(gòu)建大模型的前期準(zhǔn)備中，基礎(chǔ)設(shè)施是最重要的，GPU的型號(hào)以及數(shù)據(jù)直接關(guān)系到模型的訓(xùn)練質(zhì)量和訓(xùn)練時(shí)間。例如：使用單個(gè)英偉達(dá)TeslaV100GPU訓(xùn)練具有1750億個(gè)參數(shù)的GPT-3將需要約288年，更不用說現(xiàn)在的大模型動(dòng)輒萬億參數(shù)。隨著更強(qiáng)算力資源的推出，大模型的訓(xùn)練速度被大大加快。10.2.1確定需求大小但即便是提升了單個(gè)GPU的算力，訓(xùn)練超級(jí)規(guī)模的大模型也不是一件容易的事情，這是因?yàn)椋海?）GPU內(nèi)存容量是有限的，使得即使在多GPU服務(wù)器上也無法適合大模型。（2）所需的計(jì)算操作的數(shù)量可能導(dǎo)致不切實(shí)際的長(zhǎng)訓(xùn)練時(shí)間。10.2.1確定需求大小各種模型并行性技術(shù)以及多機(jī)多卡的分布式訓(xùn)練部分解決了這兩個(gè)挑戰(zhàn)。圖10-2單機(jī)多卡的訓(xùn)練模式10.2.1確定需求大小使用數(shù)據(jù)并行性，每個(gè)工作人員都有一個(gè)完整模型的副本，輸入數(shù)據(jù)集被分割，工作人員定期聚合他們的梯度，以確保所有工作人員都看到權(quán)重的一致版本。對(duì)于不適合單個(gè)GPU的大模型，數(shù)據(jù)并行性可以在較小的模型碎片上使用。圖10-3數(shù)據(jù)并行的訓(xùn)練模式通過模型并行性，在多個(gè)設(shè)備之間共享模型的圖層10.2.1確定需求大小當(dāng)使用相同轉(zhuǎn)換塊的模型時(shí)，每個(gè)設(shè)備可以分配相同數(shù)量的轉(zhuǎn)換層。一個(gè)批次被分割成更小的微批次；然后在微批次之間通過流水線執(zhí)行。為了精確地保留嚴(yán)格的優(yōu)化器語(yǔ)義，技術(shù)人員引入了周期性的管道刷新，以便優(yōu)化器步驟能夠跨設(shè)備同步。在大模型開始訓(xùn)練之前，需要考慮吞吐量，估計(jì)出進(jìn)行端到端訓(xùn)練所需的總時(shí)間。對(duì)于搭建自有的大模型來說，訓(xùn)練多大的規(guī)模參數(shù)就需要有多大規(guī)模的算力。10.2.1確定需求大小對(duì)于初代大模型來說，數(shù)據(jù)收集以及后續(xù)處理是一件非常繁瑣且棘手的事情，這一過程中需要面臨諸多問題，比如數(shù)據(jù)許可，數(shù)據(jù)集特征和覆蓋率，數(shù)據(jù)預(yù)處理的充分性，如何解決數(shù)據(jù)集偏差，如何解決數(shù)據(jù)集公平性，不同數(shù)據(jù)集的差異，數(shù)據(jù)隱私，數(shù)據(jù)安全等。10.2.2數(shù)據(jù)收集初代大模型的推出具有跨時(shí)代的意義，這不僅僅是讓人們能夠充分利用大模型的便利性，也為更多大模型的推出鋪平了道路，例如：ChatGPT訓(xùn)練了幾乎所有能在公開渠道找到的數(shù)據(jù)，包括全部的推特?cái)?shù)據(jù)（事實(shí)上，推特API已經(jīng)限制了采集數(shù)量，所以后續(xù)大模型再想利用全部的推特?cái)?shù)據(jù)來完成訓(xùn)練幾乎不可能了）。這個(gè)對(duì)于后續(xù)大模型開發(fā)提供了便利，一方面后續(xù)的大模型可以借助ChatGPT更好的完成數(shù)據(jù)集收集任務(wù)，另一方面ChatGPT的成功也為后續(xù)其他大模型的數(shù)據(jù)收集提供了經(jīng)驗(yàn)。10.2.2數(shù)據(jù)收集按類別劃分的數(shù)據(jù)集分布在數(shù)據(jù)收集完成之后，需要按照一定的比例對(duì)數(shù)據(jù)集進(jìn)行混合，數(shù)據(jù)混合旨在增強(qiáng)模型的泛化能力和抵抗對(duì)抗性攻擊。這個(gè)過程通常與數(shù)據(jù)增強(qiáng)結(jié)合使用，有助于減輕過度擬合，提高模型的魯棒性。在進(jìn)行混合時(shí)，需要為每個(gè)樣本或特征分配一個(gè)權(quán)重，這些權(quán)重可以是固定的，也可以是隨機(jī)的，權(quán)重的選擇方式取決于混合策略和具體任務(wù)。例如，對(duì)于某些圖片分類任務(wù)，更高的混合比例可能有助于提高模型的泛化能力，而對(duì)于其他任務(wù)，適度的混合比例可能就足夠了。10.2.2數(shù)據(jù)收集混合時(shí)也要考慮數(shù)據(jù)的大小和多樣性，如果數(shù)據(jù)集非常龐大，多樣性強(qiáng)，那么可以考慮使用較低的混合比例，因?yàn)橐呀?jīng)有足夠的數(shù)據(jù)來訓(xùn)練模型。但是如果數(shù)據(jù)集相對(duì)較小，多樣性低，增加混合比例可能有助于增加樣本數(shù)量，減輕過擬合。10.2.2數(shù)據(jù)收集大模型具有采樣效率高的特點(diǎn)，但這意味著如果輸入模型的數(shù)據(jù)充滿拼寫錯(cuò)誤的單詞、性質(zhì)粗俗、包含大量目標(biāo)語(yǔ)言之外的其他語(yǔ)言，或者具有不受歡迎的惡作劇特征，那么大模型最終的效果會(huì)存在問題?；诖?，在對(duì)大模型進(jìn)行訓(xùn)練之前，需要對(duì)收集到的數(shù)據(jù)進(jìn)行預(yù)處理操作。10.2.3數(shù)據(jù)集預(yù)處理（1）數(shù)據(jù)清洗、過濾、語(yǔ)句邊界檢測(cè)、標(biāo)準(zhǔn)化。（2）針對(duì)訓(xùn)練性能的數(shù)據(jù)轉(zhuǎn)換。在訓(xùn)練機(jī)器學(xué)習(xí)模型時(shí)，需要對(duì)原始數(shù)據(jù)進(jìn)行各種處理和轉(zhuǎn)換，以提高模型的性能和泛化能力。數(shù)據(jù)轉(zhuǎn)換的目標(biāo)是使訓(xùn)練數(shù)據(jù)更適合于模型的學(xué)習(xí)和泛化，以及減少模型的過擬合風(fēng)險(xiǎn)。例如特征縮放、特征工程、數(shù)據(jù)清洗、特征選擇、數(shù)據(jù)增強(qiáng)、標(biāo)簽平滑、數(shù)據(jù)分割等。10.2.3數(shù)據(jù)集預(yù)處理（3）分詞器訓(xùn)練。這是自然語(yǔ)言處理中的重要工具，用于將連續(xù)的文本序列分解成單個(gè)詞匯或標(biāo)記。分詞器訓(xùn)練是為了使其能夠理解不同語(yǔ)言和領(lǐng)域中的文本，并準(zhǔn)確地劃分詞匯。10.2.3數(shù)據(jù)集預(yù)處理通過模型并行性，模型的圖層將在多個(gè)設(shè)備之間共享。當(dāng)使用相同轉(zhuǎn)換器的模型時(shí)，每個(gè)設(shè)備可以分配相同數(shù)量的轉(zhuǎn)換器層。一個(gè)批被分割成更小的微批；然后在微批次之間通過流水線執(zhí)行。為了精確地保留嚴(yán)格的優(yōu)化器語(yǔ)義，技術(shù)人員引入了周期性的管道刷新，以便優(yōu)化器步驟能夠跨設(shè)備同步。

圖10-4默認(rèn)的和交錯(cuò)的管道計(jì)劃10.2.4大模型預(yù)訓(xùn)練實(shí)際上，大模型預(yù)訓(xùn)練的過程中需要注意的問題遠(yuǎn)不止這么簡(jiǎn)單。分布式訓(xùn)練能夠解決小模型的訓(xùn)練問題，但是隨著模型的增大，訓(xùn)練數(shù)據(jù)集規(guī)模的增長(zhǎng)，數(shù)據(jù)并行就會(huì)出現(xiàn)局限性。當(dāng)訓(xùn)練資源擴(kuò)大到一定規(guī)模時(shí)，就會(huì)出現(xiàn)通信瓶頸，計(jì)算資源的邊際效應(yīng)顯現(xiàn)，增加資源也沒辦法進(jìn)行加速，這就是常說的“通信墻”。10.2.4大模型預(yù)訓(xùn)練除此之外，大模型訓(xùn)練可能還會(huì)遇到性能墻的困擾，這是指在某個(gè)特定任務(wù)或計(jì)算資源上，模型的性能無法繼續(xù)有效提升的情況。當(dāng)模型接近性能墻時(shí)，增加更多的計(jì)算資源或數(shù)據(jù)量可能不會(huì)顯著改善模型的性能，因?yàn)槟Ｐ鸵呀?jīng)達(dá)到了某種極限或瓶頸。10.2.4大模型預(yù)訓(xùn)練性能墻通常表現(xiàn)為以下幾種情況：（1）訓(xùn)練時(shí)間增長(zhǎng)：隨著模型規(guī)模的增大，訓(xùn)練時(shí)間也顯示出顯著增長(zhǎng)的趨勢(shì)。這是因?yàn)楦蟮哪Ｐ托枰嗟挠?jì)算資源和時(shí)間來收斂，但性能提升可能會(huì)遞減，最終趨于停滯。（2）資源利用不高：增加更多的計(jì)算資源（例如，GPU或TPU）可能會(huì)減少訓(xùn)練時(shí)間，但利用率不高，因?yàn)槟Ｐ涂赡軣o法有效地利用所有資源來提升性能。10.2.4大模型預(yù)訓(xùn)練那么，什么是大模型訓(xùn)練成功的標(biāo)準(zhǔn)呢？一般會(huì)通過定量分析和定性分析來回答這個(gè)問題。首先是定量分析。觀察大模型的訓(xùn)練損失，訓(xùn)練損失的減少表明模型正在學(xué)習(xí)并擬合訓(xùn)練數(shù)據(jù)；檢查大模型的性能指標(biāo)，對(duì)于分類任務(wù)，常用的指標(biāo)包括準(zhǔn)確率、精確度、召回率等。對(duì)于回歸任務(wù)，常用的指標(biāo)包括均方誤差、平均絕對(duì)誤差等。10.2.4大模型預(yù)訓(xùn)練其次是定性分析。通過合并檢查點(diǎn)，將多個(gè)模型檢查點(diǎn)合并為統(tǒng)一的檢查點(diǎn)文件。一旦合并了檢查點(diǎn)，就可以從該檢查點(diǎn)加載模型，然后，使用加載的模型來生成文本。這時(shí)候就需要檢查生成句子的連貫性、語(yǔ)法、相關(guān)性、多樣性等，評(píng)估句子的生成質(zhì)量。另外，也通過對(duì)驗(yàn)證集和測(cè)試集的評(píng)估來觀察大模型的表現(xiàn)，一來觀察大模型在處理驗(yàn)證集和測(cè)試集時(shí)的各項(xiàng)指標(biāo)，二來觀察大模型是否有過擬合的現(xiàn)象出現(xiàn)。10.2.4大模型預(yù)訓(xùn)練進(jìn)行預(yù)訓(xùn)練之后，往往需要對(duì)大模型進(jìn)行實(shí)驗(yàn)和微調(diào)處理，實(shí)驗(yàn)的作用是檢驗(yàn)大模型是否訓(xùn)練成功。如果實(shí)驗(yàn)結(jié)果證明訓(xùn)練是成功的，那么接下來就需要進(jìn)行微調(diào)處理。微調(diào)處理的好處是可以對(duì)大模型有針對(duì)性的做出訓(xùn)練，例如大模型的側(cè)重點(diǎn)是在情感分析還是在機(jī)器翻譯？又或者是文本分類？通過微調(diào)之后，大模型在垂直領(lǐng)域的適應(yīng)性會(huì)更強(qiáng)，準(zhǔn)確率更高。這一過程通常稱為價(jià)值觀對(duì)齊，目的就是提高模型的性能、適應(yīng)性和效率，充分利用大模型的通用知識(shí)，使其更好地適應(yīng)不同的任務(wù)和領(lǐng)域。10.2.5任務(wù)微調(diào)訓(xùn)練過程中需要大量的GPU資源，在模型部署過程中也同樣需要。以175B的模型為例，不壓縮模型的情況下部署需要650GB的內(nèi)存，這個(gè)時(shí)候可以通過模型縮減和壓縮或者采用分布式部署方式來減輕部署壓力。10.2.6部署PART03大模型應(yīng)用場(chǎng)景以ChatGPT為代表的大語(yǔ)言模型在問題回答、文稿撰寫、代碼生成、數(shù)學(xué)解題等任務(wù)上展現(xiàn)出了強(qiáng)大的能力，引發(fā)研究人員廣泛思考如何利用這些模型來開發(fā)各種類型的應(yīng)用，并修正它們?cè)谕评砟芰?、獲取外部知識(shí)、使用工具及執(zhí)行復(fù)雜任務(wù)等方面的不足。此外，研究人員還致力于將文本、圖像、視頻、音頻等多種信息結(jié)合起來，實(shí)現(xiàn)多模態(tài)大模型，這也是一個(gè)熱門研究領(lǐng)域。鑒于大模型的參數(shù)量龐大，以及針對(duì)每個(gè)輸入的計(jì)算時(shí)間較長(zhǎng)，優(yōu)化模型在推理階段的執(zhí)行速度和用戶響應(yīng)時(shí)長(zhǎng)也變得至關(guān)重要。10.3大模型應(yīng)用場(chǎng)景其實(shí)，“GPT們”背后的技術(shù)本質(zhì)上是大模型應(yīng)用。大模型利用深度學(xué)習(xí)技術(shù)，根據(jù)大量的文本數(shù)據(jù)，學(xué)習(xí)語(yǔ)言的規(guī)律和知識(shí)，從而生成自然和流暢的文本模型。大模型具有強(qiáng)大的表達(dá)能力和泛化能力，可以應(yīng)用于各種自然語(yǔ)言處理任務(wù)，如機(jī)器翻譯、文本摘要、對(duì)話系統(tǒng)、問答系統(tǒng)等。10.3大模型應(yīng)用場(chǎng)景大模型最簡(jiǎn)單的應(yīng)用之一就是翻譯書面文本，實(shí)現(xiàn)跨語(yǔ)言的高質(zhì)量實(shí)時(shí)翻譯服務(wù)。例如，用戶可以向人工智能助手輸入文本，并要求它翻譯成另一種語(yǔ)言，然后應(yīng)用就會(huì)自動(dòng)開始翻譯成自然流暢的文本。一些研究表明，與市面上的一些商業(yè)翻譯產(chǎn)品相比，GPT-4等大模型的表現(xiàn)具有更強(qiáng)的競(jìng)爭(zhēng)力。大模型可以根據(jù)不同的語(yǔ)境和文本內(nèi)容進(jìn)行自適應(yīng)，從而更好地處理復(fù)雜的語(yǔ)言表達(dá)。同時(shí)，大模型還可以應(yīng)用于語(yǔ)音翻譯、實(shí)時(shí)翻譯等更多的應(yīng)用場(chǎng)景。大模型技術(shù)需要大量的訓(xùn)練數(shù)據(jù)來進(jìn)行模型訓(xùn)練，因此需要投入更多的資源和時(shí)間來構(gòu)建和優(yōu)化模型。10.3.1機(jī)器翻譯、文本理解與分析此外，這方面的應(yīng)用還包括：·輿情分析：挖掘用戶意見傾向和社會(huì)情緒變化?！の谋痉诸悾鹤詣?dòng)對(duì)文檔進(jìn)行主題歸類或情感標(biāo)注。大數(shù)據(jù)模型可以利用大量數(shù)據(jù)來建立模型，通過機(jī)器學(xué)習(xí)算法和數(shù)據(jù)挖掘技術(shù)，從中發(fā)現(xiàn)惡意軟件的特征和行為模式，從而更好地對(duì)惡意軟件進(jìn)行檢測(cè)、分類和分析。10.3.1機(jī)器翻譯、文本理解與分析2023年4月，谷歌推出網(wǎng)絡(luò)安全SecPaLM的大模型，展示了在惡意軟件分析中的一些用途。例如，谷歌的人工智能惡意軟件分析工具VirusTotalCodeInsight就使用了SecPaLM大模型掃描并解釋腳本的執(zhí)行邏輯，使用戶清楚了解這些腳本是否具有惡意。10.3.1機(jī)器翻譯、文本理解與分析文本內(nèi)容的創(chuàng)造性生成是大模型越來越常見的用途。各種大模型都可以按照用戶想法生成博客、長(zhǎng)篇文章、短篇故事、新聞報(bào)道、摘要、腳本、問卷、調(diào)查和社交媒體帖子、商業(yè)報(bào)告等書面內(nèi)容。用戶提供的想法（提示）越詳細(xì)，模型輸出內(nèi)容的質(zhì)量就越高。

圖10-5文生文示例10.3.2自然語(yǔ)言生成另外，可以借助大模型來幫助構(gòu)思。研究顯示，很多營(yíng)銷人員使用人工智能為營(yíng)銷內(nèi)容生成創(chuàng)意或靈感，而其中的主要價(jià)值在于，人工智能可以加快內(nèi)容生成過程。此外，大模型還可以生成對(duì)話內(nèi)容，例如智能客服、虛擬助手對(duì)話響應(yīng)的生成等。10.3.2自然語(yǔ)言生成除了生成文本內(nèi)容外，還有一些工具如DALL-E、MidJourney和StableDiffusion，可以讓用戶輸入文本提示來生成圖像（文生圖）甚至短視頻（Sora）。

圖10-6文生圖示例10.3.2自然語(yǔ)言生成大模型能夠?qū)⒁纛l或視頻文件高精度地轉(zhuǎn)錄為書面文本。一些產(chǎn)品可以使用生成式人工智能從音頻和視頻文件中轉(zhuǎn)錄文本。與傳統(tǒng)的轉(zhuǎn)錄軟件相比，大模型的優(yōu)勢(shì)之一就是自然語(yǔ)言處理，從而能夠精準(zhǔn)推斷出音視頻中語(yǔ)句的上下文和及其隱藏含義。10.3.2自然語(yǔ)言生成許多大模型用戶嘗試將生成式人工智能作為一種替代搜索的工具。用戶只需要使用自然語(yǔ)言向大模型提問，程序會(huì)立即回復(fù)，并提供關(guān)于相關(guān)話題的見解和“事實(shí)”。已經(jīng)有不少搜索引擎引入大模型，帶給用戶更好的體驗(yàn)。雖然使用Bard或ChatGPT等大模型作為搜索工具可以快捷獲取到大量信息，但必須注意，所響應(yīng)內(nèi)容并非一直都準(zhǔn)確無誤。在特定情況下，大模型可被惡意調(diào)教，引導(dǎo)捏造事實(shí)和數(shù)字。因此，使用的時(shí)候最好仔細(xì)核對(duì)大模型提供的事實(shí)信息，以免被錯(cuò)誤信息誤導(dǎo)。10.3.3搜索與知識(shí)提取大模型還可以構(gòu)建對(duì)話系統(tǒng)：開發(fā)具備上下文記憶、情感識(shí)別等功能的智能聊天機(jī)器人；進(jìn)行知識(shí)抽取與推理：提取文本中的實(shí)體和關(guān)系，構(gòu)建和更新知識(shí)圖譜。10.3.3搜索與知識(shí)提取生成式人工智能工具不僅能生成自然語(yǔ)言，還能生成例如JavaScript、Python、PHP、Java和C#等編程語(yǔ)言的代碼。大模型