人工智能應(yīng)用基礎(chǔ) 課件 項(xiàng)目7 大模型

人工智能應(yīng)用基礎(chǔ)授課人：周老師

技術(shù)篇項(xiàng)目7?大模型01項(xiàng)目描述05項(xiàng)目拓展02項(xiàng)目分析06項(xiàng)目小結(jié)03相關(guān)知識07項(xiàng)目練習(xí)04項(xiàng)目實(shí)施目錄項(xiàng)目描述01以前小明遇到不懂的問題都是用百度進(jìn)行查找，很快就有搜索到符合自己的網(wǎng)頁。最近小明發(fā)現(xiàn)，在搜索的結(jié)果中出現(xiàn)了人工智能的問答，得到結(jié)果往往更精準(zhǔn)，省去了自己去網(wǎng)頁中一個個找答案的時間。小明心中存在疑問，這些能回答問題的人工智能到底是從哪里一下冒出來的呢？這里面的技術(shù)跟深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)有關(guān)系嗎？小明想更深入了解這背后的技術(shù)，并希望能在更多的地方利用這項(xiàng)人工智能技術(shù)，為自己帶來方便。7.1項(xiàng)目描述02項(xiàng)目分析ChatGPT、文心一言、豆包等都屬于人工智能的范疇，自然背后的技術(shù)也是我們熟悉的深度學(xué)習(xí)，它們同樣利用了深層的神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)大量的知識，所以能輕而準(zhǔn)確的回答出我們提出的問題。只不過，這些能回答問題的人工智能與我們之前了解的神經(jīng)網(wǎng)絡(luò)模型稍有不一樣，我們通常把它們稱作“大模型”。下面我們就一起來學(xué)習(xí)大模型的以下知識：1.

大模型發(fā)展歷程2.

大模型相關(guān)技術(shù)3.大模型的應(yīng)用方向7.2項(xiàng)目分析03相關(guān)知識大模型通過在大型文本語料庫上進(jìn)行訓(xùn)練，專用于自然語言處理任務(wù)的深度學(xué)習(xí)模型稱為大語言模型（LargeLanguageModel，LLM），我們簡稱為“大模型”。7.3相關(guān)知識目前大模型已成為人工智能發(fā)展的重要方向，為各行各業(yè)帶來了前所未有的變革。標(biāo)志著人工智能向通用智能邁出的重要一步。在經(jīng)歷了基于數(shù)據(jù)的互聯(lián)網(wǎng)時代和基于算力的云計(jì)算時代之后，我們正步入一個以大型模型為基礎(chǔ)的人工智能新時代。1.大模型的發(fā)展直到2022年底，ChatGPT震撼上線，人工智能技術(shù)因此迎來了一次重要進(jìn)展。雖然大模型擁有強(qiáng)大的性能，短短幾年的時間就席卷了整個社會，但是支撐這些模型的背后技術(shù)確不是一蹴而就的，那我們來看一下大模型是怎么發(fā)展起來的，其發(fā)展歷程可歸納如下：7.3相關(guān)知識（1）探索階段20世紀(jì)90年代，神經(jīng)網(wǎng)絡(luò)技術(shù)重新復(fù)蘇，這時候已經(jīng)發(fā)現(xiàn)深層的神經(jīng)網(wǎng)絡(luò)可以有更好的特征提取效果，研究者們開始探索大規(guī)模神經(jīng)網(wǎng)絡(luò)模型，這也是大模型的早期探索時代，我們前面做過的手寫體數(shù)字識別在這個時候也已經(jīng)用卷積神經(jīng)網(wǎng)絡(luò)完成了，但由于硬件計(jì)算能力和數(shù)據(jù)集規(guī)模的限制，模型參數(shù)無法提升。1.大模型的發(fā)展7.3相關(guān)知識（2）突破階段2012年，由于互聯(lián)網(wǎng)的普及，人們進(jìn)入了大數(shù)據(jù)時代，具備了收集海量數(shù)據(jù)的條件，同時硬件平臺也得到了迅速發(fā)展，解決了訓(xùn)練模型的算力問題。于是，模型的識別能力開始變得越來越精準(zhǔn)，使用的數(shù)據(jù)集也越來越大。用于圖像分類的AlexNet模型被提出來（以作者的名字AlexKrizhevsky命名），它是一個深層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分類效果遠(yuǎn)超其它模型，訓(xùn)練AlexNet模型的圖片數(shù)量超過了1400萬張，深度學(xué)習(xí)模型逐漸開始朝“大”的方向發(fā)展。在自然語言處理領(lǐng)域中，Word2Vec誕生，首次提出將單詞轉(zhuǎn)換為向量的“詞向量”，計(jì)算機(jī)也開始變得能更好地理解和處理文本數(shù)據(jù)了。1.大模型的發(fā)展7.3相關(guān)知識（3）開啟階段2017年，基于注意力機(jī)制的Transformer模型的提出，開啟了自然語言處理領(lǐng)域的大模型時代。之后在語言模型幾乎都采用或部分采用了注意力機(jī)制，并且在其它領(lǐng)域的應(yīng)用也開始慢慢拓展。1.大模型的發(fā)展7.3相關(guān)知識（4）爆發(fā)階段2020年，經(jīng)過前兩代模型的沉淀，GPT-3發(fā)布，將大模型參數(shù)規(guī)模推向千億級別，引發(fā)了廣泛關(guān)注。它基于深度神經(jīng)網(wǎng)絡(luò)的架構(gòu)，可以生成自然語言，完成文本分類、翻譯、問答、對話等多種任務(wù)。ChatGPT是將GPT-3專門針對對話交互場景進(jìn)行優(yōu)化而來的。訓(xùn)練數(shù)據(jù)集更加注重對話交互領(lǐng)域的數(shù)據(jù)，可以更好地適應(yīng)對話交互場景，提供更加流暢、自然的對話交互體驗(yàn)。2.大模型的分類7.3相關(guān)知識（1）通用大模型通用是指通用的大語言模型，能在自然語言處理中能完成多種類型的任務(wù)，如文本生成、文本分類、機(jī)器翻譯等。（2）特定領(lǐng)域大模型專門針對某個領(lǐng)域的細(xì)分場景，用于訓(xùn)練特定領(lǐng)域大模型的數(shù)據(jù)集較小，在更小的數(shù)據(jù)范圍內(nèi)進(jìn)行專業(yè)領(lǐng)域知識的訓(xùn)練，因此可以更快、更便宜地進(jìn)行訓(xùn)練。（3）多模態(tài)大模型能夠處理多種模態(tài)的數(shù)據(jù)，如圖像、文本、語音等，如GPT-4。目前的多模態(tài)大模型已經(jīng)初步具備了基于視覺或語音信息進(jìn)行推理的能力，可以稱得上是真正的通用大模型。3.大模型技術(shù)7.3相關(guān)知識（1）大模型的“大”①參數(shù)規(guī)模大：大模型具有數(shù)十億甚至千億級別的參數(shù)，能夠捕捉到數(shù)據(jù)中的深層次特征。②訓(xùn)練數(shù)據(jù)量大：大模型通常在數(shù)百GB甚至TB級別的數(shù)據(jù)上進(jìn)行訓(xùn)練。③計(jì)算資源需求高：大模型訓(xùn)練過程中需要大量計(jì)算資源，如GPU、TPU等。④模型泛化能力強(qiáng)：泛化能力是指模型能將在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)到的知識推廣到新的、未見過的數(shù)據(jù)上，大模型在各類任務(wù)中都表現(xiàn)出具有較強(qiáng)的泛化能力。3.大模型技術(shù)7.3相關(guān)知識（2）大模型的預(yù)訓(xùn)練GPT這三個字母中G指“生成式”，P指“預(yù)訓(xùn)練”，T指“Transformer”，可見預(yù)訓(xùn)練在大模型中的重要作用。預(yù)訓(xùn)練是大模型訓(xùn)練的第一步，預(yù)先用大量廣泛而多樣的數(shù)據(jù)來訓(xùn)練模型，讓模型在見到特定任務(wù)數(shù)據(jù)之前，先學(xué)習(xí)到數(shù)據(jù)中通用的知識，從而提升模型在目標(biāo)任務(wù)上的表現(xiàn)能力。模型在學(xué)習(xí)了通用知識后，轉(zhuǎn)而再去學(xué)習(xí)某個領(lǐng)域的知識是比較容易的，需要的訓(xùn)練樣本也會減少很多。水果識別的預(yù)訓(xùn)練模型7.3相關(guān)知識用一部分圖像數(shù)據(jù)訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)來對水果進(jìn)行分類，這些數(shù)據(jù)量不夠，不足以訓(xùn)練出一個有效的模型來識別水果類別。水果識別的預(yù)訓(xùn)練模型7.3相關(guān)知識利用接收過千萬張圖片訓(xùn)練過的Alex模型（預(yù)訓(xùn)練），再次用少量水果圖片進(jìn)行訓(xùn)練（微調(diào)）。3.大模型技術(shù)7.3相關(guān)知識（3）大模型的微調(diào)①在新任務(wù)的小規(guī)模標(biāo)注數(shù)據(jù)集上進(jìn)一步訓(xùn)練。這種方式以預(yù)訓(xùn)練模型作為基礎(chǔ)，在新任務(wù)的小規(guī)模標(biāo)注數(shù)據(jù)集上，使用少量數(shù)據(jù)進(jìn)行微調(diào)，以使其適應(yīng)新任務(wù)?？梢哉{(diào)整模型的全部參數(shù)，也可以凍結(jié)部分層的參數(shù)不調(diào)整，保持模型大部分參數(shù)不變。這種微調(diào)方法適用于那些有明確標(biāo)注數(shù)據(jù)集的任務(wù)，如文本分類、圖像識別等。3.大模型技術(shù)7.3相關(guān)知識（3）大模型的微調(diào)②基于人類反饋的微調(diào)，這是一種有監(jiān)督微調(diào)的特殊形式，希望在讓模型理解和遵循人類指令。3.大模型的應(yīng)用7.3相關(guān)知識（1）自然語言處理中的大模型①序列標(biāo)注。如實(shí)體命名和詞性標(biāo)注。②關(guān)系抽取。關(guān)系抽取任務(wù)關(guān)注于從非結(jié)構(gòu)化文本數(shù)據(jù)中自動提取出蘊(yùn)含的語義關(guān)系。③文本生成。文本生成如機(jī)器翻譯和自動摘要。3.大模型的應(yīng)用7.3相關(guān)知識（2）推薦系統(tǒng)中的大模型①大模型可以直接作為推薦模型來提供推薦服務(wù)。②大模型還可以用于增強(qiáng)推薦系統(tǒng)的數(shù)據(jù)輸入、語義表示或偏好表示，以從不同角度改進(jìn)已有推薦模型的性能。3.大模型的應(yīng)用7.3相關(guān)知識（3）大模型賦能人形機(jī)器人①提升人形機(jī)器人的自然語言交互，使機(jī)器人能夠與人進(jìn)行自然語言的交互理解。。②識別復(fù)雜場景視覺感知。③對動作和規(guī)劃進(jìn)行精準(zhǔn)把控。3.大模型的應(yīng)用7.3相關(guān)知識（4）大模型安全與隱私問題①信息泄露：無論是開源模型還是閉源模型，都有可能在生成的文本中無意泄露訓(xùn)練數(shù)據(jù)中的敏感信息。②生成不適當(dāng)內(nèi)容：無論是開源還是閉源模型，都可能生成攻擊性、不恰當(dāng)或誤導(dǎo)性的內(nèi)容。③被惡意利用：無論是開源還是閉源模型，都可能被惡意用戶利用，生成虛假信息或進(jìn)行網(wǎng)絡(luò)釣魚等惡意活動。04項(xiàng)目實(shí)施1、打開文心一言主頁，提出問題打開文心一言主頁，向其提出一個問題，如：“請以秋分為主題，寫一首20字的詩”?！胺答伌竽Ｐ痛鸢浮?.4項(xiàng)目實(shí)施2、重新生成答案待模型輸出完答案后，點(diǎn)擊答案下方的“重新生成”案鈕，再次生成一個答案。3、反饋兩次答案的結(jié)果得新生成答案后，可以根據(jù)答案下方的反饋提示，選擇一個你認(rèn)為合適的比較結(jié)果。05項(xiàng)目拓展7.5項(xiàng)目拓展通用大模型的“工業(yè)潛力”通用大模型作為人工智能從專用化邁向通用化的發(fā)展新階段，在工業(yè)領(lǐng)域中展現(xiàn)出了巨大的“工業(yè)大腦”潛力，主要體現(xiàn)在智能決策、預(yù)測與優(yōu)化、檢測與控制幾個方面。7.5項(xiàng)目拓展通用大模型與專用大模型的結(jié)合通用大模型通過處理大量通用數(shù)據(jù)獲得廣泛的知識基礎(chǔ)，但也面臨著數(shù)據(jù)質(zhì)量、成本問題、靈活性等挑戰(zhàn)。而專用大模型針對特定工業(yè)場景或任務(wù)進(jìn)行訓(xùn)練和優(yōu)化，具有更高的精度和效率，能夠解決通用大模型在特定場景下可能存在的性能不足問題。專用模型以通用大模型為基礎(chǔ)，通過行業(yè)數(shù)據(jù)微調(diào)，使其適應(yīng)特定工業(yè)場景，則能夠快速響應(yīng)行業(yè)需求，降低開發(fā)成本。06項(xiàng)目小結(jié)模型的流因?yàn)榇髷?shù)據(jù)的發(fā)展給深度學(xué)習(xí)提供了足夠的訓(xùn)練數(shù)據(jù)，而硬件算力的提升保證了模型能在可靠的時間內(nèi)訓(xùn)練完成。大模型其實(shí)也是一個神經(jīng)網(wǎng)絡(luò)模型，但由于它的預(yù)訓(xùn)練加微調(diào)的學(xué)習(xí)方法，使其接受了海量知識的訓(xùn)練，所以它能看上去那么智能。同時我們也要注意大模型的安全隱私問題，主要包括數(shù)據(jù)安全和隱私泄露、提示注入風(fēng)險、內(nèi)容違規(guī)和誤用濫用風(fēng)險。7.6項(xiàng)目小結(jié)07項(xiàng)目練習(xí)一、選擇題

1.?下列哪個是代表性的大語言模型？（

）

A.?Tansformer

B.?ChatGPT

C.?自編碼器D.?CNN2.?大模型普遍采用了下列哪個結(jié)構(gòu)？（

）A.?感知機(jī)B.?自編碼器C.?全連接神經(jīng)網(wǎng)絡(luò)D.?基于注意力機(jī)制的Tansformer3.?下列哪個不屬于大模型的特點(diǎn)？（

）A.?體積大B.?需要海量訓(xùn)練數(shù)據(jù)C.?模型參數(shù)規(guī)模大D.?計(jì)算資源需求高7.7項(xiàng)目練習(xí)一、選擇題

4.?下列哪個不屬于ChatGPT中“GPT”代表的含義？（

）

A.?生成式B.?預(yù)訓(xùn)練C.?Transformer

D.?深度學(xué)習(xí)5.?大模型的分類不包括下列哪個？（

）A.?通用大模型