2025年人人懂AI之從機(jī)器學(xué)習(xí)到大模型報(bào)告-阿里云

9 13 14 17 23 29 31 46 48 48 51 64 69 73 76 91 91 91 96 序AI應(yīng)用已無(wú)處不在88嘗試給AI一個(gè)定義機(jī)器學(xué)習(xí)訓(xùn)練及推理過(guò)程的知識(shí)源頭，如果數(shù)據(jù)本身就缺乏規(guī)律，沒有規(guī)律可發(fā)掘；或者該場(chǎng)景存在數(shù)據(jù)規(guī)程就是通過(guò)不斷的暴力計(jì)算，去找尋最優(yōu)函數(shù)及其參數(shù)。尤其是現(xiàn)在已經(jīng)進(jìn)入深度LLM（大語(yǔ)言模型）類人智能的諸多驚艷表現(xiàn)，放在十年有資料顯示，自1970年到2020年，數(shù)據(jù)樣本有超過(guò)1000倍的增長(zhǎng)，算力更有加上2006年后逐步完善的深度學(xué)習(xí)等算法上的創(chuàng)新突破從一個(gè)監(jiān)督學(xué)習(xí)里的回歸問(wèn)題的“Helloworld”示例入手：已有一批已標(biāo)注的數(shù)據(jù)），數(shù)據(jù)樣本：輸入是每套房子的面積，輸出是該房子的售價(jià)（kaggle等比如y=ax+b一次方函數(shù)，在坐標(biāo)軸上畫下來(lái)，就是數(shù)據(jù)集和模型的數(shù)學(xué)表達(dá)與抽象x:LotArea(sizeinsquarefeet)y:SalePrice($)8450208500960018150011250223500955014000014260250000……x代表特征/輸入變量。y代表目標(biāo)變量/輸出變量。(x(i),y(i))代表第i個(gè)數(shù)據(jù)樣本。h代表學(xué)習(xí)算法函數(shù)，也稱為假設(shè)(hypothesis)，也即：y=h(x)。各函數(shù)模型（表hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x+θ2x2個(gè)最簡(jiǎn)單的，選擇hθ(x)=θ0+θ1x，再損失函數(shù)(CostFunction)個(gè)函數(shù)和訓(xùn)練集的匹配情況，也即該函數(shù)的好壞呢？最簡(jiǎn)單的方法：將訓(xùn)練集中每建模誤差=用J(θ)表示：時(shí)的建模誤差也是最小的。如果損失函數(shù)值變得最小的話，那就初步認(rèn)為這個(gè)模型將θ0和θ1看做變量，繪制函數(shù)到坐標(biāo)系中，三個(gè)坐標(biāo)分別為θ0、θ1和J(θ0,θ1)，可以看出在三維空間中，存在一組(θ0,θ1)使J(θ0,θ1)最小。在個(gè)最低點(diǎn)（最小值）對(duì)應(yīng)的(θ0,θ1)。梯度下降個(gè)能讓損失函數(shù)值下降的參數(shù)組合。一直重復(fù)該過(guò)程，直到找到局部最小值(localminimum)。由于沒有嘗試所有參數(shù)組合，所以并不能是全局最小值(globalminimum)，選擇不同的起始參數(shù)組合，有可能會(huì)找到不同的隨機(jī)的把你投到山上面的任何一個(gè)點(diǎn)，如何走到最低點(diǎn)。我們可以先只看其中一個(gè)），導(dǎo)數(shù)/偏導(dǎo)數(shù)：y’=(y2-y1)/(x2-x1)=△y/△x(△x->0)y1=y2-y’(x2-x1)=y2-y’△x(導(dǎo)數(shù)切線指向最陡峭的方向)點(diǎn)的切線方向一步一步走，就能走到最低點(diǎn)，而且理論上這個(gè)方向是可以最快的走又近了一步每次θ值更新后，就可以計(jì)算出新的J(θ)和），至此，機(jī)器學(xué)習(xí)訓(xùn)練的基本過(guò)程和原理也講解完畢了。我們?cè)倩氐椒績(jī)r(jià)預(yù)測(cè)這個(gè)例多變量擴(kuò)展含大量變量的數(shù)據(jù)集。而且最優(yōu)的模型函數(shù)也通常不是一次方的簡(jiǎn)單函數(shù)，而是有入變量及其θ參數(shù)而已，依然可以采用梯度下降的方式做訓(xùn)練，找到J(θ)的最小值及對(duì)應(yīng)的θ參數(shù)。區(qū)別在于，之前是(θ0,θ1)，現(xiàn)在是(θ0,θ1……θn每次迭代需要計(jì)算的θ多一些而已，計(jì)算量更大了，就這么個(gè)差小結(jié)為例，第一步需要盡可能收集與該問(wèn)題相關(guān)的數(shù)據(jù)樣本，且理論上數(shù)據(jù)樣本越全面第二步：構(gòu)造一個(gè)函數(shù)。機(jī)器學(xué)習(xí)的常用算法很多，如何從諸多算法里挑選出合適損失函數(shù)。需要根據(jù)實(shí)際處理的具體問(wèn)題選擇適合的損失函數(shù)，并且最好先弄清楚第三步就可以用訓(xùn)練樣本集，結(jié)合算法模型和損失函數(shù)，使用梯度下降等方法訓(xùn)練導(dǎo)致訓(xùn)練過(guò)程遲遲無(wú)法收斂。也有可能選擇的函數(shù)模型本身不是最優(yōu)的，導(dǎo)致推理練速度，提升算法效果等。目前業(yè)界也有一些使用簡(jiǎn)便的AutoML產(chǎn)品來(lái)簡(jiǎn)化訓(xùn)練后使用該規(guī)律針對(duì)新輸入做輸出。也有可能問(wèn)題本身或者搜集的數(shù)據(jù)本身就不適合即針對(duì)一套待售房子，有參考價(jià)值的數(shù)據(jù)樣本數(shù)量是很有限的。通過(guò)前文的原理性講解視頻/video/BV1414y197xd/?vd_source=0c5a39664e27a深度學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)接下來(lái)，我們可以學(xué)習(xí)一個(gè)更有意思的：神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。假如把人想象成一接下來(lái)，我們重點(diǎn)以圖像處理來(lái)講解神經(jīng)網(wǎng)絡(luò)。如何理解圖像的平移不變性和局部前面講解的線性回歸、邏輯回歸等傳統(tǒng)機(jī)器學(xué)習(xí)，很難有效處理空間和時(shí)間特征。圖片就是一個(gè)二維矩陣（長(zhǎng)、寬彩色圖片還涉及多個(gè)通道（多個(gè)二維矩陣）。神經(jīng)網(wǎng)絡(luò)的由來(lái)神經(jīng)網(wǎng)絡(luò)（NeuralNetwork，縮寫NN）的命名，是類比于醫(yī)學(xué)上的神經(jīng)網(wǎng)絡(luò)）：unit/Nucleus)，它含有許多輸入/樹突(input/Dendrite)，并且有責(zé)計(jì)算hθ(x)。第一層稱為輸入層(InputLayer)，最后一層稱為輸出層(Output回看線性回歸可以把前L-1層看作表?，把最后一層看作線性預(yù)測(cè)器。這種機(jī)（multilayerperceptron，縮寫為MLP）。激活函數(shù)隱藏層輸出：H=XW(1)+b(1),輸出層：O=HW(2)+b(2).將隱藏層的輸出H，代入到輸出層（這其中使用到了線性代數(shù)中向量和矩陣相關(guān)的）：(1)(2)(1)(1)),(2)如分類問(wèn)題，預(yù)測(cè)一張圖片中是一只貓還是一只狗，最后輸出值就是屬于某個(gè)類別Softmax：多分類2三個(gè)類別分別對(duì)應(yīng)的概率：類別1的概率：O1/(O1+O2+O3)，類別2的概率：22y1,y2,…,yk=???tmax(?1,?2,…,?k)卷積神經(jīng)網(wǎng)絡(luò)的一大精髓。前面提到圖像有兩大空間特征：平移不變性和局部卷積核的運(yùn)算：直觀理解就是拿卷積核這個(gè)小矩陣逐列逐行按順序一行行去掃描圖的數(shù)值分別相乘（點(diǎn)積最后再加總求和，得從網(wǎng)上找到一個(gè)動(dòng)圖（鏈接可以直觀的做個(gè)理解：用一個(gè)3*35*5的輸入矩陣。最后會(huì)得到一個(gè)3*3的輸出矩陣。出，一直掃到輸入矩陣的末尾，所以輸出矩陣的列數(shù)是（5-3）/1+1=3。其中/1是因?yàn)槊看螔呙璧牟椒侵幌蚝笞咭晃唬▽?shí)際應(yīng)用時(shí)，針對(duì)由此，再考慮到對(duì)輸入圖片行列首尾位置可能添加一些全零填充，可以推算出輸出卷積為什么會(huì)在圖像處理上有效？筆者嘗試從卷積的運(yùn)算原理去理解：卷積可高效域是固定的小區(qū)域，并且是嚴(yán)格按行列順序逐步掃描的，這樣就可以有效提取到局鍵像素區(qū)域（比如識(shí)別狗，這只狗占據(jù)的那些像素區(qū)域稱為關(guān)鍵像素區(qū)域，其余像素可以看做是背景雜質(zhì)不論處于圖片中什么位置，理論上對(duì)于同一個(gè)卷積核，多輸入通道及多輸出通道特殊的卷積：1*1卷積有一個(gè)特殊的1*1卷積：k?=kw=1。這個(gè)卷積運(yùn)算完后，發(fā)現(xiàn)圖片的長(zhǎng)寬并不會(huì)變卷積的難以解釋性是這些數(shù)值？這個(gè)卷積核的具體作用是什么？在大多數(shù)情況下，都是很難解釋清楚的可以登錄看看，CNNexplainer：https://poloclub.github.io/cnn-explainer/池化/匯聚(Pooling)：MaxPooling、AveragePooling要有兩種Pooling操作：MaxPooling（最大值池化）和AveragePooling（平均陣內(nèi)的最大值或者平均值（其中取最大值應(yīng)用更為廣泛，平均值在早前的神經(jīng)網(wǎng)絡(luò)全連接（FullyConnected）把該矩陣按行的順序展平為一個(gè)一維向量，與下層的神經(jīng)元做全連接運(yùn)算（每個(gè)輸入值都和下一層的神經(jīng)元相運(yùn)算而且可以構(gòu)建多層的全連接（其實(shí)就是前文介可以進(jìn)一步使用前文介紹的Softmax運(yùn)算，轉(zhuǎn)換成一個(gè)0-1的概率值，用來(lái)表示該深入理解經(jīng)典CNN有了前面的這些基礎(chǔ)知識(shí)（如卷積，Relu激活，MaxPoolVGG、ResNets、GoogleLeNet等。以LeNet為例，做個(gè)拆解剖析。LeNet在1例，共50,000個(gè)訓(xùn)練數(shù)據(jù)，10,000個(gè)測(cè)試數(shù)據(jù)。每個(gè)圖像大小為28*28，因?yàn)橄裼腥齻€(gè)輸入通道也通常有多個(gè)輸出通道。每一個(gè)輸出通道都能提取到圖像的一些規(guī)律或者特征。LeNet第?卷積塊只有1個(gè)輸入通道（黑白圖片對(duì)應(yīng)一個(gè)輸入通道6個(gè)輸出通道。而第?個(gè)卷積塊有6個(gè)輸入通道（對(duì)應(yīng)第一個(gè)卷積塊6個(gè)LeNet的第一層卷積輸出矩陣和輸入矩陣大小一致，原因是對(duì)輸入矩陣做了填充：出矩陣大小應(yīng)該是（28-5）/1+1=24，即24*24。入矩陣大小變成了28+4=32，也即32*32，才能使得輸出矩陣大小保持在28*28。第二卷積塊中的輸入矩陣為14*14，不做填充，輸出矩陣大小為（14-5+1也即10*10。展平為一個(gè)包含16*5*5個(gè)元素的一維向量，基于此做全連接。LeNet做了三層全像搭積木一樣構(gòu)建神經(jīng)網(wǎng)絡(luò)考《動(dòng)手學(xué)深度學(xué)習(xí)PyTorch版》行Sigmoid激活。然后做2*2的平均池化。即6*1*5*5=150。進(jìn)行Sigmoid激活。然后做2*2的平均池化。對(duì)應(yīng)的參數(shù)量為6*16*5*5=2400。最后把輸出矩陣展平，進(jìn)行三次全連接運(yùn)算，激活函數(shù)依然使用Sigmoid。第全連接使用了120個(gè)參數(shù)。第二層全連接使用了84個(gè)參數(shù)。最后一層全連接參數(shù)類問(wèn)題。對(duì)應(yīng)的大致參數(shù)量為120+84+10=214。略去了卷積、全連接等涉及的偏差標(biāo)量，偏差標(biāo)量不影響深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)量量動(dòng)手實(shí)踐：搭建一個(gè)自己的神經(jīng)網(wǎng)絡(luò)-手寫數(shù)字識(shí)別CNN不能選3*3，7*7嗎？為什么全連接層的參數(shù)是120、84，不能選其他的參數(shù)嗎？暴力計(jì)算的過(guò)程嗎？這些問(wèn)題很多都涉及神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的超參數(shù)，需結(jié)合自身經(jīng)有了前面的積累，我們可以學(xué)習(xí)和理解更多的經(jīng)典CNN，比如AlexNetResNets、GoogleLeNet等。AlexNet于2012年推出，并贏得該年ImageNet圖像識(shí)別大賽冠軍。引領(lǐng)CV領(lǐng)AlexNet是針對(duì)1000類圖像識(shí)別問(wèn)題，數(shù)據(jù)集使用了ImageNet，輸入圖片是不難看出，AlexNet其實(shí)就是更深更大的LeNet：采用了8層CNN。激活函數(shù)使用可以看到AlexNet的核心主要是把CNN做的更深了，效果就變的很好，一舉奪得神經(jīng)網(wǎng)絡(luò)開始真正進(jìn)入了深度學(xué)習(xí)，出現(xiàn)了VGG、ResNets、GoogleLeNet等網(wǎng)動(dòng)手實(shí)踐：在云上搭建深度學(xué)習(xí)notebook開發(fā)環(huán)境阿里云上的ECS為例（有條件的可以選GPU實(shí)例）：Step1：創(chuàng)建ECS實(shí)例，設(shè)置用戶名及登錄密碼（使用ecs-user登錄，如果使用注意：如果選擇GPU實(shí)例，需在實(shí)例創(chuàng)建時(shí)選擇安裝c/miniconda/Miniconda3-py38_23.3.1-0-Linux-x86_64.shStep5：安裝解壓工具及git工具：sudoaptinstallunzip安裝git：sudoaptinstallgitStep6：下載d2lnotebook示例代碼，并解壓：mkdird2l-zh&&cdd2l-zhwgethttps://zh-v2.d2l.ai/d2l-zh-2.0.0.zipunzipd2l-zh-2.0.0.zipssh-L8888:localhost:8888ecs-user@76Step8：在ECS上運(yùn)行jupyter：jupyternotebookStep9：在本地瀏覽器登錄jupyter（填寫運(yùn)行notebook時(shí)，展示的正確URLhttp://localhost:8888/?token=rWxo4Uo***環(huán)境安裝參考資料：https://zh.d2l.ai/chapter_installation/index.html講解視頻/video/BV17oN3eAEbN/?vd_source=0c5a39664e27af522bfcd1e74b9780a8AIGC及大模型硅基智能vs碳基智能：AIGC帶給我們的驚喜此前AI的發(fā)展通常局限在特定領(lǐng)域的特定問(wèn)題，ChatGPT等LLM在文本摘要/概能發(fā)展這個(gè)更高的視角去看這個(gè)事情。人類的智能由一個(gè)個(gè)人類個(gè)體構(gòu)成，往往是但發(fā)展過(guò)程中碳基生命有個(gè)重大缺陷：相比宇宙的歷史長(zhǎng)河，人類個(gè)體的生命僅僅類似一個(gè)近乎全0的初始化狀態(tài)，然后需要耗費(fèi)十?dāng)?shù)年甚至幾十年時(shí)帶來(lái)的想象力在于知識(shí)可以繼承，不斷向前迭代發(fā)展，大模型似乎隱約讓人看到了大語(yǔ)言模型（LLM）接下來(lái)，將圍繞LLM、知識(shí)庫(kù)+LLM等幾大熱門應(yīng)用講解基本原理。針對(duì)LLM在釘釘智能問(wèn)答機(jī)器人）的詳盡實(shí)操指導(dǎo)書，使讀者可以零基礎(chǔ)構(gòu)建自己專屬的智能語(yǔ)言的數(shù)據(jù)特征疑問(wèn)反問(wèn)等多種修辭手法，也會(huì)導(dǎo)致相同的詞句本身就存在多種含義。各字詞在語(yǔ)文本轉(zhuǎn)向量（數(shù)字化）字呢？這個(gè)問(wèn)題本身就是一個(gè)專門的技術(shù)領(lǐng)域。我們只介紹兩個(gè)基礎(chǔ)的方法，讓大家有個(gè)認(rèn)識(shí)：One-Hot編碼、Embedding算法。就稱為詞元，英文名稱叫Token。One-Hot編碼的基本思路是將句子拆解成詞元，針對(duì)詞元構(gòu)建一個(gè)詞表（有些書上也稱作字典然后借助詞表中的每個(gè)詞元所處）：.按字Token化：我/們/相/信/A/I/可/以/讓/世/界/變/得/更/美/好/。.按詞Token化：我們/相信/AI/可以/讓/世界/變得/更/美好/。.按Bi-GramToken化：我們/們相/相信/信A/AI/I可/可以/以讓/讓世/世界/界變/變得/得更/更美/美好/好。稍加思考，會(huì)發(fā)現(xiàn)One-Hot編碼這種處理方式過(guò)于簡(jiǎn)單，存在諸多固有缺陷）：可能是電腦等，無(wú)法判斷。此外，One-Hot編碼難以處理文本中詞元的順序。Embedding不僅是針對(duì)單個(gè)Token的向量化，給大語(yǔ)言模型輸入任意一句話、數(shù)義，但具體是什么含義，本身是難以解釋的?？梢院?jiǎn)單的把Embedding模型當(dāng)作領(lǐng)域，都是相通的。我們可以再看一個(gè)圖像我們把最后一層（輸出層）去掉，輸出層的前一層是含84個(gè)參數(shù)的全連接，對(duì)應(yīng)84個(gè)輸出值，其實(shí)這84個(gè)輸出值就可以理解為一個(gè)向量的手寫數(shù)字圖像所輸出的向量相似度很高（相似度算法如歐式距離、cosine相似度等，讀者可以自行搜索相似度的常用算法原理而對(duì)于不同的手寫數(shù)字圖像所輸應(yīng)用開發(fā)新范式：對(duì)話即編程AIGC對(duì)傳統(tǒng)IT行業(yè)帶來(lái)了系列革新，其中之一是用戶輸入需求描述（常稱為提示詞，英文簡(jiǎn)稱prompt只需將自己的需求或問(wèn)題描述清楚，模型將直接給出高質(zhì)defget_completion(response=openai.Ch)prompt=f"""我們需要不斷學(xué)習(xí)和適應(yīng)新技術(shù)，不斷提升自己的能力和素質(zhì)，不斷挑代碼，主要是導(dǎo)入對(duì)應(yīng)的模塊，按照接口調(diào)用的格式填寫好相對(duì)固定的接口參數(shù)。此外，業(yè)界也有大量的文生代碼大模型陸續(xù)發(fā)布，GitHubCopilot作為其中的典型LLM在實(shí)際應(yīng)用中的難點(diǎn)問(wèn)題ChatGPT是火熱的LLM典型代表，再次掀起了NLP、AIGC熱ChatGPT、Transformer等的原理。重點(diǎn)從LLM的應(yīng)用視角，分析LLM的固有缺ChatGPT等LLM，只需要輸入提示語(yǔ)句和問(wèn)題描述（prompt模型就能給出類清華大學(xué)的開源ChatGLM-6B搭建一套智能問(wèn)答論LLM的模型參數(shù)做多大，哪怕有一天訓(xùn)練了一個(gè)超級(jí)LLM，把已有的知識(shí)都納即便是做微調(diào)訓(xùn)練，針對(duì)已使用大量語(yǔ)料訓(xùn)練且動(dòng)輒百億參數(shù)量的大模型，較難出下圖依然采用清華大學(xué)的開源ChatGLM-6B，僅灌入一篇產(chǎn)品文檔構(gòu)建成知識(shí)庫(kù)，LLM加工成最終的問(wèn)題答案，返回給用戶。Prompt模板示例：無(wú)法回答該問(wèn)題”，禁止在答案中添加編造成分，答案請(qǐng)使用中文。問(wèn)題是：{question}"""其中，問(wèn)題question是用戶問(wèn)的問(wèn)題，而已知信息context就是知識(shí)庫(kù)中檢索出來(lái)比如扮演一個(gè)說(shuō)話謙虛禮貌的客服，或者模仿某個(gè)名人的說(shuō)話方式等等，各種花樣知識(shí)庫(kù)+LLM智能問(wèn)答系統(tǒng)的構(gòu)建流程筆者在阿里云數(shù)據(jù)庫(kù)團(tuán)隊(duì)供職，曾和阿里云數(shù)據(jù)庫(kù)NoSQL團(tuán)隊(duì)共同規(guī)劃設(shè)計(jì)過(guò)企3)引入或開發(fā)文本分割算法，將文本做句段的分割，分割成大量textchu4)引入或開發(fā)文本轉(zhuǎn)向量算法，將各個(gè)textchuck轉(zhuǎn)換成對(duì)應(yīng)的向量，即前文介紹的文本轉(zhuǎn)向量的embedding過(guò)程。11)返回檢索到的topK（比如選top5、top10等）關(guān)聯(lián)內(nèi)容。12)用戶將topK內(nèi)容以及用戶問(wèn)題，填入到prompt模板。13)輸入prompt給LLM，LLM返回答案。外提供標(biāo)準(zhǔn)接口，供應(yīng)用開發(fā)者便捷使用。有些業(yè)界使用較廣的開源框架，如Langchain。Langchain簡(jiǎn)介L(zhǎng)angchain可以理解為是一個(gè)知識(shí)向量化的數(shù)據(jù)加工平臺(tái)/框架（詳見集成了文1)支持用戶導(dǎo)入私域知識(shí)（如.txt、.md、.docx、.pdf等多種文檔格式）。4)系統(tǒng)自動(dòng)完成查詢問(wèn)題向量轉(zhuǎn)換、語(yǔ)義檢索。并將問(wèn)題和語(yǔ)義檢索得到的topK5)目前兼容的embedding算法和LLM，可查看代碼，配置文件中的如下變量："ernie-tiny":"nghuyong/ernie-3.0-nano-zh","ernie-base":"nghuyong/ernie-3.0-base-zh","text2vec":"GanymedeNil/text2vec-large-chinese"}llm_model_dict：chatglm-6b-int4-qe、chatglm-6b-int4、chatglm-6b-int8、chatglm-6b、chatyuan、moss。其中ChatGLM-6B是清華大學(xué)的開源模型，可使用Langchain+chatGLM構(gòu)建知識(shí)庫(kù)方案，建議讀者可以參考“系列動(dòng)手實(shí)踐”Langchain的優(yōu)點(diǎn)：如果要進(jìn)一步了解LLM、Langchain+大模型構(gòu)建帶私域知識(shí)能力的智能問(wèn)答，強(qiáng)烈建議讀者親手搭建一套。尤其有了公有云，在云上搭建這些系統(tǒng)現(xiàn)在變的非常簡(jiǎn)便，僅需一兩個(gè)小時(shí)就能搭建完成。詳細(xì)的搭建指導(dǎo)書已經(jīng)放在了系列動(dòng)手實(shí)踐章系列動(dòng)手實(shí)踐在云上從0開始搭建Langchain-ChatGLMLLM環(huán)境以在Ubuntu18.0464位系統(tǒng)搭建LLM環(huán)境，安裝《langchain-ChatGLM》為例：cuda11.4。設(shè)置用戶名及登錄密碼。a.sudoapt-getupdateb.b.安裝gcc編譯器(可選，系統(tǒng)中通常已有)：sudoaptinstallbuild-essentialc.安裝Python，以3.8為例：sudoaptinstallpython3.8d.安裝miniconda：(1)下載安裝包：注意miniconda包需選擇對(duì)應(yīng)python版本的包wget/miniconda/Miniconda3-py38_23.3.1-0-Linux-x86_64.shMiniconda3-py38_23.3.1-0-Linux-x86_64.sh~/miniconda3/bin/condainit(5)(5)創(chuàng)建一個(gè)新的環(huán)境（可選）：condacreate--nameaigcpython=3.8-y(6)(6)激活aigc環(huán)境（可選）：condaactivateaigc5)安裝git：sudoaptinstallgit6)gitclonelangchain-ChatGLM，并安裝軟件依賴：gitgitclone/imClumsyPanda/langch7)將chatglm-6b模型及Embedding模型，下載到本地（可從本地加載模型）：安裝git-lfs：aptinstallgit-lfsgit-lfsclonehttps://huggingface.co/THUDM/chatglm-6b#下載Embedding模型$gitclonehttps://huggingface.co/GanymedeNil/text2vec-large-chinese/your_path/text2vec#模型需要更新時(shí)，可打開模型所在文件夾后拉取$gitlfspull8)更新config/model_config.py中的模型路徑為本地路徑。llm_model_dict變量中"chatglm-6b"："pretrained_model_name":"/home/fsnode/chatglm-6b"embedding_model_dict變量中"text2vec"："text2vec":"/home/fsnode/text2vec-large-chinese"9)導(dǎo)入自有的文檔到ecs，目前主要支10)運(yùn)行CLI或webDEMO：cli_demo：pythoncli_demo.pywebui：如需要公網(wǎng)訪問(wèn)，還需要將webui.py中修改：share=Truea.安裝gradio：pipinstallgradiob.在ECS實(shí)例安全組的入方向添加安全組規(guī)則，并放行8501端口（默認(rèn)的c.在ECS上運(yùn)行腳本：pythonwebui.py）：ssh-L7860:localhost:7860ecs-user@ecs公網(wǎng)IPB、在本地瀏覽器登錄web界面：:7860從0開始搭建LLM+知識(shí)庫(kù)智能問(wèn)答釘釘機(jī)器人能問(wèn)答釘釘機(jī)器人。知識(shí)庫(kù)技術(shù)方案使用了LindorLLM使用了開源ChatGLM2-6B，讀者也可以更換成自己的知識(shí)庫(kù)產(chǎn)品。1)本例以阿里云Lindorm數(shù)據(jù)庫(kù)提供的知識(shí)庫(kù)方案為例，讀者也可以更換成自己的方案。根據(jù)產(chǎn)品指導(dǎo)書，開通Lindorm知識(shí)庫(kù)+LLM實(shí)例，并根據(jù)指導(dǎo)書導(dǎo)2)將ECS客戶端IP加入到Lindorm數(shù)據(jù)庫(kù)白名單，確保ECS可以正常訪問(wèn)Lindorm數(shù)據(jù)庫(kù)?？梢栽贓CS上安裝LindormCLI客戶端進(jìn)行測(cè)試。3)在ECS上安裝phoenixdb（用于連接數(shù)據(jù)庫(kù)pipinstallphoenixdb==1.2.04)注意：有些系統(tǒng)版本在安裝時(shí)，可能會(huì)報(bào)錯(cuò)“subprocess.CalledProcessError:Command'krb5-config--libs