第6章 大模型的開發(fā)組織

浙江省普通本科高?！笆奈濉敝攸c(diǎn)教材大語言模型通識(shí)大語言模型通識(shí)周蘇教授QQ：81505050第6章大模型的開發(fā)組織人工智能正在成為我們?nèi)粘Ｉ钪胁豢苫蛉钡囊徊糠?。其中，深度學(xué)習(xí)模型尤其引人注目，而大語言模型更是當(dāng)下的熱門話題（見圖6-1）。

圖6-1案例：文心大模型全景圖第6章大模型的開發(fā)組織為什么大模型如此重要呢？（1）高準(zhǔn)確性：隨著模型參數(shù)的增加，模型通常能更好地學(xué)習(xí)和適應(yīng)各種數(shù)據(jù)，從而提高其預(yù)測和生成的準(zhǔn)確性。（2）多功能性：大模型通常更為通用，能夠處理更多種類的任務(wù)，而不僅限于特定領(lǐng)域。（3）持續(xù)學(xué)習(xí)：大模型的巨大容量使其更適合從持續(xù)的數(shù)據(jù)流中學(xué)習(xí)和適應(yīng)新知識(shí)。第6章大模型的開發(fā)組織01大模型開發(fā)流程02大模型的數(shù)據(jù)組織03訓(xùn)練集、測試集、驗(yàn)證集不同之處04訓(xùn)練集、測試集、驗(yàn)證集相識(shí)之處目錄/CONTENTSPART01大模型開發(fā)流程所謂大模型開發(fā)，是指建設(shè)以大模型為功能核心、通過其強(qiáng)大的理解能力和生成能力、結(jié)合特殊的數(shù)據(jù)或業(yè)務(wù)邏輯來提供獨(dú)特功能的應(yīng)用。開發(fā)大模型相關(guān)應(yīng)用，其技術(shù)核心雖然在大模型上，但一般通過調(diào)用API或開源模型來實(shí)現(xiàn)理解與生成，通過提示工程來實(shí)現(xiàn)大模型控制，因此，大模型是深度學(xué)習(xí)領(lǐng)域的集大成之作，大模型開發(fā)卻更多的是一個(gè)工程問題。圖6-2大模型開發(fā)要素6.1大模型開發(fā)流程在大模型開發(fā)中，我們一般不會(huì)去大幅度改動(dòng)模型，不會(huì)將精力聚焦在優(yōu)化模型本身上，而是將大模型作為一個(gè)調(diào)用工具，通過提示工程、數(shù)據(jù)工程、業(yè)務(wù)邏輯分解等手段來充分發(fā)揮大模型能力，適配應(yīng)用任務(wù)。因此，大模型開發(fā)的初學(xué)者并不需要深入研究大模型內(nèi)部原理，而更需要掌握使用大模型的實(shí)踐技巧。6.1大模型開發(fā)流程同時(shí)，以調(diào)用、發(fā)揮大模型作用為核心的大模型開發(fā)與傳統(tǒng)的人工智能開發(fā)在整體思路上有著較大的不同。大模型的兩個(gè)核心能力：指令理解與文本生成提供了復(fù)雜業(yè)務(wù)邏輯的簡單平替方案。在傳統(tǒng)的人工智能開發(fā)中，首先需要將復(fù)雜的業(yè)務(wù)邏輯進(jìn)行拆解，對(duì)于每一個(gè)子業(yè)務(wù)構(gòu)造訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)，對(duì)于每一個(gè)子業(yè)務(wù)訓(xùn)練優(yōu)化模型，最后形成完整的模型鏈路來解決整個(gè)業(yè)務(wù)邏輯。然而，在大模型開發(fā)中，嘗試用提示工程來替代子模型的訓(xùn)練調(diào)優(yōu)，通過提示鏈路組合來實(shí)現(xiàn)業(yè)務(wù)邏輯，用一個(gè)通用大模型+若干業(yè)務(wù)提示來完成任務(wù)，從而將傳統(tǒng)的模型訓(xùn)練調(diào)優(yōu)轉(zhuǎn)變成了更簡單、輕松、低成本的提示設(shè)計(jì)調(diào)優(yōu)。6.1大模型開發(fā)流程同時(shí)，在評(píng)估思路上，大模型開發(fā)與傳統(tǒng)人工智能開發(fā)有質(zhì)的差異。

傳統(tǒng)AI評(píng)估

LLM評(píng)估圖6-3大模型開發(fā)與傳統(tǒng)人工智能開發(fā)的不同6.1大模型開發(fā)流程傳統(tǒng)人工智能開發(fā)首先需要構(gòu)造訓(xùn)練集、測試集、驗(yàn)證集，通過在訓(xùn)練集上訓(xùn)練模型、在測試集上調(diào)優(yōu)模型、在驗(yàn)證集上最終驗(yàn)證模型效果來實(shí)現(xiàn)性能的評(píng)估。然而，大模型開發(fā)更敏捷、靈活，一般不會(huì)在初期顯式地確定訓(xùn)練集、驗(yàn)證集，由于不再需要訓(xùn)練子模型，我們直接從實(shí)際業(yè)務(wù)需求出發(fā)構(gòu)造小批量驗(yàn)證集，設(shè)計(jì)合理提示來滿足驗(yàn)證集效果。然后，不斷從業(yè)務(wù)邏輯中收集提示的壞情況，并將壞情況加入到驗(yàn)證集中，針對(duì)性優(yōu)化提示，最后實(shí)現(xiàn)較好的泛化效果。6.1大模型開發(fā)流程通常將大模型開發(fā)分解為以下幾個(gè)流程。

圖6-4大模型開發(fā)流程6.1大模型開發(fā)流程（1）確定目標(biāo)。開發(fā)目標(biāo)即應(yīng)用場景、目標(biāo)人群、核心價(jià)值。對(duì)于個(gè)體開發(fā)者或小型開發(fā)團(tuán)隊(duì)而言，一般應(yīng)先設(shè)定最小化目標(biāo)，從構(gòu)建一個(gè)最小可行性產(chǎn)品開始，逐步進(jìn)行完善和優(yōu)化。6.1大模型開發(fā)流程（2）設(shè)計(jì)功能。確定目標(biāo)后，需要設(shè)計(jì)應(yīng)用所要提供的功能，以及每一個(gè)功能的大體實(shí)現(xiàn)邏輯。雖然通過使用大模型簡化了業(yè)務(wù)邏輯的拆解，但是越清晰、深入的業(yè)務(wù)邏輯理解往往能帶來更好的提示效果。同樣，對(duì)于個(gè)體開發(fā)者或小型開發(fā)團(tuán)隊(duì)來說，先確定應(yīng)用的核心功能，然后延展設(shè)計(jì)核心功能的上下游功能；例如，我們想打造一款個(gè)人知識(shí)庫助手，那么核心功能就是結(jié)合個(gè)人知識(shí)庫內(nèi)容進(jìn)行問題的回答，其上游功能的用戶上傳知識(shí)庫、下游功能的用戶手動(dòng)糾正模型回答就是必須要設(shè)計(jì)實(shí)現(xiàn)的子功能。6.1大模型開發(fā)流程（3）搭建整體架構(gòu)。目前，絕大部分大模型應(yīng)用都是采用特定數(shù)據(jù)庫+提示+通用大模型的架構(gòu)。需要針對(duì)所設(shè)計(jì)的功能，搭建項(xiàng)目的整體架構(gòu)，實(shí)現(xiàn)從用戶輸入到應(yīng)用輸出的全流程貫通。一般情況下，推薦基于LangChain框架進(jìn)行開發(fā)，這是一款使用大模型構(gòu)建強(qiáng)大應(yīng)用程序的工具，它提供了鏈（Chain）、工具（Tool）等架構(gòu)的實(shí)現(xiàn)，可以基于LangChain進(jìn)行個(gè)性化定制，實(shí)現(xiàn)從用戶輸入到數(shù)據(jù)庫再到大模型最后輸出的整體架構(gòu)連接。6.1大模型開發(fā)流程（4）搭建數(shù)據(jù)庫。個(gè)性化大模型應(yīng)用需要有個(gè)性化的數(shù)據(jù)庫來支撐。由于大模型應(yīng)用需要進(jìn)行向量語義檢索，一般使用諸如chroma向量數(shù)據(jù)庫。在該步驟中，需要收集數(shù)據(jù)并進(jìn)行預(yù)處理，再向量化存儲(chǔ)到數(shù)據(jù)庫中。數(shù)據(jù)預(yù)處理一般包括從多種格式向純文本的轉(zhuǎn)化，例如pdf、markdown、html、音視頻等，以及對(duì)錯(cuò)誤數(shù)據(jù)、異常數(shù)據(jù)、臟數(shù)據(jù)進(jìn)行清洗。完成預(yù)處理后，需要進(jìn)行切片、向量化構(gòu)建出個(gè)性化數(shù)據(jù)庫。6.1大模型開發(fā)流程向量數(shù)據(jù)庫最早應(yīng)用于傳統(tǒng)人工智能和機(jī)器學(xué)習(xí)場景。大模型興起后，由于受大模型詞元數(shù)的限制，很多開發(fā)者傾向于將數(shù)據(jù)量龐大的知識(shí)、新聞、文獻(xiàn)、語料等先通過嵌入算法轉(zhuǎn)變?yōu)橄蛄繑?shù)據(jù)，然后存儲(chǔ)在Chroma等向量數(shù)據(jù)庫中。當(dāng)用戶在大模型輸入問題后，將問題本身也嵌入轉(zhuǎn)化為向量，在向量數(shù)據(jù)庫中查找與之最匹配的相關(guān)知識(shí)，組成大模型的上下文，將其輸入給大模型，最終返回大模型處理后的文本給用戶，這種方式不僅降低大模型的計(jì)算量，提高響應(yīng)速度，也降低成本，并避免了大模型的詞元限制，是一種簡單高效的處理手段。此外，向量數(shù)據(jù)庫還在大模型記憶存儲(chǔ)等領(lǐng)域發(fā)揮其不可替代的作用。6.1大模型開發(fā)流程（5）提示工程。優(yōu)質(zhì)的提示對(duì)大模型能力具有極大影響，需要逐步迭代構(gòu)建優(yōu)質(zhì)的提示工程來提升應(yīng)用性能。在該步驟中，首先應(yīng)該明確提示設(shè)計(jì)的一般原則及技巧，構(gòu)建出一個(gè)源于實(shí)際業(yè)務(wù)的小型驗(yàn)證集，以此來滿足基本要求、具備基本能力的提示。6.1大模型開發(fā)流程（6）驗(yàn)證迭代。這在大模型開發(fā)中是極其重要的一步，一般指通過不斷發(fā)現(xiàn)壞的情況并針對(duì)性改進(jìn)提示工程來提升系統(tǒng)效果、應(yīng)對(duì)邊界情況。在完成上一步的初始化提示設(shè)計(jì)后，應(yīng)該進(jìn)行實(shí)際業(yè)務(wù)測試，探討邊界情況，找到壞的情況，并針對(duì)性分析提示存在的問題，從而不斷迭代優(yōu)化，直到達(dá)到一個(gè)較為穩(wěn)定、可以基本實(shí)現(xiàn)目標(biāo)的提示版本。6.1大模型開發(fā)流程（7）前后端搭建。完成提示工程及其迭代優(yōu)化之后，就完成了應(yīng)用的核心功能，可以充分發(fā)揮大模型的強(qiáng)大能力。接下來，需要搭建前后端，設(shè)計(jì)產(chǎn)品頁面，讓應(yīng)用能夠上線成為產(chǎn)品。前后端開發(fā)是非常經(jīng)典且成熟的領(lǐng)域，有兩種快速開發(fā)演示的框架：Gradio和Streamlit，可以幫助個(gè)體開發(fā)者迅速搭建可視化頁面實(shí)現(xiàn)演示上線。（8）體驗(yàn)優(yōu)化。完成前后端搭建后，應(yīng)用就可以上線體驗(yàn)了。接下來需要進(jìn)行長期的用戶體驗(yàn)跟蹤，記錄壞情況，與用戶負(fù)反饋，再針對(duì)性進(jìn)行優(yōu)化即可。6.1大模型開發(fā)流程PART02大模型的數(shù)據(jù)組織在設(shè)計(jì)、研發(fā)、運(yùn)行的過程中，大模型面臨的主要挑戰(zhàn)如下。（1）計(jì)算資源：訓(xùn)練和運(yùn)行大模型需要大量的計(jì)算資源，這可能限制了許多機(jī)構(gòu)和研究者使用它的能力。（2）環(huán)境影響：大規(guī)模模型的訓(xùn)練對(duì)能源的需求是巨大的，可能會(huì)對(duì)環(huán)境造成負(fù)面影響。（3）偏見和公正性：由于大模型通常從大量的互聯(lián)網(wǎng)文本中學(xué)習(xí)，它們可能會(huì)吸收并再現(xiàn)存在于這些數(shù)據(jù)中的偏見。6.2大模型的數(shù)據(jù)組織盡管大模型存在上述挑戰(zhàn)，但研究者仍在積極尋找解決方法。例如，通過更高效的訓(xùn)練方法、結(jié)構(gòu)優(yōu)化等技術(shù)來降低能源消耗；或者通過更公正的數(shù)據(jù)收集和處理方法來減少模型偏見。大模型的研發(fā)流程涵蓋了從數(shù)據(jù)采集到模型訓(xùn)練的多個(gè)步驟。6.2大模型的數(shù)據(jù)組織數(shù)據(jù)采集是大模型項(xiàng)目的起點(diǎn)，根據(jù)大模型訓(xùn)練的需求收集大量數(shù)據(jù)。這些數(shù)據(jù)可以有多種來源，如公開的數(shù)據(jù)集、公司內(nèi)部的數(shù)據(jù)庫、用戶生成的數(shù)據(jù)、傳感器數(shù)據(jù)等。數(shù)據(jù)的類型可以多樣，包括圖像、文本、聲音、視頻等。定義數(shù)據(jù)需求：確定需要收集什么樣的數(shù)據(jù)。這應(yīng)該基于問題陳述和項(xiàng)目目標(biāo)。需要理解你的問題是什么，然后決定哪種類型的數(shù)據(jù)（例如數(shù)字、類別、文本、圖像等）和哪些特定的特征可能對(duì)解決問題有幫助。6.2.1數(shù)據(jù)采集找到數(shù)據(jù)源：確定數(shù)據(jù)來源。這可能包括公開的數(shù)據(jù)庫、在線資源，或者可以從公司內(nèi)部數(shù)據(jù)庫或系統(tǒng)中收集數(shù)據(jù)。在某些情況下，可能需要通過調(diào)查或?qū)嶒?yàn)收集新的數(shù)據(jù)。數(shù)據(jù)收集：從選擇的數(shù)據(jù)源中收集數(shù)據(jù)。這涉及到從數(shù)據(jù)庫中導(dǎo)出數(shù)據(jù)，使用API來收集在線數(shù)據(jù)，或者使用特殊的數(shù)據(jù)采集設(shè)備（例如物聯(lián)網(wǎng)）。數(shù)據(jù)存儲(chǔ)：將收集到的數(shù)據(jù)存儲(chǔ)在合適的地方，以便進(jìn)一步處理和分析。這可能涉及到設(shè)置數(shù)據(jù)庫或使用文件系統(tǒng)。6.2.1數(shù)據(jù)采集檢查數(shù)據(jù)質(zhì)量：查看收集的數(shù)據(jù)，確保其質(zhì)量滿足需求。需要檢查數(shù)據(jù)是否完整，是否有錯(cuò)誤，是否有重復(fù)的數(shù)據(jù)等。數(shù)據(jù)整理：如果數(shù)據(jù)來自多個(gè)來源，或者在一個(gè)大的數(shù)據(jù)集中，可能需要整理數(shù)據(jù)，使其在一定的上下文中有意義。這包括對(duì)數(shù)據(jù)排序，或者將數(shù)據(jù)分組，或者將數(shù)據(jù)從多個(gè)源合并。數(shù)據(jù)采集是一個(gè)持續(xù)的過程，特別是對(duì)需要實(shí)時(shí)更新或處理新信息的項(xiàng)目。在整個(gè)數(shù)據(jù)采集過程中，需要關(guān)注數(shù)據(jù)的質(zhì)量和一致性，同時(shí)也要注意遵守?cái)?shù)據(jù)隱私和安全的相關(guān)規(guī)定。6.2.1數(shù)據(jù)采集收集到的原始數(shù)據(jù)可能含有噪聲、缺失值、錯(cuò)誤數(shù)據(jù)等，所以要對(duì)數(shù)據(jù)進(jìn)行清洗。清洗后的數(shù)據(jù)要進(jìn)行一系列預(yù)處理操作，如歸一化、編碼轉(zhuǎn)換等，使其適合輸入到模型中。數(shù)據(jù)清洗和預(yù)處理是數(shù)據(jù)科學(xué)項(xiàng)目的重要步驟，它們有助于提高模型的性能并減少可能的錯(cuò)誤。數(shù)據(jù)質(zhì)量檢查：這是數(shù)據(jù)清洗的第一步，其中涉及識(shí)別和處理數(shù)據(jù)集中的錯(cuò)誤、重復(fù)值、缺失值和異常值。需要驗(yàn)證數(shù)據(jù)的完整性、一致性和準(zhǔn)確性，確保所有的記錄都是準(zhǔn)確的，與實(shí)際情況相符。6.2.2數(shù)據(jù)清洗和預(yù)處理處理缺失值：有多種方法可以處理數(shù)據(jù)集中的缺失值。這些方法包括：刪除包含缺失值的記錄；用特定值（如列的平均值、中位數(shù)或眾數(shù)）填充缺失值；使用預(yù)測模型（如KNN近鄰分類或回歸）預(yù)測缺失值；或者使用一種標(biāo)記值來表示缺失值。處理重復(fù)值：如果數(shù)據(jù)集中存在重復(fù)的記錄，那么可能需要?jiǎng)h除這些重復(fù)的記錄。在一些情況下，重復(fù)的記錄可能是數(shù)據(jù)收集過程中的錯(cuò)誤，但在其他情況下，重復(fù)的記錄可能是有意義的，所以需要根據(jù)具體情況來判斷。6.2.2數(shù)據(jù)清洗和預(yù)處理處理異常值：異常值是那些遠(yuǎn)離其他觀察值的值，這些值可能由測量錯(cuò)誤或其他原因產(chǎn)生。處理異常值的方法包括：刪除異常值；使用統(tǒng)計(jì)方法（如四分位數(shù)間距法）將異常值替換為更合理的值；或者使用機(jī)器學(xué)習(xí)算法對(duì)其進(jìn)行預(yù)測。6.2.2數(shù)據(jù)清洗和預(yù)處理數(shù)據(jù)轉(zhuǎn)換：將數(shù)據(jù)轉(zhuǎn)換為適合進(jìn)行分析或建模的形式。這可能包括以下幾種形式。（1）規(guī)范化或標(biāo)準(zhǔn)化：將數(shù)值特征縮放到同一范圍內(nèi)，如0到1，或者轉(zhuǎn)換為具有零均值和單位方差的值。（2）分類變量編碼：例如將分類變量轉(zhuǎn)換為獨(dú)熱編碼或標(biāo)簽編碼。（3）特征工程：創(chuàng)建新的特征，使之可能更好地表達(dá)數(shù)據(jù)的某些方面或者提高模型的性能。根據(jù)具體的項(xiàng)目和數(shù)據(jù)集，這個(gè)流程可能會(huì)有所不同。在進(jìn)行數(shù)據(jù)清洗和預(yù)處理時(shí)，需要對(duì)數(shù)據(jù)有深入的理解，以便做出最好的決策。6.2.2數(shù)據(jù)清洗和預(yù)處理數(shù)據(jù)標(biāo)注，也叫數(shù)據(jù)標(biāo)記，是一項(xiàng)為原始數(shù)據(jù)添加元信息的工作，以幫助大模型更好地理解和學(xué)習(xí)數(shù)據(jù)。對(duì)于監(jiān)督學(xué)習(xí)任務(wù)，模型需要有標(biāo)簽的數(shù)據(jù)進(jìn)行訓(xùn)練，數(shù)據(jù)標(biāo)注的目標(biāo)就是為數(shù)據(jù)提供這些標(biāo)簽，這個(gè)過程可能需要專門的標(biāo)注團(tuán)隊(duì)。對(duì)于非監(jiān)督學(xué)習(xí)任務(wù)，如聚類或生成模型，這一步則不需要。理解任務(wù)需求：首先需要理解要解決的問題以及數(shù)據(jù)標(biāo)注應(yīng)該如何進(jìn)行。例如，如果進(jìn)行圖像分類任務(wù)，可能需要給每個(gè)圖像一個(gè)分類標(biāo)簽；如果在進(jìn)行物體檢測任務(wù)，可能需要在圖像中的每個(gè)目標(biāo)物體周圍畫一個(gè)邊界框，并給出這個(gè)物體的分類標(biāo)簽。6.2.3數(shù)據(jù)標(biāo)注制定標(biāo)注規(guī)范：規(guī)范是一個(gè)詳細(xì)解釋如何進(jìn)行數(shù)據(jù)標(biāo)注的指南，它解釋哪些數(shù)據(jù)應(yīng)該被標(biāo)記，應(yīng)該如何標(biāo)記，以及如何處理可能出現(xiàn)的問題或歧義。清晰、詳細(xì)的標(biāo)注規(guī)范可以幫助保持標(biāo)注的一致性，并提高標(biāo)注的質(zhì)量。選擇或開發(fā)標(biāo)注工具：有許多可用的數(shù)據(jù)標(biāo)注工具，可以用于各種類型的數(shù)據(jù)標(biāo)注任務(wù)。應(yīng)該選擇或開發(fā)一個(gè)適合自己任務(wù)的標(biāo)注工具。標(biāo)注工具應(yīng)該方便使用，提高標(biāo)注效率，并盡可能減少錯(cuò)誤。進(jìn)行數(shù)據(jù)標(biāo)注：按照標(biāo)注規(guī)范，使用標(biāo)注工具進(jìn)行數(shù)據(jù)標(biāo)注。這可能是一個(gè)時(shí)間和人力密集型的過程，尤其是當(dāng)有大量數(shù)據(jù)需要標(biāo)注時(shí)。6.2.3數(shù)據(jù)標(biāo)注質(zhì)量檢查：檢查標(biāo)注的數(shù)據(jù)，確保標(biāo)注的質(zhì)量。這涉及到隨機(jī)抽查一部分?jǐn)?shù)據(jù)，并檢查它們是否被正確和一致地標(biāo)注。反饋和修正：根據(jù)質(zhì)量檢查的結(jié)果，如果發(fā)現(xiàn)任何問題或不一致，需要反饋給標(biāo)注團(tuán)隊(duì)，并修正錯(cuò)誤的標(biāo)注。數(shù)據(jù)標(biāo)注是一個(gè)重要但往往被忽視的步驟。高質(zhì)量標(biāo)注數(shù)據(jù)對(duì)訓(xùn)練出高性能的機(jī)器學(xué)習(xí)模型至關(guān)重要。因此，盡管這是一個(gè)復(fù)雜和耗時(shí)的過程，但投入在這個(gè)過程中的努力會(huì)得到回報(bào)。6.2.3數(shù)據(jù)標(biāo)注數(shù)據(jù)通常被劃分為訓(xùn)練集、驗(yàn)證集和測試集。訓(xùn)練集用于模型訓(xùn)練，驗(yàn)證集用于超參數(shù)調(diào)整和模型選擇，測試集用于最后的模型性能評(píng)估。數(shù)據(jù)集劃分是大模型項(xiàng)目中的一個(gè)重要步驟，它可以幫助我們更好地理解模型在未見過的數(shù)據(jù)上的性能。確定劃分策略：確定數(shù)據(jù)集劃分的策略主要取決于數(shù)據(jù)集的大小和特性。一般的策略是將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集。在大多數(shù)情況下，數(shù)據(jù)被劃分為80%的訓(xùn)練集，10%的驗(yàn)證集和10%的測試集，但這并不是硬性規(guī)定，具體的劃分比例需要根據(jù)實(shí)際情況來確定。6.2.4數(shù)據(jù)集劃分隨機(jī)劃分：為了確保每個(gè)劃分的數(shù)據(jù)分布與原始數(shù)據(jù)集相似，通常需要對(duì)數(shù)據(jù)進(jìn)行隨機(jī)劃分。這可以通過洗牌數(shù)據(jù)索引來實(shí)現(xiàn)。分層抽樣：在某些情況下，可能需要確保每個(gè)劃分中各類別的數(shù)據(jù)比例與整個(gè)數(shù)據(jù)集相同。這稱為分層抽樣。例如，如果數(shù)據(jù)集是一個(gè)二分類問題，可能希望訓(xùn)練集、驗(yàn)證集和測試集中正負(fù)樣本的比例都與整個(gè)數(shù)據(jù)集中的比例相同。6.2.4數(shù)據(jù)集劃分時(shí)間序列數(shù)據(jù)的劃分：對(duì)于時(shí)間序列數(shù)據(jù)，數(shù)據(jù)劃分的策略可能會(huì)不同。通常不能隨機(jī)劃分，而是基于時(shí)間來劃分?jǐn)?shù)據(jù)。例如，我們可能會(huì)使用前80%的數(shù)據(jù)作為訓(xùn)練集，然后使用接下來10%的數(shù)據(jù)作為驗(yàn)證集，最后10%的數(shù)據(jù)作為測試集。分割數(shù)據(jù)：按照所選擇的策略，使用編程語言或者數(shù)據(jù)處理工具來劃分?jǐn)?shù)據(jù)。保存數(shù)據(jù)：保存劃分后的數(shù)據(jù)集，以便后續(xù)的訓(xùn)練和測試。確保訓(xùn)練數(shù)據(jù)、驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)被正確地保存，并且可以方便地加載。這個(gè)流程可能根據(jù)數(shù)據(jù)的類型和任務(wù)的需求有所不同。無論如何，正確的數(shù)據(jù)劃分策略對(duì)于避免過擬合，以及準(zhǔn)確評(píng)估模型的性能至關(guān)重要。6.2.4數(shù)據(jù)集劃分模型設(shè)計(jì)是大模型項(xiàng)目的關(guān)鍵環(huán)節(jié)，需要結(jié)合項(xiàng)目目標(biāo)、數(shù)據(jù)特性以及算法理論選擇或設(shè)計(jì)適合任務(wù)的模型架構(gòu)。可能會(huì)使用復(fù)雜的深度學(xué)習(xí)架構(gòu)，如Transformer、BERT、ResNet等。理解問題：首先，需要理解你要解決的問題，并根據(jù)問題類型（例如，分類、回歸、聚類、生成模型等）決定采用何種類型的模型。選擇算法：根據(jù)要解決的問題選擇合適的機(jī)器學(xué)習(xí)算法。這可能包括決策樹、線性回歸、邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、集成學(xué)習(xí)等。在選擇算法時(shí)，需要考慮各種因素，如問題的復(fù)雜性、數(shù)據(jù)的大小和維度、計(jì)算資源等。6.2.5模型設(shè)計(jì)設(shè)計(jì)模型架構(gòu)：這主要涉及到深度學(xué)習(xí)模型。需要設(shè)計(jì)模型的架構(gòu)，例如神經(jīng)網(wǎng)絡(luò)的層數(shù)、每層的節(jié)點(diǎn)數(shù)、激活函數(shù)的選擇等。此步驟可能需要根據(jù)經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果進(jìn)行調(diào)整。6.2.5模型設(shè)計(jì)設(shè)置超參數(shù)：超參數(shù)是在開始學(xué)習(xí)過程之前設(shè)置的參數(shù)，而不是通過訓(xùn)練得到的參數(shù)。例如，學(xué)習(xí)率、批量大小、迭代次數(shù)等。超參數(shù)的選擇可能需要通過經(jīng)驗(yàn)或者系統(tǒng)的搜索（例如網(wǎng)格搜索、隨機(jī)搜索或貝葉斯優(yōu)化）來確定。正則化和優(yōu)化策略：為了防止過擬合并提高模型的泛化能力，可能需要使用一些正則化策略，如L1/L2正則化、dropout（輟學(xué)）、earlystopping（提早停止）等。同時(shí)，還需要選擇合適的優(yōu)化算法（例如，SGD、Adam、RMSprop等）以及可能的學(xué)習(xí)率調(diào)整策略。6.2.5模型設(shè)計(jì)定義評(píng)估指標(biāo)：需要定義合適的評(píng)估指標(biāo)來衡量模型的性能。選擇的評(píng)估指標(biāo)應(yīng)與業(yè)務(wù)目標(biāo)和模型目標(biāo)相一致。常見的評(píng)估指標(biāo)包括精度、召回率、F1分?jǐn)?shù)、AUC、均方誤差等。這個(gè)流程可能需要根據(jù)具體的項(xiàng)目和需求進(jìn)行迭代和調(diào)整。模型設(shè)計(jì)是一個(gè)需要技術(shù)知識(shí)、經(jīng)驗(yàn)以及實(shí)驗(yàn)驗(yàn)證的過程。在設(shè)計(jì)模型時(shí)，需要保持對(duì)模型復(fù)雜性和泛化能力之間平衡的認(rèn)識(shí)，并始終以實(shí)現(xiàn)業(yè)務(wù)目標(biāo)為導(dǎo)向。6.2.5模型設(shè)計(jì)模型初始化是大模型項(xiàng)目中的一個(gè)重要步驟。在訓(xùn)練開始前，需要初始化模型的參數(shù)，這一般通過隨機(jī)方式進(jìn)行。正確的初始化策略可以幫助模型更快地收斂，并減少訓(xùn)練過程中可能出現(xiàn)的問題。選擇初始化策略：有許多不同的初始化策略可以選擇，例如零初始化、隨機(jī)初始化、He初始化、Xavier初始化等。需要根據(jù)模型和激活函數(shù)來選擇合適的初始化策略。例如，如果模型使用ReLU激活函數(shù)，He初始化可能是一個(gè)好的選擇；如果模型使用tanh或sigmoid激活函數(shù)，Xavier初始化可能是一個(gè)好的選擇。6.2.6模型初始化初始化權(quán)重：使用選擇的策略來初始化模型的權(quán)重。對(duì)每一層都需要初始化其權(quán)重。在大多數(shù)情況下，權(quán)重應(yīng)該被初始化為小的隨機(jī)數(shù)，以打破對(duì)稱性并保證不同神經(jīng)元學(xué)到不同的特征。初始化偏置：初始化模型的偏置。在許多情況下，偏置可以被初始化為零。但是，對(duì)于某些類型的層（如批量歸一化層），偏置的初始化可能需要更復(fù)雜的策略。6.2.6模型初始化設(shè)置初始化參數(shù)：某些初始化策略可能需要額外的參數(shù)。例如，隨機(jī)初始化可能需要一個(gè)范圍或者一個(gè)標(biāo)準(zhǔn)差，你需要設(shè)置這些參數(shù)。執(zhí)行初始化：在模型代碼中執(zhí)行初始化操作。大多數(shù)深度學(xué)習(xí)框架（如TensorFlow和PyTorch）都提供了內(nèi)置的方法來執(zhí)行初始化。模型初始化是一個(gè)比較技術(shù)性的主題，正確的初始化策略可能對(duì)模型的訓(xùn)練速度和性能有很大的影響。應(yīng)該了解不同的初始化策略，以便根據(jù)模型選擇最適合的策略。6.2.6模型初始化模型訓(xùn)練是大模型項(xiàng)目中的關(guān)鍵步驟，其中包含了多個(gè)環(huán)節(jié)。設(shè)置訓(xùn)練參數(shù)：首先，需要設(shè)置訓(xùn)練參數(shù)，如學(xué)習(xí)率、訓(xùn)練迭代次數(shù)、批次大小等。準(zhǔn)備訓(xùn)練數(shù)據(jù)：需要將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集。通常，大部分?jǐn)?shù)據(jù)用于訓(xùn)練，一部分用于驗(yàn)證模型性能和調(diào)整超參數(shù)，剩余的一部分用于測試。6.2.7模型訓(xùn)練前向傳播：在前向傳播階段，模型接收輸入數(shù)據(jù)，并通過網(wǎng)絡(luò)層傳遞，直到輸出層。這個(gè)過程中會(huì)生成一個(gè)預(yù)測輸出。計(jì)算損失：根據(jù)預(yù)測輸出和實(shí)際標(biāo)簽，使用損失函數(shù)（如均方誤差、交叉熵等）計(jì)算損失。損失反映了模型預(yù)測的準(zhǔn)確程度。反向傳播：在這個(gè)階段，算法計(jì)算損失函數(shù)關(guān)于模型參數(shù)的梯度，并根據(jù)這些梯度來更新模型參數(shù)。這個(gè)過程通常使用優(yōu)化算法（如梯度下降、隨機(jī)梯度下降、Adam等）來進(jìn)行。6.2.7模型訓(xùn)練驗(yàn)證和調(diào)整：在每個(gè)迭代結(jié)束后，使用驗(yàn)證集評(píng)估模型性能。如果模型在驗(yàn)證集上的性能沒有提高，或者開始下降，這意味著模型可能過擬合了，需要調(diào)整模型的超參數(shù)，或者使用一些正則化技術(shù)（如dropout、L1/L2正則化、早停法等）。重復(fù)上述步驟：重復(fù)前向傳播、計(jì)算損失、反向傳播和驗(yàn)證的步驟，直到模型性能達(dá)到滿意，或者達(dá)到預(yù)設(shè)的訓(xùn)練迭代次數(shù)。模型測試：當(dāng)模型訓(xùn)練完成后，使用測試集進(jìn)行最終的性能評(píng)估。這能夠提供模型在未見過的數(shù)據(jù)上的性能表現(xiàn)。實(shí)際操作中可能需要根據(jù)特定任務(wù)或特定模型進(jìn)行相應(yīng)的調(diào)整。6.2.7模型訓(xùn)練模型驗(yàn)證是大模型項(xiàng)目中非常關(guān)鍵的一步，目的是在訓(xùn)練過程中，評(píng)估模型的性能，定期在驗(yàn)證集上測試模型的性能，監(jiān)控過擬合，根據(jù)測試和監(jiān)控結(jié)果調(diào)整模型的超參數(shù)。準(zhǔn)備驗(yàn)證集：在數(shù)據(jù)集劃分階段，應(yīng)該保留一部分?jǐn)?shù)據(jù)作為驗(yàn)證集。這部分?jǐn)?shù)據(jù)不參與模型訓(xùn)練，僅用于模型驗(yàn)證。進(jìn)行模型預(yù)測：使用訓(xùn)練好的模型對(duì)驗(yàn)證集進(jìn)行預(yù)測。通常，在每一輪迭代訓(xùn)練結(jié)束后進(jìn)行一次驗(yàn)證。6.2.8模型驗(yàn)證計(jì)算評(píng)估指標(biāo)：根據(jù)模型在驗(yàn)證集上的預(yù)測結(jié)果和真實(shí)標(biāo)簽，計(jì)算相應(yīng)的評(píng)估指標(biāo)。評(píng)估指標(biāo)的選擇取決于任務(wù)類型。例如：對(duì)于分類任務(wù)，常見的評(píng)估指標(biāo)有準(zhǔn)確率、精確率、召回率、F1分?jǐn)?shù)等；對(duì)于回歸任務(wù)，常見的評(píng)估指標(biāo)有均方誤差（MSE）、平均絕對(duì)誤差（MAE）等。比較性能：將這一輪的驗(yàn)證性能與前一輪進(jìn)行比較。如果性能提高，則可以繼續(xù)進(jìn)行下一輪訓(xùn)練；如果性能下降，則可能需要調(diào)整學(xué)習(xí)率、增加正則化等措施。6.2.8模型驗(yàn)證早停法：如果在連續(xù)多輪訓(xùn)練后，驗(yàn)證性能沒有顯著提高，可以使用早停法來提前結(jié)束訓(xùn)練，以避免過擬合。調(diào)整超參數(shù)：如果模型在驗(yàn)證集上的性能不佳，可能需要調(diào)整模型的超參數(shù)，如學(xué)習(xí)率、批次大小、正則化參數(shù)等。常用的方法是使用網(wǎng)格搜索或隨機(jī)搜索等方式來自動(dòng)搜索最優(yōu)的超參數(shù)組合。驗(yàn)證集應(yīng)保持獨(dú)立，不能用于訓(xùn)練模型，否則就可能導(dǎo)致模型的性能評(píng)估不準(zhǔn)確，無法真實(shí)反映模型在未見過的數(shù)據(jù)上的性能。6.2.8模型驗(yàn)證模型保存是大模型項(xiàng)目的重要一步，讓我們能夠?qū)⒂?xùn)練好的模型存儲(chǔ)起來，以便于后續(xù)的測試、部署或進(jìn)一步訓(xùn)練或分享。選擇保存格式：需要選擇一個(gè)合適的模型保存格式。常用的模型保存格式包括：Python的pickle文件、joblib文件，或者某些深度學(xué)習(xí)框架的專有格式，如TensorFlow的SavedModel格式和PyTorch的pth格式。這個(gè)選擇可能會(huì)受到所使用的工具和框架、模型的大小和復(fù)雜性、以及你的具體需求等因素的影響。6.2.9模型保存保存模型參數(shù)：對(duì)于神經(jīng)網(wǎng)絡(luò)模型，通常會(huì)保存模型的參數(shù)（即權(quán)重和偏置）。這些參數(shù)是通過訓(xùn)練學(xué)習(xí)到的，可以用于在相同的模型架構(gòu)上進(jìn)行預(yù)測。保存模型架構(gòu)：除了模型參數(shù)，可能需要保存模型的架構(gòu)。這包括模型的層數(shù)、每層的類型（例如卷積層、全連接層等）、每層的參數(shù)（例如卷積核的大小和數(shù)量、步長、填充等）、激活函數(shù)的類型等。6.2.9模型保存保存訓(xùn)練配置：此外，可能需要保存一些訓(xùn)練的配置信息，如優(yōu)化器類型、學(xué)習(xí)率、損失函數(shù)類型等。執(zhí)行保存操作：使用所選工具或框架的保存函數(shù)，將模型保存到文件中。通常，這會(huì)創(chuàng)建一個(gè)可以在其他計(jì)算機(jī)或在其他時(shí)間加載的文件。驗(yàn)證保存的模型：加載保存的模型，并在一些測試數(shù)據(jù)上運(yùn)行，以確保模型被正確保存并可以再次使用。這個(gè)流程可能會(huì)根據(jù)具體需求和所使用的工具或框架進(jìn)行一些調(diào)整。6.2.9模型保存模型測試是大模型部署前的最后一步，目的是在測試集上評(píng)估模型的最終性能。準(zhǔn)備測試集：在數(shù)據(jù)集劃分階段，應(yīng)該保留一部分?jǐn)?shù)據(jù)作為測試集。這部分?jǐn)?shù)據(jù)既不參與訓(xùn)練，也不參與驗(yàn)證，僅用于最后的模型測試。進(jìn)行模型預(yù)測：使用訓(xùn)練并經(jīng)過驗(yàn)證的模型對(duì)測試集進(jìn)行預(yù)測。在此步驟中，應(yīng)當(dāng)使用已保存的模型，而不是在訓(xùn)練過程中任何階段的模型。6.2.10模型測試計(jì)算評(píng)估指標(biāo)：根據(jù)模型在測試集上的預(yù)測結(jié)果和真實(shí)標(biāo)簽，計(jì)算相應(yīng)的評(píng)估指標(biāo)。這些指標(biāo)應(yīng)當(dāng)與在訓(xùn)練和驗(yàn)證階段使用的指標(biāo)一致，以便于進(jìn)行比較。分析結(jié)果：除了計(jì)算總體的評(píng)估指標(biāo)，也可以分析模型在特定類型的任務(wù)或數(shù)據(jù)上的性能。例如，可以查看模型在某個(gè)特定類別上的精確率和召回率，或者分析模型在不同難度級(jí)別的任務(wù)上的表現(xiàn)。6.2.10模型測試記錄和報(bào)告：記錄模型在測試集上的性能，并編寫報(bào)告。報(bào)告應(yīng)當(dāng)包含模型的詳細(xì)信息（例如，架構(gòu)、訓(xùn)練參數(shù)等），以及模型在測試集上的性能結(jié)果。測試集應(yīng)當(dāng)保持獨(dú)立和未知，不能用于訓(xùn)練或驗(yàn)證模型，以確保測試結(jié)果能夠真實(shí)反映模型在實(shí)際環(huán)境中的表現(xiàn)。6.2.10模型測試模型部署是將訓(xùn)練好的大模型應(yīng)用于實(shí)際生產(chǎn)環(huán)境中，使模型能夠?qū)π碌臄?shù)據(jù)進(jìn)行預(yù)測。模型選擇：在多個(gè)模型中選擇一個(gè)適合部署的模型。這個(gè)模型應(yīng)該是在驗(yàn)證和測試階段表現(xiàn)最優(yōu)秀的模型。模型轉(zhuǎn)換：如果需要，將模型轉(zhuǎn)換為適用于特定生產(chǎn)環(huán)境的格式。例如，如果計(jì)劃在移動(dòng)設(shè)備上運(yùn)行模型，可能需要將模型轉(zhuǎn)換為TensorFlowLite或CoreML格式。6.2.11模型部署部署策略：確定模型部署策略?？赡軙?huì)選擇將模型部署在本地服務(wù)器上，也可能選擇將模型部署在云服務(wù)器上。此外，還需要決定是否使用API、微服務(wù)或其他形式來提供模型服務(wù)。環(huán)境配置：配置生產(chǎn)環(huán)境。這可能包括安裝必要的軟件庫，設(shè)置服務(wù)器參數(shù)，配置網(wǎng)絡(luò)等。模型加載和測試：在生產(chǎn)環(huán)境中加載模型并進(jìn)行測試，以確保模型在生產(chǎn)環(huán)境中正確運(yùn)行。6.2.11模型部署模型監(jiān)控：設(shè)置監(jiān)控系統(tǒng)，以實(shí)時(shí)監(jiān)測模型的性能。如果模型性能下降或出現(xiàn)其他問題，應(yīng)該能夠及時(shí)得到通知。模型更新：根據(jù)模型在生產(chǎn)環(huán)境中的表現(xiàn)和新的數(shù)據(jù)，定期更新模型。這可能涉及到收集新的訓(xùn)練數(shù)據(jù)，重新訓(xùn)練模型，測試新模型，然后將新模型部署到生產(chǎn)環(huán)境中。這個(gè)流程可能會(huì)根據(jù)具體需求和所使用的技術(shù)進(jìn)行一些調(diào)整。部署機(jī)器學(xué)習(xí)模型是一個(gè)復(fù)雜的過程，需要考慮的因素很多，如模型性能、可擴(kuò)展性、安全性、成本等。6.2.11模型部署PART03訓(xùn)練集、測試集、驗(yàn)證集不同之處訓(xùn)練集、測試集、驗(yàn)證集三者在數(shù)據(jù)目的與功能、數(shù)據(jù)交互頻率上、數(shù)據(jù)劃分與比例以及使用時(shí)機(jī)等方面均有不同之處。6.3訓(xùn)練集、測試集、驗(yàn)證集不同之處訓(xùn)練集、測試集、驗(yàn)證集這三者的目的和功能不同。訓(xùn)練集主要用于訓(xùn)練模型，驗(yàn)證集主要用于在訓(xùn)練過程中選擇模型和調(diào)整超參數(shù)，測試集則用來最終評(píng)估模型的性能?！居?xùn)練集】訓(xùn)練模型。訓(xùn)練集用于模型訓(xùn)練，幫助模型確定權(quán)重和偏置等參數(shù)，模型通過深入學(xué)習(xí)和理解訓(xùn)練集中的數(shù)據(jù)，逐漸學(xué)會(huì)識(shí)別其中的模式和規(guī)律，并逐步優(yōu)化其預(yù)測能力。沒有良好的訓(xùn)練集，模型就像是失去了根基的大樹，無法穩(wěn)固地生長和擴(kuò)展。因此，需要精心準(zhǔn)備和挑選訓(xùn)練集，確保它具有代表性和高質(zhì)量，這樣模型才能更好地理解和適應(yīng)真實(shí)世界的變化。6.3.1目的與功能不同【驗(yàn)證集】選擇和調(diào)參。驗(yàn)證集用于模型選擇和超參數(shù)調(diào)整。它不參與學(xué)習(xí)參數(shù)的確定，主要幫助我們?cè)诒姸嗫赡苄灾校业侥切┠軌蚴鼓Ｐ托阅苓_(dá)到巔峰的超參數(shù)，如網(wǎng)絡(luò)層數(shù)、網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)率等，為挑選最優(yōu)模型超參數(shù)提供優(yōu)質(zhì)的咨詢和建議。驗(yàn)證集讓我們能夠在實(shí)戰(zhàn)之前就預(yù)知模型的性能，從而做出最佳的選擇。這種前瞻性的策略，不僅能夠提高模型的效率，更能夠節(jié)省寶貴的時(shí)間和資源。6.3.1目的與功能不同【測試集】評(píng)估性能。測試集用于評(píng)估模型的最終性能，是考驗(yàn)?zāi)Ｐ偷淖詈笠魂P(guān)。它不參與模型的學(xué)習(xí)參數(shù)過程，也不介入超參數(shù)的選擇，它的存在就是為了對(duì)模型的最終性能（即泛化能力）做出公正的評(píng)價(jià)。一個(gè)人工智能模型只有通過了測試集的考驗(yàn)，才能真正稱得上是具備良好泛化能力的模型。6.3.1目的與功能不同訓(xùn)練集、測試集、驗(yàn)證集這三者和模型的數(shù)據(jù)交互頻率不同。訓(xùn)練集會(huì)不斷交互，驗(yàn)證集是定期交互，而測試集只交互一次?！居?xùn)練集】不斷交互。使用訓(xùn)練集時(shí)，模型在訓(xùn)練階段不斷與訓(xùn)練集交互，通過多次地學(xué)習(xí)、調(diào)整和迭代來提高性能。它是在訓(xùn)練集的多次反饋中完成優(yōu)化的。在訓(xùn)練集中，模型通過一次次的迭代優(yōu)化，逐步提升自己的工藝水平。6.3.2數(shù)據(jù)交互頻率不同【驗(yàn)證集】定期交互。驗(yàn)證集在訓(xùn)練過程中的不同時(shí)間點(diǎn)交互，幫助開發(fā)人員調(diào)整模型參數(shù)和決定訓(xùn)練的結(jié)束點(diǎn)。它在訓(xùn)練過程中的每一個(gè)關(guān)鍵時(shí)刻出現(xiàn)，為開發(fā)人員提供寶貴的反饋和指引，幫助開發(fā)人員調(diào)整模型的超參數(shù)。所以，和訓(xùn)練集中的情況不一樣，模型不會(huì)在驗(yàn)證集中反復(fù)訓(xùn)練，只會(huì)定期和驗(yàn)證集進(jìn)行數(shù)據(jù)交互。驗(yàn)證集的每一次反饋，都是對(duì)模型的一次重要檢驗(yàn)，所獲得的數(shù)據(jù)評(píng)估指標(biāo)，也是優(yōu)化人工智能性能的重要依據(jù)。6.3.2數(shù)據(jù)交互頻率不同【測試集】交互一次。測試集在整個(gè)訓(xùn)練過程完成后交互，僅一次，用于模型的最終評(píng)估，這個(gè)活動(dòng)只有在整個(gè)訓(xùn)練過程圓滿完成后才會(huì)出現(xiàn)。測試集是模型的最后一道關(guān)卡，通過了，模型就可以接受真實(shí)世界的考驗(yàn)了。6.3.2數(shù)據(jù)交互頻率不同通常情況下，數(shù)據(jù)集會(huì)通過隨機(jī)抽樣、分層抽樣、時(shí)間序列抽樣等方式，按照不同比例劃分為訓(xùn)練集、驗(yàn)證集和測試集，三者之間不能有交集?！居?xùn)練集】占比約60%～80%。訓(xùn)練集作為模型學(xué)習(xí)的主要來源，需要占據(jù)較大的比例，以確保模型有足夠的數(shù)據(jù)來捕捉到數(shù)據(jù)中的模式和規(guī)律?！掘?yàn)證集】占比約10%～20%。一般來說，這個(gè)占比規(guī)模的驗(yàn)證集已經(jīng)足夠提供模型性能的合理估計(jì)，能提供有關(guān)模型泛化能力的有用信息就行，不用過多。而且，如果驗(yàn)證集太大，每次評(píng)估的時(shí)間成本會(huì)顯著增加，這會(huì)拖慢整個(gè)實(shí)驗(yàn)的進(jìn)度。6.3.3數(shù)據(jù)劃分與比例不同【測試集】占比約10%～20%。因?yàn)闇y試集在模型訓(xùn)練完成后只評(píng)估一次，所以只要足夠用于評(píng)估模型最終性能就行。如果測試集太大，評(píng)估過程會(huì)消耗大量計(jì)算資源和時(shí)間，沒有必要。在數(shù)據(jù)劃分上，訓(xùn)練集、測試集、驗(yàn)證集的具體比例取決于實(shí)際任務(wù)的需求和數(shù)據(jù)量的大小，不同的機(jī)器學(xué)習(xí)問題可能有不同的數(shù)據(jù)劃分需求。例如，對(duì)于數(shù)據(jù)量非常龐大的情況，可能只需要很小的驗(yàn)證集和測試集；而對(duì)于數(shù)據(jù)量本身就很小的情況，可能需要采用交叉驗(yàn)證等方法來充分利用數(shù)據(jù)。6.3.3數(shù)據(jù)劃分與比例不同訓(xùn)練集、驗(yàn)證集和測試集在模型的整個(gè)訓(xùn)練過程的不同階段發(fā)揮作用，所以開發(fā)人員使用它們的時(shí)機(jī)是不同的?！居?xùn)練集】在模型的初始訓(xùn)練階段使用。模型剛剛搭建起來的時(shí)候，需要耐心地用訓(xùn)練集進(jìn)行大量的訓(xùn)練，直到它掌握了所有的知識(shí)為止，這是初始必經(jīng)過程。6.3.4使用時(shí)機(jī)不同【驗(yàn)證集】在模型訓(xùn)練過程中定期使用。因?yàn)轵?yàn)證集用于監(jiān)控模型的性能和調(diào)整超參數(shù)。所以在模型通過初始階段的訓(xùn)練后，需要在過程中可以監(jiān)督到模型的學(xué)習(xí)效果。在模型的訓(xùn)練過程中，直到結(jié)束訓(xùn)練前的這個(gè)階段，我們會(huì)用驗(yàn)證集給模型來幾場“摸底考試”，若是發(fā)現(xiàn)不對(duì)的地方可以及時(shí)調(diào)整，以確保模型在訓(xùn)練過程中具備良好的性能。6.3.4使用時(shí)機(jī)不同【測試集】在模型訓(xùn)練完成后使用。測試集用于最終評(píng)估模型性能。所以，在訓(xùn)練集和驗(yàn)證集階段都不會(huì)用到測試集的數(shù)據(jù)，并且也需要保證測試集的數(shù)據(jù)是模型之前未見過的數(shù)據(jù)。對(duì)模型學(xué)習(xí)成果來一次最終的全面檢驗(yàn)是測試集存在的價(jià)值之一，這也是為什么測試集會(huì)被放在模型訓(xùn)練的最后階段。6.3.4使