大語言模型通識微課課件：訓(xùn)練集、測試集、驗證集

大語言模型通識

訓(xùn)練集、測試集、驗證集訓(xùn)練集、測試集、驗證集三者在數(shù)據(jù)目的與功能、數(shù)據(jù)交互頻率上、數(shù)據(jù)劃分與比例以及使用時機(jī)等方面均有不同之處。訓(xùn)練集、測試集和驗證集在數(shù)據(jù)來源、預(yù)處理、目標(biāo)、獨(dú)立性以及數(shù)據(jù)質(zhì)量和代表性方面都有著相似之處，這些相似性是確保模型完成有效訓(xùn)練和評估的基礎(chǔ)。微課6.2訓(xùn)練集、測試集、驗證集訓(xùn)練集用于訓(xùn)練模型，驗證集用于在訓(xùn)練過程中選擇模型和調(diào)整超參數(shù)，測試集則用來最終評估模型的性能?！居?xùn)練集】訓(xùn)練模型。幫助模型確定權(quán)重和偏置等參數(shù)，通過深入學(xué)習(xí)和理解訓(xùn)練集數(shù)據(jù)，逐漸學(xué)會識別其中的模式和規(guī)律，并逐步優(yōu)化其預(yù)測能力?！掘炞C集】選擇和調(diào)參。用于模型選擇和超參數(shù)調(diào)整。主要幫助在眾多可能性中，找到那些能夠使模型性能達(dá)到巔峰的超參數(shù)，如網(wǎng)絡(luò)層數(shù)、網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)率等，為挑選最優(yōu)模型超參數(shù)提供優(yōu)質(zhì)的咨詢和建議?！緶y試集】評估性能?？简?zāi)Ｐ停瑢δＰ偷姆夯芰ψ龀鲈u價。6.2.1目的與功能不同訓(xùn)練集、測試集、驗證集這三者和模型的數(shù)據(jù)交互頻率不同。訓(xùn)練集會不斷交互，驗證集是定期交互，而測試集只交互一次?！居?xùn)練集】不斷交互。通過多次學(xué)習(xí)、調(diào)整和迭代來提高性能。訓(xùn)練中，模型通過一次次的迭代優(yōu)化，逐步提升自己的工藝水平?！掘炞C集】定期交互。驗證集在訓(xùn)練過程中的不同時間點(diǎn)交互，幫助開發(fā)人員調(diào)整模型參數(shù)和決定訓(xùn)練的結(jié)束點(diǎn)。【測試集】交互一次。測試集在整個訓(xùn)練過程完成后僅交互一次，用于模型的最終評估，這個活動只有在整個訓(xùn)練過程圓滿完成后才會出現(xiàn)。6.2.2數(shù)據(jù)交互頻率不同通常情況下，數(shù)據(jù)集會通過隨機(jī)抽樣、分層抽樣、時間序列抽樣等方式，按照不同比例劃分為訓(xùn)練集、驗證集和測試集，三者之間不能有交集。【訓(xùn)練集】占比約60%～80%。訓(xùn)練集作為模型學(xué)習(xí)的主要來源，需要占據(jù)較大的比例，以確保模型有足夠的數(shù)據(jù)來捕捉到數(shù)據(jù)中的模式和規(guī)律。【驗證集】占比約10%～20%。一般來說，能提供有關(guān)模型泛化能力的有用信息就行，不用過多?！緶y試集】占比約10%～20%。因為測試集在模型訓(xùn)練完成后只評估一次，所以只要足夠用于評估模型最終性能就行。6.2.3數(shù)據(jù)劃分與比例不同訓(xùn)練集、驗證集和測試集在模型的整個訓(xùn)練過程的不同階段發(fā)揮作用，所以開發(fā)人員使用它們的時機(jī)是不同的?！居?xùn)練集】在模型的初始訓(xùn)練階段使用。模型剛剛搭建起來的時候，需要耐心地用訓(xùn)練集進(jìn)行大量的訓(xùn)練，直到它掌握了所有的知識為止?！掘炞C集】在模型訓(xùn)練過程中定期使用。需要在過程中可以監(jiān)督學(xué)習(xí)效果。【測試集】在模型訓(xùn)練完成后使用。最終評估模型性能。需要保證測試集的數(shù)據(jù)是模型之前未見過的數(shù)據(jù)。6.2.4使用時機(jī)不同訓(xùn)練集、驗證集和測試集通常來自同一數(shù)據(jù)源或具有相同的數(shù)據(jù)分布。這意味著它們共享相同的數(shù)據(jù)特征和屬性，確保模型在不同階段處理的數(shù)據(jù)具有一致性。6.2.5數(shù)據(jù)來源一致在模型訓(xùn)練之前，訓(xùn)練集、驗證集和測試集都需要進(jìn)行相似的數(shù)據(jù)預(yù)處理步驟，如歸一化、標(biāo)準(zhǔn)化、缺失值處理等。歸一化是將數(shù)據(jù)縮放到一個特定的范圍，通常是在0和1之間，目的是讓數(shù)據(jù)在相同的尺度上，以便模型能夠更好地學(xué)習(xí)和識別其中的模式。通過歸一化，使每個特征對模型的貢獻(xiàn)更加均衡。6.2.6相似的數(shù)據(jù)預(yù)處理標(biāo)準(zhǔn)化則是調(diào)整數(shù)據(jù)的尺碼，將數(shù)據(jù)特征縮放到一個標(biāo)準(zhǔn)單位。這個過程有助于算法（如線性回歸）的訓(xùn)練和預(yù)測過程更加穩(wěn)定。缺失值的處理像是填補(bǔ)數(shù)據(jù)中的空白，讓整個數(shù)據(jù)集更加完整。在數(shù)據(jù)集中，可能會有一些數(shù)據(jù)點(diǎn)由于各種原因（如測量錯誤、數(shù)據(jù)錄入錯誤等）而丟失。處理這些缺失值的方法有多種，包括刪除含有缺失值的樣本、填充缺失值（如使用平均值、中位數(shù)或眾數(shù)填充）、或者使用模型預(yù)測缺失值等。處理缺失值的關(guān)鍵是確保不會引入偏差，同時保留盡可能多的有效信息。6.2.7相似的數(shù)據(jù)預(yù)處理訓(xùn)練、驗證和測試三個數(shù)據(jù)集在模型開發(fā)的不同階段使用，但它們的目標(biāo)是一致的，即都是為了構(gòu)建一個泛化能力強(qiáng)、能夠準(zhǔn)確預(yù)測新數(shù)據(jù)的模型。為了保證模型評估的公正性，三個數(shù)據(jù)集中的樣本必須保持相互獨(dú)立。這意味著，每個集合中的數(shù)據(jù)是獨(dú)一無二的，不會與其他集合的數(shù)據(jù)交叉重疊，讓模型在評估過程中的表現(xiàn)不會受到其他集合數(shù)據(jù)的影響。這種獨(dú)立性確保了評估結(jié)果的真實(shí)性和有效性。6.2.8目標(biāo)一致，各具有獨(dú)立性為了確保模型在不同階段的學(xué)習(xí)和評估過程中能夠獲得準(zhǔn)確和可靠的結(jié)果，訓(xùn)練集、驗證集和測試集都需要能夠代表原始數(shù)據(jù)的整體特性，同時還需保證數(shù)據(jù)質(zhì)量。這意味著它們都應(yīng)該包含所有可能的數(shù)據(jù)特征和類別，以便模型能夠在不同的數(shù)據(jù)集上都能學(xué)習(xí)到有效的模式，提高其泛化能力。從訓(xùn)練集、驗證集和測試集的