大語言模型基礎(chǔ)微課版課件 第5章 大模型預(yù)訓(xùn)練數(shù)據(jù)

浙江省普通本科高校“十四五”重點(diǎn)教材建設(shè)成果之一大語言模型基礎(chǔ)大語言模型基礎(chǔ)周蘇教授QQ：81505050第5章大模型預(yù)訓(xùn)練數(shù)據(jù)一般情況下，用于預(yù)訓(xùn)練的都是具備復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，眾多參數(shù)量，以及足夠大數(shù)據(jù)集的大模型。在自然語言處理領(lǐng)域，預(yù)訓(xùn)練模型往往是語言模型（見圖5-1），其訓(xùn)練是無監(jiān)督的，可以獲得大規(guī)模語料。同時(shí)，語言模型又是許多典型自然語言處理任務(wù)的基礎(chǔ)，如機(jī)器翻譯、文本生成、閱讀理解等。第5章大模型預(yù)訓(xùn)練數(shù)據(jù)

圖5-1從語言模型嵌入第5章大模型預(yù)訓(xùn)練數(shù)據(jù)（1）在RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型中，每一個(gè)詞嵌入的輸出要參考前面已經(jīng)輸入過的數(shù)據(jù)，所以叫做上下文詞嵌入。（2）除了考慮每個(gè)詞嵌入前文，同時(shí)還要考慮后文，所以再從句尾向句首訓(xùn)練。（3）使用多層隱藏層后，最終的詞嵌入=該詞所有層的詞嵌入的加權(quán)平均（見右圖）。圖5-2從句子中訓(xùn)練第5章大模型預(yù)訓(xùn)練數(shù)據(jù)訓(xùn)練大模型需要數(shù)萬億各類型數(shù)據(jù)。如何構(gòu)造海量“高質(zhì)量”數(shù)據(jù)對(duì)于大模型的訓(xùn)練至關(guān)重要。研究表明，預(yù)訓(xùn)練數(shù)據(jù)是影響大模型效果及樣本泛化能力的關(guān)鍵因素之一。大模型預(yù)訓(xùn)練數(shù)據(jù)要覆蓋盡可能多的領(lǐng)域、語言、文化和視角，通常來自網(wǎng)絡(luò)、圖書、論文、百科和社交媒體等。第5章大模型預(yù)訓(xùn)練數(shù)據(jù)01大模型預(yù)訓(xùn)練數(shù)據(jù)02數(shù)據(jù)處理03數(shù)據(jù)影響分析04典型的開源數(shù)據(jù)集目錄/CONTENTS05訓(xùn)練集、測(cè)試集、驗(yàn)證集的異同06數(shù)據(jù)集面臨的挑戰(zhàn)PART01大模型預(yù)訓(xùn)練數(shù)據(jù)OpenAI訓(xùn)練GPT-3使用的主要數(shù)據(jù)來源，包含經(jīng)過過濾的CommonCravwl、WebText2、Books1、Books2及英文維基百科等數(shù)據(jù)集。其中CommonCrawl的原始數(shù)據(jù)有45TB，過濾后僅保留了570GB的數(shù)據(jù)。通過詞元方式對(duì)上述數(shù)據(jù)進(jìn)行切分，大約包含5000億個(gè)詞元。為了保證模型使用更多高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，在訓(xùn)練GPT-3時(shí)，根據(jù)數(shù)據(jù)來源的不同，設(shè)置不同的采樣權(quán)重。在完成3000億個(gè)詞元的訓(xùn)練時(shí)，英文維基百科的數(shù)據(jù)平均訓(xùn)練輪數(shù)為3.4次，而CommonCrawl和Books2僅有0.44次和0.43次。5.1數(shù)據(jù)來源另一個(gè)例子，由于CommonCrawl數(shù)據(jù)集的過濾過程繁瑣復(fù)雜，Meta公司的研究人員在訓(xùn)練OPT模型時(shí)，采用了混合RoBERTa、Pile和PushShift.ioReddit數(shù)據(jù)的方法。由于這些數(shù)據(jù)集中包含的絕大部分?jǐn)?shù)據(jù)都是英文數(shù)據(jù)，因此OPT也從CommonCrawl數(shù)據(jù)集中抽取了部分非英文數(shù)據(jù)加入訓(xùn)練數(shù)據(jù)。大模型預(yù)訓(xùn)練所需的數(shù)據(jù)來源大體上分為通用數(shù)據(jù)和專業(yè)數(shù)據(jù)兩大類。5.1數(shù)據(jù)來源通用數(shù)據(jù)在大模型訓(xùn)練數(shù)據(jù)中占比非常高，主要包括網(wǎng)頁、圖書、新聞、對(duì)話文本等不同類型的數(shù)據(jù)，具有規(guī)模大、多樣性和易獲取等特點(diǎn)，因此支持大模型的語言建模和泛化能力。5.1.1通用數(shù)據(jù)網(wǎng)頁是通用數(shù)據(jù)中數(shù)量最多的一類。隨著互聯(lián)網(wǎng)的日益普及，人們通過網(wǎng)站、論壇、博客、App創(chuàng)造了海量的數(shù)據(jù)。網(wǎng)頁數(shù)據(jù)使語言模型能夠獲得多樣化的語言知識(shí)并增強(qiáng)其泛化能力。爬取和處理海量網(wǎng)頁內(nèi)容并不是一件容易的事情，因此一些研究人員構(gòu)建了ClueWeb09、ClueWeb12、SogouT-16、CommonCrawl等開源網(wǎng)頁數(shù)據(jù)集。雖然這些爬取的網(wǎng)絡(luò)數(shù)據(jù)包含大量高質(zhì)量的文本（如維基百科），但也包含非常多低質(zhì)量的文本（如垃圾郵件等）。因此，過濾并處理網(wǎng)頁數(shù)據(jù)以提高數(shù)據(jù)質(zhì)量對(duì)大模型訓(xùn)練非常重要。5.1.1通用數(shù)據(jù)圖書是人類知識(shí)的主要積累方式之一，從古代經(jīng)典到現(xiàn)代學(xué)術(shù)著作，承載了豐富多樣的人類思想。圖書通常包含廣泛的詞匯，包括專業(yè)術(shù)語、文學(xué)表達(dá)及各種主題詞匯。利用圖書數(shù)據(jù)進(jìn)行訓(xùn)練，大模型可以接觸多樣化的詞匯，從而提高其對(duì)不同領(lǐng)域和主題的理解能力。相較于其他數(shù)據(jù)庫，圖書也是最重要的，甚至是唯一的長文本書面語的數(shù)據(jù)來源。圖書提供了完整的句子和段落，使大模型可以學(xué)習(xí)到上下文之間的聯(lián)系。這對(duì)于模型理解句子中的復(fù)雜結(jié)構(gòu)、邏輯關(guān)系和語義連貫性非常重要。5.1.1通用數(shù)據(jù)圖書涵蓋了各種文體和風(fēng)格，包括小說、科學(xué)著作、歷史記錄等等。用圖書數(shù)據(jù)訓(xùn)練大模型，可以使模型學(xué)習(xí)到不同的寫作風(fēng)格和表達(dá)方式，提高大模型在各種文本類型上的能力。受限于版權(quán)因素，開源圖書數(shù)據(jù)集很少，現(xiàn)有的開源大模型研究通常采用Pile數(shù)據(jù)集中提供的Books3和BookCorpus2數(shù)據(jù)集。5.1.1通用數(shù)據(jù)對(duì)話文本是指有兩個(gè)或更多參與者交流的文本內(nèi)容。對(duì)話文本包含書面形式的對(duì)話、聊天記錄、論壇帖子、社交媒體評(píng)論等。研究表明，對(duì)話文本可以有效增強(qiáng)大模型的對(duì)話能力，并潛在地提高大模型在多種問答任務(wù)上的表現(xiàn)。對(duì)話文本可以通過收集、清洗、歸并等過程從社會(huì)媒體、論壇、郵件組等處構(gòu)建。相較于網(wǎng)頁數(shù)據(jù)，對(duì)話文本數(shù)據(jù)的收集和處理會(huì)困難一些，數(shù)據(jù)量也少很多。常見的對(duì)話文本數(shù)據(jù)集包括PushShift.ioReddit、UbuntuDialogueCorpus、DoubanConversationCorpus、ChromiumConversationsCorpus等。此外，還提出了使用大模型自動(dòng)生成對(duì)話文本數(shù)據(jù)的UltraChat方法。5.1.1通用數(shù)據(jù)專業(yè)數(shù)據(jù)包括多語言數(shù)據(jù)、科學(xué)文本數(shù)據(jù)、代碼及領(lǐng)域特有資料等。雖然專業(yè)數(shù)據(jù)在大模型中所占比例通常較低，但是其對(duì)改進(jìn)大模型在下游任務(wù)上的特定解決能力有著非常重要的作用。專業(yè)數(shù)據(jù)種類非常多，大模型使用的專業(yè)數(shù)據(jù)主要有三類。5.1.2專業(yè)數(shù)據(jù)多語言數(shù)據(jù)對(duì)于增強(qiáng)大模型的語言理解和生成多語言能力具有至關(guān)重要的作用。當(dāng)前的大模型訓(xùn)練除了需要目標(biāo)語言中的文本，通常還要整合多語言數(shù)據(jù)庫。例如，BLOOM的預(yù)訓(xùn)練數(shù)據(jù)中包含46種語言的數(shù)據(jù)，PaLM的預(yù)訓(xùn)練數(shù)據(jù)中甚至包含高達(dá)122種語言的數(shù)據(jù)。研究發(fā)現(xiàn)，通過多語言數(shù)據(jù)混合訓(xùn)練，預(yù)訓(xùn)練模型可以在一定程度上自動(dòng)構(gòu)建多語言之間的語義關(guān)聯(lián)。因此，多語言數(shù)據(jù)混合訓(xùn)練可以有效提升翻譯、多語言摘要和多語言問答等任務(wù)能力。此外，由于不同語言中不同類型的知識(shí)獲取難度不同，多語言數(shù)據(jù)還可以有效地增加數(shù)據(jù)的多樣性和知識(shí)的豐富性。5.1.2專業(yè)數(shù)據(jù)科學(xué)文本數(shù)據(jù)包括教材、論文、百科及其他相關(guān)資源。這些數(shù)據(jù)對(duì)于提升大模型在理解科學(xué)知識(shí)方面的能力具有重要作用?？茖W(xué)文本數(shù)據(jù)的來源主要包括arXiv論文、PubMed論文、教材、課件和教學(xué)網(wǎng)頁等。由于科學(xué)領(lǐng)域涉及眾多專業(yè)領(lǐng)域且數(shù)據(jù)形式復(fù)雜，通常還需要對(duì)公式、化學(xué)式、蛋白質(zhì)序列等采用特定的符號(hào)標(biāo)記并進(jìn)行預(yù)處理。例如，公式可以用LaTeX語法表示，化學(xué)結(jié)構(gòu)可以用SMILES（簡化的分子輸入管路輸入系統(tǒng)）表示，蛋白質(zhì)序列可以用單字母代碼或三字母代碼表示。這樣可以將不同格式的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的形式，使大模型更好地處理和分析科學(xué)文本數(shù)據(jù)。5.1.2專業(yè)數(shù)據(jù)代碼是進(jìn)行程序生成任務(wù)所必需的訓(xùn)練數(shù)據(jù)。研究表明，通過在大量代碼上進(jìn)行預(yù)訓(xùn)練，大模型可以有效提升代碼生成的效果。程序代碼除本身之外，還包含大量的注釋信息。與自然語言文本不同，代碼是一種格式化語言，對(duì)應(yīng)著長程依賴和準(zhǔn)確的執(zhí)行邏輯。代碼的語法結(jié)構(gòu)、關(guān)鍵字和特定的編程范式都對(duì)其含義和功能起著重要作用。代碼的主要來源是編程問答社區(qū)和公共軟件倉庫。編程問答社區(qū)中的數(shù)據(jù)包含了開發(fā)者提出的問題、其他開發(fā)者的回答及相關(guān)代碼示例。這些數(shù)據(jù)提供了豐富的語境和真實(shí)世界中的代碼使用場(chǎng)景。5.1.2專業(yè)數(shù)據(jù)公共軟件倉庫中的數(shù)據(jù)包含了大量的開源代碼，涵蓋多種編程語言和不同領(lǐng)域。這些代碼庫中的很多代碼經(jīng)過了嚴(yán)格的代碼評(píng)審和實(shí)際的使用測(cè)試，因此具有一定的可靠性。5.1.2專業(yè)數(shù)據(jù)PART02數(shù)據(jù)處理由于數(shù)據(jù)質(zhì)量對(duì)于大模型的影響非常大。因此，在收集各種類型的數(shù)據(jù)之后，需要對(duì)數(shù)據(jù)進(jìn)行處理，去除低質(zhì)量數(shù)據(jù)、重復(fù)數(shù)據(jù)、有害信息、個(gè)人隱私等內(nèi)容和進(jìn)行詞元切分。5.2數(shù)據(jù)處理互聯(lián)網(wǎng)上的數(shù)據(jù)質(zhì)量參差不齊，因此，從收集到的數(shù)據(jù)中刪除過濾掉低質(zhì)量數(shù)據(jù)是大模型訓(xùn)練中的重要步驟，其方法大致分為兩類；基于分類器的方法和基于啟發(fā)式的方法。5.2.1質(zhì)量過濾（1）基于分類器的方法。目標(biāo)是訓(xùn)練文本質(zhì)量判斷模型，利用該模型識(shí)別并過濾低質(zhì)量數(shù)據(jù)。GPT-3、PaLM和GLaM模型在訓(xùn)練數(shù)據(jù)構(gòu)造時(shí)都使用了基于分類器的方法。例如，基于特征哈希的線性分類器，可以非常高效地完成文本質(zhì)量判斷。該分類器使用一組精選文本（維基百科、書籍和一些選定的網(wǎng)站）進(jìn)行訓(xùn)練，目標(biāo)是給與訓(xùn)練數(shù)據(jù)類似的網(wǎng)頁較高分?jǐn)?shù)。利用這個(gè)分類器可以評(píng)估網(wǎng)頁的內(nèi)容質(zhì)量。在實(shí)際應(yīng)用中，還可以通過使用Pareto分布對(duì)網(wǎng)頁進(jìn)行采樣，根據(jù)其得分選擇合適的閾值，從而選定合適的數(shù)據(jù)集。然而，一些研究發(fā)現(xiàn)，基于分類器的方法可能會(huì)刪除包含方言或者口語的高質(zhì)量文本，從而損失一定的多樣性。5.2.1質(zhì)量過濾（2）基于啟發(fā)式的方法。通過一組精心設(shè)計(jì)的規(guī)則來消除低質(zhì)量文本，BLOOM和Gopher采用了基于啟發(fā)式的方法。一些啟發(fā)式規(guī)則如下?！ふZ言過濾：如果一個(gè)大模型僅關(guān)注一種或者幾種語言，則可以大幅過濾數(shù)據(jù)中其他語言的文本。·指標(biāo)過濾：利用評(píng)測(cè)指標(biāo)也可以過濾低質(zhì)量文本。例如，可以使用語言模型對(duì)給定文本的困惑度進(jìn)行計(jì)算，利用該值過濾非自然的句子?！そy(tǒng)計(jì)特征過濾：針對(duì)文本內(nèi)容可以計(jì)算包括標(biāo)點(diǎn)符號(hào)分布、符號(hào)字比、句子長度在內(nèi)的統(tǒng)計(jì)特征，利用這些特征過濾低質(zhì)量數(shù)據(jù)?！りP(guān)鍵詞過濾：根據(jù)特定的關(guān)鍵詞集，可以識(shí)別并刪除文本中的噪聲或無用元素。例如，HTML標(biāo)簽、超鏈接及冒犯性詞語等。5.2.1質(zhì)量過濾在大模型出現(xiàn)之前，在自然語言處理領(lǐng)域已經(jīng)開展了很多文章質(zhì)量判斷相關(guān)的研究，主要應(yīng)用于搜索引擎、社會(huì)媒體、推薦系統(tǒng)、廣告排序及作文評(píng)分等任務(wù)中。在搜索和推薦系統(tǒng)中，內(nèi)容結(jié)果的質(zhì)量是影響用戶體驗(yàn)的重要因素之一，因此，此前很多工作都是針對(duì)用戶生成內(nèi)容的質(zhì)量進(jìn)行判斷的。自動(dòng)作文評(píng)分也是文章質(zhì)量判斷領(lǐng)域的一個(gè)重要子任務(wù)，自1998年提出使用貝葉斯分類器進(jìn)行作文評(píng)分預(yù)測(cè)以來，基于SVM、CNN-RNN、BERT等方法的作文評(píng)分算法相繼被提出，并取得了較大的進(jìn)展。這些方法都可以應(yīng)用于大模型預(yù)訓(xùn)練數(shù)據(jù)過濾。5.2.1質(zhì)量過濾由于預(yù)訓(xùn)練數(shù)據(jù)量非常大，并且對(duì)質(zhì)量判斷的準(zhǔn)確率要求并不很高，因此一些基于深度學(xué)習(xí)和預(yù)訓(xùn)練的方法還沒有應(yīng)用于低質(zhì)過濾中。5.2.1質(zhì)量過濾研究表明，大模型訓(xùn)練數(shù)據(jù)庫中的重復(fù)數(shù)據(jù)會(huì)降低大模型的多樣性，并可能導(dǎo)致訓(xùn)練過程不穩(wěn)定，從而影響模型性能。因此，需要對(duì)預(yù)訓(xùn)練數(shù)據(jù)庫中的重復(fù)數(shù)據(jù)進(jìn)行處理，去除其中的冗余部分。文本冗余發(fā)現(xiàn)也被稱為文本重復(fù)檢測(cè)，是自然語言處理和信息檢索中的基礎(chǔ)任務(wù)之一，其目標(biāo)是發(fā)現(xiàn)不同粒度上的文本重復(fù)，包括句子、段落、文檔、數(shù)據(jù)集等不同級(jí)別。在實(shí)際產(chǎn)生預(yù)訓(xùn)練數(shù)據(jù)時(shí)，冗余去除需要從不同粒度著手，這對(duì)改善語言模型的訓(xùn)練效果具有重要作用。5.2.2冗余去除在句子級(jí)別上，包含重復(fù)單詞或短語的句子很可能造成語言建模中引入重復(fù)的模式。這對(duì)語言模型來說會(huì)產(chǎn)生非常嚴(yán)重的影響，使模型在預(yù)測(cè)時(shí)容易陷入重復(fù)循環(huán)。重復(fù)循環(huán)對(duì)語言模型生成的文本質(zhì)量的影響非常大，因此在預(yù)訓(xùn)練數(shù)據(jù)中需要?jiǎng)h除這些包含大量重復(fù)單詞或者短語的句子。5.2.2冗余去除在文檔級(jí)別上，大部分大模型依靠文檔之間的表面特征相似度（例如n-gram重疊比例）進(jìn)行檢測(cè)并刪除重復(fù)文檔。LLaMA采用CCNet處理模式，先將文檔拆分為段落，并把所有字符轉(zhuǎn)換為小寫字符、將數(shù)字替換為占位符，刪除所有Unicode標(biāo)點(diǎn)符號(hào)和重音符號(hào)，對(duì)每個(gè)段落進(jìn)行規(guī)范化處理。然后，使用SHA-1方法為每個(gè)段落計(jì)算一個(gè)哈希碼，并使用前64位數(shù)字作為鍵。最后，利用每個(gè)段落的鍵進(jìn)行重復(fù)判斷。RefinedWeb先去除頁面中的菜單、標(biāo)題、頁腳、廣告等內(nèi)容，僅抽取頁面中的主要內(nèi)容。在此基礎(chǔ)上，在文檔級(jí)別進(jìn)行過濾，使用n-gram重復(fù)程度來衡量句子、段落及文檔的相似度。如果超過預(yù)先設(shè)定的閾值，則會(huì)過濾重復(fù)段落或文檔。5.2.2冗余去除此外，數(shù)據(jù)集級(jí)別上也可能存在一定數(shù)量的重復(fù)情況，比如很多大模型預(yù)訓(xùn)練數(shù)據(jù)集都會(huì)包含GitHub、維基百科、C4等。需要特別注意預(yù)訓(xùn)練數(shù)據(jù)中混入測(cè)試數(shù)據(jù)，造成數(shù)據(jù)集污染的情況。5.2.2冗余去除由于絕大多數(shù)預(yù)訓(xùn)練數(shù)據(jù)源于互聯(lián)網(wǎng)，因此不可避免地會(huì)包含涉及敏感或個(gè)人信息的用戶生成內(nèi)容，這可能會(huì)增加隱私泄露的風(fēng)險(xiǎn)。因此，有必要從預(yù)訓(xùn)練數(shù)據(jù)庫中刪除包含個(gè)人身份信息的內(nèi)容。刪除隱私數(shù)據(jù)最直接的方法是采用基于規(guī)則的算法，BigScienceROOTSCorpus在構(gòu)建過程中就采用了基于命名實(shí)體識(shí)別的方法，利用算法檢測(cè)姓名、地址、電話號(hào)碼等個(gè)人信息內(nèi)容并進(jìn)行刪除或者替換。該方法被集成在muliwai類庫中，使用了基于Transformer的模型，并結(jié)合機(jī)器翻譯技術(shù)，可以處理超過100種語言的文本，消除其中的隱私信息。5.2.3隱私消除傳統(tǒng)的自然語言處理通常以單詞為基本處理單元，模型都依賴預(yù)先確定的詞表，在編碼輸入詞序列時(shí)，這些詞表示模型只能處理詞表中存在的詞。因此，使用時(shí)如果遇到不在詞表中的未登錄詞，模型無法為其生成對(duì)應(yīng)的表示，只能給予這些未登錄詞一個(gè)默認(rèn)的通用表示。5.2.4詞元切分在深度學(xué)習(xí)模型中，詞表示模型會(huì)預(yù)先在詞表中加入一個(gè)默認(rèn)的“[UNK]”標(biāo)識(shí)表示未知詞，并在訓(xùn)練的過程中將[UNK]的向量作為詞表示矩陣的一部分一起訓(xùn)練，通過引入相應(yīng)機(jī)制來更新[UNK]向量的參數(shù)。使用時(shí)，對(duì)全部未登錄詞使用[UNK]向量作為表示向量。此外，基于固定詞表的詞表示模型對(duì)詞表大小的選擇比較敏感。當(dāng)詞表過小時(shí)，未登錄詞的比例較高，影響模型性能；當(dāng)詞表大小過大時(shí)，大量低頻詞出現(xiàn)在詞表中，這些詞的詞向量很難得到充分學(xué)習(xí)。理想模式下，詞表示模型應(yīng)能覆蓋絕大部分輸入詞，并避免詞表過大造成的數(shù)據(jù)稀疏問題。5.2.4詞元切分為了緩解未登錄詞問題，一些工作通過利用亞詞級(jí)別的信息構(gòu)造詞表示向量。一種直接的解決思路是為輸入建立字符級(jí)別表示，并通過字符向量的組合獲得每個(gè)單詞的表示，以解決數(shù)據(jù)稀疏問題。然而，單詞中的詞根、詞綴等構(gòu)詞模式往往跨越多個(gè)字符，基于字符表示的方法很難學(xué)習(xí)跨度較大的模式。為了充分學(xué)習(xí)這些構(gòu)詞模式，研究人員提出了子詞元化方法，以緩解未登錄詞問題。詞元表示模型會(huì)維護(hù)一個(gè)詞元詞表，其中既存在完整的單詞，也存在形如“c”“re”“ing”等單詞的部分信息，稱為子詞。5.2.4詞元切分詞元表示模型對(duì)詞表中的每個(gè)詞元計(jì)算一個(gè)定長向量表示，供下游模型使用。對(duì)于輸入的詞序列，詞元表示模型將每個(gè)詞拆分為詞表內(nèi)的詞元。例如，將單詞“reborn”拆分為“re”和“born”。模型隨后查詢每個(gè)詞元的表示，將輸入重新組成詞元表示序列。當(dāng)下游模型需要計(jì)算一個(gè)單詞或詞組的表示時(shí)，可以將對(duì)應(yīng)范圍內(nèi)的詞元表示合成需要的表示。因此，詞元表示模型能夠較好地解決自然語言處理系統(tǒng)中未登錄詞的問題。詞元分析是將原始文本分割成詞元序列的過程。詞元切分也是數(shù)據(jù)預(yù)處理中至關(guān)重要的一步。5.2.4詞元切分字節(jié)對(duì)編碼是一種常見的子詞詞元算法。該算法采用的詞表包含最常見的單詞及高頻出現(xiàn)的子詞。使用時(shí)，常見詞通常位于字節(jié)對(duì)編碼詞表中，而罕見詞通常能被分解為若干個(gè)包含在字節(jié)對(duì)編碼詞表中的詞元，從而大幅減小未登錄詞的比例。字節(jié)對(duì)編碼算法包括以下兩個(gè)部分。（1）詞元詞表的確定。（2）全詞切分為詞元及詞元合并為全詞的方法。5.2.4詞元切分PART03數(shù)據(jù)影響分析過去自然語言處理是一個(gè)任務(wù)用標(biāo)注數(shù)據(jù)訓(xùn)練一個(gè)模型，而現(xiàn)在可以在大量無標(biāo)注的語料上預(yù)訓(xùn)練出一個(gè)在少量有監(jiān)督數(shù)據(jù)上微調(diào)就能做很多任務(wù)的模型。這其實(shí)就比較接近人類學(xué)習(xí)語言的過程。例如參加某個(gè)考試測(cè)試英文能力的好壞，里面有聽說讀寫等各式各樣的任務(wù)，有填空和選擇等很多題型。但我們學(xué)習(xí)英文的方法并不是去做大量的選擇題，而是背大量的英文單詞，理解它的詞性、意思，閱讀大量的英文文章、掌握它在段落中的用法，你只需做少量的選擇題，就可以通過某個(gè)語言能力的測(cè)試。這便是自然語言處理領(lǐng)域所追求的目標(biāo)。5.3數(shù)據(jù)影響分析我們期待可以訓(xùn)練一個(gè)模型，它真的了解人類的語言，在需要解決各式各樣的任務(wù)的時(shí)候，只需要稍微微調(diào)一下，它就知道怎么做了。圖5-3在預(yù)訓(xùn)練基礎(chǔ)上微調(diào)5.3數(shù)據(jù)影響分析大模型訓(xùn)練需要大量計(jì)算資源，通常不可能進(jìn)行多次。有千億級(jí)參數(shù)量的大模型進(jìn)行一次預(yù)訓(xùn)練就需要花費(fèi)數(shù)百萬元的計(jì)算成本。因此，在訓(xùn)練大模型之前，構(gòu)建一個(gè)準(zhǔn)備充分的預(yù)訓(xùn)練數(shù)據(jù)庫尤為重要。5.3數(shù)據(jù)影響分析隨著大模型參數(shù)規(guī)模的增加，為了有效地訓(xùn)練模型，需要收集足夠數(shù)量的高質(zhì)量數(shù)據(jù)。在針對(duì)模型參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)量及總計(jì)算量與模型效果之間關(guān)系的研究被提出之前，大部分大模型訓(xùn)練所采用的訓(xùn)練數(shù)據(jù)量相較于LLaMA等新的大模型都少很多。5.3.1數(shù)據(jù)規(guī)模DeepMind的研究人員描述了他們訓(xùn)練400多個(gè)語言模型后得出的分析結(jié)果（模型的參數(shù)量從7000萬個(gè)到160億個(gè)，訓(xùn)練數(shù)據(jù)量從5億個(gè)詞元到5000億個(gè)詞元）。研究發(fā)現(xiàn)，如果希望模型訓(xùn)練達(dá)到計(jì)算最優(yōu)，則模型大小和訓(xùn)練詞元數(shù)量應(yīng)該等比例縮放，即模型大小加倍，則訓(xùn)練詞元數(shù)量也應(yīng)該加倍。為了驗(yàn)證該分析結(jié)果，他們使用與Gopher語言模型訓(xùn)練相同的計(jì)算資源，根據(jù)上述理論預(yù)測(cè)了Chinchilla語言模型的最優(yōu)參數(shù)量與詞元量組合。最終確定Chinchilla語言模型具有700億個(gè)參數(shù)，使用了1.4萬億個(gè)詞元進(jìn)行訓(xùn)練。通過實(shí)驗(yàn)發(fā)現(xiàn)，Chinchilla在很多下游評(píng)估任務(wù)中都顯著地優(yōu)于Gopher（280B）、GPT-3（175BJurassic-1（178B）及Megatron-TuringNLG（530B）。5.3.1數(shù)據(jù)規(guī)模數(shù)據(jù)質(zhì)量是影響大模型訓(xùn)練效果的關(guān)鍵因素之一。大量重復(fù)的低質(zhì)量數(shù)據(jù)會(huì)導(dǎo)致訓(xùn)練過程不穩(wěn)定，模型訓(xùn)練不收斂。研究表明，訓(xùn)練數(shù)據(jù)的構(gòu)建時(shí)間、噪聲或有害信息、數(shù)據(jù)重復(fù)率等因素，都對(duì)語言模型性能產(chǎn)生較大影響，在經(jīng)過清洗的高質(zhì)量數(shù)據(jù)上訓(xùn)練數(shù)據(jù)可得到更好的性能。5.3.2數(shù)據(jù)質(zhì)量Gopher語言模型在訓(xùn)練時(shí)針對(duì)文本質(zhì)量進(jìn)行相關(guān)實(shí)驗(yàn)，具有140億個(gè)參數(shù)的模型在OpenWebText、C4及不同版本的MassiveWeb數(shù)據(jù)集上訓(xùn)練得到模型效果對(duì)比。他們分別測(cè)試了利用不同數(shù)據(jù)訓(xùn)練得到的模型在Wikitext103單詞預(yù)測(cè)、CuraticCorpus摘要及Lambada書籍級(jí)別的單詞預(yù)測(cè)三個(gè)下游任務(wù)上的表現(xiàn)。從結(jié)果可以看到，使用經(jīng)過過濾和去重的MassiveWeb數(shù)訓(xùn)練得到的語言模型，在三個(gè)任務(wù)上都遠(yuǎn)好于使用未經(jīng)處理的數(shù)據(jù)訓(xùn)練所得到的模型。使用經(jīng)過處理的MassiveWeb數(shù)據(jù)訓(xùn)練得到的語言模型在下游任務(wù)上的表現(xiàn)也遠(yuǎn)好于使用OpenWebText和C4數(shù)據(jù)集訓(xùn)練得到的結(jié)果。5.3.2數(shù)據(jù)質(zhì)量構(gòu)建GLaM語言模型時(shí)，也對(duì)訓(xùn)練數(shù)據(jù)質(zhì)量的影響進(jìn)行了分析。實(shí)驗(yàn)結(jié)果可以看到使用高質(zhì)量數(shù)據(jù)訓(xùn)練的模型在自然語言生成和理解任務(wù)上表現(xiàn)更好。特別是，高質(zhì)量數(shù)據(jù)對(duì)自然語言生成任務(wù)的影響大于自然語言理解任務(wù)。這可能是因?yàn)樽匀徽Z言生成任務(wù)通常需要生成高質(zhì)量的語言，過濾預(yù)訓(xùn)練數(shù)據(jù)庫對(duì)語言模型的生成能力至關(guān)重要。預(yù)訓(xùn)練數(shù)據(jù)的質(zhì)量在下游任務(wù)的性能中也扮演著關(guān)鍵角色。5.3.2數(shù)據(jù)質(zhì)量來自不同領(lǐng)域、使用不同語言、應(yīng)用于不同場(chǎng)景的訓(xùn)練數(shù)據(jù)具有不同的語言特征，包含不同語義知識(shí)。通過使用不同來源的數(shù)據(jù)進(jìn)行訓(xùn)練，大模型可以獲得廣泛的知識(shí)。5.3.2數(shù)據(jù)質(zhì)量PART04典型的開源數(shù)據(jù)集隨著基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的自然語言處理算法的發(fā)展，以及信息檢索研究的需求增加，特別是對(duì)深度學(xué)習(xí)和預(yù)訓(xùn)練語言模型研究的深入，研究人員構(gòu)建了多種大規(guī)模開源數(shù)據(jù)集，涵蓋網(wǎng)頁、圖書、論文、百科等多個(gè)領(lǐng)域。在構(gòu)建大模型時(shí)，數(shù)據(jù)的質(zhì)量和多樣性對(duì)于提高模型性能至關(guān)重要。為了推動(dòng)大模型研究和應(yīng)用，學(xué)術(shù)界和工業(yè)界也開放了多個(gè)針對(duì)大模型的開源數(shù)據(jù)集。5.4典型的開源數(shù)據(jù)集Pile數(shù)據(jù)集是一個(gè)用于大模型訓(xùn)練的多樣性大規(guī)模文本數(shù)據(jù)庫，由22個(gè)不同的高質(zhì)量子集構(gòu)成，包括現(xiàn)有的和新構(gòu)建的，主要來自學(xué)術(shù)或?qū)I(yè)領(lǐng)域。這些子集包括Pile-CC（清洗后的CommonCrawl子集）、Wikipedia、OpenWebText2、ArXiv、PubMedCentral等。Pile的特點(diǎn)是包含大量多樣化文本，涵蓋不同領(lǐng)域和主題，從而提高了訓(xùn)練數(shù)據(jù)集的多樣性和豐富性。Pile數(shù)據(jù)集包含825GB英文文本，其數(shù)據(jù)類型組成大體上如圖5-4所示，所占面積大小表示數(shù)據(jù)在整個(gè)數(shù)據(jù)集中所占的規(guī)模。5.4.1Pile

圖5-4Pile數(shù)據(jù)集的主要構(gòu)成5.4.1PilePile數(shù)據(jù)集的部分子集簡單介紹如下。（1）Pile-CCC：通過在WebArchive文件上使用jusText方法提取，比直接使用WET文件產(chǎn)生更高質(zhì)量的輸出。（2）PubMedCentral（PMC）：是由美國國家生物技術(shù)信息中心（NCBI）運(yùn)營的PubMed生物醫(yī)學(xué)在線資源庫的一個(gè)子集，提供對(duì)近500萬份出版物的開放全文訪問。5.4.1Pile（3）OpenWebText2（OWT2）：是一個(gè)基于WebText1和OpenWebTextCorpts的通用數(shù)據(jù)集，它包括來自多種語言的文本內(nèi)容、網(wǎng)頁文本元數(shù)據(jù)，以及多個(gè)開源數(shù)據(jù)集和開源代碼庫。（4）ArXiv：是一個(gè)自1991年開始運(yùn)營的研究論文預(yù)印版本發(fā)布服務(wù)平臺(tái)。論文主要集中在數(shù)學(xué)、計(jì)算機(jī)科學(xué)和物理領(lǐng)域。ArXiv上的論文是用LaTeX編寫的，其中公式、符號(hào)、表格等內(nèi)容的表示非常適合語言模型學(xué)習(xí)。5.4.1Pile（5）GitHub：是一個(gè)大型的開源代碼庫，對(duì)于語言模型完成代碼生成、代碼補(bǔ)全等任務(wù)具有非常重要的作用。（6）FreeLaw：是一個(gè)非營利項(xiàng)目，為法律學(xué)術(shù)研究提供訪問和分析工具．CourtListener是FreeLaw項(xiàng)目的一部分，包含美國聯(lián)邦和州法院的數(shù)百萬法律意見，并提供批量下載服務(wù)。5.4.1Pile（7）StackExchange：是一個(gè)圍繞用戶提供問題和答案的網(wǎng)站集合，其中StackExchangeDataDump包含了網(wǎng)站集合中所有用戶貢獻(xiàn)的內(nèi)容的匿名數(shù)據(jù)集。它是最大的問題—答案對(duì)數(shù)據(jù)集之一，包括編程、園藝、藝術(shù)等主題。（8）USPTO：是美國專利商標(biāo)局授權(quán)專利背景數(shù)據(jù)集，源于其公布的批量檔案。該數(shù)據(jù)集包含大量關(guān)于應(yīng)用主題的技術(shù)內(nèi)容，如任務(wù)背景、技術(shù)領(lǐng)域概述、建立問題空間框架等。5.4.1Pile（9）Wikipedia（英文版）：是維基百科的英文部分。維基百科旨在提供各種主題的知識(shí)，是世界上最大的在線百科全書之一。（10）PubMed：是由PubMed的3000萬份出版物的摘要組成的數(shù)據(jù)集。它是由美國國家醫(yī)學(xué)圖書館運(yùn)營的生物醫(yī)學(xué)文章在線存儲(chǔ)庫，它還包含1946年至今的生物醫(yī)學(xué)摘要。（11）OpenSubtitles：是由英文電影和電視的字幕組成的數(shù)據(jù)集。字幕是對(duì)話的重要來源并且可以增強(qiáng)模型對(duì)虛構(gòu)格式的理解，對(duì)創(chuàng)造性寫作任務(wù)（如劇本寫作、演講寫作、交互式故事講述等）有一定作用。5.4.1Pile（12）DeepMindMathematics：以自然語言提示形式給出，由代數(shù)、算術(shù)、微積分、數(shù)論和概率等一系列數(shù)學(xué)問題組成的數(shù)據(jù)集。大模型在數(shù)學(xué)任務(wù)上的表現(xiàn)較差，這可能是由于訓(xùn)練集中缺乏數(shù)學(xué)問題。因此，Pile數(shù)據(jù)集中專門增加數(shù)學(xué)問題數(shù)據(jù)集，期望增強(qiáng)通過Pile數(shù)據(jù)集訓(xùn)練的語言模型的數(shù)學(xué)能力。（13）PhilPapers：由國際數(shù)據(jù)庫中的哲學(xué)出版物組成，它涵蓋了廣泛的抽象、概念性話語，文本寫作質(zhì)量也非常高。5.4.1Pile（14）NIH：包含1985年至今獲得NIH資助的項(xiàng)目申請(qǐng)摘要，是高質(zhì)量的科學(xué)寫作實(shí)例。Pile中不同數(shù)據(jù)子集所占比例及訓(xùn)練時(shí)的采樣權(quán)重有很大不同，高質(zhì)量的數(shù)據(jù)會(huì)有更高的采樣權(quán)重。例如，Pile-CC數(shù)據(jù)集包含227.12GB數(shù)據(jù)，整個(gè)訓(xùn)練周期中采樣1輪，雖然維基百科（英文）數(shù)據(jù)集僅有6.38GB的數(shù)據(jù)，但是整個(gè)訓(xùn)練周期中采樣3輪。5.4.1PileROOTS（負(fù)責(zé)任的開放科學(xué)、開放協(xié)作文本源）數(shù)據(jù)集是Big-Science項(xiàng)目在訓(xùn)練具有1760億個(gè)參數(shù)的BLOOM大模型時(shí)使用的數(shù)據(jù)集，其中包含46種自然語言和13種編程語言，整個(gè)數(shù)據(jù)集約1.6TB。5.4.2ROOTSROOTS數(shù)據(jù)主要來源于四個(gè)方面：公開數(shù)據(jù)、虛擬抓取、GitHub代碼、網(wǎng)頁數(shù)據(jù)。（1）在公開數(shù)據(jù)方面，目標(biāo)是收集盡可能多的各種類型的數(shù)據(jù)，包括自然語言處理數(shù)據(jù)集和各類型文檔數(shù)據(jù)集。在收集原始數(shù)據(jù)集的基礎(chǔ)上，進(jìn)一步從語言和統(tǒng)一表示方面對(duì)收集的文檔進(jìn)行規(guī)范化處理。識(shí)別數(shù)據(jù)集所屬語言并分類存儲(chǔ)，將所有數(shù)據(jù)都按照統(tǒng)一的文本和元數(shù)據(jù)結(jié)構(gòu)進(jìn)行表示。5.4.2ROOTS（2）在虛擬抓取方面，由于很多語言的現(xiàn)有公開數(shù)據(jù)集較少，因此這些語言的網(wǎng)頁信息是十分重要的資源補(bǔ)充。在ROOTS數(shù)據(jù)集中，采用網(wǎng)頁鏡像，選取了614個(gè)域名，從這些域名下的網(wǎng)頁中提取文本內(nèi)容補(bǔ)充到數(shù)據(jù)集中，以提升語言的多樣性。（3）在GitHub代碼方面，針對(duì)程序語言，ROOTS數(shù)據(jù)集從BigQuery公開數(shù)據(jù)集中選取文件長度在100到20萬字符，字母符號(hào)占比在15％至65％，最大行數(shù)在20至1000行的代碼。5.4.2ROOTS（4）大模型訓(xùn)練中，網(wǎng)頁數(shù)據(jù)對(duì)于數(shù)據(jù)的多樣性和數(shù)據(jù)量支撐都起到重要的作用。ROOTS數(shù)據(jù)集中包含了OSCAR21.09版本，對(duì)應(yīng)的是CommonCrawl2021年2月的快照，占整體ROOTS數(shù)據(jù)集規(guī)模的38％。5.4.2ROOTS在數(shù)據(jù)準(zhǔn)備完成后，還要進(jìn)行清洗、過濾、去重及隱私信息刪除等工作，ROOTS數(shù)據(jù)集處理流程如右圖所示。整個(gè)處理工作采用人工與自動(dòng)相結(jié)合的方法，針對(duì)數(shù)據(jù)中存在的一些非自然語言的文本，例如預(yù)處理錯(cuò)誤、SEO頁面或垃圾郵件，構(gòu)建ROOTS數(shù)據(jù)集時(shí)會(huì)進(jìn)行一定的處理。

圖5-5ROOTS數(shù)據(jù)集處理流程5.4.2ROOTSPART05訓(xùn)練集、測(cè)試集、驗(yàn)證集的異同訓(xùn)練集、測(cè)試集、驗(yàn)證集三者在數(shù)據(jù)目的與功能、數(shù)據(jù)交互頻率上、數(shù)據(jù)劃分與比例以及使用時(shí)機(jī)等方面均有不同之處。另一方面，它們?cè)跀?shù)據(jù)來源、預(yù)處理、目標(biāo)、獨(dú)立性以及數(shù)據(jù)質(zhì)量和代表性方面又有著相似之處。5.5訓(xùn)練集、測(cè)試集、驗(yàn)證集的異同（1）目的與功能不同。訓(xùn)練集、測(cè)試集、驗(yàn)證集這三者的目的和功能不同。訓(xùn)練集主要用于訓(xùn)練模型，驗(yàn)證集主要用于在訓(xùn)練過程中選擇模型和調(diào)整超參數(shù)，測(cè)試集則用來最終評(píng)估模型的性能。訓(xùn)練集用于模型訓(xùn)練，幫助模型確定權(quán)重和偏置等參數(shù)，模型通過深入學(xué)習(xí)和理解訓(xùn)練集中的數(shù)據(jù)，逐漸學(xué)會(huì)識(shí)別其中的模式和規(guī)律，并逐步優(yōu)化其預(yù)測(cè)能力。沒有良好的訓(xùn)練集，模型就像是失去了根基的大樹，無法穩(wěn)固地生長和擴(kuò)展。因此，需要精心準(zhǔn)備和挑選訓(xùn)練集，確保它具有代表性和高質(zhì)量，這樣模型才能更好地理解和適應(yīng)真實(shí)世界的變化。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處驗(yàn)證集用于模型選擇和超參數(shù)調(diào)整。它不參與學(xué)習(xí)參數(shù)的確定，主要幫助在眾多可能性中，找到那些能夠使模型性能達(dá)到巔峰的超參數(shù)，如網(wǎng)絡(luò)層數(shù)、網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)率等，為挑選最優(yōu)模型超參數(shù)提供優(yōu)質(zhì)的咨詢和建議。驗(yàn)證集的作用是能夠在實(shí)戰(zhàn)之前就預(yù)知模型的性能，從而做出最佳的選擇。這種前瞻性的策略，不僅能夠提高模型的效率，更能夠節(jié)省寶貴的時(shí)間和資源。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處測(cè)試集用于評(píng)估模型的最終性能，是考驗(yàn)?zāi)Ｐ偷淖詈笠魂P(guān)。它不參與模型的學(xué)習(xí)參數(shù)過程，也不介入超參數(shù)的選擇，就是為了對(duì)模型的最終性能（即泛化能力）做出公正的評(píng)價(jià)。一個(gè)人工智能模型只有通過了測(cè)試集的考驗(yàn)，才能真正稱得上是具備良好泛化能力的模型。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處（2）數(shù)據(jù)交互頻率不同。訓(xùn)練集、測(cè)試集、驗(yàn)證集這三者和模型的數(shù)據(jù)交互頻率不同。訓(xùn)練集會(huì)不斷交互，驗(yàn)證集是定期交互，而測(cè)試集只交互一次。使用訓(xùn)練集時(shí)，模型在訓(xùn)練階段不斷與訓(xùn)練集交互，通過多次地學(xué)習(xí)、調(diào)整和迭代來提高性能。它在訓(xùn)練集的多次反饋中完成優(yōu)化。在訓(xùn)練集中，模型通過一次次的迭代優(yōu)化，逐步提升自己的工藝水平。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處驗(yàn)證集在訓(xùn)練過程中的不同時(shí)間點(diǎn)交互，幫助開發(fā)人員調(diào)整模型參數(shù)和決定訓(xùn)練的結(jié)束點(diǎn)。它在訓(xùn)練過程中的每一個(gè)關(guān)鍵時(shí)刻出現(xiàn)，為開發(fā)人員提供寶貴的反饋和指引，幫助開發(fā)人員調(diào)整模型的超參數(shù)。所以，和訓(xùn)練集中的情況不一樣，模型不會(huì)在驗(yàn)證集中反復(fù)訓(xùn)練，只會(huì)定期和驗(yàn)證集進(jìn)行數(shù)據(jù)交互。驗(yàn)證集的每一次反饋，都是對(duì)模型的一次重要檢驗(yàn)，所獲得的數(shù)據(jù)評(píng)估指標(biāo)，也是優(yōu)化人工智能性能的重要依據(jù)。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處測(cè)試集僅在整個(gè)訓(xùn)練過程完成后交互一次，用于模型的最終評(píng)估，這個(gè)活動(dòng)只有在整個(gè)訓(xùn)練過程圓滿完成后才會(huì)出現(xiàn)。測(cè)試集是模型的最后一道關(guān)卡，通過了，模型就可以接受真實(shí)世界的考驗(yàn)了。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處（3）數(shù)據(jù)劃分與比例不同。通常情況下，數(shù)據(jù)集會(huì)通過隨機(jī)抽樣、分層抽樣、時(shí)間序列抽樣等方式，按照不同比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，三者之間不能有交集。訓(xùn)練集作為模型學(xué)習(xí)的主要來源占據(jù)較大的比例，一般約為60%～80%，以確保模型有足夠的數(shù)據(jù)來捕捉到數(shù)據(jù)中的模式和規(guī)律。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處一般來說，占比規(guī)模約為10%～20%的驗(yàn)證集已經(jīng)足夠提供模型性能的合理估計(jì)，能提供有關(guān)模型泛化能力的有用信息就行，不用過多。如果驗(yàn)證集太大，每次評(píng)估的時(shí)間成本會(huì)顯著增加，這會(huì)拖慢整個(gè)實(shí)驗(yàn)的進(jìn)度。因?yàn)闇y(cè)試集在模型訓(xùn)練完成后只評(píng)估一次，所以只要足夠用于評(píng)估模型最終性能就行，一般約10%～20%。如果測(cè)試集太大，評(píng)估過程會(huì)消耗大量計(jì)算資源和時(shí)間。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處在數(shù)據(jù)劃分上，訓(xùn)練集、測(cè)試集、驗(yàn)證集的具體比例取決于實(shí)際任務(wù)的需求和數(shù)據(jù)量的大小，不同的機(jī)器學(xué)習(xí)問題可能有不同的數(shù)據(jù)劃分需求。例如，對(duì)于數(shù)據(jù)量非常龐大的情況，可能只需要很小的驗(yàn)證集和測(cè)試集；而對(duì)于數(shù)據(jù)量本身就很小的情況，可能需要采用交叉驗(yàn)證等方法來充分利用數(shù)據(jù)。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處（4）使用時(shí)機(jī)不同。訓(xùn)練集、驗(yàn)證集和測(cè)試集在模型的整個(gè)訓(xùn)練過程的不同階段發(fā)揮作用，所以開發(fā)人員使用它們的時(shí)機(jī)是不同的。訓(xùn)練集用在模型的初始訓(xùn)練階段。模型剛剛搭建起來的時(shí)候，需要耐心地用訓(xùn)練集進(jìn)行大量的訓(xùn)練，直到它掌握了所有的知識(shí)為止，這是初始必經(jīng)過程。在模型訓(xùn)練過程中定期使用驗(yàn)證集。因?yàn)轵?yàn)證集用于監(jiān)控模型的性能和調(diào)整超參數(shù)，所以在模型通過初始階段的訓(xùn)練后，需要在過程中可以監(jiān)督到模型的學(xué)習(xí)效果。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處在模型的訓(xùn)練過程中，直到結(jié)束訓(xùn)練前的這個(gè)階段，一般會(huì)用驗(yàn)證集給模型來幾場(chǎng)“摸底考試”，若是發(fā)現(xiàn)不對(duì)的地方可以及時(shí)調(diào)整，以確保模型在訓(xùn)練過程中具備良好的性能。測(cè)試集在模型訓(xùn)練完成后使用，以最終評(píng)估模型性能。所以，在訓(xùn)練集和驗(yàn)證集階段都不會(huì)用到測(cè)試集的數(shù)據(jù)，并且也需要保證測(cè)試集的數(shù)據(jù)是模型之前未見過的數(shù)據(jù)。對(duì)模型學(xué)習(xí)成果來一次最終的全面檢驗(yàn)是測(cè)試集存在的價(jià)值之一，這也是為什么測(cè)試集會(huì)被放在模型訓(xùn)練的最后階段。5.5.1訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的不同之處訓(xùn)練集、測(cè)試集和驗(yàn)證集在數(shù)據(jù)來源、預(yù)處理、目標(biāo)、獨(dú)立性以及數(shù)據(jù)質(zhì)量和代表性方面都有著相似之處，這些相似性是確保模型完成有效訓(xùn)練和評(píng)估的基礎(chǔ)。（1）數(shù)據(jù)來源一致。訓(xùn)練集、驗(yàn)證集和測(cè)試集通常來自同一數(shù)據(jù)源或具有相同的數(shù)據(jù)分布。這意味著它們共享相同的數(shù)據(jù)特征和屬性，確保模型在不同階段處理的數(shù)據(jù)具有一致性。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處（2）相似的數(shù)據(jù)預(yù)處理。在模型訓(xùn)練之前，訓(xùn)練集、驗(yàn)證集和測(cè)試集都需要進(jìn)行相似的數(shù)據(jù)預(yù)處理步驟，如歸一化、標(biāo)準(zhǔn)化、缺失值處理等。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處歸一化就像是給數(shù)據(jù)量體裁衣，讓每個(gè)數(shù)據(jù)點(diǎn)都在合適的范圍內(nèi)。數(shù)據(jù)歸一化是將數(shù)據(jù)縮放到一個(gè)特定的范圍，通常是在0和1之間。這樣做的目的是讓數(shù)據(jù)在相同的尺度上，以便模型能夠更好地學(xué)習(xí)和識(shí)別其中的模式。例如，如果數(shù)據(jù)集中的某些特征值非常大，而另一些特征值非常小，那么在訓(xùn)練過程中，較大的值可能會(huì)對(duì)模型的學(xué)習(xí)產(chǎn)生更大的影響。通過歸一化，我們可以減少這種影響，使得每個(gè)特征對(duì)模型的貢獻(xiàn)更加均衡。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處標(biāo)準(zhǔn)化則是調(diào)整數(shù)據(jù)的尺碼，讓它們能夠站在同一條起跑線上。標(biāo)準(zhǔn)化的方法，是將數(shù)據(jù)特征的均值設(shè)置為0，標(biāo)準(zhǔn)差設(shè)置為1。這通常通過減去特征的均值然后除以其標(biāo)準(zhǔn)差來實(shí)現(xiàn)。公式為：z=(x?μ)/σ其中：x是數(shù)據(jù)點(diǎn)的原始值，μ是該特征的均值，σ是該特征的標(biāo)準(zhǔn)差。通過將每個(gè)數(shù)據(jù)點(diǎn)減去其特征的均值，然后除以其標(biāo)準(zhǔn)差，可以將數(shù)據(jù)特征縮放到一個(gè)標(biāo)準(zhǔn)單位，使其具有零均值和單位方差。這個(gè)過程有助于算法（如線性回歸）的訓(xùn)練和預(yù)測(cè)過程更加穩(wěn)定。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處缺失值的處理像是填補(bǔ)數(shù)據(jù)中的空白，讓整個(gè)數(shù)據(jù)集更加完整。在數(shù)據(jù)集中，可能會(huì)有一些數(shù)據(jù)點(diǎn)由于各種原因（如測(cè)量錯(cuò)誤、數(shù)據(jù)錄入錯(cuò)誤等）而丟失。處理這些缺失值的方法有多種，包括刪除含有缺失值的樣本、填充缺失值（如使用平均值、中位數(shù)或眾數(shù)填充）、或者使用模型預(yù)測(cè)缺失值等。處理缺失值的關(guān)鍵是確保不會(huì)引入偏差，同時(shí)保留盡可能多的有效信息。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處（3）目標(biāo)一致又各具獨(dú)立性。訓(xùn)練、驗(yàn)證和測(cè)試三個(gè)數(shù)據(jù)集在模型開發(fā)的不同階段使用，但它們的目標(biāo)是一致的，即都是為了構(gòu)建一個(gè)泛化能力強(qiáng)、能夠準(zhǔn)確預(yù)測(cè)新數(shù)據(jù)的模型。為了保證模型評(píng)估的公正性，三個(gè)數(shù)據(jù)集中的樣本必須保持相互獨(dú)立。這意味著，每個(gè)集合中的數(shù)據(jù)是獨(dú)一無二的，不會(huì)與其他集合的數(shù)據(jù)交叉重疊，讓模型在評(píng)估過程中的表現(xiàn)不會(huì)受到其他集合數(shù)據(jù)的影響。這種獨(dú)立性確保了評(píng)估結(jié)果的真實(shí)性和有效性。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處（4）保證數(shù)據(jù)質(zhì)量和代表性。為了確保模型在不同階段的學(xué)習(xí)和評(píng)估過程中能夠獲得準(zhǔn)確和可靠的結(jié)果，訓(xùn)練集、驗(yàn)證集和測(cè)試集都需要能夠代表原始數(shù)據(jù)的整體特性，同時(shí)還需保證數(shù)據(jù)質(zhì)量。這意味著它們都應(yīng)該包含所有可能的數(shù)據(jù)特征和類別，以便模型能夠在不同的數(shù)據(jù)集上都能學(xué)習(xí)到有效的模式，提高其泛化能力。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處從訓(xùn)練集、驗(yàn)證集和測(cè)試集的不同與相似中可以發(fā)現(xiàn)，它們?cè)跈C(jī)器學(xué)習(xí)的模型訓(xùn)練中是緊密相連的，它們各司其職，共同保障了模型的有效學(xué)習(xí)結(jié)果和泛化能力。5.5.2訓(xùn)練、測(cè)試與驗(yàn)證數(shù)據(jù)集的相似之處PART06數(shù)據(jù)集面臨的挑戰(zhàn)AI大模型發(fā)展方興未艾，實(shí)際上其應(yīng)用的落地部分還需要進(jìn)一步的探索和創(chuàng)新。為了適應(yīng)更多細(xì)分的落地場(chǎng)景，大模型之間的“卷”也逐步帶起一堆小模型之間的競(jìng)爭(zhēng)。好模型離不開好數(shù)據(jù)，好的數(shù)據(jù)集對(duì)模型的成功至關(guān)重要，它能提升模型的精確度，讓模型能更準(zhǔn)確地預(yù)測(cè)或分類。同時(shí)，好的數(shù)據(jù)集還能增強(qiáng)模型的可解釋性，使人們更容易理解模型的決策過程，也有助于模型更快地收斂到最優(yōu)解。這意味著模型的訓(xùn)練時(shí)間將大大縮短，實(shí)打?qū)嵉男屎统杀臼呛诵母?jìng)爭(zhēng)力。5.6數(shù)據(jù)集面臨的挑戰(zhàn)由于數(shù)據(jù)來源多樣、類型復(fù)雜，大模型數(shù)據(jù)集存在質(zhì)量參差不齊的問題。高質(zhì)量的數(shù)據(jù)集需要專業(yè)的標(biāo)注和清洗過程，包括對(duì)數(shù)據(jù)的詳細(xì)分類、校對(duì)和驗(yàn)證，以確保模型能夠接收準(zhǔn)確、一致和有用的信息。然而，部分?jǐn)?shù)據(jù)集因缺乏嚴(yán)格的標(biāo)注和清洗流程，導(dǎo)致數(shù)據(jù)質(zhì)量不如意，包括標(biāo)注錯(cuò)誤、數(shù)據(jù)重復(fù)和不平衡的數(shù)據(jù)分布，都可能削弱人工智能大模型的訓(xùn)練效果，從另外一個(gè)角度看，這也凸顯了高質(zhì)量數(shù)據(jù)的價(jià)值。高質(zhì)量數(shù)據(jù)集不僅能夠提升模型的性能，由于其收集和處理的復(fù)雜性，成本也相對(duì)較高。5.6.1規(guī)模和質(zhì)量待提升與此同時(shí)，數(shù)據(jù)文化有其自身的特色，例如在數(shù)據(jù)集的共享和開放性方面的相對(duì)謹(jǐn)慎。由于對(duì)數(shù)據(jù)隱私、安全以及商業(yè)競(jìng)爭(zhēng)的考慮，許多有價(jià)值的數(shù)據(jù)庫并沒有公開。從技術(shù)角度看，這種做法可能會(huì)限制數(shù)據(jù)集的廣泛應(yīng)用和研究。然而換個(gè)角度來看，保持?jǐn)?shù)據(jù)的獨(dú)立性和私密性也有其合理性。這種做法有助于保護(hù)敏感信息，防止數(shù)據(jù)被濫用，同時(shí)也鼓勵(lì)企業(yè)和機(jī)構(gòu)投資于數(shù)據(jù)收集和分析，以獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，體現(xiàn)了對(duì)數(shù)據(jù)安全和商業(yè)利益的重視。未來，無論模型變得多么龐大，數(shù)據(jù)集的質(zhì)量始終是關(guān)鍵。為了從公開網(wǎng)絡(luò)中獲取高質(zhì)量的數(shù)據(jù)，需要尋找那些內(nèi)容質(zhì)量高、規(guī)模大的平臺(tái)。5.6.1規(guī)模和質(zhì)量待提升AI模型和數(shù)據(jù)集相輔相成，互相助力。大模型如同大腦，通過深度學(xué)習(xí)與不斷優(yōu)化，實(shí)現(xiàn)智能識(shí)別、預(yù)測(cè)分析；而數(shù)據(jù)集如同養(yǎng)料，為大模型提供豐富、準(zhǔn)確的信息來源。只有優(yōu)秀的大模型與高質(zhì)量的