大語言模型基礎微課版課件 第4章 人工數(shù)據(jù)標注

浙江省普通本科高校“十四五”重點教材建設成果之一大語言模型基礎大語言模型基礎周蘇教授QQ：81505050第4章人工數(shù)據(jù)標注數(shù)據(jù)是人工智能的基礎，更是大語言模型源源不斷的養(yǎng)分來源，作為大模型數(shù)據(jù)能力鏈上的重要一環(huán)，數(shù)據(jù)標注受到重要關注，這個環(huán)節(jié)做得如何，直接決定了大模型有多聰明。第4章人工數(shù)據(jù)標注大模型領域的領跑者OpenAI在數(shù)據(jù)標注上有一套自己的方法，他們的數(shù)據(jù)標注方式是先做出預訓練模型，再用強化學習加上人工反饋來調(diào)優(yōu)，也就是RLHF（從人類反饋中強化學習）。他們找了很多家數(shù)據(jù)公司來共同完成數(shù)據(jù)標注，自己組建一個由幾十名哲學博士組成的質(zhì)檢團隊，對標注好的數(shù)據(jù)進行檢查。數(shù)據(jù)標注不是以對錯來評估，而是給每個問題選出多個匹配的結(jié)果，再經(jīng)過多人多輪的結(jié)果排序，直至模型數(shù)據(jù)符合常人思維，甚至某些專業(yè)領域的結(jié)果要達到特定要求的知識水平。第4章人工數(shù)據(jù)標注01知識表示方法02什么是數(shù)據(jù)標注03數(shù)據(jù)標注分類04制定標注規(guī)則目錄/CONTENTS05執(zhí)行數(shù)據(jù)標注06標注團隊管理PART01知識表示方法知識是信息接受者通過對信息的提煉和推理而獲得的正確結(jié)論，是人對自然世界、人類社會以及思維方式與運動規(guī)律的認識與掌握，是人的大腦通過思維重新組合和系統(tǒng)化的信息集合。知識與知識表示是人工智能中的一項重要的基本技術(shù)，它決定著人工智能如何進行知識學習。4.1知識表示方法在信息時代，有許多可以處理和存儲大量信息的計算機系統(tǒng)。信息包括數(shù)據(jù)和事實。數(shù)據(jù)、事實、信息和知識之間存在著層次關系。最簡單的信息片是數(shù)據(jù)，從數(shù)據(jù)中，我們可以建立事實，進而獲得信息。人們將知識定義為“處理信息以實現(xiàn)智能決策”，這個時代的挑戰(zhàn)是將信息轉(zhuǎn)換成知識，使之可以用于智能決策。4.1知識表示方法從便于表示和運用的角度出發(fā)，可將知識分為4種類型。（1）對象（事實）：物理對象和物理概念，反映某一對象或一類對象的屬性，例如，桌子結(jié)構(gòu)=高度、寬度、深度。（2）事件和事件序列（關于過程的知識）：時間元素和因果關系。不光有當前狀態(tài)和行為的描述，還有對其發(fā)展的變化及其相關條件、因果關系等描述的知識。4.1.1知識的概念（3）執(zhí)行（辦事、操作行為）：不僅包括如何完成（步驟）事情的信息，也包括主導執(zhí)行的邏輯或算法的信息。如下棋、證明定理、醫(yī)療診斷等。（4）元知識：即知識的知識，關于各種事實的知識，可靠性和相對重要性的知識，關于如何表示知識和運用知識的知識。例如，如果你在考試前一天晚上死記硬背，那么關于這個主題的知識的記憶就不會持續(xù)太久。以規(guī)則形式表示的元知識稱為元規(guī)則，用來指導規(guī)則的選用。運用元知識進行的推理稱為元推理。4.1.1知識的概念這里的知識涵義和我們的一般認識有所區(qū)別，它是指以某種結(jié)構(gòu)化方式表示的概念、事件和過程。因此，并不是日常生活中的所有知識都能夠得以體現(xiàn)的，只有限定了范圍和結(jié)構(gòu)，經(jīng)過編碼改造的知識才能成為人工智能知識表示中的知識。4.1.1知識的概念從數(shù)據(jù)、事實、信息到知識的層次頻譜如下圖所示。數(shù)據(jù)可以是沒有附加任何意義或單位的數(shù)字，事實是具有單位的數(shù)字，信息則是將事實轉(zhuǎn)化為意義。最終，知識是高階的信息表示和處理，方便做出復雜的決策和理解。圖4-1數(shù)據(jù)、事實、信息和知識的分層關系4.1.1知識的概念“知識表示”是指把知識客體中的知識因子與知識關聯(lián)起來，便于人們識別和理解知識。知識表示是知識組織的前提和基礎。下面我們從內(nèi)涵和外延方法方面進行思考，從而了解表示方法的選擇、產(chǎn)生式系統(tǒng)、面向?qū)ο蟮雀拍?。知識的表示是對知識的一種描述，或者說是對知識的一組約定，一種計算機可以接受的用于描述知識的數(shù)據(jù)結(jié)構(gòu)，是能夠完成對專家的知識進行計算機處理的一系列技術(shù)手段。從某種意義上講，表示可視為數(shù)據(jù)結(jié)構(gòu)及其處理機制的綜合：表示=數(shù)據(jù)結(jié)構(gòu)+處理機制4.1.2知識表示的定義知識表示包含兩層含義：（1）用給定的知識結(jié)構(gòu)，按一定的原則、組織表示知識；（2）解釋所表示知識的含義。4.1.2知識表示的定義對于人類而言，一個好的知識表示應該具有以下特征：（1）它應該是透明的，即容易理解。（2）無論是通過語言、視覺、觸覺、聲音或者這些組合，都對我們的感官產(chǎn)生影響。（3）從所表示的世界的真實情況方面考查，它講述的故事應該讓人容易理解。4.1.2知識表示的定義良好的表示可以充分利用機器龐大的存儲器和極快的處理速度，即充分利用其計算能力（具有每秒執(zhí)行數(shù)十億計算的能力）。知識表示的選擇與問題的解理所當然地綁定在一起，以至于可以通過一種表示使問題的約束和挑戰(zhàn)變得顯而易見（并且得到理解），但是如果使用另一種表示方法，這些約束和挑戰(zhàn)就會隱藏起來，使問題變得復雜而難以求解。4.1.2知識表示的定義一般來說，對于同一種知識可以采用不同的表示方法。反過來，一種知識表示模式可以表達多種不同的知識。但在解決某一問題時，不同的表示方法可能產(chǎn)生不同的效果。人工智能中知識表示方法注重知識的運用，可以粗略地將其分為敘述式表示和過程式表示兩大類。4.1.2知識表示的定義1.敘述式表示法把知識表示為一個靜態(tài)的事實集合，并附有處理它們的一些通用程序，即敘述式表示描述事實性知識，給出客觀事物所涉及的對象是什么。對于敘述式的知識表示，它的表示與知識運用（推理）是分開處理的。4.1.2知識表示的定義敘述式表示法易于表示“做什么”，其優(yōu)點是：（1）形式簡單、采用數(shù)據(jù)結(jié)構(gòu)表示知識、清晰明確、易于理解、增加了知識的可讀性。（2）模塊性好、減少了知識間的聯(lián)系、便于知識的獲取、修改和擴充。（3）可獨立使用，這種知識表示出來后，可用于不同目的。其缺點是不能直接執(zhí)行，需要其他程序解釋它的含義，因此執(zhí)行速度較慢。4.1.2知識表示的定義2.過程式表示法將知識用使用它的過程來表示，即過程式表示描述規(guī)則和控制結(jié)構(gòu)知識，給出一些客觀規(guī)律，告訴怎么做，一般可用一段計算機程序來描述。例如，矩陣求逆程序，其中表示了矩陣的逆和求解方法的知識。這種知識是隱含在程序之中的，機器無法從程序的編碼中抽出這些知識。4.1.2知識表示的定義過程式表示法一般是表示“如何做”的知識。其優(yōu)點有：（1）可以被計算機直接執(zhí)行，處理速度快。（2）便于表達如何處理問題的知識，易于表達怎樣高效處理問題的啟發(fā)性知識。其缺點是：不易表達大量的知識，且表示的知識難于修改和理解。4.1.2知識表示的定義知識表示的過程如圖4-2所示。其中的“知識Ⅰ”是指隱性知識或者使用其他表示方法表示的顯性知識；“知識Ⅱ”是指使用該種知識表示方法表示后的顯性知識?！爸RⅠ”與“知識Ⅱ”的深層結(jié)構(gòu)一致，只是表示形式不同。所以，知識表示的過程就是把隱性知識轉(zhuǎn)化為顯性知識的過程，或者是把知識由一種表示形式轉(zhuǎn)化成另一種表示形式的過程。圖4-2知識表示的過程4.1.3知識表示的過程知識表示系統(tǒng)通常有兩種元素組成：數(shù)據(jù)結(jié)構(gòu)（包含樹、列表和堆棧等結(jié)構(gòu)）和為了使用知識而需要的解釋性程序（如搜索、排序和組合）。換句話說，系統(tǒng)中必須有便利的用于存儲知識的結(jié)構(gòu)，有用以快速訪問和處理知識的方式，這樣才能進行計算，得到問題求解、決策和動作。4.1.3知識表示的過程PART02什么是數(shù)據(jù)標注人工智能通過機器學習方法大量學習已知樣本，有了預測能力之后再預測未知樣本，以達到智能化的效果。機器學習主要分為監(jiān)督學習和無監(jiān)督學習，實際應用中，有監(jiān)督的深度學習方式是主流，而無監(jiān)督學習因效果不可控而常常被用來做探索性的實驗。監(jiān)督學習需要做數(shù)據(jù)標注，對于標注數(shù)據(jù)有著強依賴性需求。未經(jīng)標注處理過的原始數(shù)據(jù)多以非結(jié)構(gòu)化數(shù)據(jù)為主，這些數(shù)據(jù)難以被機器識別和學習。只有經(jīng)過標注處理后的結(jié)構(gòu)化數(shù)據(jù)才能被算法模型訓練使用。人工數(shù)據(jù)標注可以說是智能的前提與靈魂。4.2什么是數(shù)據(jù)標注簡單來說，數(shù)據(jù)標注的過程就是通過人工標注的方式，把需要機器識別和分辨的語音、圖片、文本、視頻等數(shù)據(jù)打上標簽，進行加工處理，為機器系統(tǒng)提供大量的學習樣本，然后讓計算機不斷地學習這些數(shù)據(jù)的特征，最終實現(xiàn)計算機自主識別。數(shù)據(jù)標注是大部分AI算法得以有效運行的關鍵環(huán)節(jié)，想要實現(xiàn)AI就要先讓計算機學會理解并具備判斷事物的能力。可以說數(shù)據(jù)決定了AI的落地程度，精準的數(shù)據(jù)集產(chǎn)品和高度定制化數(shù)據(jù)服務更是受到各大企業(yè)的重視。4.2什么是數(shù)據(jù)標注大模型數(shù)據(jù)標注的特點主要如下。（1）非結(jié)構(gòu)化。早期的數(shù)據(jù)標注工作主要以“打點”和“畫框”為主，就是讓機器學習什么是“人臉”，什么是“障礙物”，需要嚴格按照客戶給定的標注規(guī)范進行，標注要求也偏客觀。大模型標注則更像是在做閱讀理解，模型學習應該給出什么樣的內(nèi)容，大模型生成的多個結(jié)果哪個更接近滿分答案，標注要求偏主觀，難以形成統(tǒng)一的標準。4.2什么是數(shù)據(jù)標注標準從客觀到主觀，使得標注工作更困難，這非?？简灅俗煹闹饔^能動性以及解決問題的能力，而且標注師需要具備很廣的知識面，數(shù)據(jù)標注工作不再是個結(jié)構(gòu)化的簡單工作，而變成了需要邏輯思維的非結(jié)構(gòu)化工作。4.2什么是數(shù)據(jù)標注（2）知識密集型。大模型背景下的標注工作主要分為兩類：通識大模型標注、領域大模型標注。目前的大模型產(chǎn)品多數(shù)是通識大模型，但即便如此，標注工作也是非結(jié)構(gòu)化的，需要標注師具備較強的自然語言能力。至于領域大模型標注，對學歷、能力、專業(yè)度的要求則更高。大多數(shù)行業(yè)或企業(yè)需要具備領域知識的專業(yè)人才，他們要重點解決金融、醫(yī)療、科技等領域的專業(yè)問題，最終形成符合專業(yè)邏輯的高質(zhì)量數(shù)據(jù)。比如，政務大模型中，用戶通常會問很多“專精”的問題，“社保斷繳5年怎么辦”這類標注問題就需要標注師讀取大量的政府文件，并能從中找到準確答案。4.2什么是數(shù)據(jù)標注（3）對標注者的學歷要求高。早期的數(shù)據(jù)標注工作者算是人工智能領域的流水線工人，通常集中人力資源豐富的地區(qū)，以控制人力成本。如今的標注師們屬于互聯(lián)網(wǎng)公司的白領，甚至很多專業(yè)領域的標注人員都是碩士或博士學歷，其身份是領域標注專家。4.2什么是數(shù)據(jù)標注PART03數(shù)據(jù)標注分類從不同的角度思考，數(shù)據(jù)標注有許多不同的分類。（1）從難易程度方面，數(shù)據(jù)標注可劃分為常識性標注與專業(yè)性標注。例如，地圖識別標注多為常識性標注，標注道路、路牌、地圖等數(shù)據(jù)，語音識別標注也多為常識性標注。這類標注工作的難點在于需要大量標注訓練樣本，因為應用場景多樣且復雜，一般對標注員無專業(yè)技能要求，認真負責，任務完成效率快、質(zhì)量高的即為好的標注員。4.3數(shù)據(jù)標注分類醫(yī)療診斷領域標注多為專業(yè)性標注，因為病種、癥狀的分類與標注需要有醫(yī)療專業(yè)知識的人才來完成，人力資源招聘領域的標注也屬于專業(yè)性標注，因為標注員需要熟知招聘業(yè)務、各崗位所需的知識技能，還需了解人力資源經(jīng)理招人時的關注點，才能判斷簡歷是否符合職位的招聘要求。該類型的標注工作需要有招聘專業(yè)知識的標注員，或者稱為標注專家。標注工作的難點比較多，例如選拔培養(yǎng)合適的標注員、標注規(guī)則的界定、標注質(zhì)量的控制等多方面。4.3數(shù)據(jù)標注分類（2）從標注目的方面，數(shù)據(jù)標注可劃分為評估型標注與樣本型標注。評估型標注一般是為了評估模型的準確率，發(fā)現(xiàn)一些不好的樣例，然后優(yōu)化算法模型。為此，為了節(jié)約標注資源可控制標注數(shù)量。一般情況下標注千量級的數(shù)據(jù)，樣本具有統(tǒng)計意義即可，標注完成后需要統(tǒng)計正確率以及錯誤樣例。該類型標注的重點是錯誤樣例的原因總結(jié)，分析每個壞樣例出現(xiàn)的原因，并將原因歸納為不同分類，以方便算法分析分類型分批次的優(yōu)化模型。4.3數(shù)據(jù)標注分類樣本型標注是為模型提供前期的訓練樣本作為機器學習的輸入，該類型標注工作需要標注大量數(shù)據(jù)，一般情況下需要標注萬量級的數(shù)據(jù)。為了樣本的均衡性，標注樣本大都是隨機抽取的。這樣做的優(yōu)點是可在一定程度上避免樣本偏差，但缺點是要標注大量數(shù)據(jù)。如果是文本型樣本，有時可借助算法抽取一些高頻、高質(zhì)量樣本進行標注，這樣可在一定程度上減少標注工作量，但可能存在樣本偏差。數(shù)據(jù)標注從標注對象方面，可劃分為圖像標注、語音標注、視頻標注、文本標注。4.3數(shù)據(jù)標注分類圖像標注是對未經(jīng)處理的圖片數(shù)據(jù)進行加工處理，轉(zhuǎn)換為機器可識別信息，然后輸送到人工智能算法和模型里完成調(diào)用。常見的圖像標注方法有語義分割、矩形框標注、多邊形標注、關鍵點標注、點云標注、3D立方體標注、2D/3D融合標注、目標追蹤等。圖4-3圖像標注4.3.1圖像標注語音標注是標注員把語音中包含的文字信息、各種聲音先“提取”出來，再進行轉(zhuǎn)寫或者合成。標注后的數(shù)據(jù)主要用于人工智能機器學習，使計算機可以擁有語音識別能力。常見的語音標注類型有語音轉(zhuǎn)寫、語音切割、語音清洗、情緒判斷、聲紋識別、音素標注、韻律標注、發(fā)音校對等。

圖4-4語音標注4.3.2語音標注點云數(shù)據(jù)一般由激光雷達等3D掃描設備獲取空間若干點的信息，包括X、Y、Z坐標位置信息、RGB顏色信息和強度信息等，是一種多維度的復雜數(shù)據(jù)集合。

圖4-53D點云標注4.3.3

3D點云標注3D點云數(shù)據(jù)可以提供豐富的幾何、形狀和尺度信息，并且不易受光照強度變化和其它物體遮擋等影響，可以很好地了解機器的周圍環(huán)境。常見的3D點云標注類型有3D點云目標檢測標注、3D點云語義分割標注、2D3D融合標注、點云連續(xù)幀標注等。4.3.3

3D點云標注文本標注是對文本進行特征標記的過程，對其打上具體的語義、構(gòu)成、語境、目的、情感等數(shù)據(jù)標簽。通過標注好的訓練數(shù)據(jù)，可以教會機器識別文本中所隱含的意圖或者情感，使機器可以更好地理解語言。常見的文本標注有OCR轉(zhuǎn)寫、詞性標注、命名實體標注、語句泛化、情感分析、句子編寫、槽位提取、意圖匹配、文本判斷、文本匹配、文本信息抽取、文本清洗、機器翻譯等。4.3.4文本標注PART04制定標注規(guī)則常識性標注的規(guī)則比較簡單，標注一部分樣本即可總結(jié)出較通用的規(guī)則，但專業(yè)性標注的規(guī)則比較復雜，制定專業(yè)的標注規(guī)則需要遵循的原則主要如下。（1）多維分析與綜合分析相結(jié)合。簡歷與職位的匹配度影響因素肯定是多維的，不能只參考工作經(jīng)歷或?qū)I(yè)要求一個因子，或者某幾個因子，要多維分析，最終再給出綜合評分結(jié)果。當然，簡歷與職位的匹配標注也不可能一上來就能給出綜合的評分。要先給單一因子打分，然后參考每個因子的評分結(jié)果，最終再進行綜合分析，給出評分結(jié)果。4.4制定標注規(guī)則（2）因子權(quán)重影響因素場景化。簡歷與職位匹配度評估需要給每個因子打分，要結(jié)合具體場景把所有因子進行歸類分析，比如設定一些重要因子，如果重要因子不匹配可能就直接不給分，比如工作經(jīng)歷代表的是一個人的勝任力，如果該候選人不具備該崗位的勝任力，總分肯定是0分。還有一些因子雖然不是很重要，但會影響評分，有些因子時而重要時而不重要，比如年齡，人力資源經(jīng)理想要1~3年經(jīng)驗的行政專員，候選人40歲，該情況肯定會影響最終評分且很有可能總分是0分。所以把所有影響因子結(jié)合場景進行歸類分析是十分必要的。4.4制定標注規(guī)則（3）問題類型標簽化、結(jié)構(gòu)化。一般情況下標注結(jié)果會以分數(shù)的形式展示，ABCD或者0123。前期制定標注規(guī)則時，一定要把原因分析考慮進去，列出所有不匹配的原因，形成結(jié)構(gòu)化的原因標簽，有利于最終分析壞樣例的分類與占比，然后，算法或者策略團隊在優(yōu)化時可以優(yōu)先解決占比高或影響惡劣的樣例。4.4制定標注規(guī)則數(shù)據(jù)標注是一項看似簡單實際卻十分復雜的工作，涉及標注分類、標注規(guī)則制定、標注原因分析、標注系統(tǒng)搭建、標注團隊管理等，尤其涉及到專業(yè)領域的標注則更困難。4.4制定標注規(guī)則PART05執(zhí)行數(shù)據(jù)標注圖像標注專家阿德拉·巴里烏索于2007年開始使用標簽系統(tǒng)地標注SUN數(shù)據(jù)庫，標注了超過25萬個物體。她記錄了標注過程中曾遇到的困難和采用的解決方案，以便得到一致性高的注釋。巴里烏索在數(shù)據(jù)標注中的主要心得如下。（1）在標注圖像時，首先對圖像進行整體評估，衡量標注難度。有些乍一看標注難度較大的圖像，實際上圖中的元素很少，很容易標記。4.5執(zhí)行數(shù)據(jù)標注（2）標注時，通常由大到小進行標注。比如開放空間中先標注天空，封閉空間內(nèi)先標注天花板，然后再繼續(xù)添加其他東西。

圖4-6由大到小標注4.5執(zhí)行數(shù)據(jù)標注（3）標記的順序不重要，但標注時最好一行行地進行，將一行內(nèi)所有類型相同的對象全都標注上，降低標簽寫錯的可能。（4）一般不標注鏡子里反射的物體，這很容易造成誤導。4.5執(zhí)行數(shù)據(jù)標注（5）在圖像中有很多線條性物體時（如下圖中的扶手和欄桿），需要特別注意，有可能標注出與所需完全相反的內(nèi)容（即孔內(nèi)被標記為對象），標注線在同一個位置經(jīng)過兩次是正常的，刻意避免可能會出現(xiàn)上述情況。

圖4-7扶手與欄桿4.5執(zhí)行數(shù)據(jù)標注（6）標注圖像中出現(xiàn)打開的門窗等情況時，不僅僅是標注門窗，也應將門窗內(nèi)的物體也標注上，這有助于增加深度感。（7）標注時的標注線條要好看一些，盡量避免弄成一塊一塊的（見右圖）。

圖4-8標注線條的處理4.5執(zhí)行數(shù)據(jù)標注（8）對于過于復雜的圖片，如果對圖中的內(nèi)容不夠熟悉，就干脆跳過。（9）如果一個物體被另一個物體遮擋，在給兩個物體做標注時，給兩個物體貼上標簽，確保它們的邊緣重合。

圖4-9遮擋物體的處理4.5執(zhí)行數(shù)據(jù)標注（10）在進行標注時，有時需要放大和縮小。放大有助于標注一些小細節(jié)，但放大有可能造成錯亂，有些東西局部放大后變得像其他物體。因此，在標注之后需縮放至原始大小進行審核。（11）標注室內(nèi)空間時，一般單獨標記不同方向的墻，即便它們是相互連接的。4.5執(zhí)行數(shù)據(jù)標注（12）在右圖中，圖像的復雜性是由于墻壁和拱門形成的不同深度平面造成的，在標記時需要給拱門內(nèi)的元素進行標記。首先從兩堵墻開始，然后給墻壁和容易分辨的大物體進行標注，最后再去標注小的一些細節(jié)，有時候遺漏是不可避免地。

圖4-10圖像的復雜性4.5執(zhí)行數(shù)據(jù)標注（13）有時候某些容器是透明的，比如透明的容器內(nèi)裝著一些餅干，這時候是標注“容器”還是“餅干”呢？一般標注為容器，重點在于要保持標注原則的前后一致。（14）有時候標注標簽并非自己的母語，當標注的目標物種類較多時，一定要建立一個標簽的對應關系，方便查找，如“bed：床”。4.5執(zhí)行數(shù)據(jù)標注PART06標注團隊管理數(shù)據(jù)標注團隊主要由標注師和質(zhì)檢員組成，在完成標注后，數(shù)據(jù)交給算法工程師，他們會用數(shù)據(jù)對大模型做測試。看看哪些方面還有不足，再有針對性的做下一輪標注和調(diào)試。通常，大模型標注員崗位的要求比普通標注員要高很