賽迪前瞻2024年第33期（總873期）：人工智能語(yǔ)料庫(kù)發(fā)展趨勢(shì)和建議

人工智能（AI）語(yǔ)料庫(kù)是匯集大量來(lái)自書(shū)籍、學(xué)術(shù)文章、社交媒體等渠道的文本、圖片、音頻、視頻數(shù)據(jù)集合，是人工智能領(lǐng)域研究和應(yīng)用的基礎(chǔ)數(shù)據(jù)。目前，國(guó)際主流大模型訓(xùn)練語(yǔ)料庫(kù)以英文語(yǔ)料為主，中文語(yǔ)料占比不超過(guò)5%。中文人工智能語(yǔ)料庫(kù)匱乏制約了我國(guó)大模型性能飛躍和技術(shù)創(chuàng)新。賽迪研究院建議加快專(zhuān)業(yè)語(yǔ)料庫(kù)建設(shè)，提升語(yǔ)料數(shù)據(jù)質(zhì)量；優(yōu)化基礎(chǔ)設(shè)施建設(shè)，維護(hù)語(yǔ)料數(shù)據(jù)安全；完善語(yǔ)料生態(tài)環(huán)境，構(gòu)建評(píng)估作價(jià)體系。一、語(yǔ)料庫(kù)是AI模型開(kāi)發(fā)的基石，國(guó)內(nèi)外AI語(yǔ)料庫(kù)在數(shù)據(jù)規(guī)模、語(yǔ)料質(zhì)量和開(kāi)源共享方面存在差距大規(guī)模、高質(zhì)量的語(yǔ)料數(shù)據(jù)是訓(xùn)練和評(píng)估模型的基礎(chǔ)。一是從海量語(yǔ)料數(shù)據(jù)中提取語(yǔ)法結(jié)構(gòu)、語(yǔ)義特征能夠提升模型泛化性和準(zhǔn)確性。OpenAI基于3000億單詞模型，能夠準(zhǔn)確理解用戶(hù)問(wèn)題并生成自然流暢的文本內(nèi)容。谷歌使用涵蓋書(shū)籍、新聞等廣泛領(lǐng)域的海量文本訓(xùn)練BERT模型，使其文本翻譯、情感識(shí)別等任務(wù)的準(zhǔn)確度提高。二是高質(zhì)量語(yǔ)料可以提高模型性能和訓(xùn)練效率。谷歌PaLM2模型采用包含多種語(yǔ)言和科學(xué)數(shù)據(jù)的改進(jìn)語(yǔ)料庫(kù)訓(xùn)練，其翻譯、推理、代碼生成能力得到顯著提升。三是專(zhuān)業(yè)領(lǐng)域語(yǔ)料庫(kù)驅(qū)動(dòng)AI技術(shù)創(chuàng)新和應(yīng)用落地。通用語(yǔ)料庫(kù)難以滿(mǎn)足特定專(zhuān)業(yè)領(lǐng)域需求，通過(guò)收集醫(yī)療、金融等專(zhuān)業(yè)領(lǐng)域的術(shù)語(yǔ)和概念擴(kuò)展專(zhuān)業(yè)領(lǐng)域語(yǔ)料庫(kù)，加速相關(guān)領(lǐng)域算法創(chuàng)新和應(yīng)用推廣。國(guó)外語(yǔ)料庫(kù)在數(shù)據(jù)規(guī)模、開(kāi)源建設(shè)和應(yīng)用場(chǎng)景方面具有先發(fā)訓(xùn)練語(yǔ)料CommonCrawl廣泛收集了來(lái)自網(wǎng)頁(yè)文本、書(shū)籍和學(xué)術(shù)華盛頓大學(xué)等高校機(jī)構(gòu)組織構(gòu)建的開(kāi)源數(shù)據(jù)集MINT-1T，包含一萬(wàn)億文本構(gòu)建塊和三十億圖像。二是英文AI語(yǔ)料庫(kù)在標(biāo)準(zhǔn)化建設(shè)和開(kāi)源共享方面擁有優(yōu)勢(shì)。歐洲語(yǔ)言資源協(xié)調(diào)機(jī)構(gòu)通過(guò)制定數(shù)據(jù)采集、標(biāo)注和共享標(biāo)準(zhǔn)，整合歐洲各國(guó)及全球范圍內(nèi)的語(yǔ)料資源，推動(dòng)語(yǔ)料庫(kù)規(guī)范化發(fā)展。谷歌、微軟等科技巨頭允許開(kāi)發(fā)者通過(guò)應(yīng)用程序開(kāi)發(fā)接口訪(fǎng)問(wèn)其語(yǔ)料庫(kù)。三是國(guó)外企業(yè)和研究機(jī)構(gòu)正加大對(duì)多模態(tài)AI語(yǔ)料庫(kù)的建設(shè)力度。多模態(tài)AI語(yǔ)料庫(kù)能夠提升模型處理復(fù)雜任務(wù)和跨領(lǐng)域應(yīng)用的能力。Meta借助社交平臺(tái)積累多模態(tài)語(yǔ)料提升模型對(duì)圖像的理解能力，并將其集成在智能眼鏡上。亞馬遜通過(guò)構(gòu)建語(yǔ)音語(yǔ)料庫(kù)，推動(dòng)其語(yǔ)音助手在智能家居和語(yǔ)音交互領(lǐng)域的應(yīng)用。國(guó)內(nèi)企業(yè)和研究機(jī)構(gòu)積極跟進(jìn)中文AI語(yǔ)料庫(kù)建設(shè)。一是中文AI語(yǔ)料庫(kù)在數(shù)據(jù)規(guī)模和多樣性方面取得顯著進(jìn)展。中國(guó)大模型語(yǔ)料數(shù)據(jù)聯(lián)盟發(fā)布“書(shū)生·萬(wàn)卷”多模態(tài)語(yǔ)料庫(kù)，涵蓋來(lái)自網(wǎng)頁(yè)、書(shū)籍、百科等不同來(lái)源的清洗后預(yù)訓(xùn)練語(yǔ)料，數(shù)據(jù)規(guī)模超2TB。智源研究院聯(lián)合多家數(shù)據(jù)單位建設(shè)全球最大中文語(yǔ)料數(shù)據(jù)庫(kù)二是特定行業(yè)或?qū)I(yè)領(lǐng)域的中文AI語(yǔ)料庫(kù)建設(shè)已初具規(guī)模?？拼笥嶏w構(gòu)建用于訓(xùn)練和優(yōu)化語(yǔ)音識(shí)別模型的語(yǔ)料庫(kù)，包含多種語(yǔ)言、方言和口音的數(shù)據(jù)。上海交通大學(xué)創(chuàng)建包含6種語(yǔ)言和21種醫(yī)學(xué)子課題的多語(yǔ)言醫(yī)療語(yǔ)料庫(kù)，用于提高醫(yī)療診斷模型的準(zhǔn)確度。南京大學(xué)以法律文書(shū)、司法考試為基礎(chǔ)構(gòu)建法律領(lǐng)域?qū)υ?huà)數(shù)據(jù)集，以提高模型對(duì)法律內(nèi)容的理解能力。三是高質(zhì)量中文語(yǔ)料短缺是當(dāng)前亟待解決的問(wèn)題?，F(xiàn)有中文語(yǔ)料來(lái)源廣泛但質(zhì)量參差不齊，未經(jīng)清洗包含錯(cuò)別字、語(yǔ)法錯(cuò)誤和價(jià)值觀偏見(jiàn)的語(yǔ)料會(huì)影響模型訓(xùn)練效果。此外，我國(guó)語(yǔ)料庫(kù)建設(shè)規(guī)范性不足，數(shù)據(jù)標(biāo)注標(biāo)準(zhǔn)不一、語(yǔ)料庫(kù)結(jié)構(gòu)差異明顯以及相關(guān)企業(yè)共享意愿不足，導(dǎo)致高質(zhì)量中文語(yǔ)料積累薄弱。二、AI語(yǔ)料庫(kù)面臨的三大挑戰(zhàn)語(yǔ)料收集受限于數(shù)據(jù)來(lái)源、版權(quán)以及隱私保護(hù)法規(guī)。一是語(yǔ)料來(lái)源的單一性限制了對(duì)多樣化、高質(zhì)量文本數(shù)據(jù)的獲取。尤其在特定專(zhuān)業(yè)領(lǐng)域語(yǔ)料資源匱乏的情況下，難以收集足夠的文本數(shù)據(jù)來(lái)訓(xùn)練更具泛化性的AI模型。二是版權(quán)問(wèn)題增加了語(yǔ)料收集的難度。文本資源通常受到版權(quán)保護(hù)，未經(jīng)授權(quán)的使用可能引起法律糾紛，也限制了研究人員和開(kāi)發(fā)者對(duì)語(yǔ)料的獲取和使用。三數(shù)據(jù)保護(hù)條例》規(guī)定在處理涉及個(gè)人信息的數(shù)據(jù)時(shí)，必須確保匿名化或得到數(shù)據(jù)主體的明確同意，否則將面臨法律風(fēng)險(xiǎn)，同時(shí)增加了語(yǔ)料收集的成本。語(yǔ)料數(shù)據(jù)的清洗和標(biāo)注需要投入大量人力成本。一是語(yǔ)料清潔性是語(yǔ)料庫(kù)建設(shè)、流通和使用的前提。對(duì)收集到的原始語(yǔ)料進(jìn)行過(guò)程繁瑣的去噪、去重、標(biāo)準(zhǔn)化等清洗操作，以確保輸入模型數(shù)據(jù)的準(zhǔn)確性和一致性。二是專(zhuān)業(yè)語(yǔ)料標(biāo)注通常依賴(lài)人工標(biāo)注。語(yǔ)料標(biāo)注的專(zhuān)業(yè)性、復(fù)雜性要求標(biāo)注者具備專(zhuān)業(yè)知識(shí)，能夠?qū)φZ(yǔ)料進(jìn)行初步分析和判斷，如詞性標(biāo)注、句法結(jié)構(gòu)標(biāo)注、情感分析等。三是語(yǔ)料標(biāo)注容易受到標(biāo)注者主觀判斷的影響。自動(dòng)化標(biāo)注工具雖有所發(fā)展，但其在處理復(fù)雜語(yǔ)義或細(xì)微語(yǔ)境時(shí)的精度和可靠性尚不能完全替代人工標(biāo)注，而不同標(biāo)注者的主觀判斷標(biāo)準(zhǔn)不同，將導(dǎo)致標(biāo)注不一致或標(biāo)注錯(cuò)誤。海量語(yǔ)料存儲(chǔ)、同步處理和安全管理的難度大。一是大規(guī)模語(yǔ)料庫(kù)需要龐大算力設(shè)施支撐。語(yǔ)料庫(kù)規(guī)模不斷擴(kuò)大，企業(yè)和研究機(jī)構(gòu)需要購(gòu)買(mǎi)大量分布式存儲(chǔ)系統(tǒng)、圖形處理單元和云計(jì)算平臺(tái)等技術(shù)設(shè)備，而中小型企業(yè)和研究機(jī)構(gòu)往往難以承擔(dān)基礎(chǔ)設(shè)施建設(shè)和維護(hù)的成本。二是分布式存儲(chǔ)系統(tǒng)面臨不同節(jié)點(diǎn)語(yǔ)料同步處理困難的問(wèn)題。存儲(chǔ)節(jié)點(diǎn)分散、語(yǔ)料分布不均、網(wǎng)絡(luò)傳輸延遲等因素導(dǎo)致分布式存儲(chǔ)系統(tǒng)難以完成對(duì)實(shí)時(shí)性要求高的任務(wù)。三是語(yǔ)料庫(kù)面臨網(wǎng)絡(luò)攻擊、數(shù)據(jù)泄露等安全隱患。海量語(yǔ)料中可能包含大量敏感、有價(jià)值的數(shù)據(jù)，分布式存儲(chǔ)環(huán)境增加了語(yǔ)料庫(kù)被黑客攻擊的風(fēng)險(xiǎn)。三、措施建議加快專(zhuān)業(yè)語(yǔ)料庫(kù)建設(shè)，提升語(yǔ)料數(shù)據(jù)質(zhì)量。一方面，加大對(duì)專(zhuān)業(yè)領(lǐng)域語(yǔ)料庫(kù)的建設(shè)投入。通過(guò)設(shè)立專(zhuān)項(xiàng)基金或項(xiàng)目資金補(bǔ)貼等方式支持專(zhuān)業(yè)領(lǐng)域語(yǔ)料庫(kù)建設(shè)和運(yùn)營(yíng)，同時(shí)，引導(dǎo)企業(yè)、科研機(jī)構(gòu)、高校等主體形成共建聯(lián)合體，推進(jìn)跨領(lǐng)域、跨機(jī)構(gòu)合作的數(shù)據(jù)資源共享，實(shí)現(xiàn)專(zhuān)業(yè)領(lǐng)域語(yǔ)料的有效整合，提高語(yǔ)料資源利用率。另一方面，優(yōu)化數(shù)據(jù)收集與標(biāo)注流程。結(jié)合自動(dòng)化工具與人工審查，定期對(duì)語(yǔ)料進(jìn)行更新擴(kuò)充、監(jiān)測(cè)維護(hù)，形成優(yōu)質(zhì)的標(biāo)準(zhǔn)化語(yǔ)料庫(kù)和完備的數(shù)據(jù)生命周期管理體系，確保語(yǔ)料數(shù)據(jù)質(zhì)量。優(yōu)化基礎(chǔ)設(shè)施建設(shè)，維護(hù)語(yǔ)料數(shù)據(jù)安全。一方面，優(yōu)化計(jì)算資源配置與基礎(chǔ)設(shè)施建設(shè)。采用混合云架構(gòu)、自動(dòng)化調(diào)度和負(fù)載均衡技術(shù)，根據(jù)訓(xùn)練任務(wù)需求合理規(guī)劃資源配置，提高語(yǔ)料庫(kù)使用效率。另一方面，加強(qiáng)對(duì)語(yǔ)料安全與隱私保護(hù)技術(shù)的研發(fā)。采用加密技術(shù)、訪(fǎng)問(wèn)控制等手段，確保數(shù)據(jù)安全和用戶(hù)的隱私。鼓勵(lì)企業(yè)建立數(shù)據(jù)安全管理體系，定期進(jìn)行安全評(píng)估和漏洞檢測(cè)，確保語(yǔ)料庫(kù)的安全性。完善語(yǔ)料生態(tài)環(huán)境，構(gòu)建評(píng)估作價(jià)體系。一方面，從國(guó)家層面建立大規(guī)模、公開(kāi)的語(yǔ)料庫(kù)。面向社會(huì)各界征集高質(zhì)量語(yǔ)料資源，通過(guò)