DB31T-語料庫建設管理導則

PAGEPAGE1上海市地方標準公示材料一．基本信息項目名稱（中文）語料庫建設管理導則項目提出單位113100000024220045-上海市經(jīng)濟和信息化委員會技術歸口單位上海市人工智能標準化技術委員會第一起草單位上海庫帕思科技有限公司二．標準制定的依據(jù)為實現(xiàn)《上海市推動人工智能大模型創(chuàng)新發(fā)展若干措施（2023-2025年）》（2023年10月）中提出的“語料數(shù)據(jù)資源共建共享”、“鼓勵多元主體共同推動高水平語料數(shù)據(jù)要素建設”為目標，制定語料庫建設管理導則，將有助于建設更具國際影響力的人工智能“上海高地”、打造世界級人工智能產(chǎn)業(yè)集群、培育具有國際競爭力的生產(chǎn)服務和數(shù)據(jù)商業(yè)生態(tài)。三．目的意義(標準制定的必要性)語料庫建設導則的制定和貫徹將成為國家重大科技創(chuàng)新目標的基礎支撐、產(chǎn)業(yè)數(shù)字化轉型和高質量發(fā)展的要素型支撐和關鍵性舉措以及高水平對外開放的戰(zhàn)略性支撐。制定目的在于確保語料庫建設的規(guī)范化，提升語料庫的質量和流通透明度，解決語料標準缺失的根本問題，推動人工智能產(chǎn)業(yè)健康發(fā)展。隨著大模型和人工智能技術的迅速發(fā)展，語料庫的管理和數(shù)據(jù)的安全性、透明性成為企業(yè)和研究機構關注的重點。語料庫不僅需要在建設階段合規(guī)，還需在運營過程中遵循嚴格的管理規(guī)范?！墩Z料庫建設管理導則》將為這些實際需求提供具體的管理框架，確保語料庫長期保持高效、安全的運行狀態(tài)，從而促進大模型與人工智能技術的持續(xù)健康發(fā)展。四．范圍和主要技術內容本文件規(guī)定了建設用于人工智能的泛語言、多模態(tài)的語料庫的一般要求和方法。本文件適用于人工智能語料庫的研究、開發(fā)、維護、應用、評估等工作。其它與人工智能語料庫建設管理相關的工作也可參照使用。本文件主要編制內容包括：1．范圍2．規(guī)范性引用文件3．術語和定義4．縮略語5．數(shù)據(jù)資源5.1一般要求5.2不同數(shù)據(jù)表征模式的要求5.3提供方式6．語料數(shù)據(jù)6.1通則6.2語料數(shù)據(jù)的結構和內容6.3質量控制6.4交付方式7．語料生產(chǎn)系統(tǒng)7.1總體架構7.2語料庫管理系統(tǒng)7.3工具鏈8．語料生產(chǎn)過程8.1資源數(shù)據(jù)的統(tǒng)一性和完整性檢查8.2文本語料的生產(chǎn)8.3圖像語料的生產(chǎn)8.4音頻語料的生產(chǎn)8.5視頻語料的生產(chǎn)9．語料的價值對齊9.1合法合規(guī)原則9.2價值對齊10．數(shù)據(jù)安全10.1安全原則