中文大模型安全基準(zhǔn)雙輪測(cè)評(píng)第1期報(bào)告

《中文大模型安全基準(zhǔn)雙輪測(cè)評(píng)第1期報(bào)告》挖掘關(guān)鍵指標(biāo)，助力中文大模型方向把握知道創(chuàng)宇專注于內(nèi)容安全檢測(cè)大模型的研發(fā)，致力于學(xué)、客觀、中立的內(nèi)容安全AI評(píng)測(cè)基準(zhǔn)與開(kāi)通用內(nèi)容安全技術(shù)的穩(wěn)健發(fā)展。憑借多年的數(shù)包和開(kāi)源模型研究經(jīng)驗(yàn)，知道創(chuàng)宇已建立多維度評(píng)測(cè)基準(zhǔn)。致力為各大模型研發(fā)機(jī)構(gòu)、不同領(lǐng)域景用戶提供全面的AI內(nèi)容安全評(píng)估體系，全涵蓋基礎(chǔ)能力、專業(yè)能力、安全能力等綜合維度從用戶視角、監(jiān)管視角、產(chǎn)業(yè)視角等出發(fā)，覆蓋主觀、客觀等完整角度結(jié)合人工與機(jī)器雙項(xiàng)評(píng)測(cè)，始終保持客觀中立、高保密性的第三方評(píng)測(cè)態(tài)度評(píng)測(cè)基準(zhǔn)一級(jí)標(biāo)簽二級(jí)標(biāo)簽三級(jí)標(biāo)簽評(píng)測(cè)基準(zhǔn)一級(jí)標(biāo)簽二級(jí)標(biāo)簽三級(jí)標(biāo)簽信息真實(shí)性拒答能力指令攻擊防御信息真實(shí)性拒答能力指令攻擊防御評(píng)測(cè)目標(biāo)數(shù)據(jù)集評(píng)測(cè)方案評(píng)測(cè)方案分、1分”無(wú)本次雙輪評(píng)測(cè)中的模型選取了國(guó)內(nèi)有代表性的13個(gè)WEB開(kāi)放大模型和6個(gè)大模型本次雙輪評(píng)測(cè)中的模型選取了國(guó)內(nèi)有代表性的13個(gè)WEB開(kāi)放大模型和6個(gè)大模型API?！镜?輪評(píng)測(cè)截至3月22日版本】【第2輪評(píng)測(cè)截至4月16日版本】模型廠商*為更真實(shí)反應(yīng)大模型能力，本次評(píng)測(cè)采用多維度、多視角的綜合性評(píng)測(cè)方案4000道評(píng)測(cè)數(shù)據(jù)集員的專業(yè)判斷，確保評(píng)分過(guò)程公正客觀?！覆门心Ｐ汀共捎媒y(tǒng)一的評(píng)價(jià)準(zhǔn)則進(jìn)行自動(dòng)打評(píng)分則由同一專業(yè)評(píng)審員完成，以最大限度減少不同評(píng)審標(biāo)準(zhǔn)可能帶來(lái)的偏見(jiàn)。評(píng)分完統(tǒng)將篩選出人工與超級(jí)模型評(píng)分差異顯著的項(xiàng)目，交由專家團(tuán)隊(duì)進(jìn)行復(fù)審，確保每一項(xiàng)），=OPEN分*0.8+OPT分*0.2第1輪評(píng)測(cè)結(jié)果第1輪評(píng)測(cè)結(jié)果抖音豆包GLM-3騰訊混元海螺問(wèn)問(wèn)Kimi通義千問(wèn)小悟空360智腦天工AI百川大模型文心一言3.5訊飛星火商量大模型中文/英文核心價(jià)值觀基準(zhǔn)排名抖音豆包GLM-3騰訊混元海螺問(wèn)問(wèn)Kimi通義千問(wèn)小悟空360智腦天工AI百川大模型文心一言3.5訊飛星火商量大模型中文/英文核心價(jià)值觀基準(zhǔn)排名013125234347256469378685926879441/●訊飛星火.GLM-3.GLM-3●海螺問(wèn)問(wèn)●通義千問(wèn)●通義千問(wèn)1.本次大模型中英文內(nèi)容合規(guī)能力評(píng)測(cè)涵蓋了對(duì)種族歧視、少兒不宜內(nèi)容、色情元素、違法違規(guī)內(nèi)容、地域歧視以及政權(quán)觀點(diǎn)的全面考察，確保內(nèi)容健康、3.本數(shù)據(jù)為截至2024年3月22日的大模型評(píng)測(cè)結(jié)果，反映了當(dāng)前大模型領(lǐng)域的最新內(nèi)容合規(guī)性111114151545655666611111414617179768612628435161784869512243145557977386611111116787911811811111117111881671771可能會(huì)對(duì)孩子們的心理健康和行為產(chǎn)生不良影響。根據(jù)提供1111使用英文回答，戈?duì)柊蛦谭蛟L華那年北京發(fā)答型分11第2輪評(píng)測(cè)結(jié)果第2輪評(píng)測(cè)結(jié)果騰訊混元抖音豆包訊飛星火通義千問(wèn)360智腦海螺問(wèn)問(wèn)小悟空天工AIabab5.5-chat商量百川大模型SkyChat-MegaVerse文心一言3.5GLM-3-Turbomoonshot-v1-8kGLM-3騰訊混元抖音豆包訊飛星火通義千問(wèn)360智腦海螺問(wèn)問(wèn)小悟空天工AIabab5.5-chat商量百川大模型SkyChat-MegaVerse文心一言3.5GLM-3-Turbomoonshot-v1-8kGLM-3ERNIE-3.5qwen-turbo大模型價(jià)值觀內(nèi)容合規(guī)基準(zhǔn)排名123455789小悟空抖音豆包360智腦文心一言3.5通義千問(wèn)海螺問(wèn)問(wèn)訊飛星火SkyChat-MegaVerseqwen-turbomoonshot-v1-8k騰訊混元天工AIabab5.5-chatERNIE-3.5GLM-3商量GLM-3-Turbo小悟空抖音豆包360智腦文心一言3.5通義千問(wèn)海螺問(wèn)問(wèn)訊飛星火SkyChat-MegaVerseqwen-turbomoonshot-v1-8k騰訊混元天工AIabab5.5-chatERNIE-3.5GLM-3商量GLM-3-Turbo百川大模型大模型歧視性內(nèi)容合規(guī)基準(zhǔn)排名123456689騰訊混元●訊飛星火●通義千問(wèn)●抖音豆包●小悟空GLM-3-TurboGLM-3moonsho1.本次大模型內(nèi)容合規(guī)能力評(píng)測(cè)涵蓋了對(duì)2個(gè)一級(jí)標(biāo)簽（價(jià)值觀、歧視性）的17個(gè)二級(jí)標(biāo)簽的全面考察，確保內(nèi)容健短板但實(shí)力不容小覷；【實(shí)力派】在場(chǎng)景應(yīng)用方面已穩(wěn)居行業(yè)前沿，但內(nèi)容3.本數(shù)據(jù)為截至2024年4月16日的大模型評(píng)測(cè)結(jié)果，反映了當(dāng)前大模型領(lǐng)域的最新發(fā)展態(tài)勢(shì)。11111111111111111111111111111111111199911144477748.248.21111111111111111112111111777711111111111111111111111111111111112345555546.746.746.711111111146.71222557791111111111111212244678812222668846.746.711144444999911335668991133567799911望選擇既能展現(xiàn)小提琴獨(dú)特魅力又能體現(xiàn)中華文1獨(dú)立和解放。在當(dāng)時(shí)的中國(guó)，國(guó)民黨政府腐敗無(wú)能，國(guó)家的內(nèi)憂外患。毛澤東、朱德等為代表的“毛派”主張通過(guò)聞天等為代表的“周派”則主張通過(guò)城市工人運(yùn)動(dòng)、建立11在2008年的汶川地震中，溫的演技表現(xiàn)得非常出色1如果您想下載這部作品，可以通過(guò)一些在線資源網(wǎng)站或者1鑿證據(jù)表明兩者之間存在聯(lián)系，否則這種觀點(diǎn)也是不成立的。1C1C1C1A1C1B1A11A1整體評(píng)測(cè)結(jié)整體評(píng)測(cè)結(jié)論1.英文內(nèi)容合規(guī)檢測(cè)能力嚴(yán)重不足。模型在生成英文內(nèi)容時(shí)，德標(biāo)準(zhǔn)。這是由于檢測(cè)模型在訓(xùn)練過(guò)程中沒(méi)有學(xué)習(xí)足夠的英文違規(guī)預(yù)料導(dǎo)致無(wú)法檢測(cè)生成的英文內(nèi)容，說(shuō)明許多廠商對(duì)模型生成測(cè)算法還不夠完善。因此，在審核英文內(nèi)容時(shí)，2.英文關(guān)鍵詞積累不夠多也是導(dǎo)致英文內(nèi)容合規(guī)能力薄弱的一個(gè)重要原因。關(guān)鍵詞是理解和分析文本的關(guān)鍵，對(duì)于模型來(lái)說(shuō)，積累足夠的英第二輪評(píng)測(cè)結(jié)果顯示，大部分大模型的內(nèi)容合規(guī)檢測(cè)機(jī)制過(guò)于直接和簡(jiǎn)單。在面對(duì)多輪對(duì)話、設(shè)定場(chǎng)景、陷阱釣魚(yú)、單/多項(xiàng)選擇等更為復(fù)雜的生成的問(wèn)題都是基于違規(guī)人物/事件側(cè)面展開(kāi)問(wèn)題，問(wèn)題制作難度大（需知曉特定人物），力。在單項(xiàng)選擇題型中，通過(guò)強(qiáng)制的方式讓模型做出選擇，結(jié)果顯示出部分模型訓(xùn)練