千帆大模型超級工廠-明星大模型與工具鏈能力介紹 百度 2023-11-16

千帆大模型超級工廠百度智能云產(chǎn)品經(jīng)理|Ziqi2023.11.16持續(xù)反饋???……應(yīng)用范式數(shù)據(jù)工具全面????性能領(lǐng)先Prompt工程??模型訓(xùn)練預(yù)測服務(wù)部署模型評估&優(yōu)化?安全護(hù)航選擇豐富大模型持續(xù)反饋???……應(yīng)用范式數(shù)據(jù)工具全面????性能領(lǐng)先Prompt工程??模型訓(xùn)練預(yù)測服務(wù)部署模型評估&優(yōu)化?安全護(hù)航選擇豐富大模型數(shù)據(jù)管理??大模型工具鏈??數(shù)據(jù)中心?高性能存儲數(shù)據(jù)中心?高速互聯(lián)異構(gòu)GPU芯片高速互聯(lián)大模型效果體驗(yàn)大模型場景精調(diào)大模型高性能調(diào)用監(jiān)控與數(shù)據(jù)回流Prompt工程以大模型為中心的場景應(yīng)用開發(fā)范式大模型效果體驗(yàn)大模型場景精調(diào)大模型高性能調(diào)用監(jiān)控與數(shù)據(jù)回流Prompt工程應(yīng)用范式APIAPI/SDK大模型能力探索/發(fā)現(xiàn)大模型能力探索/發(fā)現(xiàn)大模型壓縮大模型壓縮大模型評估大模型評估文圖生成 New Stable-Diffusion-XL代碼生成CodeLlama智源AquilaCode-multiStarCoderSQLCoderNewNew文本表征智源bge-largeEmbeddings_V1New復(fù)旦醫(yī)療健康大模型DISC-MedLLMNew行業(yè)專屬度小滿軒轅-金融大模型ChatLaw法律大模型文本對話/創(chuàng)作續(xù)寫千帆中文增強(qiáng)版Llama-2-7B/13BERNIE-Bot-turbo New文圖生成 New Stable-Diffusion-XL代碼生成CodeLlama智源AquilaCode-multiStarCoderSQLCoderNewNew文本表征智源bge-largeEmbeddings_V1New復(fù)旦醫(yī)療健康大模型DISC-MedLLMNew行業(yè)專屬度小滿軒轅-金融大模型ChatLaw法律大模型文本對話/創(chuàng)作續(xù)寫千帆中文增強(qiáng)版Llama-2-7B/13BERNIE-Bot-turbo New百川Baichuan2-7B/13B智源Acuiqla-7BCerebras-GPT-13B……Mistral-7B智譜ChatGLM2/3-6BFalcon-7B/40B元象XVERSE-13BBLOOMZ-7BPythia-12BRWKV-7B/14B全能旗艦全能旗艦NewERNIE-Bot4.0ERNIE-BotERNIE-Bot4.0ERNIE-ERNIE-Bot4.0ERNIE-Bot-turbo相比3.5版本，理解、生成、邏輯、記憶四大能力顯著提升?邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。?基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對齊，保證模型更好地與人類的判斷和選擇對齊?在輸入和輸出階段進(jìn)行知識點(diǎn)增強(qiáng)。理解生成理解生成復(fù)雜任務(wù)能力顯著提升，可處理更精細(xì)的多個指令復(fù)雜任務(wù)能力顯著提升，可處理更精細(xì)的多個指令更強(qiáng)概念辨析、歸納提煉風(fēng)格文案創(chuàng)作表現(xiàn)更佳，更精準(zhǔn)的遵循字?jǐn)?shù)限制角色帶入能力增強(qiáng)邏輯記憶邏輯記憶代碼解釋更加準(zhǔn)確完善、可處理更復(fù)雜的錯誤調(diào)試代碼解釋更加準(zhǔn)確完善、可處理更復(fù)雜的錯誤調(diào)試邏輯能力提升更長的上下文記憶能力，能夠更好的保持當(dāng)前對話任務(wù)文心大模型高性能版，09.22能力升級優(yōu)勢場景千帆平臺支持功能?模型精調(diào)、模型評估、模型壓縮、預(yù)置API、私有資源池部署模型使用協(xié)議精準(zhǔn)回答知識問答：根據(jù)歷史多輪問答情況，自動總結(jié)并改寫為單輪完整問題，調(diào)用知識庫查詢，獲取更精準(zhǔn)回答外掛知識庫優(yōu)勢場景千帆平臺支持功能?模型精調(diào)、模型評估、模型壓縮、預(yù)置API、私有資源池部署模型使用協(xié)議精準(zhǔn)回答知識問答：根據(jù)歷史多輪問答情況，自動總結(jié)并改寫為單輪完整問題，調(diào)用知識庫查詢，獲取更精準(zhǔn)回答外掛知識庫工具調(diào)用：識別用戶問題意圖，拆解參數(shù)并調(diào)用相關(guān)插件模型簡介模型簡介效果超越同量級大模型，在對話創(chuàng)作與指令生成方面能力最為突出寬松限制商用（7億月活以下）寬松限制商用（7億月活以下）模型評測結(jié)果模型評測結(jié)果00CMMLUCCMMLUC千帆中文增強(qiáng)Llama-2-7BLLaMA2-13B-chatLLaMA2-13B-chatLinly- 優(yōu)勢場景：智能問數(shù)（優(yōu)勢場景：智能問數(shù)（GBI）8月份，每天銷售收入如何01'<=千帆平臺支持功能模型簡介模型簡介group_by,join,where等復(fù)雜查詢意圖理解和指令模型使用協(xié)議無限制商用無限制商用再生模型權(quán)重需開源再生模型權(quán)重需開源模型評測結(jié)果(NL2SQL場景)千帆團(tuán)隊(duì)評測結(jié)果40%優(yōu)勢場景：智能編程助手實(shí)時續(xù)寫通過分析上下文邏輯關(guān)系，智能生成方法、函數(shù)、判斷、循環(huán)體等完整的代碼塊生成代碼直接在注釋中用自然語言描述所需功能，自動生成完整函數(shù)單元測試支持對任意方法、函數(shù)一鍵生成單元測試，也支持優(yōu)勢場景：智能編程助手實(shí)時續(xù)寫通過分析上下文邏輯關(guān)系，智能生成方法、函數(shù)、判斷、循環(huán)體等完整的代碼塊生成代碼直接在注釋中用自然語言描述所需功能，自動生成完整函數(shù)單元測試支持對任意方法、函數(shù)一鍵生成單元測試，也支持對多文件進(jìn)行批量生成代碼解釋可給出整個方法、函數(shù)的功能和完整邏輯說明，也支持選中任意代碼給出解釋千帆平臺支持功能模型簡介模型簡介模型使用協(xié)議寬松限制商用（7億月活以下）寬松限制商用（7億月活以下）模型評測結(jié)果模型評測結(jié)果(Coding場景)40%代碼生成能力較為突出；同等效果下，調(diào)用性價藝術(shù)插圖建筑設(shè)計(jì)營銷海報影視創(chuàng)作優(yōu)勢場景：創(chuàng)意設(shè)計(jì)千帆平臺支持功能模型使用協(xié)議趣味頭像藝術(shù)插圖建筑設(shè)計(jì)營銷海報影視創(chuàng)作優(yōu)勢場景：創(chuàng)意設(shè)計(jì)千帆平臺支持功能模型使用協(xié)議趣味頭像模型簡介模型簡介有限制商用有限制商用模型評測結(jié)果模型評測結(jié)果基于基于GoogleResearchPartiPrompts(P2)評測集，超過1600條評測英文Prompt，包括了不同場景和復(fù)雜度的Prompt。和藍(lán)色漩渦下面，一個遙遠(yuǎn)的村莊靜靜地坐落在右邊?日常物品繪圖能力領(lǐng)先?整體能力達(dá)到SOTA水平?理解力強(qiáng)，創(chuàng)意十足，可以生成豐富多樣的圖像細(xì)節(jié)?Prompt指令調(diào)整空間大，支持模型定制（LoRA適合高級開發(fā)者使用模型簡介優(yōu)勢場景融域任務(wù)超越領(lǐng)先通用模型（GPT-4支持金融知識某投資者以97元的價格，購入還有一年到期的債券，債券某投資者以97元的價格，購入還有一年到期的債券，債券在這個例子中，投資者購買的債券面值是100元，年息是8元，所以年利率就是8元/100元=8%。而投模型使用協(xié)議模型使用協(xié)議寬松限制商用（7億月活以下）寬松限制商用（7億月活以下）模型評測結(jié)果模型評測結(jié)果400XuanYuan-70BXuanYuan-70B-ChatGPT4(0-shot)金融內(nèi)容生成金融數(shù)據(jù)分析金融行業(yè)知識金融信息理解金融客戶對話金融邏輯計(jì)算千帆平臺支持功能優(yōu)勢場景千帆平臺支持功能如果一個郵政工作人員私自開拆了一個郵件，但只是為了查看其中的收件人地址，而并未泄露郵件內(nèi)優(yōu)勢場景千帆平臺支持功能如果一個郵政工作人員私自開拆了一個郵件，但只是為了查看其中的收件人地址，而并未泄露郵件內(nèi)法律案例分析甲公司注冊資金為120萬元，主營建材，乙廠為生產(chǎn)瓷磚的合伙企業(yè)。甲公司為穩(wěn)定貨源，決定投資30萬元入伙乙廠法律條文索引法律概念解讀駕車故意沖撞行人適用哪些相關(guān)法律條文示例問題模型回答構(gòu)成私自開拆、隱匿、毀棄郵件、電報罪。本罪客觀方面有兩個特點(diǎn)：一是必須有私自開拆、隱匿、毀棄郵件、電報的行為。所謂私自開拆，是指非法擅自開拆他人郵件、電報，使封緘失效的行為，合法行為不在此限......按照最新《公司法》的規(guī)定，本題無答案?！豆痉ā返?5條規(guī)定，公司可以向其他企業(yè)投資；但是，除法律另有規(guī)定外，不得成為對所投資企業(yè)的債務(wù)承擔(dān)連帶責(zé)任的出資人......依據(jù)刑法條文第一百一十四條，如果一個人故意以危險方法危害公共安全，但尚未造成嚴(yán)重后果，將被處三年以上十年以下有期徒刑......模型簡介模型簡介模型使用協(xié)議無限制商用無限制商用模型評測結(jié)果模型評測結(jié)果??通過關(guān)鍵詞抽取模型與知識庫，高效注入法律知識，在不顯著提升模型參數(shù)量級的前提下降低模型幻覺?法律領(lǐng)域?qū)傥谋颈碚髂Ｐ?，精?zhǔn)衡量法律相關(guān)問題與檢索語料的相似度?融合中國法考與權(quán)威法律論壇問答案例，構(gòu)建可信訓(xùn)練數(shù)據(jù)集百川Baichuan2系列模型簡介百川Baichuan2系列模型簡介千帆平臺支持功能智譜智譜ChatGLM2/3-6B系列模型簡介模型使用協(xié)議模型使用協(xié)議有限制商用有限制商用模型使用協(xié)議模型使用協(xié)議有限制商用有限制商用模型評測結(jié)果模型評測結(jié)果400400千帆平臺支持功能?私有資源池部署、模型精調(diào)、預(yù)置API、模型優(yōu)勢場景千帆平臺支持功能模型使用協(xié)議優(yōu)勢場景千帆平臺支持功能模型使用協(xié)議模型簡介模型簡介無限制商用無限制商用模型評測結(jié)果模型評測結(jié)果(向量綜合表征)煉生物醫(yī)療教育煉生物醫(yī)療教育法律計(jì)算機(jī)金融評估數(shù)據(jù)集??根據(jù)應(yīng)用場景裁剪評估框架，選擇評估數(shù)據(jù)集配比，設(shè)置場景相千帆大模型能力評估框架×評估指標(biāo)?答案滿意度?事實(shí)性?邏輯性?創(chuàng)造性/吸引力?非重復(fù)/多樣性?指令遵循數(shù)據(jù)集管理-預(yù)置數(shù)據(jù)集模型評估數(shù)據(jù)集管理-預(yù)置數(shù)據(jù)集模型評估預(yù)置47個行業(yè)開源數(shù)據(jù)集；支持規(guī)則打分、裁判員模型打分、人工標(biāo)注打分三種權(quán)威評估模式評估模式適用場景規(guī)則打分適合標(biāo)準(zhǔn)選擇題或簡單問答場景，計(jì)算裁判員模型打分使用能力更強(qiáng)的大模型作為裁判員，對被評估模型的生成結(jié)果進(jìn)行自動化打分，適用于開放性或復(fù)雜問答場景。人工打分人工標(biāo)注員對模型回答進(jìn)行主觀打分，支持多人協(xié)同標(biāo)注239個源于實(shí)踐的優(yōu)質(zhì)Prompt模板，覆蓋11個細(xì)分場景；支持自動Prompt優(yōu)化沉淀大語言模型樣本自動標(biāo)注、配比分析、清洗增強(qiáng)最佳實(shí)踐，高效構(gòu)建高質(zhì)量訓(xùn)練數(shù)據(jù)無監(jiān)督Pretrain+PostPretrainMultitaskInstructiontuningRLHFAlignment場景驅(qū)動SFT、PTuning無監(jiān)督Pretrain+PostPretrainMultitaskInstructiontuningRLHFAlignment場景驅(qū)動SFT、PTuning提升指令zeroshot泛化性能價值對齊場景優(yōu)化支持Post-Pretrain、SFT、LoRA、RLHF等訓(xùn)練方式，快速發(fā)起精調(diào)任務(wù)，滿足場景定制需求階段一：基礎(chǔ)預(yù)訓(xùn)練階段二：通用SFT指令優(yōu)化階段三：下游任務(wù)指令優(yōu)化11月7日全新支持New?Llama-2-13B中文增強(qiáng)模型Post-?SQLCoder,Baichuan2-13B,StableDiffusion-XL大模型SFT/LoRA?增量訓(xùn)練為大模型賦予外掛能力，支持?jǐn)U展接入自定義插件示例應(yīng)用中心：10+大模型應(yīng)用落地實(shí)踐范例與示例代碼 示例應(yīng)用中心：/tools/?u=bce-head#/sampleAppCenter?豐富大模型應(yīng)用靈感啟發(fā)?無縫兼容千帆平臺API能力?支持本地下載，離線部署?專屬增值服務(wù)，協(xié)助企業(yè)開展深度定制?????????????API調(diào)用千帆平臺全鏈路功能，實(shí)現(xiàn)大模型能力持續(xù)迭代大模型推理機(jī)制優(yōu)化提升調(diào)用性價比自動干預(yù)與審核機(jī)制保障生成內(nèi)容安全訓(xùn)練任容錯故障可感知依托百度多年沉淀的安全策略機(jī)制和經(jīng)驗(yàn)，內(nèi)置安全算子?對輸入問題進(jìn)行安全性判定?對輸出答案進(jìn)行高危詞過濾基礎(chǔ)設(shè)施穩(wěn)定性大模型推理機(jī)制優(yōu)化提升調(diào)用性價比自動干預(yù)與審核機(jī)制保障生成內(nèi)容安全訓(xùn)練任容錯故障可感知依托百度多年沉