可信開源人工智能大模型案例匯編（第一期）

2O23912@OpenSourceCloudAllianceforindustRy,OSCAR2O23912@OpenSourceCloudAllianceforindustRy,OSCARTRUSTEDOPENSOURCEARTIMCIALINTELLIGENCELARGEMODELCASECOMPILATION22版權(quán)及免責(zé)聲明版權(quán)及免責(zé)聲明本報告版權(quán)歸中國信通院云計算開源產(chǎn)業(yè)聯(lián)盟所有。本報告所包含的內(nèi)容、資料與信息，僅供您參考之用，并不構(gòu)成意見或建議。中國信通院云計算開源產(chǎn)業(yè)聯(lián)盟不保證或擔(dān)保本報告內(nèi)容、資料與信息的準(zhǔn)確性，完整性，充分性或及時性。中國信通院云計算開源產(chǎn)業(yè)聯(lián)盟明確不承擔(dān)因基于本報告的任何內(nèi)容、資料與信息，而采取的作為或不作為所產(chǎn)生的一切責(zé)任。33前言前言隨著開源技術(shù)占據(jù)各大新興領(lǐng)域的技術(shù)路線，其不斷豐富人工智能領(lǐng)域的應(yīng)用場景。2023年，Meta相繼發(fā)布Laa和Llama2，很快成為廣受歡迎的開源大模型，也成為許多模型的基座模型。開源大模型可以促進(jìn)技術(shù)的共享和交流，加速人工智能的發(fā)展，但也存在數(shù)據(jù)隱私安全風(fēng)險、許可協(xié)議尚未形成共識、產(chǎn)業(yè)生態(tài)不健全、商業(yè)模式不清晰等問題。為進(jìn)一步引導(dǎo)開源大模型產(chǎn)業(yè)規(guī)范發(fā)展，中國信通院云計算開源產(chǎn)業(yè)聯(lián)盟聯(lián)合超神經(jīng)編制《可信開源大模型案例匯編（第一期）》案例，旨在洞察開源人工智能大模型應(yīng)用場景，梳理開源人工智能大模型的開源成熟度，提升開源人工智能大模型的創(chuàng)新發(fā)展。案例通過調(diào)研國內(nèi)開源大模型的技術(shù)細(xì)節(jié)、應(yīng)用場景、商業(yè)模式、應(yīng)用治理、發(fā)展趨勢等，并關(guān)注開源大模型技術(shù)生態(tài)及產(chǎn)業(yè)鏈上下游，全面展現(xiàn)開源大模型及其工具鏈的發(fā)展全貌，為下一代技術(shù)浪潮的發(fā)展助力。目錄目錄0101開源人工智能大模型發(fā)展背景和發(fā)展現(xiàn)狀開源正成為推動人工智能大模型創(chuàng)新發(fā)展的關(guān)鍵引擎 1開源人工智能大模型發(fā)展歷程 102全球開源人工智能大模型發(fā)展關(guān)鍵問題02全球開源人工智能大模型發(fā)展關(guān)鍵問題全球開源人工智能大模型商業(yè)模式基本形態(tài) 5開源人工智能大模型治理 603我國開源人工智能大模型發(fā)展洞察03我國開源人工智能大模型發(fā)展洞察開源人工智能大模型商業(yè)落地情況 8開源人工智能大模型基礎(chǔ)配套設(shè)施建設(shè)情況 9開源人工智能人工智能大模型優(yōu)勢與不足 9開源人工智能大模型安全風(fēng)險與合規(guī)情況 104開源人工智能大模型未來發(fā)展展望 1140404可信開源大模型產(chǎn)業(yè)推進(jìn)方陣相關(guān)工作0505大模型案例ChatGLM大模型 14通義千問大模型 21紫東太初大模型 24Baichuan大模型 28DataCanvasAlaya九章元識大模型 31TigerBot大模型 34ChatLaw大模型 38元象大模型 41聚寶盆(Cornucopia)金融大模型 4506基礎(chǔ)設(shè)施案例06基礎(chǔ)設(shè)施案例DingoDB多模向量數(shù)據(jù)庫 54Xtreme1 57AutoDev 59HyperAI超神經(jīng) 61OpenBayes貝式計算 635Milvus 655開源人工智能大模型發(fā)展背景和發(fā)展現(xiàn)狀開源正成為推動人工智能大模型創(chuàng)新發(fā)展的關(guān)鍵引擎在人工智能大模型領(lǐng)域，開源能夠激發(fā)技術(shù)創(chuàng)新活力，推動數(shù)字時代科技創(chuàng)新。開源匯聚眾智、促進(jìn)多方協(xié)同，有效實現(xiàn)了優(yōu)勢互補(bǔ)，激發(fā)技術(shù)創(chuàng)新活力。開源開放的創(chuàng)新模式相比于工業(yè)時代封閉專利的創(chuàng)新模式，更順應(yīng)數(shù)字時代技術(shù)迭代快、應(yīng)用范圍廣的發(fā)展規(guī)律，解決單一主體創(chuàng)新成本過高問題，通過去中心化的異步協(xié)作激發(fā)各類主體的創(chuàng)新創(chuàng)造活力，以開放協(xié)作實現(xiàn)智慧累積，對創(chuàng)新效率和創(chuàng)新質(zhì)量帶來巨大提升。eta在Llama基礎(chǔ)上開源lma2并Llama2可以作為OpenAI和谷歌出售的專有模型的補(bǔ)充，有效激發(fā)了人工智能大模型共創(chuàng)浪潮。僅Llaa2開源幾日后，在其基礎(chǔ)上衍生的大模型FeeWly2便實現(xiàn)對Llama2的性能超越。與此同時，Llama2憑借其開放可拓展的優(yōu)勢，衍生出lawyer-llama、EduChat等垂直領(lǐng)域的模型產(chǎn)品，加速推動人工智能大模型場景化應(yīng)用創(chuàng)新。開源人工智能大模型發(fā)展歷程大語言模型的開源推動了深度學(xué)習(xí)和人工智能的持續(xù)發(fā)展，也催生了一系列前沿探索和落地應(yīng)用。2017年，Google發(fā)表論文“ttentionisllouNeed”，首次提出了架構(gòu)，該架構(gòu)成為后續(xù)人工智能大模型構(gòu)建的基礎(chǔ)。2018年11月，Google提NLPSQuADGLUEBenchmark上得到最高水平評分。20202，GoogleT5text-to-text20225MetaAIOPT-175B20226BigScience176059GPT-320228GLM-130B，使用通用語言模型算法進(jìn)行預(yù)訓(xùn)練。20232，MetaAILLaMA，訓(xùn)練數(shù)7B-65B。20236Baichuan-7B4096。202310ChatGLM3ChatGLM3-6B（32k）CogVLM-17B、以及智能AgentLM202312Qwen-72B、3、LLaMA等主流開源大模型逐漸衍生出其他開源人工智能大模型。 LLaMA 223年2MtaISA7etaAILaMA2，LLaMA140%，LLaMA23LLaMA-7BAlpaca-7B，Alpaca僅供學(xué)術(shù)研究使用，禁止商用。20233LLaMA模型和指令精調(diào)的Alpaca大模型Chinese-LLaMA-Alpaca，進(jìn)一步促進(jìn)大模型在中NLP20233，LMSYSOrgLLaMAVicuna-13BShareGPT20236LLaMA-13BUltraLM-13B20238LLaMA2-70B。 BLOOM 20226，BigScience社區(qū)發(fā)布。20235176B。20235LLaMABELLE。20236模型，發(fā)布自研多模態(tài)大模型igerBot。大數(shù)據(jù)系統(tǒng)計算技術(shù)國家工程實驗室團(tuán)隊正在研發(fā)基于BOOM中文增量訓(xùn)練的中文基礎(chǔ)模型Liny-Chinese-BOOM7B和175B模型量級，可用于商業(yè)場景。全球開源人工智能大模型發(fā)展關(guān)鍵問題開源人工智能大模型開源成熟度訓(xùn)練數(shù)據(jù)四個方面是衡量其開源成熟度的重要評定等級。全球開源人工智能大模型商業(yè)模式基本形態(tài)開源人工智能大模型的商業(yè)模式基本分為兩類： open-core商業(yè)軟件模式open-core的代碼軟件進(jìn)行售賣。在開源人工智能大模型企業(yè)中，企業(yè)開源較低參數(shù)規(guī)模的大模型，并提供較大參數(shù)規(guī)模的付費版本。企業(yè)根據(jù)自身場景和業(yè)務(wù)需求，為客戶定制專屬大模型，并針對部署的定制化版本提供更全面的支持、咨詢、培訓(xùn)和托管服務(wù)。 專業(yè)服務(wù)模式專業(yè)服務(wù)模式由傳統(tǒng)商業(yè)軟件的以“產(chǎn)品”為賣點轉(zhuǎn)向以“服務(wù)”為賣點，是開源商業(yè)公司采用的一種全新的商業(yè)模式。由于開源人工智能大模型一種技術(shù)密集型產(chǎn)品，需要對大模型進(jìn)行持續(xù)維護(hù)、優(yōu)化、迭代升級才能發(fā)揮軟件的最大價值。專業(yè)服務(wù)模式下的開源商業(yè)公司針對免費的開源項目提供收費服務(wù)，如技術(shù)文檔、二次開發(fā)支持、用戶培訓(xùn)等技術(shù)服務(wù)實現(xiàn)盈利。開源人工智能大模型治理開源人工智能大模型的治理分為數(shù)據(jù)治理與模型治理兩部分。在數(shù)據(jù)治理中，開源人工智能大模型關(guān)注數(shù)據(jù)隱私與數(shù)據(jù)安全質(zhì)量。開源人工智能大模型訓(xùn)練數(shù)據(jù)的非法泄露可能會導(dǎo)致敏感信息的暴露，因此確保數(shù)據(jù)隱私的安全成為治理的重要環(huán)節(jié)之一。在開發(fā)和使用過程中，需確保數(shù)據(jù)采集、存儲和處理符合相關(guān)法規(guī)。數(shù)據(jù)的安全質(zhì)量對于開源人工智能大模型同樣重要。為確保數(shù)據(jù)安全質(zhì)量，需關(guān)注數(shù)據(jù)的準(zhǔn)確性、完整性、代表性等，并關(guān)注數(shù)據(jù)偏差和數(shù)據(jù)集的平衡性，避免模型在特定群體或場景下產(chǎn)生不公平偏見。高質(zhì)量的數(shù)據(jù)能為模型提供更好的基礎(chǔ)，從而使其在實際應(yīng)用中發(fā)揮更大的價值。在模型治理中，應(yīng)注重開源協(xié)議使用與模型倫理道德問題。開源協(xié)議通過明確規(guī)定開源項目的使用、修改和分發(fā)方式，為企業(yè)和用戶提供了一定程度的保障。開源許可證保障了開源大模型的自由使用和共享，促進(jìn)了創(chuàng)新和協(xié)作，同時也為開源大模型的作者和用戶提供了一定的法律保護(hù)。目前，部分開源人工智能大模型使用常用的許可協(xié)議如Apache許可證等，同時部分模型采用自己定義的許可證。開源人工智能大模型的開發(fā)和應(yīng)用還需關(guān)注倫理道德問題。這包括確保模型的公平性、透明度和可解釋性，避免歧視性結(jié)果，評估和管理模型可能帶來的社會影響。此外，還需關(guān)注模型在特定領(lǐng)域的合規(guī)性和符合道德標(biāo)準(zhǔn)的使用，以確保技術(shù)的正面推動作用。我國開源人工智能大模型發(fā)展洞察開源人工智能大模型開源程度統(tǒng)計在入選本次案例集的大模型中，模型框架開源的企業(yè)占比為100%，模型代碼開源的企業(yè)100100%。在本次調(diào)研的所有開源大模型中，用戶均22方便用戶對模型進(jìn)行微調(diào)和二次開發(fā)。同時，部分大模型對外公布其訓(xùn)練細(xì)節(jié)，方便用戶研究大模型訓(xùn)練過程以及進(jìn)行模型繼續(xù)訓(xùn)練。開源人工智能大模型商業(yè)落地情況制造業(yè)、企業(yè)服務(wù)等多個場景，其中，應(yīng)用于金融、企業(yè)服務(wù)、制造業(yè)和法律領(lǐng)域的大模型在本次調(diào)研中占比超過30%。在金融領(lǐng)域中，部分開源大模型已經(jīng)應(yīng)用于智能客服、智能運營、智能辦公等場景，通過智能客服與用戶進(jìn)行多輪對話，提出具體的、可行的解決方案，同時通過開源人工智能大模型生成廣告和營銷內(nèi)容，提升營銷效率，運用開源人工智能大模型了解國內(nèi)在法律領(lǐng)域中，應(yīng)用開源大模型提供全流程智能輔助辦案應(yīng)用，對法律案件進(jìn)行拆解、提取關(guān)鍵事件，構(gòu)建智能審查、量刑預(yù)測、文書生成、自動編目、筆錄生成等業(yè)務(wù)能力，通過智能技術(shù)輔助辦案人員的常規(guī)工作，實現(xiàn)案件分析速度的提升。在企業(yè)服務(wù)中，開源人工智能大模型實現(xiàn)并提供智能化的解決方案，從而提高經(jīng)營決策水平和業(yè)務(wù)運營效率，賦能企業(yè)構(gòu)建高度自動化與智能化的企業(yè)知識庫，并進(jìn)行企業(yè)相關(guān)文檔的摘要、總結(jié)、溯源。在制造業(yè)領(lǐng)域，開源人工智能大模型已應(yīng)用于產(chǎn)線運營效率環(huán)節(jié)，如產(chǎn)品設(shè)計研發(fā)、質(zhì)量控制檢測、供應(yīng)鏈管理、安全生產(chǎn)等。開源人工智能大模型基礎(chǔ)配套設(shè)施建設(shè)情況伴隨開源人工智能大模型的發(fā)展，數(shù)據(jù)平臺、大模型開發(fā)工具、大模型訓(xùn)練部署平臺與向量數(shù)據(jù)庫等基礎(chǔ)配套設(shè)施的開源生態(tài)不斷完善。開源數(shù)據(jù)平臺使用門檻較低，相比傳統(tǒng)數(shù)據(jù)服務(wù)，具有顯著的成本優(yōu)勢。開源訓(xùn)練平臺用戶能夠最大限度地提高人工智能部署的效率，同時大幅降低成本。開源向量數(shù)據(jù)庫由于其開源開放特性，在性能、擴(kuò)展能力和功能方面具有優(yōu)勢，開源向量數(shù)據(jù)庫具有較快的數(shù)據(jù)查詢速度和更高的壓縮比率，同時具有更強(qiáng)大的擴(kuò)展能力。大模型開源開發(fā)工具降低了個人用戶和中小企業(yè)的開發(fā)難度，目前國內(nèi)部分大模型開源開發(fā)工具用戶已超萬人。大模型開源訓(xùn)練部署平臺能夠靈活部署，從數(shù)據(jù)管理、模型開發(fā)、訓(xùn)練管理、模型管理全鏈路功能開放透明，方便用戶學(xué)習(xí)。開源人工智能人工智能大模型優(yōu)勢與不足優(yōu)勢在本次調(diào)研的開源人工智能大模型中，部分模型在開源模型測評榜單中位居前列，部分開源模型能力已領(lǐng)先在邏輯推理、幻覺感知等方面有高的精度，配套生態(tài)豐富，可以支持行業(yè)模型應(yīng)用。開源人工智能大模型有效降低用戶使用門檻，方便用戶訓(xùn)練、微調(diào)并使人工智能大模型。不足通過調(diào)研，目前國內(nèi)開源人工智能大模型數(shù)量較閉源人工智能大模型仍有差距，模型在多模型應(yīng)用創(chuàng)新落地能力仍有提升空間。目前國內(nèi)外基于大模型的應(yīng)用多停留在基礎(chǔ)階段，應(yīng)不斷提升開源大模型能力，為用戶帶來便捷、可靠、高效、個性化的產(chǎn)品。開源人工智能大模型安全風(fēng)險與合規(guī)情況在本次調(diào)研的開源人工智能大模型中，通過強(qiáng)化數(shù)據(jù)安全與保障模型安全以提升模型合規(guī)能力。通過數(shù)據(jù)安全與模型安全，已初步構(gòu)建開源人工智能大模型安全保障防線。在數(shù)據(jù)安全方面，部分企業(yè)構(gòu)建數(shù)據(jù)安全標(biāo)注團(tuán)隊，標(biāo)注并審核安全與合規(guī)相關(guān)的微調(diào)數(shù)據(jù)，通過從應(yīng)用到數(shù)據(jù)、框架、基礎(chǔ)設(shè)施以及整個的合規(guī)體系的建設(shè)，以及關(guān)注數(shù)據(jù)投喂帶來的價值偏見、隱私泄露、數(shù)據(jù)污染、訓(xùn)練數(shù)據(jù)固有偏見導(dǎo)致模型產(chǎn)生偏見內(nèi)容等問題。在模型安全方面，企業(yè)建立安全一系列策略，如訓(xùn)練基于安全和合規(guī)的獎勵模型，通過RLHF用戶輸入的問題以及模型生成的答案進(jìn)行審核，注重算法安全，針對涉底線的相關(guān)問題搭建了分類檢測模型。開源人工智能大模型未來發(fā)展展望模型能力提升。堅持模型規(guī)模和數(shù)據(jù)規(guī)模的提升，不斷提升基礎(chǔ)模型的智能水平，打造結(jié)合大模型的AI系統(tǒng)，讓AI具備聽說看等基礎(chǔ)能力，持續(xù)探索大模型具身智能，支持智能感知認(rèn)知決策，實現(xiàn)和真實世界的交互。加快行業(yè)應(yīng)用落地AI優(yōu)化模型邏輯，貼合真實場景需求，就多個細(xì)分領(lǐng)域結(jié)合專業(yè)數(shù)據(jù)訓(xùn)練細(xì)分領(lǐng)域模型，以便更好的應(yīng)用于細(xì)分場景。加強(qiáng)開源配套設(shè)施建設(shè)。通過加強(qiáng)開源數(shù)據(jù)平臺、大模型開發(fā)工具、大模型訓(xùn)練部署平臺與向量數(shù)據(jù)庫等基礎(chǔ)配套設(shè)施建設(shè)，降低人工智能大模型使用門檻，實現(xiàn)專家級虛擬助手，顛覆傳統(tǒng)開發(fā)方式、成為工作加速器，持續(xù)繁榮開源人工智能大模型生態(tài)?？尚砰_源大模型產(chǎn)業(yè)推進(jìn)方陣相關(guān)工作已開展工作中國信通院可信開源大模型產(chǎn)業(yè)推進(jìn)方陣成立2023921日，由中國信息通信研究院和中國通信標(biāo)準(zhǔn)化協(xié)會聯(lián)合主辦的“2023OSCARTWOS下設(shè)的可信開源大模型產(chǎn)業(yè)推進(jìn)方陣旨在聚集開源大模型相關(guān)企業(yè)和人才，探討開源大模型的治理、商業(yè)化模式等熱點問題，并提供大模型生態(tài)賦能。 可信開源大模型案例集信開源大模型案例匯編（第一期）》案例征集計劃。案例旨在促進(jìn)大中小企業(yè)融通，擴(kuò)展開源人工智能大模型、行業(yè)大模型服務(wù)千行百業(yè)的應(yīng)用場景，提升企業(yè)應(yīng)用開源大模型實現(xiàn)專精特新發(fā)展。后續(xù)計劃大模型案例大模型案例ChatGLMChatGLM大模型開源大模型概述2019AI2023了多款模型，它們具有不同的能力，開發(fā)者可以對這些模型進(jìn)行使用和定制。Token數(shù)代表了模型支持的總Token數(shù)量，包括了輸入+輸出的所有token。同時，Token數(shù)不代表用戶輸入字符的數(shù)量。在我們的模型中，一個token約等于1.8個漢字。Chat模型下表為智譜AI開源的語言模型列表模型介紹上下文token數(shù)代碼鏈接模型權(quán)重下載鏈接ChatGLM3-6B8KChatGLM3ChatGLM3-6B-base第三代ChatGLM基座模型。ChatGLM3-6B-Base采用了更多樣的訓(xùn)練數(shù)據(jù)、更充分的訓(xùn)練步數(shù)和更合理的訓(xùn)練策略。在語義、數(shù)學(xué)、推理、代碼、知識等不同角度的數(shù)據(jù)集上測評顯示，ChatGLM3-6B-Base具有在10B以下的基礎(chǔ)模型中最強(qiáng)的性能。8KChatGLM3-6B-32k第三代ChatGLM長上下文對話模型。在ChatGLM3-6B的基礎(chǔ)上進(jìn)一步強(qiáng)化了對于長文本的理解能力，能夠更好的處理最多32K長度的上下文。8KChatGLM2-6B8KChatGLM2ChatGLM2-6B-int4ChatGLM2-6B的int4量化版本，具備最小5.1GB顯存即可運行。INT4量化下，6G顯存支持的對話長度由1K提升到了8K。8KChatGLM2-6B-32k32KChatGLM2-6B-32k-int432KChatGLM-6B2KChatGLMChatGLM-6B-int4ChatGLM-6B的Int4版本。最低只需6GB顯存即可部署，最低只需7GB顯存即可啟動微調(diào)（P-Tuningv2）2KChatGLM-6B-int8ChatGLM-6B的Int8版本2KAgentLM-7B我們提出了一種AgentTuning的方法4KAgentTuningHuggingfaceRepoAgentLM-13B我們開源了包含1866個高質(zhì)量交互、6個多樣化的真實場景任務(wù)的Agent數(shù)據(jù)集AgentInstruct4KHuggingfaceRepoAgentLM-70B基于上述方法和數(shù)據(jù)集，我們利用Llama2微調(diào)了具備超強(qiáng)Agent能力的AgentLM-7B、AgentLM-13B、AgentLM-70B。8KHuggingfaceRepo多模態(tài)模型智譜AI致力于推動多模態(tài)模型的發(fā)展，因此，我們推出了具有視覺和語言雙模態(tài)的模型。模型介紹代碼鏈接模型下載CogVLM-17B智譜AI最新的，強(qiáng)大的開源視覺語言模型（VLM）?；趯σ曈X和語言信息之間融合的理解，CogVLM可NLPCogVLM-17B是目前多模態(tài)權(quán)威學(xué)術(shù)榜單上綜合成績第一的模型，在14個數(shù)據(jù)集上取得了state-of-the-art或者第二名的成績。CogVLMVisualglm-6BVisuaGLMRDMRDM代碼模型模型介紹代碼鏈接模型下載CodeGeeX2-6BCodeGeeX2CodeGeeX2-6B-int4CodeGeeX2的量化版本CodeGeeX-13BCodeGeeXCodeGeeX下載其他模型我們還開源了以下模型，以便用戶使用我們多元化的產(chǎn)品。MathGLM-2BMathGLMTHU-CloudMathGLM-SOOMMathGLM-100MMathGLM-10MMathGLM-LargeMathGLM-1OBTHU-CloudsameMathGLM-ChatGLM-6BTHU-CloudMathGLM-ChatGLM2-6B開源大模型發(fā)布時間歷程開源大模型信息問題列表 具體內(nèi)容項目地址G/THUDMGitHubStar 開源許可/THUDM/ChatGLM3/blob/main/MODEL_LICENSE模型大小6B問題列表 具體內(nèi)容參數(shù)規(guī)模6BToken數(shù)量2k，8k，32k已上線的社區(qū)及鏈接參考格式：Hugging鏈接）、GitHub（鏈接）https:/githubcom/THUDM，https:/huggingacco/THUDM參加基準(zhǔn)測試名稱及分?jǐn)?shù)參考格式：CLUE（得分/滿分）、ModelScope（得分/滿分）開源大模型的特點ChatGLM3是智譜AI和清華大學(xué)KEG實驗室聯(lián)合發(fā)布的新一代對話預(yù)訓(xùn)練模型。ChatGLM3-6BChatGLM3ChatGLM3-6BChatGLM3-6B的基礎(chǔ)模型ChatGLM3-6B-BaseChatGLM3-6B-Base10BChatGLM3-6BPrompt時原生支持工具調(diào)用（FunctionCall）、代碼執(zhí)行（CodeInterpreter）Agent更全面的開源序列：除了對話模型ChatGLM3-6B外，還開源了基礎(chǔ)模型Base、長文本對話模型ChatGM3-6B-32K。以上所有權(quán)重對學(xué)術(shù)研究完全開放，在填寫問卷進(jìn)行登記后亦允許免費商業(yè)使用。通義千問大模型通義千問大模型開源大模型概述模型名稱：Qwen(通義千問）系列，其中包括大語言模型Qwen，大視覺語言模型Qwen-VL，大語音模型Qwen-Audio所屬機(jī)構(gòu)名稱：阿里巴巴集團(tuán)支持語言種類：本系列模型支持多種語言，但以中英為主，經(jīng)測試，模型在法德意西等歐洲語言，日韓等亞洲語言表現(xiàn)良好。上線配套工具包括：API服務(wù)ahScope，網(wǎng)頁端服務(wù)通義千問，PP服務(wù)通義千問，插件包括VSCode類別：通用，場景不限開源大模型發(fā)布時間歷程Qwen-7B:8，9Qwen-VL:8，9Qwen-14B:9Qwen-72B:1111開源大模型落地案例及開源商業(yè)化進(jìn)程Qwen自開源以來，廣泛在阿里巴巴集團(tuán)內(nèi)外落地，幫助集團(tuán)內(nèi)外上百個業(yè)務(wù)落地，支持了淘寶、（許多客戶名稱暫不透露Qwen實現(xiàn)教育領(lǐng)域?qū)俅竽Ｐ椭呛Ｈ龢?，以及有鹿機(jī)器人使用Qwen落地于清潔機(jī)器人等。開源大模型信息問題列表 具體內(nèi)容項目地址/QwenLMGitHubStar數(shù)量8K+開源許可見GitHub項目License模型大小7B/14B參數(shù)規(guī)模70/140億Token數(shù)量2.4T/3T所用算力512A100/1024A100單次訓(xùn)練時長10/15天用戶規(guī)模20000+內(nèi)外部貢獻(xiàn)者比例60%/40%已上線的社區(qū)及鏈接GitHub:/QwenLMHuggingace:ModelScope:/organization/qwen參加基準(zhǔn)測試名稱及分?jǐn)?shù)OpenCompass:62.4/100OpenLLMLeaderboard:60.07/100ChatbotArena:1030/1210開源大模型數(shù)據(jù)集來源edpajamapile開源大模型的特點Qwen在多項基礎(chǔ)能力測評領(lǐng)先同規(guī)模甚至更大規(guī)模的其他語言模型，并且中文能力遠(yuǎn)超諸如LlamaQwenAgent能力。大模型幻覺問題解決方案；2.并增大預(yù)訓(xùn)練數(shù)據(jù)量，模型能力的提升能實現(xiàn)幻覺水平的降低；3.結(jié)合搜索增強(qiáng)以及知識庫等方法，提升生成信息的準(zhǔn)確性。開源大模型安全與合規(guī)治理優(yōu)化預(yù)訓(xùn)練數(shù)據(jù)質(zhì)量，使用規(guī)則加模型的方法過濾大量不良信息；2.相關(guān)的微調(diào)數(shù)據(jù)，讓模型學(xué)習(xí)正確的價值觀；3.訓(xùn)練基于安全和合規(guī)的獎勵模型，以提升生成模型的安全水位。開源大模型未來發(fā)展規(guī)劃；2.造結(jié)合大模型的AIAI并打造行業(yè)應(yīng)用大模型。紫東太初大模型紫東太初大模型開源大模型概述模型名稱：紫東太初2.0所屬機(jī)構(gòu)：中國科學(xué)院自動化研究所支持語言：中英平臺：“紫東太初.0”是武漢人工智能研究院聯(lián)合中科院自動化所、華為，基于昇騰AI，在全球首個圖文音三模態(tài)大模型“紫東太初”基礎(chǔ)上，利用昇思AI框架全新升級，推出的新一代大模型，從三模態(tài)走向全模態(tài)，打造中國通用AI代碼生成、數(shù)學(xué)計算……，“紫東太初2.0”以更強(qiáng)的認(rèn)知、理解、創(chuàng)作能力，帶來全新互動體驗，推動萬物互聯(lián)走向萬物共生，向通用人工智能的目標(biāo)更進(jìn)一步。開源大模型發(fā)布時間歷程0820能力；202020219向發(fā)展通用人工智能邁出了堅實的第一步。以此為基礎(chǔ)，“紫東太初”大模型的多模態(tài)探索仍在持續(xù)深入。邁入數(shù)字經(jīng)濟(jì)時代，數(shù)據(jù)的范疇不針對新需求與新趨勢2.03D從技術(shù)架構(gòu)上實現(xiàn)了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的全模態(tài)開放式接入；突破了能對信息進(jìn)行充分理解和靈活生成的多模態(tài)分組認(rèn)知編解碼技術(shù)，能融合多個任務(wù)的認(rèn)知增強(qiáng)多模態(tài)關(guān)聯(lián)技術(shù)等，大模型多模態(tài)認(rèn)知能力大幅提升?！白蠔|太初”2.0可以理解三維場景、信號等數(shù)字物聯(lián)時代的重要信息，完成了音樂、圖片和視頻等數(shù)據(jù)之間的跨模態(tài)對齊，能夠處理音樂視頻分析、三維導(dǎo)航等多模態(tài)關(guān)聯(lián)應(yīng)用需求，并可實現(xiàn)音樂、視頻等.0到2.0使人工智能進(jìn)一步感知世界、認(rèn)知世界，從而延伸出更加強(qiáng)大的通用能力。開源大模型落地案例及開源商業(yè)化進(jìn)程紫東太初行業(yè)大模型應(yīng)用案例（1）法律行業(yè)大模型案例法律法規(guī)、案卷材料等法律相關(guān)數(shù)據(jù)，經(jīng)過清洗、標(biāo)注、分析后，“投喂”給“紫東太初”大模型完成預(yù)訓(xùn)練，再將模型輸出的結(jié)果，經(jīng)法律專業(yè)人士審核，進(jìn)一步強(qiáng)化模型能力，從而實現(xiàn)通用大模型在專業(yè)領(lǐng)域“說”專業(yè)語言。經(jīng)過訓(xùn)練，“紫東太初”大模型可對法律案件進(jìn)行拆解、提取關(guān)鍵事件，在辦公效率方面，實現(xiàn)案件分析速度的百倍提升。（2）政務(wù)行業(yè)大模型案例基于光谷政務(wù)服務(wù)業(yè)務(wù)需求，結(jié)合紫東太初大模型基座能力，訓(xùn)練招才政務(wù)大模型。未來將擔(dān)任已經(jīng)在光谷或意向來光谷的人才智能助手，充當(dāng)人才的24330%以上。基于紫東太初大模型開放服務(wù)平臺打造醫(yī)療行業(yè)大模型，實現(xiàn)數(shù)據(jù)智能標(biāo)注、高效模型訓(xùn)練、模型//l規(guī)格復(fù)雜、數(shù)量繁多，清點復(fù)核耗時長，且嚴(yán)重依賴人工清點，出錯率高，正常單人單次清點需花費2小時以上，經(jīng)實際評估，使用本大模型結(jié)合視覺能力，可實現(xiàn)5分鐘每臺手術(shù)的器材清點，人效提升697%以上?；谧蠔|太初大模型打造醫(yī)療行業(yè)科研大模型，分析數(shù)千萬量級文獻(xiàn)，結(jié)合持續(xù)更新的臨床數(shù)據(jù)和試驗數(shù)據(jù)，梳理文獻(xiàn)中的文本、數(shù)據(jù)、圖片等多模態(tài)融合數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，結(jié)合專業(yè)醫(yī)學(xué)教授沉淀的經(jīng)驗進(jìn)行指令微調(diào)和反饋，大模型進(jìn)行持續(xù)的行業(yè)強(qiáng)化學(xué)習(xí)，可完成精準(zhǔn)的多模態(tài)信息的結(jié)構(gòu)化抽取和文3099以上，大幅減輕醫(yī)療科研工作者效率，后期，將拓展模型主動科研探索能力，真正助力醫(yī)療科研走上新的臺階。開源大模型信息問題列表 具體內(nèi)容項目地址大模型體驗地址：中文高質(zhì)量開源數(shù)據(jù)集https://huggingface.co/datasets/CASIA-LM/ChineseWebText大模型數(shù)據(jù)處理開源代碼：/CASIA-LM/ChineseWebText參數(shù)規(guī)模百億/千億開源大模型數(shù)據(jù)集來源數(shù)據(jù)源含公開數(shù)據(jù)集、自采數(shù)據(jù)集、行業(yè)數(shù)據(jù)集等。已開源高質(zhì)量數(shù)據(jù)集：https://huggingacco/datasets/CASIA-LM/Chineseeext開源大模型的特點全模態(tài)大模型：紫東太初的“全模態(tài)”原生學(xué)習(xí)能力更強(qiáng)。語言能力出眾：在邏輯推理、幻覺感知等方面有高的精度。模型配套生態(tài)豐富：可以支持行業(yè)模型應(yīng)用。全棧國產(chǎn)化：符合信創(chuàng)標(biāo)準(zhǔn)，是第一個通過可信測試的大模型。大模型幻覺問題解決方案利用知識增強(qiáng)在模型幻覺和精準(zhǔn)問答之間取得平衡。開源大模型安全與合規(guī)治理大模型需要滿足3個關(guān)鍵需求：一是安全可控，包括內(nèi)容安全和算法安全；二是場景驅(qū)動，要在能保護(hù)用戶的專有數(shù)據(jù)，建立私有云平臺，保障客戶的數(shù)據(jù)安全。開源大模型未來發(fā)展規(guī)劃持續(xù)研究大模型工作機(jī)理。加快行業(yè)應(yīng)用落地，以大模型推動AI行業(yè)升級，革新內(nèi)容生產(chǎn)模式、全自然交互完成任務(wù)、實現(xiàn)專家級虛擬助手、顛覆傳統(tǒng)手工編程方式、成為工作加速器。持續(xù)探索大模型具身智能，支持智能感知認(rèn)知決策。Baichuan大模型Baichuan大模型開源大模型概述百川智能共發(fā)布Baichuan-7B/13B，Baichuan2-7B/13B四款開源可免費商用大模型，一款Baichuan2-192K8學(xué)術(shù)機(jī)構(gòu)、開發(fā)者和企業(yè)用戶。其中Baichuan2-192K適用于傳媒、金融、法律等具體場景，不久后將全面開放。開源大模型發(fā)布時間歷程百川智能2023年6月15日發(fā)布國內(nèi)首款開源可免費商用70億參數(shù)量大語言模型Baichuan-7B；711日發(fā)布參數(shù)量130億的大語言模型Baichuan-13B-Base、對話模型Baichuan-13B-Chat；96Baichuan2-7B/13B,1030Baichuan2-192k；2023Q47B13B開源大模型落地案例及開源商業(yè)化進(jìn)程有超過上百家企業(yè)已申請百川大模型開源商用授權(quán)，并已將百川模型投入實際生產(chǎn)場景。企業(yè)涵蓋互聯(lián)網(wǎng)、軟件和信息技術(shù)、金融、法律、教育、制造業(yè)、企業(yè)服務(wù)等眾多領(lǐng)域，合作伙伴群體仍在持續(xù)擴(kuò)大。開源大模型信息問題列表 具體內(nèi)容項目地址GitHubStar2.9k開源許可免費可商用模型大小13B參數(shù)規(guī)模13B附帶歷史消息數(shù)4ktokenToken數(shù)量2.6T所用算力1000A800單次訓(xùn)練時長15用戶規(guī)模內(nèi)外部貢獻(xiàn)者比例完全內(nèi)部已上線的社區(qū)及鏈接GitHub（/baichuan-inc/Baichuan2）參加基準(zhǔn)測試名稱及分?jǐn)?shù)https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat開源大模型的特點百川智能公司在人工智能領(lǐng)域有著深厚的技術(shù)功底和豐富經(jīng)驗，其開源模型能力全面領(lǐng)先LLaMA2，且大幅優(yōu)于同尺寸競品，奠定了中國大模型開源生態(tài)在國際上的引領(lǐng)趨勢。大模型幻覺問題解決方案百川大模型將搜索技術(shù)與大語言模型能力相結(jié)合，實現(xiàn)創(chuàng)新性的性能優(yōu)化與改進(jìn)。確保模型推理有合適的互聯(lián)網(wǎng)內(nèi)容做參考,在時效性和知識的正確性層面進(jìn)行搜索增強(qiáng)，大大減輕模型幻覺問題，實現(xiàn)國內(nèi)全行業(yè)幻覺處理最優(yōu)。開源大模型安全與合規(guī)治理百川智能致力于通過有效的內(nèi)容安全策略打造符合我國社會主義價值觀的大模型，通過從應(yīng)用到數(shù)訓(xùn)練數(shù)據(jù)固有偏見導(dǎo)致模型產(chǎn)生偏見內(nèi)容等問題。開源大模型未來發(fā)展規(guī)劃應(yīng)用四個方向：一是助理超級應(yīng)用提供更全面、個性化的服務(wù)；二是醫(yī)療助手成為輔助診療工具和每個人的家庭醫(yī)生；三是開放世界成為游戲娛樂行業(yè)的生產(chǎn)力工具；四是行業(yè)專業(yè)大模型通過提供定制化的大模型落地應(yīng)用方案。DataCanvasAlaya九章元識大模型DataCanvasAlaya九章元識大模型開源大模型概述模型名稱：DataCanvasAlaya九章元識大模型所屬機(jī)構(gòu)名稱：北京九章云極科技有限公司模型支持的語言種類和數(shù)量：萬億Token中英文訓(xùn)練，訓(xùn)練中英文比例1:2配套工具（平臺、插件、APP）：Alaya-7B已經(jīng)在GitHub進(jìn)行開源。其工具鏈模型運行工具和提示詞管理器已經(jīng)上線，并在GitHub進(jìn)行開源。模型所屬的類別：通用面向的具體領(lǐng)域和場景：銀行業(yè)，智能數(shù)倉管理、NL2SQL、文檔關(guān)鍵信息提取；制造業(yè)，領(lǐng)域知智能輔助助手、角色扮演語言練習(xí)搭檔開源大模型發(fā)布時間歷程2023年6月30日，正式發(fā)布通識大模型DataCanvasAlaya九章元識大模型；20231121Alaya-7BAlaya-7BChat開源大模型落地案例及開源商業(yè)化進(jìn)程ataCaasla九章元識大模型與DingoDB多模向量數(shù)據(jù)庫聯(lián)合打造了企業(yè)知識管家解決方案，已在金融、制造等多個領(lǐng)域進(jìn)行商業(yè)化落地，賦能企業(yè)構(gòu)建高度自動化與智能化的企業(yè)知識庫，加速多模態(tài)大模型落地應(yīng)用。開源大模型信息問題列表 具體內(nèi)容項目地址/DataCanvasIO/AlayaGitHubStar22開源許可Apache2.0模型大小7B參數(shù)規(guī)模70億參數(shù)量級Token數(shù)量1.5T+所用算力在A800集群上（504卡）已上線的社區(qū)及鏈接GitHub（/DataCanvasIO/Alaya）參加基準(zhǔn)測試名稱及分?jǐn)?shù)中文榜C-Eval（100/65.9）英文榜MMLU(100/73.07)開源大模型數(shù)據(jù)集來源自研高品質(zhì)SFT數(shù)據(jù)集(500k+條數(shù)據(jù))，覆蓋多領(lǐng)域、多形式、多情景。不對外公開。開源大模型的特點1、“白盒”大模型為用戶提供更大自由度市場上的很多大模型都是“黑盒”，雖然在一定程度上開源了算法和架構(gòu)，允許用戶在上面進(jìn)行訓(xùn)練，但是仍然受到諸多限制。比如，雖然允許用戶使用該大模型，但是不能做微調(diào)，或者不允許用戶做一些自己特有的商業(yè)化應(yīng)用。la九章元識大模型是全面開源且license友好的“白盒”大模型，遵循Apache2.0license，2、“多模態(tài)”是必要前提，更是創(chuàng)新的手段la九章元識大模型不僅可以支持文本、圖像，還能支持時序數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等。九章云極ataCas在自然語言的理解、文生圖、代碼生成等是大模型應(yīng)用得比較好的領(lǐng)域有很多已經(jīng)落地的成功案例。3、新的模型訓(xùn)練機(jī)制，降本增效la九章元識大模型采用了新的ttenton機(jī)制，不僅可以降低算力的消耗，而且在訓(xùn)練前與訓(xùn)練后，能夠針對多模態(tài)實現(xiàn)有效的數(shù)據(jù)對齊。這是九章云極ataCaas獨有的技術(shù)，在訓(xùn)練時能夠很好地容納多模態(tài)這樣一種訓(xùn)練方式。4、系列模型矩陣，更好地滿足“通識+產(chǎn)業(yè)”的需求la九章元識大模型不是一個大模型，而是一系列大模型，模型參數(shù)由小到大，覆蓋從通識到垂直行業(yè)，能夠更好地滿足用戶多樣化的需求。九章云極ataCaas正式開源大模型矩陣中l(wèi)a7BFoundationModelAlaya-7BChatModelLLMOpsLMSLMPM提示詞管理器兩大工具，能夠有效地推動大模型在各類行業(yè)場景的實際應(yīng)用。開源大模型安全與合規(guī)治理1、Alaya九章元識大模型是“白盒”模式，用戶使用過程中可以實現(xiàn)“known-how”;2、積極在網(wǎng)信辦相關(guān)部門進(jìn)行大模型以及算法備案工作。從算法層面以及產(chǎn)品底層邏輯層面符合國家合規(guī)要求;TigerBot大模型TigerBot大模型開源大模型概述模型名稱：TigerBot所屬機(jī)構(gòu)名稱：虎博網(wǎng)絡(luò)技術(shù)（上海）有限公司模型支持的語言種類和數(shù)量：支持中文和英文兩個語種上線配套工具：app已在內(nèi)測中模型所屬類別及具體領(lǐng)域和場景：通用領(lǐng)域開源大模型發(fā)布時間歷程8/21/2023:TigerBot7b13bbase/chat9/06/2023:TigerBot70bbase/chatv19/25/2023：TigerBotv2TigerBot-70b-chatv3Tigerbot-13b-chat9/26/2023:TigerBotv3TigerBot-70b-chatv4Tigerbot-13b-chatTigerBot-70b開源大模型落地案例及開源商業(yè)化進(jìn)程虎博ierBot大模型商業(yè)化路徑包括私有化部署及API調(diào)用兩種形式。10月份合計簽約客戶數(shù)200現(xiàn)形式包括：基于說明書、文檔、攻略、研報的智能問答；領(lǐng)域內(nèi)外文檔的摘要、總結(jié)、溯源；海外NPC感知、記憶、反饋與行動等。10API4開源大模型信息問題列表 具體內(nèi)容項目地址/TigerResearch/TigerBotGitHubStar1.9k開源許可Apache-2.0license模型大小7b、13b、70b、180b參數(shù)規(guī)模7b、13b、70b、180bToken數(shù)量訓(xùn)練數(shù)據(jù)300billiontokens所用算力1000A100Gpus單次訓(xùn)練時長兩周用戶規(guī)模兩萬內(nèi)外部貢獻(xiàn)者比例6:1已上線的社區(qū)及鏈接Github:/TigerResearch/TigerBotHuggingface:https://huggingface.co/TigerResearchModelScope:https:///organization/TigerResearch參加基準(zhǔn)測試名稱及分?jǐn)?shù)不同size模型得分見鏈接：/TigerResearch/TigerBot/blob/main/image/eval_chat_0925.png開源大模型數(shù)據(jù)集來源公司使用了悟道、百度百科、知乎、openwebtext、arxiv等數(shù)據(jù)作為預(yù)訓(xùn)練預(yù)料開源大模型的特點在Llama-2-70b的基礎(chǔ)上繼續(xù)預(yù)訓(xùn)練，模型綜合能力在mmlu等10項主流基準(zhǔn)測試中，優(yōu)于Llama-2-70b，達(dá)到業(yè)內(nèi)SOTA；1300billiontokens2GQA,flash-attn,RoPE，holistic-training3、訓(xùn)練采用了tensor/pipeline-partition技術(shù)，計算效率達(dá)到Llama-2paper中報告的SOTA;Tigerbot-70b-chat:Tigerbot-70b-base20Msft，10Kgoldsetrejection-sampling大模型幻覺問題解決方案改進(jìn)訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性，確保數(shù)據(jù)覆蓋廣泛且質(zhì)量高，避免模型在不熟悉的數(shù)據(jù)中產(chǎn)生幻覺。通過改進(jìn)訓(xùn)練算法增強(qiáng)模型的理解推理能力增加監(jiān)管和過濾，避免模型生成有害和誤導(dǎo)性內(nèi)容。利用外部數(shù)據(jù)源或者專家審查來確保模型輸出的準(zhǔn)確性開源大模型安全與合規(guī)治理1、盡可能使用干凈的的訓(xùn)練語料，并通過機(jī)器+人工的模式進(jìn)行了部分語料的清洗和標(biāo)注，不斷99%2、建立關(guān)鍵詞庫并不斷優(yōu)化擴(kuò)充，目前已達(dá)到十萬量級。3、公司搭建了內(nèi)容審核團(tuán)隊，采用機(jī)審+人審的模式對用戶輸入的問題以及模型生成的答案進(jìn)行審核，針對涉底線的相關(guān)問題搭建了分類檢測模型。此外，公司與頭部內(nèi)容審核供應(yīng)商建立合作關(guān)系，雙重保障大模型的安全合規(guī)。開源大模型未來發(fā)展規(guī)劃模型上線后將主要服務(wù)于生成式AIbcTigerBotcchatgpt（需要海外用戶的交互反饋capp24ChatLaw大模型ChatLaw大模型開源大模型概述模型名稱：ChatLaw支持語言：中文配套工具平臺：網(wǎng)頁所屬類別：法律垂直領(lǐng)域場景：提供法律問答咨詢、法條與類案參考、文書生成等，為法律相關(guān)行業(yè)提供降本增效的輔助工具，為法律需求當(dāng)事人提供可信便捷的專業(yè)領(lǐng)域知識信息與法律意見參考。開源大模型發(fā)布時間歷程2023年7月初發(fā)布GitHub開源版本，同時開放部分功能內(nèi)測；開源大模型落地案例及開源商業(yè)化進(jìn)程目前主要與律師事務(wù)所、司法機(jī)關(guān)、行業(yè)內(nèi)傳統(tǒng)AI科技公司等達(dá)成合作，根據(jù)專業(yè)領(lǐng)域具體細(xì)分需求升級模型、開發(fā)產(chǎn)品等，以便更滿足行業(yè)需求。開源的基礎(chǔ)模型即將上線海內(nèi)外多個開發(fā)者平臺，如百度千帆等，以便支持開發(fā)者更方便的調(diào)用與開發(fā)。開源大模型信息問題列表 具體內(nèi)容項目地址/PKU-YuanGroup/ChatLawGitHubStar5.4k開源許可AGPL-3.0模型大小13B，33B參數(shù)規(guī)模13B，33B附帶歷史消息數(shù)4kToken數(shù)量4k用戶規(guī)模百萬級內(nèi)外部貢獻(xiàn)者比例9：1已上線的社區(qū)及鏈接https://huggingface.co/JessyTsu1/ChatLaw-13B、/PKU-YuanGroup/ChatLaw開源大模型數(shù)據(jù)集來源裁判文書網(wǎng)中國法律服務(wù)網(wǎng)非公開部分：私有法律數(shù)據(jù)庫不可公開開源大模型的特點ChatLw在國產(chǎn)法律領(lǐng)域取得了數(shù)據(jù)及模型上的領(lǐng)先。在技術(shù)方面，有成熟的法律檢索模型，推理基座模型，以及多個法律子任務(wù)子領(lǐng)域模型；在數(shù)據(jù)方面，有大量公開或半公開訓(xùn)練數(shù)據(jù)，以及高質(zhì)量專家標(biāo)注數(shù)據(jù)。大模型幻覺問題解決方案RAG框架，根據(jù)相關(guān)法律知識及法條法規(guī)作為邏輯上對幻覺的約束；根據(jù)使用場景下的證據(jù)材料作為事實對幻覺進(jìn)行約束。其次，通過不斷強(qiáng)化基座模型的法律邏輯能力約束幻覺。開源大模型安全與合規(guī)治理通過嚴(yán)格的RLHF對齊大模型的價值觀，約束至符合主流安全規(guī)定。開源大模型未來發(fā)展規(guī)劃優(yōu)化模型法律邏輯，貼合法律真實場景需求；就多個細(xì)分領(lǐng)域結(jié)合專業(yè)數(shù)據(jù)訓(xùn)練細(xì)分領(lǐng)域?qū)＜夷Ｐ?，以便更好的?yīng)用于細(xì)分場景。元象大模型元象大模型開源大模型概述元象大模型XVERSE系列，由元象XVERSE（深圳元象信息科技有限公司）開發(fā)?，F(xiàn)有XVERSE-7B/13B/65B2.6-3.28K/16K，40Github、魔搭、HuggingFace具備工具調(diào)用、代碼解釋、反思修正等能力，為構(gòu)建智能體（AIAgent）奠定技術(shù)基礎(chǔ)，提高模型實用性；顯著緩解幻覺問題，減少大模型“胡說八道”，提高準(zhǔn)確性和專業(yè)度。應(yīng)用領(lǐng)域與場景：在醫(yī)療、教育、文旅、金融和娛樂等多個行業(yè)具有廣闊應(yīng)用前景，也將為元象自身的元宇宙應(yīng)用提供強(qiáng)大技術(shù)支持。開源大模型發(fā)布時間歷程2023-8-7開源130億參數(shù)XVERSE-13B2023-9-26開源70億參數(shù)XVERSE-7B2023-11-6開源650億參數(shù)XVERSE-65B2023-11-6開源130億參數(shù)升級版本XVERSE-13B-2后續(xù)將繼續(xù)對模型進(jìn)行升級迭代，并推出指令精調(diào)的對話版本XVERSE-65B-Chat。開源大模型信息問題列表 具體內(nèi)容項目地址/xverse-aiGitHubStar609開源許可Apache2.0開源協(xié)議模型大小7B/13B/65B參數(shù)規(guī)模70億參數(shù)、130億參數(shù)、650億參數(shù)Token數(shù)量含多輪對話數(shù)據(jù)所用算力千卡算力內(nèi)外部貢獻(xiàn)者比例7:03:00已上線的社區(qū)及鏈接HuggingFace：https://huggingface.co/xverse/xverse-ai參加基準(zhǔn)測試名稱及分?jǐn)?shù)【65B】C-Eval：69.3/CMMLU：69/MMLU：68.2【13B-2】C-Eval：63.5/CMMLU：66.2/開源大模型落地案例及開源商業(yè)化進(jìn)程元象VERSE與騰訊音樂聯(lián)合推出yaVRSE加速大模型，并借助該技術(shù)全面升級音樂助手“AI小琴”的問答、聊天與創(chuàng)作能力，讓她情商與智商雙高，為用戶提供個性化、更深入、陪伴感十足的音樂互動體驗。用戶只需點擊QQAIAI小琴”會根據(jù)用戶的提問、播控習(xí)慣和當(dāng)下心情，提供閑聊、推歌、音樂解讀、詞曲創(chuàng)作等服務(wù)，充當(dāng)全能聽歌陪伴助手。開源大模型的特點【XVERSE-65B創(chuàng)新能力】理解、生成、推理和記憶等基礎(chǔ)能力，到模型的多樣性、創(chuàng)造性和精度表現(xiàn)，從優(yōu)異到強(qiáng)大；擴(kuò)展了工具調(diào)用、代碼解釋、反思修正等能力，為構(gòu)建智能體（AIAgent）奠定技術(shù)基礎(chǔ)，提高模型實用性；顯著緩解7B13B【元象大模型系列關(guān)鍵技術(shù)與研發(fā)創(chuàng)新】●復(fù)雜分布式系統(tǒng)設(shè)計：借鑒團(tuán)隊研發(fā)騰訊圍棋AI“絕藝”、王者榮耀AI“絕悟”等大系統(tǒng)上的58.5%，位居業(yè)界前列。●全面提升性能：6B訓(xùn)練中采用Flashtention2加速計算，3D并行基礎(chǔ)上采用虛擬流水線（virtualpipelne）技術(shù)，降低較長流水線產(chǎn)生過高氣泡率，提升計算推理效率；上下文窗口長度從8K16K，使其不僅能出色完成復(fù)雜任務(wù)，包括長文理解、長文生成和超長對話，還拓展了工具調(diào)用、代碼解釋及反思修正能力，能更好構(gòu)建智能體（AIAgent）。65B98.6%。大模型幻覺問題解決方案團(tuán)隊在NLP積累深厚，為了避免回答出現(xiàn)幻覺，我們采用了多樣化且準(zhǔn)確的數(shù)據(jù)進(jìn)行訓(xùn)練，讓模型盡可能地多學(xué)習(xí)。從擬人的角度看，其實人有時候也會出現(xiàn)“空耳”以及理解偏差的情況，但我們會努力讓模型避免此類問題。從去年開始我們就針對“基于動態(tài)知識引入的事實一致性對話生成”這一關(guān)鍵AIvectordatabase答缺乏依據(jù)和存在幻覺的問題。開源大模型安全與合規(guī)治理公司設(shè)有內(nèi)外部安全標(biāo)注團(tuán)隊，同時人數(shù)會根據(jù)實際情況進(jìn)行快速增補(bǔ)和調(diào)整，可根據(jù)需要在一個月的時間內(nèi)擴(kuò)充到千人的規(guī)模。10標(biāo)準(zhǔn)對齊，保證標(biāo)注質(zhì)量的穩(wěn)定性。核驗方法：為提高標(biāo)注內(nèi)容準(zhǔn)確性，內(nèi)容由多人（至少3人）交叉標(biāo)注，之后對全量標(biāo)注內(nèi)容的30%進(jìn)行人工核驗。95%95%聚寶盆(Cornucopia)金融大模型聚寶盆(Cornucopia)金融大模型開源大模型概述(Cornucopia)&模型支持中英雙語；Cornucopia-LLaMA-Fin-Chinese開源訓(xùn)練框架；金融領(lǐng)域，主要涉及理財、股票、基金、貸款、信用卡、社保、保險等金融咨詢、金融文本分析、金融計算、金融檢索問答。開源大模型發(fā)布時間歷程今年5月中旬發(fā)布了兩版llama系的初版訓(xùn)練模型，11月底將發(fā)布最新的優(yōu)化版本模型和13B模型，并與年底開源所有金融指令數(shù)據(jù)集。開源大模型信息問題列表 具體內(nèi)容項目地址/jerry1993-tech/Cornucopia-LLaMA-Fin-ChineseGitHubStar410開源許可ApacheLicene2.0可商用模型大小7B參數(shù)規(guī)模70億參數(shù)附帶歷史消息數(shù)含多輪對話數(shù)據(jù)所用算力A1001*80G單次訓(xùn)練時長23h已上線的社區(qū)及鏈接https:/huggingacco/yuangmu125開源大模型落地案例及開源商業(yè)化進(jìn)程toB開源大模型的特點優(yōu)勢是在于我們有一套完整的訓(xùn)練框架和實際場景的數(shù)據(jù)，基于開源模型架構(gòu)如LLaMA進(jìn)行領(lǐng)域訓(xùn)練，適配性強(qiáng)，并且開源可商用。大模型幻覺問題解決方案應(yīng)對大模型幻覺問題除了保證訓(xùn)練數(shù)據(jù)質(zhì)量，還應(yīng)該配合外掛知識庫檢索問答的能力，本模型進(jìn)行了針對性的金融檢索問答能力訓(xùn)練。開源大模型安全與合規(guī)治理從魯棒性、可靠性、隱私性、公平性和可解釋性五個可信屬性角度，提升大模型安全性策略，包括對可信屬性的評估策略、可信屬性的保障和防護(hù)策略等?；A(chǔ)設(shè)施案例基礎(chǔ)設(shè)施案例Colossal-AIColossal-AI開源大模型概述工具鏈名稱：新一代大模型分布式高效開發(fā)基礎(chǔ)設(shè)施Colossal-AI所屬機(jī)構(gòu)名稱及介紹：潞晨科技潞晨科技由新加坡國立大學(xué)尤洋教授創(chuàng)立，致力于解放AI生產(chǎn)力，打造世界級的分布式AI開發(fā)和部署平臺，讓超級計算機(jī)和云平臺零成本服務(wù)AI。I模型在幾年內(nèi)已增大萬倍，遠(yuǎn)超硬件能力數(shù)倍的增長，如何高效利用分布式技術(shù)實現(xiàn)AI大模型的并行訓(xùn)練加速已成為行業(yè)關(guān)鍵痛點。Colossal-AI通過高AI大模型訓(xùn)練，AI潞晨敏銳把握AI模型急速增大與硬件算力緩慢增長的尖銳矛盾，瞄準(zhǔn)價值萬億美元的企業(yè)AI市場，基于多年在學(xué)術(shù)上的卓越成就和工業(yè)界的深厚積累，攻克多維張量并行、序列并行、異構(gòu)內(nèi)存管理、大規(guī)模優(yōu)化庫、自適應(yīng)任務(wù)調(diào)度等多項核心關(guān)鍵技術(shù)，研發(fā)通用I大模型高效訓(xùn)練系統(tǒng)Colosal-AI這一核心產(chǎn)品，近期獲得數(shù)億元AA+24500(SingTelInnov8)所屬的類別（GPU服務(wù)廠商、向量數(shù)據(jù)庫等）以及該工具鏈在大模型上下游的作用：Colossal-AI(/hpcaitech/ColossalAI)是高效易用的大模型開發(fā)系統(tǒng)，使用戶能夠最大限度地提高人工智能部署的效率，同時大幅降低成本。Colossal-AI系統(tǒng)通過引入統(tǒng)一接口如圖所示，Colssal-AI所屬AI大模型開發(fā)內(nèi)核層級，致力于解決大模型的分布式訓(xùn)練/微調(diào)/推理/異AI開源大模型發(fā)布時間歷程2021年10月，Colossal-AI上線，登頂GitHub熱度榜世界第一；2021年11月，刷新ViT模型訓(xùn)練速度世界紀(jì)錄；2022年2月，發(fā)布利用空間異構(gòu)分布式計算特性加速聯(lián)邦學(xué)習(xí)；2022年3月，刷新lphaFold訓(xùn)練速度世界紀(jì)錄，全面超越谷歌、哥倫比亞大學(xué)競品，獲機(jī)器之心等頂流專業(yè)媒體頭條報道；2022年4月，Colossal-AI正式版發(fā)布，獲CSDN、量子位等頂流專業(yè)媒體頭條報道，登頂GitHub熱度榜世界第一；2022年4月，全球首個規(guī)模化復(fù)現(xiàn)谷歌最新研究成果PathwaysLanguageModel；2022年5月，發(fā)布單卡大模型異構(gòu)方案，可提升硬件模型容量十余倍2022年6月，發(fā)布大模型并行推理方案，相比英偉達(dá)FasterTransformer提升50%2022年8月，與百圖生科聯(lián)合發(fā)布蛋白質(zhì)單體與復(fù)合物結(jié)構(gòu)預(yù)測方案2022年9月，發(fā)布1750億參數(shù)OPT模型推理優(yōu)化在線體驗2022年10月，發(fā)布蛋白預(yù)測推理優(yōu)化方案2022年10月，發(fā)布單卡訓(xùn)練超大推薦系統(tǒng)模型方案202210StableDiffusion2022年12月，與摩爾線程聯(lián)合發(fā)布預(yù)訓(xùn)練語言模型MusaBert榮登CLUE榜單TOP1020231StableDiffusion2.0//1750模型推理優(yōu)化、自動并行2023214.5，Colossal-AIDeepSpeed，2023年3月，全球首個開源ChatGPTRLHF微調(diào)復(fù)現(xiàn)方案，登頂GitHub熱度榜世界第一。2023年7月，發(fā)布650億參數(shù)LLaMA大規(guī)模預(yù)訓(xùn)練加速方案2023年9月，發(fā)布700億參數(shù)LLaMA2訓(xùn)練加速195%方案202311MoE9倍開源大模型落地案例及開源商業(yè)化進(jìn)程Colossal-AI發(fā)布后廣受關(guān)注，多次登上全球最大開源社區(qū)GitHub和PapersWithCode熱度榜單世界第一，已成功刷新VT和lphaFold訓(xùn)練速度世界記錄，性能和同期開源社區(qū)活躍度全面超越微軟、谷歌、英偉達(dá)等相關(guān)國際巨頭競品，目前已獲得GtHub星數(shù)三萬五千多顆，位列全球TOP400，細(xì)分賽道排名世界第一。Colossal-AI已與多家世界/中國五百強(qiáng)、東南亞科技巨頭、亞洲地區(qū)國家級研究機(jī)構(gòu)、海外超算中心等開展合作，促進(jìn)AI//千卡并行預(yù)訓(xùn)練系統(tǒng)能力，打造千億參數(shù)私有大模型為某世界500強(qiáng)車企等基于Colossal-AI開發(fā)百億至千億參數(shù)量級的預(yù)訓(xùn)練對話模型GPT，GPT-MOEColossal-AITBA100GPU190百卡并行微調(diào)系統(tǒng)能力，個性化千億參數(shù)私有大模型500Colossal-AIRLHFColossalChat繼續(xù)預(yù)訓(xùn)練加微調(diào)方式快速構(gòu)建領(lǐng)域知識增強(qiáng)模型RLHFPPO10結(jié)合搜索引擎，增強(qiáng)模型對話回復(fù)的時效性、知識性和準(zhǔn)確性RLHFlangchain/針對具體業(yè)務(wù)場景，增強(qiáng)領(lǐng)域知識、多角色扮演、情感回應(yīng)、幻想減輕等能力。StableDiffusion500StableDiffusionWebui使用層間融合和算子融合、數(shù)據(jù)精度校準(zhǔn)等技術(shù)，減少推理內(nèi)存占用，提升推理速度；StableDiffusionDreamboothWebuitxt2imgimg2imgWebui的參數(shù)，選擇使用的不同版本模型等。Real-ESRGANSwinIR(4(86.5AI10倍加速IntelAlphaFold2Colossal-AI1019力成本；算子融合、ChunkLLM在生信領(lǐng)域的應(yīng)用與Colossal-AI完美契合企業(yè)客服幫助東南亞互聯(lián)網(wǎng)巨頭等核心業(yè)務(wù)快速引入類ChatGPT能力，提升業(yè)務(wù)水平，助力企業(yè)降本增效。學(xué)習(xí)企業(yè)內(nèi)部制度，有效應(yīng)對復(fù)雜客服場景，大幅提升企業(yè)客服工作效率。90%以上準(zhǔn)確率的前提下進(jìn)一步減少訓(xùn)練時間。實現(xiàn)13倍以上生成式推理加速，幫助客戶在生產(chǎn)環(huán)境中低成本部署模型。LLM底座為某互聯(lián)網(wǎng)企業(yè)設(shè)計&訓(xùn)練用戶數(shù)字分身，實現(xiàn)符合主播人設(shè)和溝通口吻的聊天機(jī)器人，增強(qiáng)線上用戶粘性和聊天意愿基于Colossal中文基座模型，設(shè)計完整數(shù)據(jù)策略和訓(xùn)練方案，保障知識前提下提升對風(fēng)格口吻的IP中東阿拉伯語使用者專屬ChatGPT為中東watad能源公司提供基于阿拉伯語的chatGPT.BaseModel(Mulhem)達(dá)到阿拉伯語水平Model English-MMLU(5-shot) Arabic-MMLU(5-shot)LLaMA-2-7b44.4729.70Noon-7b29.8728.19Jais-13b-baselengthexceeds204828.67Mulhem-7b-base45.1931.19Mulhem-7b-chat48.5032.05各大知名媒體報道新興芯片為摩爾線程、天數(shù)智芯等國產(chǎn)算力芯片提供Colossal-AI大規(guī)模AI訓(xùn)練和推理系統(tǒng)優(yōu)化能力。開源大模型的特點潞晨科技助力AIAIColossal-AIcom/hpcaitech/ColossalAI)，可通過高效多維并行、異構(gòu)內(nèi)存等，降低AI訓(xùn)練//GPUAI大模型解決方案，Colossal-AIGitHubTOP400，細(xì)NeurIPSSC,AAAI,CVPR,ISC,NVIDIAGTCAIHPCColossal-AI已與多家世界/中國五百強(qiáng)、東南亞科技巨頭、亞洲地區(qū)國家級研究機(jī)構(gòu)、海外超算中心等開展合作，促進(jìn)AI//開源大模型未來發(fā)展規(guī)劃提升產(chǎn)品性能、擴(kuò)展用戶規(guī)模，支持更多模型和國產(chǎn)軟硬件等。DingoDB多模向量數(shù)據(jù)庫DingoDB多模向量數(shù)據(jù)庫開源大模型概述工具鏈名稱：DingoDB多模向量數(shù)據(jù)庫所屬機(jī)構(gòu)及介紹：該工具所屬于北京九章云極科技有限公司（以下簡稱：九章云極DataCanvas）（AI規(guī)?；瘧?yīng)用。九章云極ataCaas的核心產(chǎn)品系列AIFS人工智能基礎(chǔ)軟件和ataPilot數(shù)據(jù)領(lǐng)航員具有高度的靈活性和可擴(kuò)展性，能夠處理各種類型和規(guī)模的數(shù)據(jù)，簡化了數(shù)據(jù)處理和分析的復(fù)雜性。產(chǎn)品集成了一系列先進(jìn)人工智能技術(shù)，包括多模態(tài)向量數(shù)據(jù)庫、因果學(xué)習(xí)、思維件等，為企業(yè)提供AI軟件開發(fā)新范式。產(chǎn)品介紹：DingoDB是一款業(yè)界領(lǐng)先的多模向量數(shù)據(jù)庫，具備綜合能力，包括結(jié)構(gòu)化和非結(jié)構(gòu)Serving、OLAP所屬類別：向量數(shù)據(jù)庫該工具鏈在大模型上下游的作用：支撐大模型底層數(shù)據(jù)存儲，為大模型應(yīng)用提供數(shù)據(jù)存儲、管理、預(yù)處理、查詢、分析等功能，同時重視數(shù)據(jù)安全和隱私保護(hù)，為AI產(chǎn)品的開發(fā)和運行提供了可靠的基礎(chǔ)設(shè)施。開源大模型發(fā)布時間歷程發(fā)布時間：2023年6月30日當(dāng)前版本：DingoDBV開源大模型落地案例及開源商業(yè)化進(jìn)程DingoDB多模向量數(shù)據(jù)庫與ataCaasla九章元識大模型，聯(lián)合打造了企業(yè)知識管家解決方案，已在金融、制造、能源等多個領(lǐng)域進(jìn)行商業(yè)化落地，賦能企業(yè)構(gòu)建高度自動化與智能化的企業(yè)知識庫，加速多模態(tài)大模型落地應(yīng)用。開源大模型信息問題列表 具體內(nèi)容產(chǎn)品地址https:/wwdingodbcomGitHubStar386開源許可Apache2.0用戶規(guī)模300+內(nèi)外部貢獻(xiàn)者比例7：3已上線的社區(qū)及鏈接GitHub（/dingodb）開源大模型的特點支持結(jié)構(gòu)化和非結(jié)構(gòu)化混合分析提供結(jié)構(gòu)化和非結(jié)構(gòu)化索引混合檢索能力，能夠同時處理和分析結(jié)構(gòu)化和與非結(jié)構(gòu)化數(shù)據(jù)，并將其進(jìn)行整合和綜合分析，從而獲取更全面、準(zhǔn)確的分析結(jié)果，為用戶提供更廣闊的數(shù)據(jù)視角。MySQLMySQL原生語義，使用戶能夠輕松上手使用，大大降低學(xué)習(xí)成本和遷移難度；同時內(nèi)置Embeding函數(shù)，允許用戶將文本和圖像數(shù)據(jù)轉(zhuǎn)換為向量表示，并在數(shù)據(jù)庫中進(jìn)行靈活的相似性搜索和分析，從而實現(xiàn)對大規(guī)模文本和圖像數(shù)據(jù)的快速分析和檢索。集群高可用性和海量擴(kuò)展能力支持多副本存儲策略，有效應(yīng)對數(shù)據(jù)的高可用性和可靠性需求，減少數(shù)據(jù)丟失的風(fēng)險，并提供持續(xù)可用的存儲解決方案；此外，DingoDB具備良好的可擴(kuò)展性和海量存儲能力，能夠輕松容納大規(guī)模的數(shù)據(jù)集，為用戶提供靈活的資源管理能力。開源開放堅持“開源開放”的產(chǎn)品理念，目前已成功對接大模型工具鏈，為大模型提供海量記憶體的能力，確保大模型生成結(jié)果的準(zhǔn)確性和可靠性。完善的工具鏈生態(tài)通過生產(chǎn)級的監(jiān)控能力、一鍵化的部署方式和完善的運維生態(tài)，助力用戶靈活高效地開發(fā)、部署和管理系統(tǒng)，進(jìn)一步提升工作效率和系統(tǒng)穩(wěn)定性。開源大模型未來發(fā)展規(guī)劃DingoDB多模向量數(shù)據(jù)庫將繼續(xù)加強(qiáng)在處理大規(guī)模高維度向量數(shù)據(jù)時的性能和擴(kuò)展性；將提供更多復(fù)雜和靈活的查詢功能，以滿足不同應(yīng)用場景下的需求；未來將考慮集成更多的機(jī)器學(xué)習(xí)算法和模型，以支持在數(shù)據(jù)庫中直接進(jìn)行特征提取、相似度計算和模式識別等任務(wù)。Xtreme1Xtreme1開源大模型概述Xtreme13D3D圖像標(biāo)注以及RLHF工具！開源大模型發(fā)布時間歷程2022年9月上架GitHub開源大模型落地案例及開源商業(yè)化進(jìn)程LLMSA（圖片分割大模型DrieG（自動駕駛大模型）等。支持多模態(tài)數(shù)據(jù)。開源大模型信息問題列表 具體內(nèi)容產(chǎn)品地址/xtreme1-io/xtreme1GitHubStar523開源許可Apache-2.0license附帶歷史消息數(shù)N/A用戶規(guī)模1000+內(nèi)外部貢獻(xiàn)者比例N/A已上線的社區(qū)及鏈接https://www.xtreme1.io/開源大模型的特點teme1是一個用于型語言模型（LLMs）的開源數(shù)據(jù)整理平臺。使用teme1，每個人都可以通過更快的數(shù)據(jù)整理，利用人工和機(jī)器反饋，構(gòu)建強(qiáng)大的語言模型。我們提供從數(shù)據(jù)標(biāo)記到模型監(jiān)控的MLOps周期中的每個步驟的支持。5開源大模型未來發(fā)展規(guī)劃2022年9月上架GitHubAutoDevAutoDev開源大模型概述名稱：AutoDev（暫定）機(jī)構(gòu)：思特沃克軟件技術(shù)（北京）有限公司介紹：AutoDevAIIntellijIDEA碼、智能建議、自定義大模型等功能，以提高開發(fā)效率和代碼質(zhì)量。集成看板、C/CD和Docerfle等DevOpsAutoDevAI碼能力。開源大模型信息問題列表 具體內(nèi)容產(chǎn)品地址/unit-mesh/auto-devGitHubStar484開源許可MPL附帶歷史消息數(shù)不限用戶規(guī)模公開下載量2.4k內(nèi)外部貢獻(xiàn)者比例1:02:00已上線的社區(qū)及鏈接https://ide.unitmesh.cc開源大模型的特點對于企業(yè)而言，可以直接將私有化模型快速用于AI輔助編碼，并與現(xiàn)有的模型做對比。開源大模型未來發(fā)展規(guī)劃IDECustomASTnodegenerate2.Promptoverride3.AI其它補(bǔ)充信息UnitMeshAI：/unit-meshHyperAI超神經(jīng)HyperAI超神經(jīng)開源大模型概述工具鏈名稱：HyperAI超神經(jīng)所屬機(jī)構(gòu)名稱：貝式計算（上海）信息技術(shù)有限公司HyperI超神經(jīng)是國內(nèi)領(lǐng)先的人工智能及高性能計算社區(qū)，現(xiàn)已收錄數(shù)百個行業(yè)詞條及案例，上線ApacheTVMAIAIForScience科研進(jìn)展。開源大模型發(fā)布時間歷程HyperAI超神經(jīng)于2017年10月24日正式發(fā)布。202211ApacheTVM續(xù)更新更多優(yōu)質(zhì)的公共數(shù)據(jù)集、公共教程以及公共大模型。開源大模型落地案例及開源商業(yè)化進(jìn)程HyperAI超神經(jīng)發(fā)起并主辦的2023MeetTVM與國內(nèi)主流芯片廠商及科研院所建立長期穩(wěn)定的合作關(guān)系。2023年12月，我們將在上海舉辦本