2024基礎模型的負責任開源-超越開源閉源的二元對立：負責任開源的內(nèi)涵、實踐與方案報告

執(zhí)?摘要開源基礎模型已成為創(chuàng)新的重要驅(qū)動?之?根據(jù)斯坦福?學《2024年AI指數(shù)報告》1，2023年全球總共發(fā)布了149個基礎模型，?2022年發(fā)布的數(shù)量翻了?倍還多，?且更??例是開源的。在這些新發(fā)布的模型中，有%是開源的，相?之下，2022年只有44.4%，2021年只有33.3%的模型是開源的。根據(jù)全球開源社區(qū)HuggingFace的調(diào)研2，Llama1和Llama2現(xiàn)在已經(jīng)衍?出了3萬個新模型。多位專家預計，即將推出的Llama3M00B將會是“?個GPT-M級別的開源模型”。如何治理開源AI已成為短期內(nèi)重要的未解決議題之?的政策和實踐。在制定相關政策時，各國需要綜合考開源AI也成為多項政策探索的核?。盡管這些政策旨在平衡技前沿AI開源的主要爭論領先的基礎模型研發(fā)機構近年決定開源其模型或限制對其模型的訪問，引發(fā)了關于是否以及如何開放能??益增強的基礎模型的爭論。AI開源成為潛在不安AI開源是“確保對技術信任的唯?途徑”，強調(diào)開放性對于促進創(chuàng)新此外，從企業(yè)視?看，有關開源和閉源的討論和實踐或多或少地帶有商業(yè)利益的考量。1StanfordHAI,“2024AIIndexReport”,2024-04-15,/report/.2ClemDelangue,“Llama3iso?ciallythemodelfromreleaseto#1trendingonHugging-injusta,,/.超越簡單化的“開放與封閉”爭論雖然開放基礎模型帶來了發(fā)展與安全之間的緊張關系不可能完全消除，但我們提倡可以超越簡單化的?維視?，探索更豐富的發(fā)布政策設計空間。將AI模型簡單地劃分為開源或閉源是?種過于簡化的做法。開源AI的概念尚未得到清晰定義，與開源軟件不同，AI模型的“源代碼”可能包括多種組件，這些組件的開放程度可以各AI研發(fā)機構治理評測指出，傾向于開放模型的機構和傾向于封閉模型的機構各有所?。本報告的討論范圍設定參考了斯坦福?學基礎模型研究中?的“開放基礎模型”概念圖3推動基礎模型負責任開源的務實?案AI不同程度開源可能引?更?的潛在?險。因此，我們建議推動負責任開源，這包括兩個層?：建議根據(jù)基礎模型的?命周期和AI模型，負責任主要體現(xiàn)在提?透明度、確保合規(guī)和促進創(chuàng)新。?對于能?更強的前沿模型，需要實施與模型的潛在?險相稱的評測和安全緩解措施。3RishiBommasanietal.,“ConsiderationsforGoverningOpenFoundationModels”,2023-12-13,/issue-brief-considerations-governing-open-foundation-models.建議開發(fā)者應考慮開源的替代?雖然嚴格意義上我們討論的是“負責任發(fā)布”，但我們希望通過突出“負責任開源”的概念，推動開源AI安全治理的討論，并促進負責任開源實踐的發(fā)展。?向四類?標群體和國際合作分別提出建議本報告是為中國的基礎模型研發(fā)機構、AI開源社區(qū)、AI治理/政策/?法專家、AI投資?和我們倡導在全球范圍內(nèi)AI技術和治理能?，推動形成具有?泛共識的??險模型治理框架和標準規(guī)范。術語定義本報告聚焦?基礎模型的負責任開源。?規(guī)模機器學習模型相關術語，主要參考斯坦福?學、智源研究院：模型開源和開放相關術語，主要參考斯坦福?學、?津?學研究機構：開源AI)：概念尚未得到清晰定義，不同機構都?它來表?不同程度的“公開可?”；開放源代碼促進會(OSI)等機構正致?于明確定義開源AI。FoundationModels)：基礎模型在發(fā)布時，其權重是?泛可?的；不嚴格區(qū)分時，也會稱為“開源基礎模型”“開放模型”“開源模型”。封閉基礎模型(ClosedFoundationModels)：基礎模型在發(fā)布時，其權重不是?泛可?，可能受?定限制或完全封閉；不嚴格區(qū)分時，也會稱為“閉源基礎模型”“封閉模型”“閉源模型”“受限模型”。負責任開源(Responsible開源項?的維護者和貢獻者在開源過程中遵循?定的道德和法律標準，確保技術的構建和發(fā)布對社會和個?是安全和有益的，這可能包括安全性、透明度、可訪問性、包容性、合規(guī)性、社區(qū)治理和?態(tài)和創(chuàng)新影響等??。模型能?相關術語，主要參考全球AI安全峰會、前沿模型論壇：AI)：?能?的通?AI模型，能執(zhí)??泛的任務，并達到或超過當今??智能?險相關術語，主要參考?津?學研究機構：Risk)：?種可能發(fā)?的事件或過程，若發(fā)?將導致全球約10%或更多??喪?，或造成類似損害。致謝本報告的主要貢獻者：）、謝旻希、程遠、段雅?北京?學??智能研究院：楊耀東感謝安遠AI伙伴潘漢?、張玲、王婧?對內(nèi)容的貢獻。?錄?車?金 ITOC\o"1-2"\h\z\u各國積極發(fā)布基礎模型相關政策，開源部分取向不同 1歐盟《AI法案》創(chuàng)全球?部全?AI監(jiān)管法，設獨特開源豁免規(guī)定 1美國?宮《AI?政命令》關注?泛可?的模型權重所帶來的挑戰(zhàn) 3英國政策?件謹慎對待開放與封閉之爭，防范監(jiān)管捕獲 6法國將開源AI作為其“創(chuàng)新優(yōu)先”發(fā)展AI的核?戰(zhàn)略之? 7中國??智能法的兩份專家建議稿對開源問題做不同處理 9其他全球南?國家?勵AI?險與收益研究，以開放科學應對全球發(fā)展 111.7?結 12審慎開放vs?勵開放，前沿AI開源的主要爭論 13爭論主要在于前沿AI的濫?和失控?險 13?場?：審慎開放，防范?險的開放?檻須標準更? 15?場?：?勵開放，邊際?險的嚴謹證據(jù)仍相當有限 19兩種?場的異同點 24爭論之外的?場三：是否開源主要取決于商業(yè)考量 252.6?結 26開源vs閉源，是錯誤的?分法 27不同于開源軟件，開源AI的概念尚未得到清晰定義 27從“完全開放”到“完全封閉”之間存在多種模型發(fā)布選項 29基礎模型安全性評測：開放vs封閉模型均顯?出對各種攻擊的脆弱性 33AI研發(fā)機構治理評測：傾向于開放vs封閉模型的機構各有所? 38負責任開源之?：促進開放發(fā)布從構建到使?的全流程負責任實踐 43負責任開源之?：在封閉發(fā)布中探索實現(xiàn)開源等效收益的替代?案 493.7?結 59對推動基礎模型負責任開源的建議 60基礎模型研發(fā)機構 60AI開源社區(qū) 61AI治理、政策和?法專家 62AI投資?和資助? 63負責任開源的國際合作 63各國積極發(fā)布基礎模型相關政策，開源部分取向不同我認為，如何監(jiān)管開源??智能，是短期內(nèi)最重要的未解決問題。?加?·?庫斯(GaryMarkus)4AI相關政策時，通常需要綜合考慮促進創(chuàng)新?態(tài)、技術安全與可控性、隱AI的治理政策框架。AI的治理上，雖然都希望能平衡發(fā)展與安全，但整體監(jiān)管取向和具體條款設計有所不同。歐盟《AI法案》創(chuàng)全球?部全?AI監(jiān)管法，設獨特開源豁免規(guī)定AI技術的監(jiān)管上?在了世界前列。接下來《AI法案》還需得到歐盟理事會的正式批準，但最艱難的?法階段已經(jīng)過去，距離最終出臺僅?步之遙。法案?2021年以來?直在制定中。?那時起，該技術已經(jīng)發(fā)?了快速?顯著的發(fā)展，該提案也經(jīng)歷了多次修訂以跟上步伐。的出現(xiàn)引發(fā)了控制基礎模型的?輪修訂。談判在2023年2?底達到?熱化程度。法國、德國和意?利為了保護本國的開發(fā)者，試圖削弱對基礎模型的限制6。最后敲定的協(xié)議條款對被認為具有特別危險性的AI的使?做出了限制，但減輕了中?型公司和模型開源、開發(fā)的負擔。4DavidHarris,“Open-SourceAIIsUniquelyDangerous”,2024-01-12,/open-source-ai-2GGG932122.5EuropeanParliamentArti?cialIntelligenceAct2024-04-23t.6GianVolpicelli,“PowergrabbyGermanyandItalytokillEU'sAIbill”,2023-11-20,到?前為?，歐盟主要通過以下這些法案對開源模型或軟件的安全管理做出規(guī)定：時間主要法案對開源AI或軟件的規(guī)定2024年3?《AI法案》AI系統(tǒng)可2024年3?《產(chǎn)品責任指令》不應適?于在商業(yè)活動之外開發(fā)或提供的免費且開源軟件及其源代碼。2024年3?《?絡彈性法案》根據(jù)開源軟件的所屬和開發(fā)?式，實施分層安全管理。2020年10?《開源軟件戰(zhàn)略(2020-2023年)》建?世界?流的公共服務，?勵更多地使?開源軟件來進?構建，?勵共享和重復使?軟件、應?程序，以及數(shù)據(jù)、信息和知識，以期通過共享源代碼來為知識社會作出貢獻。歐盟對開源AI或軟件做出規(guī)定的主要法案（本報告?制）注：《?絡彈性法案》《產(chǎn)品責任指令》《AI法案》歐洲議會已批準，還需歐盟理事會正式批準后?效歐盟《AI法案》對開源AI設定了?些獨特的規(guī)定。但如果AI系統(tǒng)是免費開源的，則產(chǎn)品，?如那些提供付費技術?持或1025AI模型，這些模型必須遵守更為嚴格的規(guī)定，包括提供詳細的技術?檔和進?安全測試。系統(tǒng)可以豁免，但這也為根據(jù)開源許可證開發(fā)的科研?途的模型轉(zhuǎn)為商業(yè)?途提供了可能，從?繞過了部分安全法規(guī)。此外，歐盟《產(chǎn)品責任指令》的草案7也擴?了AI系統(tǒng)的適?范圍，涵蓋所有AI產(chǎn)品，為了不妨礙創(chuàng)新或研究，該指令也明確說明不應適?于在商業(yè)活動之外開發(fā)或提供的免費且開源軟件及其源代《?絡彈性法案》的草案進?步引起爭議，尤其是關于上游開源開發(fā)者可能要為下游產(chǎn)品的安全缺陷承擔責任的條款，引發(fā)了開源社區(qū)的?泛反響，?封公開信稱該法案可能會對軟件7EuropeanParliament,“NewProductLiabilityDirective”,2023-12-14,https://www.europarl.europa.eu/RegData/etudes/BRIE/2023/7393M1/EPRS_BRI(2023)7393M1_EN.pdf.開發(fā)產(chǎn)?“寒蟬效應”8。對此，歐盟提出了分層安全管理的概念9，要求單獨開發(fā)并控制產(chǎn)品內(nèi)開源軟件的商業(yè)實體需要承擔所有的合規(guī)性責任，但減輕了對開源軟件基?會或類似?持組織下協(xié)作開發(fā)的或多?協(xié)作開發(fā)開源軟件的管理壓?，確保開源項?可以在合理的法律框架內(nèi)運?。2024年3?，歐洲議會正式批準了《?絡彈性法案》，之后還須得到歐盟理事會的正式通過才能成為法律，?最終?效要到2027年，這就給了各?時間來滿?法律要求并梳理各種合規(guī)細節(jié)。在監(jiān)管實踐??，歐盟設?了AI辦公室，負責監(jiān)督并制定模型的標準和測試實踐10。AI的開發(fā)和使?。在某些情況下，例AI模型沒有任何不同。這些新規(guī)則的復雜性可能會使其更難在歐盟內(nèi)推?開源AI。AI法案因可能對技術進步和產(chǎn)業(yè)發(fā)展產(chǎn)?制約，也受到了?泛質(zhì)疑12。這些法案的最終效果，還有待時間的檢驗。美國?宮《AI?政命令》關注?泛可?的模型權重所帶來的挑戰(zhàn)?政命令》），該?政命令為AI安全和保障建?了新的標準，意圖保護美國?眾的隱私，促?AI，提升美國在全球的領導?。8EclipseFoundationetal.,“OpentotheEuropeanCommissionontheCyberResilienceAct”,2023-04-17,/news/announcements/open-letter-european-commission-cyber-resilience-act.9Euractive,“EUpolicymakers'advanceonopensourcesoftware,supportperiodinnewcybersecuritylaw”,2023-10-31,rt-period-in-new-cybersecurity-law.10EUArti?cialIntelligenceAct,“TheAIO?ce:Whatisit,andhowdoesitwork?”,https://arti?cialintelligenceact.eu/the-ai-o?ce-summary/.1u,es,1,.12魯傳穎：歐盟推出全球?部AI法案，會形成效應還是陷阱？2024-03-27，/info/zlyaq/7029.13TheWhiteHouse,“ExecutiveOrderontheSafe,Secure,andDevelopmentandUseofIntelligence”,2023-10-30,/brie?ng-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-arti?cial-intelligence/.該?政命令被外界稱為“有史以來政府為推進AI安全領域所采取的最重??動”14，以確AI的前景和管理AI?險??處于領先地位，同時也明確了美國政府下?步?動措2023年發(fā)布的《AI?政命令》和針對基礎模型的《透明度法案》，也涉及了對開源模型的要求：時間主要法案對開源AI或軟件的規(guī)定2023年12?《2023年AI基礎模型透明度法案》152023年10?《關于安全、可靠和可信的AI?政命令》沒有直接提到開源，?是要求商務部?通過公開咨詢征求各利益相關?對具有?泛可?權重的雙?途基礎模型相關的潛在?險、利益、其他影響以及適當?shù)恼吆捅O(jiān)管?法的意?，并向總統(tǒng)提交報告。2023年9?《CISA開源軟件安全路線圖》16?度關注開源軟件漏洞“連鎖”效應、供應鏈“投毒”等兩類特有?險，實?美國政府?絡和關鍵基礎設施“?核?”重點保護，強化開源?態(tài)系統(tǒng)“?范圍”聯(lián)動協(xié)作。2023年3?《2023年開源軟件安全法案》17強調(diào)了開源軟件作為公共數(shù)字基礎設施的重要性，但需針對其安全性挑戰(zhàn)加強監(jiān)管。2022年9?《2022年保護開源軟件法案》18建議美國?絡安全和基礎設施安全局(CISA)創(chuàng)建“?險框架”，以降低使?開源軟件系統(tǒng)的?險。14BBC,“USannouncesglobalactionyet'onAIsafety”,2023-10-31,e/g.15USCongress,“AIFoundationModelActof2023”,2023-12-22,/bill/118th-congress/house-bill/G881.16CybersecurityandInfrastructureSecurityAgency,“CISAOpenSourceSoftwareSecurityRoadmap”,2023-09,/sites/default/?les/2023-09/CISA-Open-Source-Software-Security-Roadmap-508c.pdf.17USCongress,“S.917-SecuringOpenSourceSoftwareActof2023”,2023-03-22,/bill/118th-congress/senate-bill/917/text.8S,3-gneetf,,e/.《關于安全、可靠和可信的AI?政命令》沒有直接提到開源(OpenSource)?詞，?是對更具體的具有?泛可?模型權重的雙重?途基礎模型(Dual-UseFoundationModelswithWidelyAvailableModelWeights)進?了規(guī)定，主要集中在第4節(jié)（確保AI技術的安全性和安保性）的第4.6?節(jié)。該?政命令指出，“當雙重?途基礎模型的權重被?泛可?時，例如當它們在互聯(lián)?上公開發(fā)布時，創(chuàng)新可能會帶來巨?的收益，但也會帶來巨?的安全?險，例如移除模型內(nèi)的安全措施。”具體規(guī)定如下：“在命令發(fā)布之?起270天內(nèi)，商務部?應通過通信和信息助理部?，并與國務卿協(xié)商，通過公開咨詢過程征求私營部?、學術界、?間社會及其他利益相關者對于具有?泛可?權重的雙?途基礎模型相關的潛在?險、利益、其他影響以及適當?shù)恼吆捅O(jiān)管?法的意?。并將收集到的意?，與其他相關機構負責?協(xié)商后向總統(tǒng)提交?份報告。”這個任務既需要技術洞察?，也需要政策制定的智慧。對于開源AI有可能促進如?物和化學武器等危險材料?產(chǎn)的問題，?宮?政命令在第4.1?結提到了化學/?物/輻射/核威脅(CBRN)的?險，美國國會?前正在考慮多項法案19來應對這些威脅。第4.2?節(jié)要求?模型開發(fā)者必須分享紅隊測試中的表現(xiàn)結果，對使??于1026FLOPs訓練的任何模型，提出了報告安全測試結果和關鍵信息的要求，另要求?物序列數(shù)據(jù)相應的?檻是1023FLOPs。AI模型權重所帶來的挑戰(zhàn)，并AI技術發(fā)展，?能保護國家安全和公共利益的政策框架。《2023年AI基礎模型透明度法案》則是在此基礎上，要求聯(lián)邦貿(mào)易委員會在九個?內(nèi)制開源基礎模型或基于其他基礎模型重新訓練或調(diào)整的模型制定特別規(guī)定，顯?了對開源AI的?定?持。在早些時候，國會已經(jīng)提出了多項關于開源軟件的法案，如《2022年保護開源軟件法?險框架和安全職責，增強開源軟件的。《CISA開源軟件安全路線圖》進?步強調(diào)了聯(lián)合協(xié)作和安全責任，明確了開源軟件的數(shù)字公共物品屬性，?度關注開源軟件漏洞“連鎖”效應、供應鏈“投毒”等兩類特有?險。20。?些智庫專家?持，認為這是美19EdwardMarkey,“Sens.Markey,BuddAnnounceLegislationtoAssessHealthSecurityRisksofAI”,2023-07-18,ecurity-risks-of-ai.20安全內(nèi)參,“拜登AI?政令評論：美國技術監(jiān)管?式?轉(zhuǎn)變？或是回避‘開放式創(chuàng)新模式’”，2023-11-01，/articles/G02G5學者的代表致函拜登總統(tǒng)21擔憂??在政策制定過程中的聲?有限，并建議未來應為中?企業(yè)AI的發(fā)展的同時，也在努?確保其在不增加國家安全?險的前提下進?創(chuàng)新和應?。政府與公眾的合作，以及透明和公正的監(jiān)管是實現(xiàn)這??標的關鍵。英國政策?件謹慎對待開放與封閉之爭，防范監(jiān)管捕獲英國的開源產(chǎn)業(yè)政策由來已久，政府?勵創(chuàng)新，并在開源技術的開發(fā)上投?了?量的資?和?才，這讓其對?勵開放創(chuàng)新和AI競爭的?場?脈相承。如果沒有沒有?夠的保護措施，也可能造成傷害。組織AI的監(jiān)管引?了復雜性。在英國舉辦的?屆全球AI安安全宣?》等成果與共識之外，開源模型的?險和利弊成為?個主要爭論點22。英國還在峰會上宣布成?AI安全研究所，并將“開源系統(tǒng)以及采?各種形式的訪問控制部署的系統(tǒng)”和“破壞保障措施或利?不安全的模型權重”作為其優(yōu)先事項之?23。英國對于對開源AI或軟件政策?件包括：時間政策?件對開源AI的規(guī)定或?場2024年2?《?語?模型和?成式AI》報告24積極的市場成果將需要?系列在開源和閉源基礎上推動前沿的模型。呼吁政府將“開放創(chuàng)新和AI競爭”作為明確的政策?標。2023年3?《?種?持創(chuàng)新的AI監(jiān)管?法》25開源模型可以提?對基礎模型的變?能?，但如果沒有?夠的保護措施，也可能造成傷害。組織在開發(fā)和提供基礎模型的?式上的差異，為AI的監(jiān)管引?了?泛的復雜性。英國對開源AI或軟件做出規(guī)定的主要政策?件（本報告?制）2024年2?，英國上議院的通信和數(shù)字委員會發(fā)布《?語?模型和?成式AI》報告，強調(diào)21MartinCasado,“We'vesubmittedatoPresidentBidenregardingtheAIOrderanditspotentialforrestrictingopensourceAI”,2023-11-04,/martin_casado/status/172051702G538778G5722謝旻希,“為什么中國的參與必不可少？我參加?屆全球??智能安全峰會的所?所思（萬字回顧）”,2023-11-09,/s/_SWLDzKDOMNb0Mha1SNKFg.23UKGovernment,“IntroducingtheAISafetyInstitute”,2024-01-17,24UKParliament,“HouseofLords-LargelanguagemodelsandAI”,2024-02-02,tt.25“Apro-innovationapproachtoAIregulation”,2023-08-23,建議，包括、審查災難性?險、賦予監(jiān)管機構權?等，并呼吁政府將“開放創(chuàng)新和AI競爭”作為明確的政策?標。年發(fā)布的《?種?持創(chuàng)新的AI監(jiān)管?法》政組織在開發(fā)和提供基礎模型的?式上的差異，為AI的監(jiān)管引?了?泛的復雜性。英國是開源技術的領導者之?，早在2004年就?次發(fā)布開源產(chǎn)業(yè)政策，并于2009年2?進年2?在歐盟開源政策峰會發(fā)布了其三階段報告，12.6萬名貢獻者參與了創(chuàng)建、開發(fā)和維護開源的?作；這?數(shù)字將近歐盟26萬名開源開發(fā)者中的?半。英國希望在政府內(nèi)部?勵創(chuàng)新，?勵開源思維，在外部幫助發(fā)展?個充滿活?的市場。AI帶來的機遇，也嚴肅對待由法國將開源AI作為其“創(chuàng)新優(yōu)先”發(fā)展AI的核?戰(zhàn)略之?AI的發(fā)展，并將其視為國家競爭?的關鍵。在這?背景下，法國將開源AI的發(fā)展。法國總統(tǒng)?克?在多個場合強調(diào)了創(chuàng)新和發(fā)展的重要性，并主張在治理之前優(yōu)先考慮創(chuàng)新。2023年6?，?克?在歐洲科。法國的這??場與其在歐盟中的作?形成了?定AI創(chuàng)新26這?術語在?常使?中，指的是監(jiān)管有利于受監(jiān)管?業(yè)或特殊利益集團?不是公共利益的現(xiàn)象。WendyLi,“Regulatorycapture'sthirdfaceofpower”,2023-02-07,/10.1093/ser/mwad002.27betsbigonopen-sourceAI”,2023-08-04,發(fā)展的同時，需要平衡與歐盟政策的關系，因此法國國家信息和?由委員會(CNIL)作為法國的?政機構，在執(zhí)?歐盟監(jiān)管政策的同時，也在積極推動符合法國利益的AI創(chuàng)新政策28。時間法規(guī)或政策?件對開源AI或軟件的規(guī)定2016年《數(shù)字共和法案》增強數(shù)字領域的透明度、開放性和私?數(shù)據(jù)保護。法案中明確要求公共部?和某些私?部?開放其數(shù)據(jù)，?勵數(shù)據(jù)的?由流通和使?，同時強調(diào)保護個?隱私和數(shù)據(jù)安全2023年5?CNIL《AI?動計劃》2018年3?國家AI戰(zhàn)略《AI造福?類》15億歐元，?以推動AI研究、創(chuàng)新和商業(yè)化。政策重點?勵開源AI平臺和?具的發(fā)展，旨在建??個開放和協(xié)作的AI?態(tài)系統(tǒng)。法國對開源AI或軟件做出規(guī)定的主要法規(guī)或政策?件（本報告?制）法國政府對于開源AI的監(jiān)管傾向于制定靈活的政策，以適應技術快速發(fā)展的需求，保證開源項?的活?不被過度監(jiān)管抑制。政策明確?勵創(chuàng)新和數(shù)據(jù)的開放使?，但同時確保了數(shù)據(jù)安全和??隱私的保護。這種平衡的監(jiān)管框架為Mistral?模型等開源AI項?提供了發(fā)展的?壤。法國的開源AI推?策略也體現(xiàn)在對?才的重視上。法國擁有強?的數(shù)學和信息科學基礎，這為其在??智能領域的研究提供了堅實的基礎29。法國政府通過PIA(InvestmentsfortheFutureAI的創(chuàng)新和應?。其中，圖靈獎得主、?席AIAI研究領域的地位愈發(fā)顯著。在產(chǎn)業(yè)層?，法國也涌現(xiàn)出了?批在開源AI領域具有國際影響?的公司。例如，HuggingFace的聯(lián)合創(chuàng)始?都是法國?，該公司已成為全球開源AI社區(qū)的重要參與者。法國AI初創(chuàng)公司MistralAI開發(fā)的旗艦模型對標GPT-M，展?了法國在?模型領域的強?實?30。MistralAI的成8,,,.29安全內(nèi)參,“法國??智能發(fā)展現(xiàn)狀、重要舉措及啟?”,2023-09-25,/articles/59182.30智東西,“法國版OpenAI殺瘋了，1760億參數(shù)MoE登開源榜?，3張A100顯卡可跑”,2024-04-11,/newsDetail_forward_2G50G922.AI發(fā)展的?個例證31。此外，法國還有歐洲?個致?于AI開放科學研究的獨?實驗室。AI的發(fā)展，并在國際舞臺上展AI競爭中保持領先地位，也為全球開源AI社區(qū)的發(fā)展做出了貢獻。中國??智能法的兩份專家建議稿對開源問題做不同處理AI項?。但暫未發(fā)布針對基礎模型開源的相關政策法規(guī)，相關?法還在制定中。2023年10?，中國政府在第三屆“?帶?路”國際合作?峰論壇上發(fā)布了《全球??智能治理倡議》，圍繞??智能發(fā)展、安全、治理三??系統(tǒng)闡述了??智能治理中國?案。在國際治理中，中國政府站在全球南?的?度呼吁開源??智能技術，并倡導需要開展?向發(fā)展中國家的國際合作與援助，不斷彌合智能鴻溝和治理能?差距。時間主要倡議或建議稿對開源AI的規(guī)定或?場2024年4?《??智能?范法2.0版（專家建議稿）》32(2023年8?1.0版，9?1.1版33)重視??智能開源發(fā)展，提出促進開源社區(qū)建設、制定專?合規(guī)指引、明確責任減免規(guī)則等?持措施。2024年3?《中華??共和國??智能法（學者建議稿）》34推進開源?態(tài)建設，建?開源治理體系，免費開源的??智能/基礎模型可豁免本法。2023年10?《全球??智能治理倡議》35?勵全球共同推動??智能健康發(fā)展，共享??智能知識成果，開源??智能技術。中國對開源AI或軟件做出規(guī)定的主要倡議或建議稿（本報告?制）2023年度?法?作計劃》。其中顯?，《??智31機器之能,“拿下微軟合作、旗艦模型對標GPT-M，認識?下「歐洲版OpenAI」”,2024-03-01,/articles/202M-03-0132馮戀閣,“《??智能?范法2.0（專家建議稿）》重磅發(fā)布重視AI開源發(fā)展、構建知識產(chǎn)權創(chuàng)新規(guī)則”,2024-04-16,/article/202M0M1G/herald/Mdf710?ed0?e037cdfGc5Maa3G99G1.html.33馮戀閣,“《??智能?范法1.1（專家建議稿）》重磅發(fā)布”,2023-09-07,/article/20230907/herald/982ae3bb7b82597bMdc1f990dedGMad2.html.34數(shù)字法治，“重磅?發(fā)|《中華??共和國??智能法（學者建議稿）》”，2024-03-16,/s/2i9zAXJ5dJKlKNMfMppUDw.35中央?絡安全和信息化辦公室,“全球??智能治理倡議”，2023-10-18,/2023-10/18/c_1G9929103288M978.htm.議稿，均對開源問題做出了探討，都明確了重視開源??智能發(fā)展的積極?場。具體??，《??智能?范法2.0（專家建議稿）》相較于《中華??共和國??智能法（學者建議2023年8?，中國社會科學院國情調(diào)研重?項?《我國??智能倫理審查和監(jiān)管制度建設狀況調(diào)研》課題組發(fā)布《??智能法?范法1.0(專家建議稿)》，9??發(fā)布1.1版，表?“?持建設、運營開源開發(fā)平臺、開源社區(qū)和開源項?等，推進開源軟件項?合規(guī)應?”。2024年4?，《??智能?范法2.0（專家建議稿）》發(fā)布，2.0在此前版本的基礎上不斷更新，將重視??智能開源發(fā)展，提出促進開源社區(qū)建設、制定專?合規(guī)指引、明確責任減免規(guī)則等?持措施。2.0（專家建議稿）》對于開源AI?較有特?的條款包括：1）第???對開源??智能研發(fā)規(guī)定專?的稅收優(yōu)惠辦法。2）第五?九條（創(chuàng)新監(jiān)管）國家??智能主管機關針對開源??智能研發(fā)者制訂專?的合規(guī)指引，推動開源??智能創(chuàng)新發(fā)展。3）第七??條（開源??智能的法律責任減免）存此外，由中國政法?學數(shù)據(jù)法治研究院牽頭的專家組，于2024年3?發(fā)布了《中華??共）》，其中開源AI的相關政策相對簡要和寬松。提出國家應推進建?開源治理體系，?勵?智能開發(fā)者、提供者應當對開源框架、基礎軟硬件和部署環(huán)境的漏洞和安全?險進?定期檢查和監(jiān)測，并實時監(jiān)測可能的攻擊。明確表?開源的基礎模型不需要對衍?利?承擔連帶責任、基礎模型屬于開源模型的應豁免相應的法律責任，免費開源的??智能不適?于本法。除此之外，國內(nèi)學者專家也對于AI開源發(fā)展與法律規(guī)制舉辦了若?研討36,37。以發(fā)展與安全的平衡為例，部分專家認為，盡可能進?精準規(guī)制、敏捷治理，避免??切式的安全冗余設36SPPM法與公管交叉研究,“??智能?法之開源發(fā)展與法律規(guī)制會議順利召開”,2024-01-27/s/HMs7V-Jc1GPwxMoBygDROg.37中國法學創(chuàng)新?，“AI善治論壇在京召開發(fā)布《??智能法（學者建議稿）》”，2024-03-19,/dyna/content.php?id=2G910.?的安全評估等?段，實現(xiàn)?律與他律的有效結合，確保開源?模型?態(tài)在安全與健康的基礎上不斷推動創(chuàng)新38，我們期待就這?議題展開更深?的探討。其他全球南?國家?勵AI?險與收益研究，以開放科學應對全球發(fā)展AI平衡和解決與AI系統(tǒng)在彌合數(shù)字鴻溝和實現(xiàn)所有17項可持續(xù)發(fā)展?標??所發(fā)揮作?有關的潛在利益和?險，包括擴?開源AI系統(tǒng)等數(shù)字解決?案的作?”。2023年9?，《哈?那G77+中國峰會的最終宣?》40強調(diào)了對開放科學合作的需要以及推它呼吁促進?個包容和公平的技術進步環(huán)境，避免壟斷中東地區(qū)，阿聯(lián)酋積極采?開源治理模式，對?模型發(fā)放開源許可證(Open-sourceLicense)。此外，阿聯(lián)酋政府還向Falcon基?會承諾3億美元的資?，?持該?營利性機構的應?程序。有觀點認為，阿聯(lián)酋致?于開源AI的承諾在外交上取得了成功，贏得了來?全AI開發(fā)之外。其中?部分動機是為阿聯(lián)酋找到?個領域，并增強國家競爭?41。此外，巴西促進能夠驗證數(shù)據(jù)集和機器學習模型中歧視性趨勢的開源代碼的傳播42。?洲AI治理數(shù)據(jù)保護相關?法，但?前未涉及針對開源治理的重點討論43。38傅宏宇,“《中華??共和國??智能法（學者建議稿）》：產(chǎn)業(yè)期待中的中國?案”,2024-03-18,/a/7G51033M3_38M789.39聯(lián)合國,“聯(lián)合國?會通過?程碑式?jīng)Q議，呼吁讓??智能給?類帶來'惠益'”,2024-03-21,/zh/story/202M/03/112755G.40CubanMinistryforForeignA?airs,“FinalDeclarationofHavana'sG77+ChinaSummit”,/?nal-declaration-of-havanas-g77china-summit/.41Billy“TheUAEIsonaMissiontoBecomeanAIPower”,2024-03-22,/G9583G9/arti?cial-intelligence-united-arab-emirates/.42BrazilGovernment,“SummaryoftheBrazilianArti?cialIntelligence2022-02-24,r.43ThomsonReutersFoundation,“AIGovernanceforAfrica2023-11-22,01%20and%202.pdf.肯尼亞前任外?RaychelleOmamo表?，南?國家更關注的是發(fā)展，以及誰能更好地在基礎設施建設、?員培訓和公共健康等領域?持和幫助??國家，?不會關?是不是給某個國家貼上標簽。全球南部的許多國家仍將數(shù)字發(fā)展置于地緣政治協(xié)調(diào)之上44。?結技術發(fā)展的重視程度，也體現(xiàn)了對于開源AI?險與收益的不同理解和評估。???，監(jiān)管機構試圖通過制定相關法規(guī)來確保AI技術的安全性和可控性，防?潛在的濫AI政策上的不同選擇和實施路徑。與此同時，產(chǎn)業(yè)界和學術界對于開源AI的?險和收益也展開了激烈的討論，展現(xiàn)出不同的AI治理政策制定的啟?和影響。44肖茜,“在慕安會感受歐美AI治理的協(xié)調(diào)與分歧”,2024-02-22,/info/subemail_wzjx/G931.審慎開放vs?勵開放，前沿AI開源的主要爭論到?前為?，AI領域的開源?直是有益的。但未來我們可能會到達?個地步，不開源在減少?險的層?會對社會更有益，盡管這會在創(chuàng)新速度等??有所損失。顯然，這有利有弊。?約書亞·本吉奧(JoshuaBengio)45林納斯定律：只要有?夠多的眼睛，所有的錯誤都是顯而易?的。?埃?克·雷蒙德(EricRaymond)462023年9?底，抗議者聚集在Meta舊??辦公室外，抗議其公開發(fā)布AI模型的政策，聲稱Llama系列模型發(fā)布代表了潛在不安全技術的“不可逆轉(zhuǎn)的擴散”47。但也有?表?，?乎沒有證據(jù)表明開源模型造成了任何具體損害，AI研發(fā)的開源是“確保對技術信任的唯?途徑”。爭論主要在于前沿AI的濫?和失控?險?多數(shù)AI應開放并?爭議圖靈獎得主Bengio在討論開源AI潛在的濫??險時認為48：模型開源?般由研發(fā)機構??決定。?前?多數(shù)AI是有益/?害的，應該共享。但未來更強的AI可能因濫??產(chǎn)?不可逆轉(zhuǎn)的，?旦落?惡意?為者?中，國家和社會就?法控制。當ElonMusk等指責SamAltman“呼吁監(jiān)管”只是為了保護OpenAI的領導地位時，SamAltman回應稱49，“應該對那些超過某??度能?閾值的?型公司和封閉模型進?更多監(jiān)管，?對?型初創(chuàng)公司和開源模型的監(jiān)管應該較少”。全的新興?險》50指出：開源AI模型可能是?項重要的公共產(chǎn)品。然?，前沿AI模型可能需要?相對于它們更?、更專?或能?較弱的同類模型受到更多限制。45AzeemBengio,Bengio:AI'shumanisticfuture”,2024-02-14,https://www.exponentialview.co/p/yoshua-bengio-towards-ais-humanistic.2014-05/subject/25881855/.47EddGentDecryIrreversibleProliferation'ofAI”,2023-10-06,/meta-ai.48Bengio2023-12-09,/.49ETtech,“Regulation?AI,saysOpenAICEOSamAltman”,2023-06-09,.50MarkusAnderljungetal.,“FrontierAIRegulation:ManagingEmergingRiskstoPublicSafety”,2023-11-07,/abs/2307.03718.Anthropic在《第三?測試是AI政策的關鍵組成部分》51??中認為：當今絕?多數(shù)（甚。然?，我們相信，未來前沿AI系統(tǒng)完全開放傳播的?化與社會安全?化之間可能很難調(diào)和。前沿AI可能因濫?和失控引發(fā)災難性?險CBRN)、虛假信息的濫??險，以及操縱欺騙、模型?主性導致的濫?和失控?險。當前證據(jù)表明開放模型和封閉模型之間存在顯著的性能差距52，但隨著開源模型的能??益接近GPT-M級別53，對于前沿AI模型是否應開源的爭論預計將更加激烈。?險類別描述?絡安全濫?CBRN濫?利?AI輔助?段創(chuàng)建化學/?物/輻射/核威脅相關的?險。虛假信息濫?利?AI?成傳播有害或虛假信息給公共安全帶來相關的?險。操縱欺騙濫?/失控利?AI?成內(nèi)容使?們改變其信念或據(jù)此采取?動相關的?險。?主性濫?/失控更強的模型?主性使?為體能夠適應環(huán)境變化并規(guī)避被關閉，從?可能被規(guī)?；癁E?。?主性也是?我復制、?我改進、資源獲取的前提。由于?前的安全技術還不夠完善，其?為可能會違背設計者或使?者的初衷（不對?）。即使沒?故意濫?，也可能成為災難性?險的來源。前沿AI可能涉及的濫?和失控?險（本報告?制）注：《布萊切利AI安全宣?》，重點關注?絡安全、?物技術、虛假信息《安全、可靠和可信AI?政命令》，重點關注?絡安全、CBRN、欺騙《北京AI安全國際共識》，重點關注?主復制或改進、權?尋求、協(xié)助武器制造、?絡安全、欺騙4）OpenAI的PreparenessCBRN、操縱（含欺騙）、?主性5）Anthropic的ResponsibleScalingPolicy1.0，重點關注?絡安全、CBRN、?主性和復制51Anthropic,“Third-partytestingasakeyingredientofAIpolicy”,2024-03-25,/news/third-party-testing.52StanfordHAI,“2024AIIndexReport”,2024-04-15,/report/.53Meta,“IntroducingLlama3:ThemostcapableopenlyavailableLLMtodate”,2024-04-18,/blog/meta-llama-3.?場?：審慎開放，防范?險的開放?檻須標準更?產(chǎn)業(yè)界Anthropic專注于開發(fā)安全、可控的AI系統(tǒng)，前沿模型均未開源54???，Anthropic認識到科學進步很?程度上依賴于研究的開放和透明?化，AI領域的許多?命性進展都是建?在開源研究和模型的基礎上的。開源系統(tǒng)通過允許更多?測試技術并識別潛在弱點，有助于提?安全環(huán)境的穩(wěn)健性。另???，Anthropic也表達了對于前沿AI系統(tǒng)完全開源可能帶來的?險的擔憂。他們認為，隨著AI模型的能??益增強，如果（“如果”是?個關鍵且尚未解決的問題）存在可能導致有害影響或災難性事故的?險，那么當前的開源?化可能需要調(diào)整，以確保AI系統(tǒng)的安全和社會責任。，例如通過分類器檢Anthropic強調(diào)，盡管這些安全措施可能成本?昂，但為了預防AI系統(tǒng)可能導致的嚴重濫AI系統(tǒng)或系統(tǒng)?為的不可接受濫??為上達成?泛共識。最后，Anthropic指出，作為?家主要開發(fā)封閉系統(tǒng)的公司，他們沒有正當性來決定哪些他們呼吁需要合法的第三?來開發(fā)和應?被?泛認可的測試和評估?法，以及定義AI系統(tǒng)濫??為的標準，并對受控（例如通過API）或公）的模型進?這些測試，以?成關于AI領域安全特性的基本信息。AI事故的?險，這可能對?和社區(qū)造成重?傷害，并可能導致對AI?業(yè)不利的法規(guī)。OpenAI開源策略經(jīng)歷了從相對開放到逐步收緊的過程2015-2019年的早期階段，OpenAI秉持開放、協(xié)作、造福?類的理念，主張通過開源推等平臺的源代碼，希望學術界和業(yè)界能?泛參與、共同進步。但隨著語?模型等AI系統(tǒng)變得越來越強?，OpenAI開始意識到技術濫?和誤?可能帶來發(fā)布時采取了分階段發(fā)54Anthropic,“Third-partytestingasakeyingredientofAIpolicy”,2024-03-25,/news/third-party-testing.任、可控發(fā)展的重視。2019年底，OpenAI宣布從?營利組織轉(zhuǎn)為"封頂利潤"的有限責任公司，以獲取更多的商業(yè)資源和靈活性。這導致了商業(yè)利益在其決策中的?重上升。為了保護??的競爭優(yōu)勢和創(chuàng)新成果，OpenAI開始減少對開源模型和訓練代碼，同時發(fā)布的研究成果也?幅減少，像GPT-3這樣的?模型只開放API，希望既能惠及社會，?能在?定程度上控制技術的傳播和應?，但OpenAI的品牌名稱導致了?定程度的混亂56?？偟膩碚f，OpenAI的開源策略是在開放共享、?險防控和商業(yè)利益之間不斷權衡、動態(tài)調(diào)整的。這種平衡和博弈，也反映了當前整個AI領域在開源問題上的復雜性和兩難性。GoogleDeepMind開源了AlphaFold2和Gemma，但不開源前沿模型Gemini2024年2?，GoogleDeepMind的?席執(zhí)?官DemisHassabis在接受《紐約時報》專訪時57，談及如何看待通過開源使基礎模型可?增加了被惡意使?其能?的?險這?批評。DemisHassabis提到，開源和開放科學對于AGI技術的發(fā)展顯然是是有益的。但他也指出開源可能帶來的?險，特別是對于強?的AGI技術，因為其通?性，?旦開源就可能被惡意利?。他解釋說，GoogleDeepMind決定開源Gemma模型的原因是因為Gemma是輕量級的版本，相對于前沿模型Gemini來說，它的能?已經(jīng)得到了很好的測試和理解，因此GoogleDeepMind認為這種規(guī)模的模型相關的?險并不?。他還強調(diào)了安全性、魯棒性和責任性的重要性，特別是在接近AGI時，必須更加謹慎地考他認為，對于開源的極端主義者，必須更多地考慮這些問題，因為這些系統(tǒng)變得越來越強?。?此前，DeepMind還開源了AlphaFold2，但也通過內(nèi)部機構審查委員會，外部?物研AlphaFold2的收益盡可能地?泛可?，同時保持對其局限和準確性的透明度58。總的來說，DemisHassabis和DeepMind?持開源，但同時也強調(diào)了在開源時需要考慮的安全性和潛在?險，特別是在AGI技術??。他們傾向于在確保?險可控的情況下進?開源，以促進技術的健康發(fā)展和?泛應?。/research/gpt-2-1-5b-release.56DavidHarris,“Open-SourceAIIsUniquelyDangerous”,2024-01-12,/open-source-ai-2GGG932122.57HardFork,“GoogleDeepMindC.E.O.DemisHassabisontheChatbotstoA.G.I.”,2024-02-23,es.58GoogleDeepmind,“Howourprincipleshelpedde?neAlphaFold'srelease”,2022-09-14,https://deepmind.google/discover/blog/how-our-principles-helped-de?ne-alphafolds-release.AI合作伙伴關系建議謹慎發(fā)布前沿模型2023年10發(fā)布《安全基礎模型部署指南》59，為AI模型提供商提供了?個框架，AI能?和?途。為了解決這些深遠的影響，PAI強調(diào)需要采取集體?動和共享安全原則。這種協(xié)作?法涉及各個不同利益相關?，包括?業(yè)界、?間機構、學術界和政府。?標是為負責任的模型開發(fā)和部署建?集體共識的最佳實踐，從?落實AI安全原則。指南的主要特點：為了適當?shù)亟鉀Q?險，模型部署指南的?針是根據(jù)每個AI模型?泛的適?性。模型部署指南適?于從現(xiàn)有到前沿的基礎模型全譜系。學術界探討了開放?能?基礎模型的潛在?險和替代?案益和替代?案進?了評估。AI控AI，并可關閉模型本?設計的安全措施。59GuidanceforSafeFoundationModelDeployment”,2023-10-24,60Elizabeth“Open-SourcingHighlyCapableFoundationModels”,2023-09-29,?偏向于攻擊，因為惡意?為者可以更容易地發(fā)現(xiàn)和利?漏洞，開源也不利于修復漏洞以及改進措施在下游實施。?組織安全合作，?勵和實現(xiàn)更?泛地參與AI開發(fā)、評估和治理過程。鑒于這些潛在?險、攻防失衡和替代?案，為幫助建?負責任開源的最佳實踐，在安全的前提下保留開源的優(yōu)勢。作者為開發(fā)者、標準制定機構和政策制定者提出了以下建議：除了評估模型的危險能?和直接濫?之外，還必須考慮模型微調(diào)或修改可引發(fā)的濫?。開發(fā)者應考慮開源的替代?案，在獲得技術和社會效益的同時，?沒有太?的?險。AI開發(fā)和治理決策的?泛監(jiān)督等。標準應基于對發(fā)布不同組件特定組合所帶來的?險的理解。政府應對開源AI模型進?監(jiān)督，并在?險?夠?時實施安全措施。AI開發(fā)者或許不會?愿采??險評估和模型共享標準，政府需要通過法規(guī)來執(zhí)?此類措施，并建?有效執(zhí)?此類監(jiān)督機制的能?。Mila等機構的學者提出可下載模型微調(diào)的?益便捷可能會增加?險2023年12?，Mila、英國AI安全研究所、劍橋?學等機構的研究?聯(lián)合發(fā)布論?《可下61AlanChanetal.“HazardsfromIncreasinglyAccessibleofDownloadableFoundationModels”,,g.基礎模型的權重，3.2節(jié)將進?步討論）。論?討論了以下?個主要??：（如改進）來降低微調(diào)的技術?檻和成本，使得更?泛的??群體能夠便捷地使?這些模型。潛在緩解措施和收益：論?討論了可能的緩解策略，例如使預訓練模型更難針對特定記憶信息。同時，論?也指出了微調(diào)的可訪問性提?可能帶來的潛在好處，如促進學術研究、適應新的?例、避免權?不平衡等。論?強調(diào)了在開放模型和提?微調(diào)可訪問性的同時，需要平衡潛在的收益和?險，并并投?場?：?勵開放，邊際?險的嚴謹證據(jù)仍相當有限產(chǎn)業(yè)界領先的AI開源機構：僅列舉開源了其最強模型的機構等多個重要的項?。他考量?法開源。在?模型??，2022年5?發(fā)布?語?模型，2023年2?發(fā)布Llama模型，都為?商業(yè)研究?途免費開放，并在2023年7?和2024年4?分別開源了可直接商?的?模型Llama2和Llama3。?席科學家楊?昆認為64，開源的?模型能夠吸引AI必須是開源的，因為當?模型成為通信結構的重要組成部分時，我們都需要有?個通?的基礎設施。62Henderson,“Self-DestructingModels:IncreasingtheCostsofHarmfulDualUsesofFoundationModels”,,g.63HAI,“HowtoPromoteResponsibleOpenFoundationModels”,2023-10-3,/news/how-promote-responsible-open-foundation-models.64“HownottobestupidaboutAI,withLeCun”,2023-12-22,BigScience是?個由學術界和?業(yè)界合作發(fā)起的國際開源研究項?，旨在訓練和開源有益于科學發(fā)展的?規(guī)模AI模型，在推動?模型開源和多樣性???在前列。2022年5?他們發(fā)布BLOOM-17GB等?規(guī)模多語?開源對話模型，希望讓不同語?和?化背景的??都能使?先進AI技術。該項?由Hugging聯(lián)合創(chuàng)始?ThomasWolf構想，他希望與?公司競爭，的?規(guī)模語?模型，讓更多?能使?和研究。EleutherAI發(fā)布系列等免費商?授權的開源模型，這些模型有不同規(guī)模，全部采?公開數(shù)據(jù)進?訓練，旨在幫助研究?員理解?模型訓練的不同階段。Connor是AI研究??發(fā)揮了重要作?，但Connor也批評是“最不負責任的AI參與者”，StabilityAI是?家致?于開發(fā)先進的圖像?成軟件開源AI的公司。其代表作StableDi?usion軟件在業(yè)界享有盛譽，最強?的開源圖像?成模型之?，被?泛應?于圖像識別、?成和編輯等領域，推動了AI藝術創(chuàng)作的發(fā)展和普及。AI戰(zhàn)略的重要組成部分，致?于推動AI技術的研究、開發(fā)和應?。TII在開源?模型領域取得了重?進展，推出180B模型，為全球研究?員和開發(fā)者提供了寶貴的資源。TII將180BAI研究的合作和發(fā)展，成為阿聯(lián)酋和中東地區(qū)積極發(fā)展AI技術的體現(xiàn)。IBM和聯(lián)合發(fā)起AI聯(lián)盟，合作推動開放、安全、負責任的AI發(fā)展2023年12?，IBM和Meta聯(lián)合發(fā)起AI聯(lián)盟(AIAlliance)67。這是?個國際性的技術開發(fā)者、研究?員和采?者社區(qū)。AI聯(lián)盟由超過50個創(chuàng)始成員和協(xié)作者組成，包括AMD、CERN、?歌、英特爾、Hugging等知名機構。該聯(lián)盟旨在通過開放創(chuàng)新和科學，聚焦于加速負AI硬件加速器?態(tài)系統(tǒng)的繁榮，以及?持全球AI技能培訓和探索性研究。65StasBekman,“千億參數(shù)開源?模型BLOOM背后的技術”,2022-07-14,https://huggingface.co/blog/zh/bloom-megatron-deepspeed.6,,,.67AIAlliance,“AIAllianceAnnounces25+NewMembers,LaunchesAISafetyandAIPolicyWorkingGroupstoEnableOpen,Safe,andResponsibleAIforAll”,2024-02-08,https://thealliance.ai/news.負責任創(chuàng)新實驗室發(fā)布聚焦于負責任AI的?愿承諾協(xié)議2023年11?，總部位于舊??的負責任創(chuàng)新實驗室(ResponsibleInnovationLabs,RIL)68發(fā)布了針對初創(chuàng)公司及其投資者的?個?業(yè)驅(qū)動的負責任AI承諾。這些承諾包括五個關鍵?動步驟：確保組織對負責任AI的認同、通過透明度建?信任、預測AI的?險和收益、審計和測試以確保產(chǎn)品安全、進?定期和持續(xù)的改進。這??愿性協(xié)議旨在提供實?指導，由多部AI初創(chuàng)公司、學術界和美國商務部。協(xié)議聚焦于負責任AI的?愿承諾，為早期階段的初創(chuàng)公司提供了針對其特定需求的資源。RIL的?標是為?益增多學術界Mozilla發(fā)起《關于AI安全和開放的聯(lián)合聲明》主張以公開訪問和審查增強安全性69聲明指出，當前正處于AI治理的關鍵時期。為了減輕當前和未來AI系統(tǒng)可能帶來的傷害，?不同領域的專家，如Meta的楊?昆、斯坦福?學的吳恩達、哥倫?亞?學的CamilleFran?ois、Mozilla的MarkSurman、加州?學伯克利分校的DeborahRaji、諾?爾和平獎得主MariaRessaRappler、EleutherAI的StellaBiderman等1800多位簽署者。從開源到開放科學，聲明呼吁采取多樣化的?法：為專注于創(chuàng)造負責任AI的新參與者降低進??檻。當談到AI安全和安保時，強調(diào)“開放性是?種解藥，?不是毒藥”。普林斯頓?學等機構的學者探討開放基礎模型的社會影響，?求促進討論的精確性7068ResponsibleInnovationLabsIntroducingtheResponsibleAICommitments2024-04-23(引??期),/responsible-ai.69Camilleetal.,“JointonAISafetyandOpenness”,2023-10-31,/letter/.70SayashKapooretal.,“OntheSocietalImpactofOpenFoundationModels”,2024-02-27,/open-fms/.（通過允許更?泛的?訪問）、本地適應和推理（??可??）。這些特性帶來許多收益：?閉源軟件更容易受到攻擊或更不安全72。對模型權重的?泛訪問可實現(xiàn)某種形式的使?其框架對開放基礎模型的?險進?評分研究。表明該步驟已明確完成；?表?部分完成；?表?不存在該步驟（完整論?清單）7371RishiBommasanietal.,“ConsiderationsforGoverningOpenFoundationModels”,2023-12-13,/issue-brief-considerations-governing-open-foundation-models.72GuidoSchryen,“IsOpenSourceSecurityaMyth?”,2024-04-12,g.73SayashKapooretal.,“OntheSocietalImpactofOpenFoundationModels”,2024-02-27,/open-fms/.框架步驟步驟描述以?絡安全（?動漏洞檢測）為例威脅識別指定威脅是什么以及來?誰?所有濫?分析都應系統(tǒng)地識別和描述正在分析的潛在威脅為了提出明確的假設。漏洞檢測?具可?于?動執(zhí)?發(fā)現(xiàn)軟件漏洞的過程。威脅?為者包括個??客、?團體或國家?持的攻擊者?，F(xiàn)有?險這種威脅的現(xiàn)有?險是什么？攻擊者受益于漏洞檢測中?然最壞情況的不對稱性：攻擊者只需利?(不考慮開放在許多情況下，公開發(fā)布模型的?險已經(jīng)單個有效漏洞即可成功，?防御者必須防御所有漏洞才能成功?，F(xiàn)有基礎模型)存在于現(xiàn)實世界（盡管嚴重程度可能有所?險很?程度上受到攻擊者資源的影響：?練的攻擊者經(jīng)常在攻擊設不同）。計中使??動漏洞檢測?具。模糊測試?具?期以來?直被?來查找軟件中的漏洞，Metasploit等?具也是如此，Metasploit是?個免費的滲透測試框架，可以幫助?動漏洞檢測。MITRE的AI系統(tǒng)對抗威脅格局是對抗性機器學習的?絡安全威脅矩陣，包括許多利?封閉基礎模型和其他類型的機器學習模型來檢測漏洞的技術。現(xiàn)有防御這種威脅的現(xiàn)有防御是什么？?絡安全防御通常采?縱深防御策略，其中防御是分層的，以確保基(不考慮開放開放基礎模型的許多所謂?險都有現(xiàn)有的于?層中未解決的漏洞的利?不會影響其他防御層。在漏洞檢測設置基礎模型)防御措施。中，防御者可以搶先使?漏洞檢測?具來檢測和修補安全威脅，這同樣取決于他們對資源的訪問。漏洞賞?等激勵策略可以通過激勵漏洞發(fā)現(xiàn)者（?客、安全研究?員、公司）報告漏洞，在?定程度上使攻防平衡向有利于防御的?向傾斜。邊際?險這種威脅的?險增量是什么？我們不知道現(xiàn)有證據(jù)表明惡意?為者已成功使?開放基礎模型來?動(marginal?旦威脅途徑、現(xiàn)有?險?平以及現(xiàn)有防檢測漏洞。存在暗??具?告，聲稱可以促進?動漏洞檢測，但尚不risk)的證據(jù)御措施的范圍明確后，理解開放發(fā)布模型清楚這些產(chǎn)品是否依賴于開放基礎模型。在考慮相對于封閉基礎的邊的邊際?險就?常重要。不僅要與現(xiàn)有技際?險時，雖然可以更好地監(jiān)測封閉基礎模型的濫?情況，但尚不清術（如互聯(lián)?）相?較，還要與閉源的基楚此類?途是否會得到可靠性識別。也就是說，使?封閉基礎模型進礎模型的發(fā)布相?較。?漏洞檢測并不?定是濫?，這引?了區(qū)分?于?動漏洞檢測的封閉基礎模型的合法和惡意使?的重要分類問題。新?險防御改進防御措施以應對新?險有多難？?模型可以納?信息安全?具包中以加強防御。展?了?模型如何擴難易度雖然現(xiàn)有的防御措施為應對開放基礎模型?流?的模糊測試?具OSS-Fuzz的覆蓋范圍?；A模型還可?于監(jiān)引?的新?險提供了基線，但可以實施新測來?已部署軟件系統(tǒng)的信號，以發(fā)現(xiàn)主動攻擊的跡象。Google在其的防御措施或修改現(xiàn)有的防御措施，以應流?的惡意軟件檢測平臺Virus-Total中利?了?模型，使?模型來幫對總體?險的增加。助解釋特定?件中包含的惡意軟件的功能?？v深防御在輔助防御??將繼續(xù)發(fā)揮重要作?。?論?于?動漏洞檢測的模型是開放還是封閉的，信號以及以機器規(guī)模和速度分析信號的能?都可以為防御者提供不同的?持，因其可以更好地訪問系統(tǒng)。不確定性和分析中隱含的不確定性和假設是什么？對邊際?險和防御難易度的分析假設防御者將繼續(xù)更好地訪問最先進假設?些分歧可能源于不同研究?員對開放基的漏洞檢測?具，包括基于開放基礎模型的?具。它還假設防御者投礎模型?態(tài)系統(tǒng)未明確的假設。該框架要資使?這些?具來更新他們的信息安全實踐，并且隨著模型能?的提求研究?員對其具體說明，以澄清分歧。?，攻防平衡不會發(fā)?巨?變化。?險評估框架對?絡安全?險分析的實例化7474SayashKapooretal.,“OntheSocietalImpactofOpenFoundationModels”,2024-02-27,g.（如上表所?）AI進?防御。對于后者，開放基礎模型?前?前帶來了相當?的邊際?險，?且看似合理的防御似乎很困難。最后，作者希望其概念框架能夠幫助彌補當前實證證據(jù)的不?，并提出以下政策建議：AI實踐，以及哪些留給可能修改模型以在?向消費者的應?程序中使?的下游開發(fā)者。應采??險評估框架來明確闡明公開發(fā)布基礎模型?險確實?法制定良好防御措施。?前這種邊際?險的證據(jù)仍然相當有限75。兩種?場的異同點開源開放對加速創(chuàng)新、提?透明度、促進科審慎開放??勵開放?總體態(tài)度認為隨著基礎模型能?的增強，當前的開源?化可能需要調(diào)整，以確保安全和責任，?持有條件、漸進式的開源收益vs?險承認開源有助于外部監(jiān)督、加速進步等優(yōu)點，但認為對于?能?模型，開源的?險可能?于收益強調(diào)開源在分配模型?為定義權、促進創(chuàng)新、?持科研、實現(xiàn)透明、減輕單??化等??的重要價值。應客觀評估開源的邊際?險，很多?險在閉源情況下也存在75RishiBommasanietal.,“ConsiderationsforGoverningOpenFoundationModels”,2023-12-13,/issue-brief-considerations-governing-open-foundation-models.審慎開放??勵開放?如何開源主張盡可能完全、直接地開源源代碼、模型、權重等，及時開源有助于發(fā)現(xiàn)和修復問題，即使是前沿模型也應盡快開源，但要有配套的安全防護安全保障主張開源前應進?強有?的濫?檢測、使?限制等安全保證，??險時不應開源，政府應加強監(jiān)管執(zhí)法提倡在開源的同時加強防御措施，??嚴格管控。呼吁明確開發(fā)者和下游開發(fā)者的責任劃分監(jiān)管政策更傾向于嚴格監(jiān)管。建議制定細粒度的模型開源標準，政府應對??險模型實施必要的安全管控措施擔?監(jiān)管過嚴會抑制創(chuàng)新，主張更多地依靠?業(yè)?律，提醒應評估監(jiān)管對開源創(chuàng)新?態(tài)的影響，政策制定應有充分的?險證據(jù)?撐，競爭機構應衡量開放性的價值審慎開放?vs?勵開放?的?場對?（本報告?制）爭論之外的?場三：是否開源主要取決于商業(yè)考量在審慎開放和?勵開源這兩種?場的爭論之外，還存在?類觀點認為企業(yè)決定是否開源前沿模型，很?程度上取決于其商業(yè)利益的考量，??對濫??險的審慎權衡。、xAI，以及國內(nèi)的智譜AI和百川智能等AI企業(yè)采納了開源與閉源并?的策CEO李彥宏所指出字節(jié)跳動AILab總監(jiān)李航引?微軟全球執(zhí)?副總裁沈向洋的觀點，強調(diào)企業(yè)的開源決策與其市場地位緊密相關76。?業(yè)的領導者可能不會選擇開源，第?名肯定不會開源，第?名想要、Anthropic?前尚未開源，?和Amazon等公司開源并?出于其他考慮，?主要是為了獲取商業(yè)利益優(yōu)勢。此外，?之暗?的CEO楊植麟也表?77，領先的同時，智源研究院和智譜AI等機構簽署的《北京AI安全國際共識》78也表明，?論開源還?結AI開源的爭論中，我們識別了兩種主要?場：??是審慎開放的倡導者，他們AI模型時，商業(yè)利益AI的真正含義，探索不同76薛瀾等,“中國在這?波??智能浪潮中處于什么位置？”,2024-03-26,/s/ovBVf8ortxfMoIEW8A23cw.77張?珺,“?之暗?楊植麟復盤?模型創(chuàng)業(yè)這?年：向延綿?未知的雪?前進”,2024-03-01,/s/kEKotLcnlFK0jf8gNajXIg.78YoshuaBengioetal.,“北京AI安全國際共識”,2024-03-11,.開源vs閉源，是錯誤的?分法空間，這似乎是?個需要多元專業(yè)知識才能解決的社會技術設計問題。?吉?什·薩斯特?(GirishSastry)79不同于開源軟件，開源AI的概念尚未得到清晰定義開源最初是?于描述開源軟件(open-sourcesoftware,簡稱OSS)，它是?種社會契約，意味著軟件的源代碼是公開可訪問的，任何?都可以查看、使?、修改和分發(fā)，并且是在開源許可證下發(fā)布的。開源軟件的標準定義必須滿??個核?標準80,81，包括免費提供源代碼、允許衍?作品以及不歧視任何使?該軟件的領域或群體等。因此，開源既指源代碼的可?性，也指允許下游不受限制地使?所述代碼的合法許可。然?，隨著像Llama1、Llama2、這樣的AI模型的發(fā)布，“開源”這?術語與將Llama2稱為開源模型，但其許可證有?個限制，即擁有超過7億?活躍??的下游開發(fā)者不能將其?于商業(yè)?途，其輸出也不能?于訓練其他?模型83。因此嚴格來說，根據(jù)傳統(tǒng)的開源軟件定義，Llama2并不是?了具有使?限制的OpenRAIL(Open&ResponsibleAI)許可證85。拋開許可證問題，開源軟件僅僅指“免費且公開可下載的源代碼”的概念，并不直接適?于AI，因為系統(tǒng)的構建?式不同86。對于AI系統(tǒng)，“源代碼”可以指推理代碼和/或訓練代碼，79GirishSastry,“Beyond‘Release’vs.‘NotRelease’”,2021-10-18,/commentary/2021/10/18/sastry.html.80OpenSourceInitiative,“TheOpenSourceDe?nition”,2024-02-16,/osd.81ChooseaLicense,“Licenses”,2024-04-23(引??期),/licenses/.82CenterfortheGovernanceofAI,“Open-SourcingHighlyCapableFoundationModels”,2023-09-29,Open-SourcingHighlyCapableFoundationModels.Release”,2023-07-18,/llama/license/.84OpenSourceInitiative,LLaMa2licenseisnotOpenSource”,2023-07-20,/blog/metas-llama-2-license-is-not-open-source.85CarlosMu?ozFerrandis,“OpenRAIL:openandresponsibleAIlicensingframeworks”,2022-08-31,https://huggingface.co/blog/open_rail.86SidSijbrandij,“AIweightsarenotopen'source'”,2023-06-27,/blog/2023-0G-27-ai-weights-are-not-open-source/.正如開放源代碼促進會(OpenSourceInitiative,簡稱OSI)的執(zhí)?董事StefanoMa?ulli所說的，開源AI的概念尚未得到清晰定義。不同的組織使?該術語來指代不同的事物。這?常令?困惑，因為每個?都?它來表?不同程度的“公開可?”，并提出了?系列新的挑戰(zhàn)，其中最重要的是圍繞訓練數(shù)據(jù)的隱私和版權問題87。OSI?2022年OSI的開源AI定義?作的2024年時間線8987EddGent,Decry'IrreversibleProliferation'ofAI”,2023-10-06,/meta-ai.88OpenSourceInitiativeJoinTheDiscussiononOpenSourceAI2024-04-23(引??期),/deepdive.89OpenSourceInitiative,“OpenSourceAIDe?nition”,2024-01-26,/wp-content/uplo