AI安全：從RSA2024看未來(lái)趨勢(shì)和行動(dòng)

AI安全:從RSA2024看未來(lái)趨勢(shì)和行動(dòng)奇安信集團(tuán)鄔怡1.ResponsibleAdversarialAttacksonLLMs:討論了對(duì)大型語(yǔ)言模型(LLMs)進(jìn)行負(fù)責(zé)任的對(duì)抗性攻擊的問(wèn)題。4.NavigatingtheAIFrontier-TheRoleoftheCISOinGenAIGovernance:討論了CISO(首席信息安全官)在通用人工智能(GenAI)治理中的角色。7.SecuringAI-ThereIsNoTry,OnlyDo:強(qiáng)調(diào)了在AI安全方面沒(méi)有嘗試,只有行動(dòng)的重要性。10.BuildingAISecurityinMLSecOpsinPractice:討論了在實(shí)踐中構(gòu)建AI安全的MLSecOps(機(jī)器學(xué)習(xí)安全運(yùn)維)。11.BalancingAccessibility,Security,andAIDesign-IncRSA2024集中討論了人工智能(AI)和大型語(yǔ)言模型(LLM)在安全、治理、倫理、法規(guī)遵從以及技術(shù)創(chuàng)新方面的挑戰(zhàn)和機(jī)遇,并強(qiáng)調(diào)了在這些領(lǐng)域內(nèi)建立框架、策略和最佳實(shí)踐的重要性。AI帶來(lái)的商業(yè)轉(zhuǎn)型與安全挑戰(zhàn)AI治理框架的必要性AI安全和數(shù)據(jù)安全、網(wǎng)絡(luò)安全發(fā)展所經(jīng)歷的過(guò)程類似,建立治理體系是組織的優(yōu)先事務(wù)。AI治理需要建立起由隱私、法律和合規(guī)、安全及信息技術(shù)等部門(mén)的跨職能組織來(lái)承擔(dān)相應(yīng)責(zé)任。從訓(xùn)練數(shù)據(jù)到云基礎(chǔ)設(shè)施,AI系統(tǒng)的每個(gè)組成部分都可能成為攻擊的目標(biāo)。LLM在架構(gòu)分層務(wù)更類似人的角色,對(duì)人的社工、詐騙手段也能用在對(duì)生成式AI攻擊務(wù)。生成式AI安全威脅覆蓋交互、應(yīng)用、平臺(tái)各層面。針對(duì)生成式AI的復(fù)雜的攻擊路徑和手段需要全面的、多層次從模型到消費(fèi)者生成式AI的安全需求可以根據(jù)應(yīng)用場(chǎng)景細(xì)分為多個(gè)層次,包括消費(fèi)者應(yīng)用、企業(yè)應(yīng)用、預(yù)訓(xùn)練模型、微調(diào)模型和自我訓(xùn)練模型。每個(gè)層次都有特定的安全需求和風(fēng)險(xiǎn)數(shù)據(jù)和模型的管理至關(guān)重要數(shù)據(jù)工程師負(fù)責(zé)數(shù)據(jù)的質(zhì)量與安全,模型工程師則專注于模型的開(kāi)發(fā)和優(yōu)化。通過(guò)DataOps和ModelOps平臺(tái),確保生成式AI系統(tǒng)的穩(wěn)定性和安全性。與人類不同,與人類不同,LLM沒(méi)有責(zé)任感和可信度。因此,需要建立機(jī)制來(lái)模擬人類的行為規(guī)范和責(zé)任感,確保LLM在處理敏感數(shù)據(jù)時(shí)能夠遵循一定的安全政策和行為準(zhǔn)則。發(fā)現(xiàn)影子LLM發(fā)現(xiàn)組織內(nèi)所有AI服務(wù),追蹤資源和數(shù)據(jù)源,建立LLM應(yīng)用清單,進(jìn)行審計(jì)和合規(guī)性檢查。將大語(yǔ)言模型(LLM)視為黑箱,重點(diǎn)關(guān)注其數(shù)據(jù)接口的安全。識(shí)別并保護(hù)這些接口,以確保數(shù)據(jù)在傳輸和處理過(guò)程務(wù)的隱私和保密性。防御對(duì)抗性提示和提示注入LLM的自然語(yǔ)言理解和指令跟隨功能使其容易受到對(duì)抗性提示和提示注入攻擊。這類攻擊可能導(dǎo)致敏感數(shù)據(jù)泄露或模型行為偏差。因此,需要特別關(guān)注防御這類攻擊的方法。全面集成AI安全標(biāo)準(zhǔn)通過(guò)實(shí)施SD3(SecureByDesign,SecureByDefault,SecureByDeployment)指導(dǎo)原則,將AI安全標(biāo)準(zhǔn)融入企業(yè)的整體安全策略,確保所有產(chǎn)品團(tuán)隊(duì)在開(kāi)發(fā)和部署AI系統(tǒng)時(shí)遵循統(tǒng)—的安全標(biāo)準(zhǔn)和流程。全面集成AI安全運(yùn)營(yíng)流程將生成式AI安全無(wú)縫集成到企業(yè)安全框架中的策略,通過(guò)實(shí)時(shí)監(jiān)控和威脅檢測(cè)、