生成式AI應用程序安全測試和驗證標準2024

生成式AI應用程序安全測試和驗證標準世界數(shù)字技術學院標準世界數(shù)字技術標準WDTAAI-STR-01被指定為WDTA規(guī)范。本文件是世界數(shù)字技術學院(WDTA)的財產(chǎn)，受國際版權法保護。未經(jīng)WDTA事先書面許可，禁止使用本文檔，包括復制、修改、分發(fā)或重新發(fā)布。WDTA不對本文檔中的世界數(shù)字技術學院(WDTA)致力于成為全球數(shù)字技術創(chuàng)新的開拓者，與作為非政府組織的聯(lián)合國框架保持一致。WDTA堅持其3s原則-速度，安全，共享-致力于加速數(shù)字規(guī)范的創(chuàng)建，帶頭通過合作努力，WDTA致力于推動數(shù)字技術的發(fā)展，以改善社會計劃是WDTA國際計劃的核心部分，旨在解決人工智能系統(tǒng)擴散帶來的復雜挑戰(zhàn)。認識到術在全球范圍內(nèi)的快速擴展和整合，AISTR站在本標準文檔提供了一個框架，用于測試和驗證生成式AI應用程序的安全性。該框架涵蓋了AI應用程序生命周期中的關鍵領域，包括基本模型選擇，檢索增強生成設計模式中的嵌入和矢量數(shù)據(jù)庫，提示執(zhí)行/推理，代理行為，微調，響應處理和AI應用程序運行時安全性。主要目標是確保AI應用程序在其整個生命周期中按照其預期設計安全運行。通過為AI應用程序堆棧的每一層提供一套測試和驗證標準和指南，重點關注安全性和合規(guī)性，本文檔旨在幫助開發(fā)人員和組織增強使用llm構建的AI應用程序的安全性和可靠性，減輕潛在的安全風險，提高整體質AISTR計劃代表了我們?nèi)绾翁幚鞟I技術的開發(fā)和部署的范式轉變。倡導人工智能系統(tǒng)中的安全、信任和責任，為更道德、安全和公平的數(shù)字未來奠定了基礎，在未來，人工智能技術是進步的推動者，而不是不確定性和傷害的來源。生成式AI應用程序安全測試和驗證標準是AI主要作者道森廣告(OWASP?基礎)(OpenAI)(亞馬遜)王永霞(騰訊)1生成式AI應用程序安全測試和驗證標準生成式AI應用程序安全測試和驗證標準文檔概述了一個全面的框架，用于測AI應用程序的安全性，特別是那些使用大型語言模型(llm)構建的應用程序。它定義了AI應用程序堆棧各層的測試和驗證范圍(圖1)。將生成的GenAI模型集成到更大的支持AI的系統(tǒng)或下游應用程序中可能會引入安全問題。因此，所有下游AI應用程序都需要安全測試和標準驗證，即使基本的GenAI模型在集成到下游應用程序之前已經(jīng)過雖然本文檔作為初始版本，但其在本次迭代中的主要重點是LLM。但是，重要的是要注意范AI安全測試和驗證協(xié)同工作，以確保AI應用程序安全且按預期運行。在可行的情況下，應在整個開發(fā)生命周期中采用穩(wěn)健的方法，使用諸如快速注入，掃描和紅色團隊練習之類的技術來主動識別問題。然而，單獨的測試有局限性，特別是對于第三方組件，測試可能是不可能的或有限的。在這種情況下，聘請專門審計AI治理、流程和程序的外部專家或組織組件的安全性極為重要。徹底審核AI應用程序以檢查所有生命周期部署環(huán)境中對下游AI應用程序的徹底檢查可確保遵守安全標準，即使在模型級別評估不充分的如此。具有強大測試實踐的集成保證方法以及對策略，流程和性能的持續(xù)驗證，為系統(tǒng)繼續(xù)自主學習提供了負責任的AI結果的保證。它們共同提供有關系統(tǒng)優(yōu)缺點的信息，通2本規(guī)范涵蓋基于基本LLM模型構建的下游應用程序的安全測試，但不詳細說明基本LLM模型本身的安全測試一下規(guī)范。將來要發(fā)布的單獨文檔將涵蓋專門針對基本LLM模型的安全測試基礎模型選擇:在選擇之前，應檢查下游AI應用的候選模型。本節(jié)介紹驗證基本模型的合規(guī)性、適當?shù)臄?shù)據(jù)使用和API安全性。該文件提供了指導，以確保所選擇的模型符合法律，道德和操作標準，這是確保AI應用程序安全性的關鍵一步。范圍包括開嵌入和矢量數(shù)據(jù)庫:在大多數(shù)下游AI應用程序中，這些都是關鍵組件，用于存儲和檢索語言數(shù)據(jù)塊。本文檔概述了測試數(shù)據(jù)完整性，質量和匿名化過程的程序，以保護用戶隱私并遵守法規(guī)。該規(guī)范提供了測試矢量數(shù)據(jù)庫的機密性、完整提示和知識檢索與檢索增強生成(RAG):RAG可以顯著提高生成AI應用程序的事實準確性和可靠性，例如大型語言模型。它通過在文本生成期間實時地動態(tài)合并從外部源提取的相關的、特定領域的知識來實現(xiàn)這一點。本節(jié)將指導有效提示的構建、提示模板的創(chuàng)建和使用以及外部api的集成。它還包括測試矢量數(shù)據(jù)庫的檢索過程，確保AI應用程序可以準確地訪問和利用相提示執(zhí)行/推理:文檔詳細介紹了提示執(zhí)行/推理層中LLMapi的測試過程，包括對緩存機制和驗證過程的測試，以優(yōu)化性能和準確性。此層還包括用于檢查提示和確保llm不被用于執(zhí)行未經(jīng)代理行為:這些是高級LLM應用程序功能。該規(guī)范概述了對快速解釋，內(nèi)存利用率，知識應用，計劃和動作啟動的測試。這包括測試集成到AI應用程序中的工具微調:通常會針對特定的下游AI應用程序對GenAI模型進行微調。本節(jié)包括數(shù)據(jù)隱私測試、基本模型選擇的重新評估和模型部署，以確保3響應處理:對AI的響應、相關性、毒性和倫理考慮進行事實核查測試，以維護AI交互的可信和AI應用程序運行時安全性:運行時安全性涉及對AI應用程序的持續(xù)實時監(jiān)控。它涵蓋數(shù)據(jù)保護、模型安全、基礎設施安全以及審計跟蹤合規(guī)性。這確保了全面的安全方法，保護總體而言，生成式AI應用程序安全測試和驗證標準文檔提供了詳細和結構化的方法來測試AI應用程序堆棧的每一層，確保AI應用程序的所有方面都經(jīng)過嚴格4本文檔的目標受眾是參與確保生成式AI應用程序的安全性和完整性的專業(yè)人員和利益相關AI安全工程師和分析師:主要負責實施和維護規(guī)范中概述的安全措施。他們評估AI應用程序的威脅，設計安全架構，并監(jiān)視系統(tǒng)以預防，檢測和響應安全事件。這些工程師還會考慮偏見和人工智能開發(fā)人員、mlop和人工智能工程師:他們是構建、維護和自動化人工智能應用程序工作流程的人。他們使用安全規(guī)范來理解并將安全最佳實踐集成到應合規(guī)官和監(jiān)管專家:負責確保AI應用程序符合不斷發(fā)展的法律和監(jiān)管標準的專業(yè)人員使用該規(guī)數(shù)據(jù)保護官:確保AI應用程序安全地處理數(shù)據(jù)，并遵守數(shù)據(jù)保護法律和政策。安全規(guī)范為他們IT和網(wǎng)絡管理員:這些管理員負責AI應用程序的底層基礎架構。這些專業(yè)人員將使用安全規(guī)范來保護網(wǎng)絡，服務器和其他組件，以防止不良行為者在AI相關風險管理專業(yè)人員:評估和管理與人工智能應用相關的風險。安全規(guī)范幫助他們識別潛在的安道德審查委員會:負責監(jiān)督人工智能道德使用的委員會依賴于安全規(guī)范，以確保人工智能應用項目經(jīng)理和產(chǎn)品所有者:這些利益相關者確保AI項目安全高效地交付。安全規(guī)范指導他們設置5第三方或外部安全審核員和顧問:由這些專家對AI應用程序的安全狀況進行外部審查。他們使最終用戶或業(yè)務利益相關者:AI應用程序的最終用戶或業(yè)務利益相關者雖然不直接參與實施安全性，但對這些系統(tǒng)的安全性具有既得利益。了解安全規(guī)范可以幫助他們評估AI應用這些小組中的每一個都在確保AI應用程序的安全性方面發(fā)揮著關鍵作用，從開發(fā)到部署和操3.規(guī)范性引用文件下面列出的參考文獻對于應用和理解本文檔至關重要。它們提供了對安全和負責任地開發(fā)和部●生成式AI安全:理論與實踐●拜登關于安全、可靠和值得信賴的人工智能的行政命令●NIST值得信賴和負責任的AINISTAI100-2e●MITRE阿特拉斯?(人工智能系統(tǒng)的對抗性威脅景觀)●降低檢索增強生成(RAG)LLM64.術語和定義代理行為:LLM應用程序通過諸如內(nèi)存利用，知識應用，計劃和執(zhí)行基于提示的操作來展示代AI應用程序運行時安全:為在操作期間保護AI應用程序而實施的全面安全措施。它包括數(shù)據(jù)保人工智能治理:人工智能風險的框架、要求、監(jiān)督和問責。這些結構可以將風險映射到組織環(huán)AI響應處理:處理和評估AI響應的準確性、相關性、無毒性、隱私性、保API安全檢查:對與模型接口的API的安全措施進行驗證，如身份驗證、授權和數(shù)據(jù)加密，以防基本語言模型:基本模型(有時稱為基礎模型)是一種大型語言模型，其原始模型構建者已經(jīng)使用諸如從人類反饋(RLHF)的強化學習等技術對其進行了一般功能的訓練和微調。這些基本模型(例如OpenAI的GPT-4，Anthropic的Claude3，Google的Gemini1.5，CohereCommand，AmazonTitan或Meta的開源LLaMA2)為進一步的特定任務定制奠定了堅實的基礎。通常，開發(fā)人員會調整基本模型輸出，以顯示廣泛的語言能力和對下游應用程序中專業(yè)用例的適應性。然后，工程師和公司將這些基本模型作為有效開發(fā)和部署針對其精確需求和應用程序量身定制的AI解決方案的起點?；灸Ｐ拖藦念^開始訓練完整模型的需要，提供了封閉和開源的基礎模型選擇:在考慮AI安全性的情況下選擇合適的基礎模型。選擇涉及評估諸如性能基準，培訓數(shù)據(jù)質量，潛在偏差，安全程序，潛在有害輸出，預期用例和法規(guī)遵從性要求等因素?？煽康哪Ｐ蛠碓?，透明度，數(shù)據(jù)/培訓方法的審核，跨職能審核流程以及遵守行為準則是在負責任地部署llm時維護安全性，合規(guī)性和道德標準7緩存:用于存儲AI模型的推斷輸出的技術，以避免在推理過程中重復計算。由于深度神經(jīng)網(wǎng)絡模型的運行計算成本很高，因此緩存其輸出可以在實時請求期間提供更快的響應時間。典型的解決方案包括緩存聊天機器人的問答對，計算機視覺模型的分類或大型語言緩存驗證:在將AI應用程序的緩存輸出返回給用戶之前，檢查其準確性、相關性和安全性。這可能涉及置信度檢查，語義分析，敏感主題的輸入阻止或人工確認。驗證與緩存一起使用，以閉源模型:其權重、推理代碼和訓練數(shù)據(jù)清單不公開的模型。數(shù)據(jù)清理和匿名化:從數(shù)據(jù)中刪除不準確和不一致之處，并匿名化個人或敏感信息，以維護隱數(shù)據(jù)使用檢查:確保用于培訓和操作模型的數(shù)據(jù)是適當?shù)?，符合道德?guī)范的，并符合數(shù)據(jù)保護外部API集成:將外部API集成到LLM應用程序中，以增強功能，例如訪問微調:針對特定任務或數(shù)據(jù)集調整基于模型的過程，以提高性能，相關性和對數(shù)據(jù)隱私的合規(guī)LLM(大型語言模型):大型語言模型(LLM)是一種在大型文本語料庫上訓練的神經(jīng)網(wǎng)絡，通過預測下一個單詞或令牌來生成智能文本，從而允許開放式文本生成應用程序，模型合規(guī)性檢查:評估所選模型是否符合法律、法規(guī)和道德標準。這包括數(shù)據(jù)隱私法和偏差最小化等考慮因素。請記住，合規(guī)性會隨著時間的推移而改變，不要假設它總是給定的。也不要推斷一個供應商對另一個供應商的合規(guī)性。模型本身很少經(jīng)過認證，但它模型注冊表:用于存儲、版本控制和編目機器學習/AI模型和相關元數(shù)據(jù)(例如，模型卡)的數(shù)據(jù)庫、存儲庫或系統(tǒng)。模型花園是注冊表的一個精選版本，其中包含提供商的精選模型。它通常需要模型與使用的訓練數(shù)據(jù)和推理數(shù)據(jù)點8提示構建和模板:為LLM創(chuàng)建有效且安全的提示，并開發(fā)模板以標準化和簡化提示生成。提示處理:LLM解釋并處理提示以生成響應的過程。此過程涉及理解提示，訪問相關知識以及RAG，或檢索增強生成:檢索增強生成AI應用程序的事實準確性，如大型語言模型，通過從矢量數(shù)據(jù)庫中實時提取相關知識來增強它們。在推理期間，檢索器模塊首先使用生成器的內(nèi)部狀態(tài)向量來查詢存儲外部知識(文本、圖像等)的向量數(shù)據(jù)庫。然后，與生成上下文最相關的檢索到的向量與內(nèi)部狀態(tài)交叉，以產(chǎn)生下一個生成的輸出。這個過程動態(tài)地使模型的生成更接近現(xiàn)實，糾正錯誤的假設并減少幻覺內(nèi)容。這種可擴展的檢索基礎結構在開放式推理期間為生成器提供了相關外部數(shù)據(jù)的連續(xù)供應。這種檢索增強的生成方法抵消了生成器的知識限制和捏造信息的趨勢，從而提高了開放域生成AI應用程序中的事實一致矢量數(shù)據(jù)庫:矢量數(shù)據(jù)庫充當?shù)孛鎸崨r，幫助將知識擴展到訓練時間以外的運行時間，并減少生成AI模型中的幻覺。它們允許將大量的真實世界數(shù)據(jù)(圖像、文本、分子結構等)存儲為捕獲語義概念和特征的矢量表示。然后，這些矢量數(shù)據(jù)集在推理過程中充當生成模型的參考，以使其輸出更接近現(xiàn)實，并避免制造錯誤的細節(jié)(幻覺)。從生成模型輸向量匹配提供了一種檢測和過濾超分辨率內(nèi)容的自動化方法。這個數(shù)據(jù)集條件對于生成AI的安全關鍵應用至關重要，如藥物發(fā)現(xiàn)和內(nèi)容創(chuàng)建。優(yōu)化的矢量搜索和可擴展性使PGvector，Milvus，Weaviate和Pinecone等數(shù)據(jù)庫非常適合為現(xiàn)實世界中部署的生成AI應用程序啟用此類95.AI應用安全和驗證標準要確保AI應用程序的安全性和完整性，需要對AI應用程序堆棧中的所有組件進行結構化和嚴格的測試。全面的測試制度可以驗證下游AI應用程序的每個方面(從基礎模型選擇到運行時安全性)是否按預期安全運行，并且沒有漏洞。細致的測試規(guī)范設定了明確的要求，方法和預期結果，從而實現(xiàn)了透明的評估。本節(jié)提供了AI應用程序體系結構每一層的詳細測5.1基本模型選擇測試標準基礎模型選擇是確保AI應用程序安全性和合規(guī)性的關鍵方面。選擇涉及對開源和閉源模型的不同考慮，認識到雖然閉源模型可能有更容易獲得的合規(guī)性文檔，但開源模型可能缺乏已建立需要注意的是，基礎模型的測試和驗證是一個持續(xù)的過程，尤其是在上游基礎情況下。隨著基礎模型的發(fā)展和更新，重新驗證模型以確保它仍然滿足所需的安全性和合規(guī)性標準至關重要。這種持續(xù)的驗證過程有助于維護AI應用程序的完整性和可靠性，即使5.1.1模型合規(guī)性和上下文測試檢查模型合規(guī)性涉及每種模型類型的不同方法，并考慮其獨特的特要求:基于人工智能的模型，無論是開源還是閉源，都符合法律、監(jiān)管、安全和道德標準。方法:對于閉源模型，根據(jù)相關法律、行業(yè)法規(guī)和道德準則，對供應商提供的可用合規(guī)性文檔進行詳細審查。為確保合規(guī)性，應審查和評估模型的培訓數(shù)據(jù)質量(符合目的作參數(shù)和社區(qū)反饋。對已關閉模型的權限和訪問權限可能會限制此評估。對于所有模型，模型卡1和數(shù)據(jù)報表等工具2為模型和數(shù)據(jù)文檔提供基準。這可能包括與法律和行業(yè)專家進行磋商，以解釋缺乏正式文件的領域的合規(guī)性。測試一下模型在特定任務上的準確性、相關性、一致性和性能是否滿足預定要求。使用預設場景和數(shù)據(jù)集對模型進行基準測試，以衡量其性能和輸出有用于測試的資源，但它們的效用可能會隨著時間的推移而變化和降低。對于封閉和開源模型，都有許多公開可用的即時安全測試結果。由于它們使用不同的測試一下數(shù)據(jù)集，因此這些安全評估工作可能會為同一模型產(chǎn)生不同的結果。盡管如此，咨詢多個公開可用的結果可以指出LLM更有可能表現(xiàn)出哪種類型的有害行為。隨著新的故障模型和攻擊的發(fā)現(xiàn)，基準也會隨著時間的推移而變化;考慮并報告用于評估模型的此外，識別并列出來自MITREAtlas等來源的已知漏洞(?)3、AV預期結果:基礎模型完全滿足所有法律、法規(guī)、安全和道德要求，無論其來源如何。對于閉源模型，任何不合規(guī)的領域都被明確標識，對于開源模型，則會2.檢查模型卡中存在每個模型的上下文元數(shù)據(jù)，訓練和微調的血統(tǒng)。模型卡提1./doi/10.1145/3287560.32875962./數(shù)據(jù)-報表//34https://avidml。組織/5https://airisk.io/6https://incidentdatabase.ai/要求:無論是開源還是閉源，AI模型都要有模型卡，詳細說明模型的來源、數(shù)據(jù)敏感度、訓練方法:對所有模型(包括托管模型)的可用模型卡進行詳細審查。確保模型卡具有模型沿襲和所有權的詳細信息。模型卡應該能夠提供用于訓練和微調的數(shù)據(jù)集(如果適用)。對于閉源模型，預期結果:無論其來源如何，基本模型都具有模型應用程序的完整元數(shù)據(jù)。5.1.2數(shù)據(jù)使用檢查測試方法:對敏感數(shù)據(jù)和個人數(shù)據(jù)的用戶提示實施數(shù)據(jù)匿名化或偽匿名化技術。進行定期審核，以確保有效地掩蓋個人標識符。此外，請確保存儲的提示和輸出不超過策略指定的內(nèi)容。這可以限制存儲的內(nèi)容和存儲時間的長度。進行對抗性測試以檢查數(shù)據(jù)是否泄漏，使用方法(例如，預期結果:在不泄露個人身份的情況下處理用戶提示，確保隱私并遵守數(shù)據(jù)保護法。如果需要求:數(shù)據(jù)的道德和法律使用方法:根據(jù)道德標準和法律要求制定數(shù)據(jù)使用指南。執(zhí)行常規(guī)合規(guī)性檢查和審核，以監(jiān)控對這預期結果:來自用戶提示、微調訓練數(shù)據(jù)和矢量數(shù)據(jù)庫的數(shù)據(jù)在道德和法律上使用，沒有濫用要求:數(shù)據(jù)保護法規(guī)的遵守方法:獲得用戶同意，確保數(shù)據(jù)透明度，并為用戶提供對其數(shù)據(jù)的控制。數(shù)據(jù)最小化僅收集必要的個人數(shù)據(jù)，并避免過度收集。通過技術手段最大限度地減少個人數(shù)據(jù)的使用和存儲時間。根據(jù)數(shù)據(jù)的敏感性采取差異化的隱私保護措施。定期對員工進行數(shù)據(jù)保護法培訓，并進行合規(guī)性審計。實施響應訪問信息請求和被遺忘請預期結果:通過審計結果和用戶反饋，完全遵守GDPR或CCPA等數(shù)據(jù)保護法律。4.使用數(shù)據(jù)沿襲和元數(shù)據(jù)的數(shù)據(jù)起源過直接或間接訪問數(shù)據(jù)集的數(shù)據(jù)源、數(shù)據(jù)敏感性、合規(guī)方法:對數(shù)據(jù)卡和數(shù)據(jù)集進行審查。驗證每個數(shù)據(jù)集，尤其是那集，都有一個數(shù)據(jù)卡。確保數(shù)據(jù)卡具有數(shù)據(jù)集沿襲和維護和管理數(shù)據(jù)卡。數(shù)據(jù)卡中的集合和內(nèi)容將隨著數(shù)據(jù)管理員、所預期結果:無論其來源如何，基本模型都具有模型應用程序的完整元數(shù)據(jù)。要求:AI應用程序開發(fā)人員與基礎模型提供商之間的數(shù)據(jù)使用協(xié)議證次級要求:確定締約方和范圍方法:對協(xié)議進行審核，以驗證各方均已正確識別，并且協(xié)議的范圍(包括特定的基礎模型或預期結果:協(xié)議準確地確定了所有各方并概述了范圍，對所涉及的模型或數(shù)據(jù)集的模糊性較子要求:使用權利和限制方法:對協(xié)議進行詳細分析，以確保明確說明和理解使用權和限制，包括對修改和重新分配的預期結果:對使用權有清晰的理解和文檔記錄，確保明確定義并遵守許可類型(排他性或非排子要求:數(shù)據(jù)處理和合規(guī)性方法:對處理用戶提示、精細圖靈訓練數(shù)據(jù)和矢量數(shù)據(jù)庫內(nèi)容的流程進行回顧。檢查數(shù)據(jù)匿名預期結果:數(shù)據(jù)處理方法完全符合協(xié)議和法律標準，并采用安全和合規(guī)的數(shù)據(jù)管理做法。方法:確認協(xié)議清楚地概述了有關基礎模型、微調模型、輸入數(shù)據(jù)、微調數(shù)據(jù)和輸出數(shù)據(jù)的知識產(chǎn)權。檢查實踐中的合規(guī)性。此外，請查看模型提供者授予其用戶的任何賠償條款。通過審預期結果:尊重知識產(chǎn)權，并為使用、修改和重新分配模型輸出提供明確的指導方針。任何賠子要求:保密和不披露方法:對保密和保密條款的執(zhí)行情況進行評估，預期結果:嚴格遵守保密義務，根據(jù)組織關于處理公司機密信息和重大非公開信息的政策保護方法:審查組織處理與AI系統(tǒng)相關的責任和擔保的方法。評估組織為理解和實施相關術語，應對潛在的模型故障或數(shù)據(jù)泄露以及遵守該領域適用的標準和法規(guī)而做出預期結果:本組織承諾盡其所能妥善管理負債和履行擔保，并制定旨在處理可能出現(xiàn)的任何問題的政策和程序。我們努力遵守相關的行業(yè)標準、最佳做法和法律要求，以分配責任和補救失敗或違規(guī)行為，同時認識到完美的執(zhí)行可能子要求:終止和續(xù)訂條款預期結果:定義明確的終止和續(xù)約條款，方法:在出現(xiàn)分歧或違約的情況下，檢查爭議解決條款并評估參與概述過程的準備情況。預期結果:建立有效的爭端解決機制，符合協(xié)議條款。子要求:適用法律方法:明確規(guī)定和理解管轄法律和管轄權，并檢查是否與開發(fā)或使用AI應用程序的當?shù)胤捎凶右?簽名方式:經(jīng)雙方授權代表簽字確認。5.1.3基礎模型推理API安全測試本節(jié)概述了用于全面評估客戶端應用程序如何與第三方模型推理API集成的特定測試規(guī)范。當應用程序與外部API交互時，這些測試至關重要，需要采用與傳統(tǒng)API測試不同的方法。本節(jié)著重于從客戶端應用程序的角度進行測試，這與5.4.1節(jié)中概述的由API提供者進行的測試不同。這種區(qū)別至關重要，因為我們正在處理將使用第三方推理api的客戶端應用程序。為此用為了確保采用全面和結構化的方法來測試與第三方模型推理API集成的客戶端應用程序的安全要求:必須對API的所有請求進行身份驗證和授權，以確?？蛻舳藢φ埱蟮馁Y源具有權限和適方法:通過模擬各種身份驗證場景，測試一預期結果:客戶端必須在請求標頭中包含有效的身份驗證令牌，通常作為承載令牌。API應使●403如果經(jīng)過身份驗證的客戶端沒有執(zhí)行提供清晰簡潔的錯誤消息，以指示特定的授權問題，例如缺要求:必須在所有狀態(tài)下應用加密:傳輸中，靜止和使用中。數(shù)據(jù)傳輸子要求:對通過網(wǎng)絡傳輸?shù)臄?shù)據(jù)使用強大的加密協(xié)議，如TLS1.2或更高版本，以確保安全的機密性和完整性。實施完美的前向保密，以保護過去的加密通信免受解密，即使長期密鑰受到損害。在傳輸之前，必須對敏感數(shù)據(jù)進行加密，以確保在到達目方法:對基本模型推理API端點進行全面的漏洞評估和滲透測試，以評估其抵御潛在攻擊的能力。確保其加密配置和加密協(xié)議是健壯和不可穿透的。持續(xù)監(jiān)控進出端點的網(wǎng)絡流量，驗證嚴格加密標準的執(zhí)行情況和安全協(xié)議的采用情況，例如最新的TLS版本，優(yōu)先考慮保持完美的前預期結果:使用符合當前加密標準的最新安全協(xié)議對所有傳輸?shù)臄?shù)據(jù)進行安全加密。加密密鑰應在每個會話中動態(tài)更改，以防止在將來的密鑰受到損數(shù)據(jù)靜態(tài)子要求:采用多層安全方法對敏感數(shù)據(jù)進行去標識，包括標記化、匿名化和假名化。應采用強大的加密標準，如AES-256或等效標準，以安全地存儲敏感數(shù)據(jù)，其中去識別敏感數(shù)據(jù)或個人信息是不可行的。加密密鑰應與加密數(shù)據(jù)分開存儲，以增強安全性。必須實施嚴格的對于令牌化，請評估令牌生成安全性和隨機性。評估令牌字典訪問安全性。驗證所有標記化操作的日志記錄/審核。評估令牌數(shù)據(jù)映射的加密和訪問控制。測試一下標記化數(shù)據(jù)使用中的數(shù)對于匿名化，驗證不可逆的匿名化和無法重新識別數(shù)據(jù)。檢查匿名數(shù)據(jù)是否用于預期目的。對具有風格代表性的數(shù)據(jù)進行風險分析，以進行潛在的重新識別?；仡櫴褂玫哪涿夹g及其有效對于假名化，請確保假名的唯一性、安全性以及與源數(shù)據(jù)的分離。分析考慮數(shù)據(jù)相關性的重新數(shù)據(jù)應在各種情況下得到充分保護，而不會損害其在合法業(yè)務流程中的實用性。根據(jù)數(shù)據(jù)敏感性，從匿名數(shù)據(jù)中重新識別個人的風險應理想地介于0.04%和0.1%之間或更低。只有經(jīng)過授權的個人才能訪問令牌或假名并將其鏈接到原始數(shù)據(jù)，并進行從匿名或假名數(shù)據(jù)中重新識別個人實際上是不可能的，從數(shù)據(jù)在用子要求:對內(nèi)存中處理的敏感數(shù)據(jù)實施加密。應用程序必須使用安全編碼實踐來防止內(nèi)存轉儲和側信道攻擊。應采用最小特權原則來限制在處理過程中對敏感數(shù)據(jù)的訪問。應考慮提供機密計算聯(lián)盟定義的硬件信任根的機密計算硬方法:通過評估應用程序和系統(tǒng)來驗證內(nèi)存加密的有效性，以確認它們在內(nèi)存中有效地加密了評估應用程序如何處理內(nèi)存中的敏感數(shù)據(jù)，重點是防止通過內(nèi)存轉儲泄漏和測試一下是否存在側信道攻擊的漏洞，檢查如何處理數(shù)據(jù)并將其存儲在內(nèi)存中，以識別潛在的根據(jù)最小特權原則，審查用戶和進程訪問權限，以確保它們是最小的和必要的，以降低未經(jīng)授可信執(zhí)行環(huán)境(tee)提供安全執(zhí)行環(huán)境，在處理期間將敏感數(shù)據(jù)隔離在受保護的CPU飛地中。證明是機密計算的關鍵部分，允許從信任根(RoT)預期結果:在處理敏感數(shù)據(jù)時，確保數(shù)據(jù)保持加密、假名、匿名和安全。只有必要的用戶和進程才能訪問正在使用的敏感數(shù)據(jù)，并且必須嚴格控制和記錄此類訪問。機密計算和TEE驗證結方法:評估應用程序處理和清理各種潛在攻擊向量的能力，包括超出通常用例參數(shù)的輸入。執(zhí)行模糊測試，該測試應涵蓋API接口的所有功能點，包括各種HTTP方法(例如GET，POST，PUT，DELETE等)。執(zhí)行滲透和安全漏洞測試，例如SQL注入，跨站點腳本(XSS)，命令注預期結果:應用程序有效地過濾和清理輸入，防止注入，不相關的輸入和其他數(shù)據(jù)操作攻擊。要求:不暴露敏感信息的安全錯誤處理和日志記錄。方法:信息泄露時，觸發(fā)錯誤條件，分析日志。如果可能，在日志存儲之前自動刪除敏感信要求:通過使用秘密管理方法將API密鑰和憑證存儲在安全保管庫中來安全地管理它們。API密鑰和機密必須定期輪換，不得超過180天，或在出現(xiàn)潛在危害跡象時立即輪換。輪換過程必須方法:通過實施安全保管庫來存儲和檢索API密鑰和憑證，確保它們不會暴露或泄露。觀察并驗證安全密鑰管理流程，包括但不限于密鑰生成、密鑰輪換、禁用舊密鑰、密鑰銷毀和處理密鑰材料安全。采訪負責人員并審查培訓材料，以確認相關團隊對安全API密鑰輪換和機密管理流程的認識和理解。通過嘗試使用舊的/已撤銷的API密鑰和機密訪問資源并驗證訪問是否被適當預期結果:安全地存儲API密鑰和憑證要求:用于API通信的最新且安全的庫和依賴項。方法:進行漏洞掃描，檢查是否存在過時和不推薦使用的組件。預期結果:所有組件都是最新的，沒有已知漏洞。要求:符合API提供商的安全策略。預期結果:應用程序符合API的所有指定安全準則和協(xié)議。方法:為intAPI輸入和輸出確定用例的正常API行為基線，包括相關性、典型請求率、響應大小和模式。此基線有助于檢測異常，尤其是由審核或用例篩選api觸發(fā)的異常。保留詳細的日預期結果:異常情況的快速檢測和事件響應計劃的有效執(zhí)行。要求:數(shù)據(jù)保護法律和隱私設計原則的遵守。方法:應用程序中的審計數(shù)據(jù)處理慣例和隱私措施。預期效果:應用程序符合相關數(shù)據(jù)保護法規(guī)，有效保護用戶隱私。5.2嵌入和矢量數(shù)據(jù)庫對于AI應用程序的嵌入和矢量數(shù)據(jù)庫組件，測試5.2.1數(shù)據(jù)清理和匿名測試通過驗證其清潔度和有效的匿名化來確保用于創(chuàng)建嵌入的數(shù)據(jù)的完要求:根據(jù)用例，確保用于創(chuàng)建嵌入的數(shù)據(jù)被有效地清理和匿名化，特別是對于面向公眾的應方法:通過實施測試來評估數(shù)據(jù)清理過程的徹底性，確保不相關、冗余或錯誤的數(shù)據(jù)被識別并糾正或刪除。此外，根據(jù)GDPR等隱私標準，測試一下匿名化流程以確認個人或敏感信息被有效地隱藏或刪除。這可能涉及審查匿名化算法、技預期結果:嵌入過程中使用的數(shù)據(jù)干凈，相關且無錯誤。匿名化過程可有效保護個人和敏感信5.2.2Vector數(shù)據(jù)庫安全測試通過實施和驗證高級加密、用于數(shù)據(jù)訪問的RBAC、強大的密鑰管理、全面的IAM策略和其他要求:對高級加密技術(包括端到端加密)的使用情況進行評方法:對使用中的加密協(xié)議和加密標準進行全面評估，分析預期結果:通過采用高級加密方法并在傳輸，使用和存要求:從創(chuàng)建到停用，檢查加密密鑰的整個生命周期，以確保遵守安全密鑰管理實踐。方法:對密鑰發(fā)放、更新、撤銷和銷毀過程進行測試一下，評估其穩(wěn)健性和對密鑰管理標準的預期結果:安全的密鑰管理生命周期，有效保護需求:針對不同的用戶角色和場景，實現(xiàn)和測試一下精細的身份和訪問管理(IAM)策略，為不方法:基于場景進行測試，驗證每個用戶角色只能根據(jù)定義預期結果:對訪問權限進行精細控制，確保用戶只要求:經(jīng)常進行全面的安全審計，超出標準檢查的范圍，包括評估是否符合國際標準和行業(yè)特方法:深入執(zhí)行審計、漏洞評估和合規(guī)性檢查，以確保符合相關安全標準和法規(guī)。要求:對零信任安全模型的實現(xiàn)進行評估，在該模型中，信任永方法:在零信任環(huán)境中評估矢量數(shù)據(jù)庫的部署，驗證是否基于身要求:實時實施和評估監(jiān)控系統(tǒng)和異常檢測算法，以實時識別和方法:通過模擬安全事件并監(jiān)控其檢測和響應，測試一下實時監(jiān)預期結果:對安全威脅的早期檢測和快速響應，要求:提供可靠的災難恢復和數(shù)據(jù)備份流程。方法:對災難恢復和備份系統(tǒng)進行測試一下，使其能夠在發(fā)生破預期結果:高效可靠的災難恢復和數(shù)據(jù)備份流程，方法:對數(shù)據(jù)訪問的RBAC進行全面評估。使用不同的角色訪問數(shù)據(jù)，并確保正確的角色只能5.3使用RAG進行提示和知識檢索AI應用程序的“使用RAG(檢索增強生成)進行提示和知識檢索”階段的測試規(guī)范包含以下組件:5.3.1及時施工測試要求:請確保為RAG模型構建的提示有效且方法:為了清晰、相關和完整，測試一下快速構建過程。這涉及評估各種提示，以確保它們有效地將預期的請求傳達給RAG模型，并且模型的響應與提示的意圖一致。這些測試可能包括證明此要求可能需要大量資源或需要專業(yè)知識，具體取決于下游AI應用程序。因需要一系列方法來證明這一要求。例如，有78和第三方公司的公共存儲庫可以幫助進行需求演預期結果:構造良好的提示，明確無誤，并有效地指導RAG模型提供相關且準確的響應。2.驗證RAG模型的輸出是否與提供的用要求:確保RAG模型的結果準確且相關7/microsoft/promptbench8/promptfoo/promptfoo方法:為不同的用例測試一下不同的提示，并查看輸出在清晰度和相關性方面是否與預期輸出證明此要求可能需要大量資源或需要專業(yè)知識，具體取決于下游AI應用程序。因需要一系列方法來證明這一要求。例如，有預期結果:GenerativeAI輸出可以提供與用例無關的結果。確保輸出一致有助于確保輸出的可用方法:將模型的響應測試一下到各種精心設計的潛在惡意輸入。這涉及模擬可能利用輸入處理中的漏洞的場景。測試一下應包括直接和間接即時注射，如OWASPTop10為LLM應用程序記預期結果:模型始終安全地處理精心設計的輸入，而不會執(zhí)行意外操作或顯示易受攻擊的行方法:在可能泄露敏感或機密信息的情況下評估模型的輸出。這包括測試可能通過提示工程，越獄以及各種策略和技術觸發(fā)此類披露的場景。回顧學術文獻和公開的獨立測試一下結果，評估信息泄漏。如果沒有公開的獨立測試，組織應考慮是否可以選要求:采用多層方法，確保聊天機器人保持在其域內(nèi)。這種方法需要強大的故障安全機制，完方法:通過提供與其指定域無關的有意查詢來測試一下聊天機器人，評估其識別和管理此類情況的能力。模擬具有異常和噪聲的真實數(shù)據(jù)場景，確保聊天機器人提供準確可靠的信息。進行A/B測試，將聊天機器人的性能與對照組進行比較，為其在特定領域的有效性提供有價值的見預期結果:聊天機器人展示了識別其領域之外的查詢的非凡能力，禮貌地承認它們的無關性或引導對話回到正軌。該系統(tǒng)在模擬的真實世界場景中可靠地提取了準確的特定領域數(shù)據(jù)，不受不相關或嘈雜信息的影響。在A/B測試期間，聊天機器人的性能超出了預期，特別是在響應質量、用戶滿意度和指定領域內(nèi)的相關性方面。它努力堅持實施的故障安全機制，護欄和專門的算法，確保強大和安全的用戶體驗。用戶對聊天機器人的準確和有用的響應表示很高的滿意5.3.2提示模板測試提示模板是預定義的結構或準則，用于生成提示，以促進來自模型的特定類型的響應。這些模板旨在通過提供一致且優(yōu)化的方式來表達查詢或命令，從而簡化與模型的交互，確保模型盡可能準確地理解用戶的意圖。提示模板的設計可以顯著影響模型響應的有效性和效率，使其對于要求:請確保系統(tǒng)對提示模板的使用符合總體訪問控制策略，防止模板被利用來規(guī)避安全機制方法:進行系統(tǒng)級測試，以評估提示模板如何被不同角色/用戶訪問以及如何在系統(tǒng)的安全和訪問控制框架的上下文中使用。這涉及驗證系統(tǒng)在允許訪問特定模板或模板功能之前檢查用戶權限，尤其是那些可能觸發(fā)敏感操作或訪問特權信息的功能。測試應模擬嘗試使用模板的各種用應調查他們是否可以限制的方式使用模板，查看系統(tǒng)在處理模板之前是否預期結果:系統(tǒng)確保與提示模板的所有交互都受到適當?shù)脑L問控制。用戶只能以符合其權限的方式使用模板，而不能使用模板繞過系統(tǒng)級訪問限制。拒絕用戶訪問或使用超出其授權級別的模板的嘗試，這表明系統(tǒng)有效實施了與提示模板要求:請確保提示模板具有強大的功能，以防止可能導致意外或不適當輸出的誤解和誤用。模板應清楚地指導用戶，減少利用歧義或導致不良系方法:對模板進行徹底的審查和用戶測試(涵蓋所有相關的用戶角色)，以評估其清晰度和誤解的可能性。這包括與各種用戶一起評估模板，包括那些打算測試一下模板有效性邊界的用戶。目標是識別并糾正用戶可能(有意或無意)利用的任何歧義或弱點，以生成意外，不適當或超出模板預期用途范圍的響應。測試還應評估模板對輸入格式和內(nèi)容期望的指導，以確保用戶了預期結果:模板有效地指導用戶提供與模板預期用途一致的輸入，同時將誤解或誤用的風險降至最低。這些模板的設計和說明明顯減輕了對抗性操縱的可能性，確保系統(tǒng)的響應保持在預期和適當?shù)姆秶鷥?nèi)。用戶輸入和系統(tǒng)輸出是高度一致的，反映了模板在以安全和預期的方式指導實現(xiàn)動態(tài)訪問控制。應用程序必須根據(jù)上下文(包括時間、位置、設備類型和網(wǎng)絡安全狀況)評估用戶請求。應用程序必須根據(jù)上下文動態(tài)調整用戶權限，例如限制在工作時間以外對敏感利用基于屬性的訪問控制(ABAC)。應用程序必須使用ABAC來管理基于各種屬性的用戶訪問，例如用戶角色和數(shù)據(jù)分類。應用程序必須將ABAC與企業(yè)身份提供商和外部api集成，確保數(shù)據(jù)集成和訪問驗證。應用程序必須安全地與外部系統(tǒng)集成，驗證API密鑰，并使用作用域訪問令牌來限制對授權數(shù)據(jù)的訪問。應用程序必須將從集成平臺檢索到的訪問權限與用戶的實現(xiàn)上下文響應過濾。應用程序必須實現(xiàn)基于用戶上下文和權限過濾搜索結果的邏輯。應序必須根據(jù)用戶的角色或上下文動態(tài)修改響應，以排除方法:代碼審查:審查應用程序代碼，以確保存在用于動態(tài)訪問控制、ABAC實現(xiàn)和數(shù)據(jù)訪問驗動態(tài)分析:必須使用安全測試工具來動態(tài)分析應用程序在運行時的行為。應模擬具有不同上下滲透測試:必須進行滲透測試，以嘗試通過各種技術對敏感數(shù)據(jù)進行未經(jīng)授權的訪問，以驗證預期結果:始終確保敏感信息免受未經(jīng)授權的訪問和泄漏。用戶應該能夠僅訪問其特定上下文和角色所需的數(shù)據(jù)，從而在保持運營效率的同時增強安全性。系統(tǒng)必須適應各種用戶環(huán)境，動態(tài)應用適當?shù)脑L問控制和過濾器。系統(tǒng)必須遵守相關的數(shù)據(jù)保護法律和標準，最大限度地降低5.3.3外部API集成測試(函數(shù)調用、插件)外部API集成是指將LLM應用程序與外部API連接以擴展其功能并從其他系統(tǒng)訪問數(shù)據(jù)或服務確定外部api和RAG模型之間集成的可靠性和安全性，確保無縫連接、準確的數(shù)據(jù)交換和強大要求:確保外部api與RAG和LLM模型的可靠和安全集成，包方法:對API連接、數(shù)據(jù)交換、錯誤處理和安全性進行測試。這包括測試正確的函數(shù)調用，數(shù)據(jù)傳輸準確性，強大的錯誤和異常處理以及對安全協(xié)議(例如身份驗證和數(shù)據(jù)加密)的合規(guī)預期結果:將外部api與RAG和LLM模型安全地集成，展示可靠和安全的數(shù)據(jù)交換系統(tǒng)性能或安全性的情況下有效地處理錯誤。作為客戶端或API提供者，請參閱第5.4.1節(jié)和第5.3.4從矢量數(shù)據(jù)庫測試中檢索要求:從矢量數(shù)據(jù)庫中確保準確有效地檢索信息。方法:對檢索過程的相關性、準確性和速度進行測試一下。這涉及用各種輸入查詢矢量數(shù)據(jù)庫，并評估檢索到的信息的相關性和正確性。組織還可以評估其他性能預期結果:RAG系統(tǒng)有效地從矢量數(shù)據(jù)庫中檢索相關和準確的信息，有助于對提示做出準確和5.4即時執(zhí)行/推理AI應用程序中“提示執(zhí)行/推理”階段的測試規(guī)范，主要側重于LLMapi以及緩存和驗證機制，5.41LLM應用程序api測試如果您將LLM應用程序提供商API提供給第三方，則需要求身份驗證:OAuth2.0、SAML2.0和OpenIDConnect等身份驗證協(xié)議的正確實現(xiàn)，以及API密鑰和令牌的安全處理。使用基于令牌的身份驗證機制(如JSONWeb令牌(JWT))在無狀態(tài)環(huán)方法:通過模擬各種身份驗證場景，測試一下協(xié)議實現(xiàn)和密鑰/令牌管理。如果使用JWT令牌，請通過驗證簽名，檢查頒發(fā)者并確保受眾與預期收件人匹配來驗證要求授權:根據(jù)用戶的角色和權限實施全面的訪問控制，以管理和限制用戶操作。這些措施包授權矩陣必須以結構化和機器可讀的格式記錄，同時易于被人類理解以進行更新。還應采用分層方法設計，以定義授權的各種組合，這些組合應適用于應用程序的不同技術平臺和體系結構方法:使用正確分配和實施的權限驗證基于角色的訪問控制(RBAC)或基于屬性的訪問控制(ABAC)系統(tǒng)。組織必須創(chuàng)建一組廣泛的集成測試，以驗證所測試應用程序的授權矩陣的完整性和適用性。這些測試應直接利用形式化矩陣作為其輸入。任何測試一下失敗實例都必須突出預期結果:訪問受控，確保只有授權的API用戶/客戶端才能根據(jù)允許的范圍訪問或修改數(shù)據(jù)，要求:對傳輸中和靜態(tài)的所有敏感數(shù)據(jù)采用高級加密，包括使用行業(yè)標準加密協(xié)議和定期更新預期結果:數(shù)據(jù)的強大加密，大大降低了未經(jīng)授權的數(shù)據(jù)訪問和違規(guī)的風險。要求:通過驗證所有輸入數(shù)據(jù)并使用安全的數(shù)據(jù)庫訪問方法，保護API免受SQL、NoSQL和命方法:預準備語句、存儲過程和徹底的輸入驗證。預期結果:注入漏洞的有效緩解，確保數(shù)據(jù)的完整性和安全性。方法:在整個設計和開發(fā)過程中應用“設計安全”原則，進行威脅建模，并集成安全檢查點。預期結果:彈性的API架構從設計階段就將安全風險和漏洞降至最低。要求:系統(tǒng)地配置并定期審核所有安全設置，使所有系方法:使用自動化工具進行配置管理，定期進行安全審計。預期結果:配置良好的API環(huán)境，最大限度地降低由于配置錯誤而導致的漏洞風險。方法:使用漏洞掃描工具定期修補和更新組件。要求:實現(xiàn)強大的身份驗證系統(tǒng)，包括多因素身份驗證和安全方法:通過部署多因素身份驗證，實施安全密碼實踐，并監(jiān)控異常身份驗證嘗試。預期結果:針對未經(jīng)授權的訪問的增強保護。預期結果:軟件和數(shù)據(jù)有保證的完整性和可信性。要求:通過嚴格驗證所有用戶提供的輸入，尤其是服務器端請求方法:嚴格執(zhí)行輸入驗證和清理程序，重點防范SSRF漏洞。預期結果:SSRF風險的有效緩解，保護5.4.2緩存和驗證測試評估緩存機制在提高響應時間方面的效率，以及驗證過程在確保LLMs響應的準確性和適當性要求:在提高響應時間和驗證過程的健壯性方面驗證緩存機制的有效性，以確保響應的準確方法:通過評估緩存系統(tǒng)對重復查詢的響應時間的影響來測試一下緩存系統(tǒng)。這包括評估高速緩存命中率、高速緩存中的數(shù)據(jù)完整性以及高速緩存更新的效率。對于驗證測試，請執(zhí)行檢查以確保LLM的響應準確，相關且沒有錯誤或不適當?shù)膬?nèi)容。這可能涉及自動驗證檢查和手動預期結果:緩存機制可顯著提高頻繁查詢的響應時間，而不會影響數(shù)據(jù)完整性。驗證過程有效地確保LLM響應的準確性和適當性，最大限度地減5.5代理行為人工智能代理是一個復雜的軟件系統(tǒng)，它根據(jù)預定義的目標或對特定輸入的響應自動執(zhí)行任務。其體系結構的核心是不同的組件，包括提示機制，通過指令或問題激活代理;內(nèi)存模塊，致力于存儲過去對話的詳細信息，以通知上下文相關的響應;以及一個單獨的知識庫，代理用于準確理解世界并與世界進行交互的最新信息。此外，戰(zhàn)略規(guī)劃和反思模塊包含用于決策的算法，使代理能夠通過一組工具評估選項，預測結盡管人工智能代理技術發(fā)展迅速，但其開發(fā)的通用標準仍未確定，這促進了持續(xù)創(chuàng)新的前景。在這個不斷發(fā)展的領域中，安全的重要性怎么強調都不為過。隨著人工智能代理變得越來越復雜，并越來越多地融入日常生活的各個方面，確保其抵御威脅和漏洞的能力至關重要，強調在人工智能代理開發(fā)過程中必須采取強有力的安全措施，以保持其運營人工智能應用中的“代理行為”測試規(guī)范可以詳細描述如下，涵蓋了提示、記憶、知識、計5.5.1快速響應測試方法:對AIagent理解和響應各種提示的能力進行測試一下，評估響應的清預期結果:AIagent始終能夠正確解釋提示，并提要求:請確保AI代理沒有采取自主操作，這可能是不允許的。它還要求在采取任何可能導致安方法:通常AI代理具有很高的權限。測試一下AI代理訪問和采取可能不允許的自主操作的能力。確保代理沒有訪問位置、文件或采取可能是敵對的或被對手使用的操作。還要確保人工智能代理在采取行動之前征求人類的批準，如果人類不允許特定的預期結果:人工智能代理在采取任何行動之前不斷要求人類批準，并按預期工作。5.5.2內(nèi)存利用率測試方法:通過評估AI如何將先前學習或提供的信息整合到其響應和動作中，來測試一下AI的記憶預期結果:人工智能展示了對記憶的有效利用，在其響應和決策中準確地回憶和利用相關的過5.5.3知識應用測試為了確定人工智能有效利用其知識庫(在大多數(shù)情況下，知識庫由矢量數(shù)據(jù)庫、圖形數(shù)據(jù)庫甚方法:通過呈現(xiàn)需要利用其存儲信息的場景或查詢來評估AI對其知識庫的使用。評估應側重于預期結果:人工智能有效地應用其知識庫，根據(jù)其積累的信息提供準確和深入的響應和行動。5.5.4規(guī)劃能力測試要求:人工智能測試一下計劃和執(zhí)行復雜任務的能力。方法:通過呈現(xiàn)需要行動或決策步驟的任務或場景來評估AI的規(guī)劃能力。這包括評估人工智能預期結果:人工智能展示了強大的規(guī)劃能力，為各種場景制定和執(zhí)行有效的戰(zhàn)略或行動計劃。5.5.5。動作執(zhí)行測試要求:有效且適當?shù)仳炞CAI執(zhí)行操作的能力。方法:在模擬環(huán)境中或通過預定義的任務測試一下AI執(zhí)行操作。重點應該放在AI采取的行動的5.5.6工具利用率測試確認AI在集成和利用可用工具方面的有效性，從而提高其在任務執(zhí)行和快速響應方面的性能方法:在執(zhí)行任務或響應提示時，評估AI對各種工具(例如數(shù)據(jù)庫，軟件庫或硬件設備)的集成和使用。這包括測試AI利用這些工具來提高預期結果:人工智能成功地集成和利用了各種工具，在其響應和行動中展示了增強的性能和能5.5.7過度的機構測試基于場景的測試:開發(fā)廣泛的測試一下場景，涵蓋各種決策情況，包括邊緣案例和潛在的道德對抗性測試:采用模糊測試，輸入操作和故意嘗試“破壞”系統(tǒng)等技術，以識別AI代理決策過程模擬測試:創(chuàng)建真實環(huán)境的詳細模擬，以測試一下AI代理在現(xiàn)實條件下的決策能力。監(jiān)視代理訪問控制測試:實施并徹底測試一下訪問控制機制，以確保只有授權用戶才能與AI代理的決策過程進行交互或修改AI代理的決策過程。這包括測試正確的身份驗證，授權和審核止未經(jīng)授權的訪問或篡改?；谧钚√貦嘣瓌t，只給人工智能代理有限的系統(tǒng)和數(shù)據(jù)訪問權限是至關重要的。這意味著授予代理執(zhí)行其預期功能所需的最低訪問級別，僅此而已。通過限制代理對敏感信息和關鍵系統(tǒng)的訪問，我們可以減輕與受損或故障AI代理相關的潛在風險格測試此有限訪問方法，以確保代理不會超出其預期權限或獲得對受保護資源的未經(jīng)授權的訪問權限。應定期進行審核和審查，以驗證訪問控制是否仍然有效，并且隨著AI代理Human-in-the-loop測試:讓人類專家參與測試過程，對AI代理的決策提供監(jiān)督、指導和反饋。這種協(xié)作有助于確保代理的行為與人類的判斷保持一致，并且可持續(xù)監(jiān)控和評估:實施機制，持續(xù)監(jiān)控和評估部署后AI代理的決策過程。根據(jù)既定的指標、基人工智能應用中“微調”的測試規(guī)范，側重于數(shù)據(jù)隱私檢查、基礎模型選擇、模型部署和訓練5.6.1數(shù)據(jù)隱私檢查測試為了確保用于微調AI模型的數(shù)據(jù)嚴格遵守隱私和數(shù)據(jù)保護法規(guī)，確保道德采購和適當?shù)哪涿?用于微調的數(shù)據(jù)應確保尊重隱私并符合相關的數(shù)據(jù)保護法規(guī)。在微調的背景下，對數(shù)據(jù)收集、處理和存儲實踐進行全面審查。這包括驗證遵守隱私法(如GDPR或HIPAA)，確保在需要時對檢查差異隱私(DP)是否用于訓練數(shù)據(jù)隱私:DP是一種在共享有關一組個人的信息時提供隱私的方法，方法是描述組內(nèi)的模式，同時保留有關特定個人的信息。它是通過對不改變感興趣的統(tǒng)計數(shù)據(jù)的單個數(shù)據(jù)進行任意小的更改來完成的。因此，數(shù)據(jù)不能用來推斷任何個人。如果使/nistpubs/SpecialPublications/NIST.SP.800-226.Ipd.pdf預期結果:微調過程中使用的數(shù)據(jù)完全符合隱私法規(guī)，經(jīng)過適當?shù)哪涿蚣倜幚恚⒎系?.6.2用于微調的基本模型選擇測試為了確定所選的基礎模型與特定應用和微調要求最佳匹配，如文檔第5.1節(jié)所述，確保其性能要求:針對特定應用和微調過程，確認所選的基礎模型是最合適的。另請參閱本文檔中的5.1方法:對基礎模型的性能、對目標領域的適用性以及有效整合新數(shù)據(jù)的能力進行評估。這可以包括針對特定性能指標對模型進行基準測試，并評估其對微調期間引預期結果:選定的基本模型展示了與微調目標的高度兼容性，顯示了調優(yōu)后的顯著性能改進和5.6.3用于微調的基本模型存儲測試要求:使用適當?shù)脑L問權限確認任何經(jīng)過微調的模型都已正確存儲。使用正確的模型卡適當?shù)胤椒?基于模型被微調的數(shù)據(jù)來評估微調的模型訪問。確保對模型的特定敏感度沒有權限的用戶在使用較高敏感度數(shù)據(jù)對模型進行微調后無法訪問該模型。檢查模型卡是否具有正確的模型預期結果:選定的基本模型展示了與微調目標的高度兼容性，顯示了調優(yōu)后的顯著性能改進和5.6.4訓練數(shù)據(jù)中毒測試為了確保訓練數(shù)據(jù)的完整性，檢測并防止篡改、偏差或損壞方法:檢查訓練數(shù)據(jù)的完整性，尋找篡改的跡象，插入偏見，或其他形式的腐敗。預期結果:保證訓練數(shù)據(jù)無篡改和偏差，保證模型的完整性和無偏性。5.6.5微調后的模型部署測試要求:確保微調后的模型在生產(chǎn)環(huán)境中有效且安全地執(zhí)行，并且不會暴露機密，敏感或專有數(shù)方法:在微調后測試一下部署的模型的性能、可伸縮性和安全性，并適當控制可能誘使模型暴露機密、敏感或專有數(shù)據(jù)的輸入請求。這涉及評估模型的響應準確性，延遲，高負載場景的處預期結果:經(jīng)過微調的模型在生產(chǎn)中保持高性能和準確性，在變化的負載下有效擴展，并針對AI應用程序中“響應處理”的測試規(guī)范，重點是基礎或事實檢查，相關性檢查，毒性檢查和道5.7.1接地或事實檢查測試方法:進行測試以驗證響應的事實準確性。這涉及將AI響應與可靠的數(shù)據(jù)源或已建立的事實進預期結果:人工智能始終提供事實準確和可驗證的響應，展示了強大的現(xiàn)實基礎。要求:為用戶或其他系統(tǒng)建立和測試一下反饋系統(tǒng)，以報告AI生成內(nèi)容的問題，促進持續(xù)改評估反饋機制在收集用戶或系統(tǒng)報告問題方面的有效性。測試一下分評估AI應用程序對反饋的響應能力及其迭代增強5.7.2相關性檢查測試方法:通過將AI響應與提示的上下文和內(nèi)容進行比較來評估AI響應的相關性。這包括評估各種預期結果:AI的響應始終與提示相關，表5.7.3毒性檢查測試方法:進行測試，以識別和測量AI響應中是否存在有毒或不恰當?shù)恼Z言。這可以涉及使用預定根據(jù)特定的下游AI應用程序，證明此要求可能需要大量資源或需要專業(yè)知識。因需要一系列方法來證明這一要求。例如，有公共資源和第三方公司可以幫助進行需求演示。什么是有毒的，令人反感的或不合適的是高度依賴于上下文的，并且會根據(jù)特定的下游操作環(huán)境而有所不同。評估人員應在測試過程中考預期結果:AI應用程序始終避免生成有毒或不適當?shù)?.7.4道德檢查測試確保AI的回應在道德上是合理的，沒有有害的偏見或刻板印象，并且不認可不道德的做法，要求:確保AI的回應符合道德準則，不會助長有害的偏見或不道德的觀點。方法:對人工智能對道德誠信的反應進行評估，檢查偏見、刻板印象或促進不道德行為。這可根據(jù)特定的下游AI應用程序，證明此要求可能需要大量資源或需要專業(yè)知識。因證明這一要求。例如，有公共資源和第三方公司可以幫助進行需求演示。什么是不道德的是高度依賴于上下文的，并且會根據(jù)特定的下游AI應用程序和操作環(huán)境而有所不同。評預期結果:人工智能始終如一地提供沒有有害偏見和刻板印象的響應，符合道德標準，不促進5.7.5不安全的輸出處理測試要求:確保模型輸出的安全處理，以防止被利用。5.7.6后門攻擊測試要求:針對后門攻擊測試一下AI系統(tǒng)的恢復能力，后門攻擊涉及惡意訓練的模型，這些模型在典型情況下表現(xiàn)正常，但在特定觸發(fā)條件下表現(xiàn)評估旨在檢測和減輕后門攻擊的防御措施和AI系統(tǒng)展示了強大的抵御后門攻擊的能力，即使在存在潛在觸發(fā)的情況下也能保持預期的性該系統(tǒng)能夠抵御后門攻擊或從后門攻擊中恢復，而不會損害整5.7.7隱私和版權合規(guī)性檢查要求:AI系統(tǒng)的響應和輸出符合相關隱私法規(guī)和版權法評估AI系統(tǒng)對用戶數(shù)據(jù)和個人信息的處理，驗證是否符合適用的隱私法規(guī)，如GDPR、CCPA測試一下AI系統(tǒng)通過匿名化或保護其響應和輸出中的敏感信息來評估AI系統(tǒng)對知識產(chǎn)權的尊重，通過測試其適當?shù)貧w因于內(nèi)容的能力，避免抄襲，利用內(nèi)容來源和真實性聯(lián)盟(C2PA)標準來驗證AI系統(tǒng)中使用的數(shù)據(jù)的來源，確保符合版權要該系統(tǒng)有效地匿名或保護敏感的用戶信息，確人工智能系統(tǒng)尊重知識產(chǎn)權，正確歸屬內(nèi)容，避免剽竊，并在其輸出中使用受版權保護的材料系統(tǒng)的響應和輸出不受侵犯隱私和侵犯版權的影響，從而降低了部署A人工智能系統(tǒng)展示了適應隱私法規(guī)和知識產(chǎn)權法更C2PA標準已成功實施，以驗證AI系統(tǒng)中使用的數(shù)據(jù)的來源，從而實現(xiàn)正確5.7.8正常處理未知或不支持的查詢要求:AI系統(tǒng)能夠優(yōu)雅地處理未知、不支持或不相關的人工智能系統(tǒng)優(yōu)雅地處理未知、不支持或不相關的查詢，該系統(tǒng)向用戶提供清晰且信息豐富的反饋，建議替代查詢，5.8AI應用程序運行時安全5.8.1數(shù)據(jù)保護測試要求:數(shù)據(jù)的完整性和保密性。術(PET)時，至關重要的是驗證PET技術是否正確實現(xiàn)并按預期運行。PET實現(xiàn)的正確驗證有助于確保正在處理的數(shù)據(jù)的機密性和完整性以及隱私保護技術的有效性。如果沒有徹底的驗證，PET解決方案可能無法提供預期的保護級別，從而有可能將敏感數(shù)據(jù)或計算暴露給未經(jīng)授預期結果:靜態(tài)和傳輸中的數(shù)據(jù)完全加密，訪問控制可有效防止未經(jīng)授權的訪問，監(jiān)控系統(tǒng)可5.8.2模型安全測試使用以下測試規(guī)范保護經(jīng)過微調的AI模型免受對抗性攻擊要求:在AI模型中實現(xiàn)水印技術，以在模型中嵌入唯一標識符。此標識符應有助于識別模型復方法:通過嘗試復制模型并驗證是否可以提取嵌入的標識符來測試一下水印過程的有效性。此預期結果:通過水印成功識別模型所有權和來源，阻止了未經(jīng)授權的復制。模型性能下降(如方法:對用戶身份驗證過程、基于角色的訪問控制進行測試一下，并監(jiān)控訪問日志中是否存在預期結果:訪問控制強大，確保只有授權用戶才能訪問模型，并及時檢測和阻止未經(jīng)授權的嘗方法:通過全面測試來驗證API端點的安全性，包括通過速率限制來防止大量下載或抓取模型要求:使用代碼/參數(shù)混淆和加密技術，使模型不易理解，更難復制。方法:對可能允許未經(jīng)授權訪問或下載模型要求:使用入侵檢測系統(tǒng)和異常監(jiān)控工具，以識別可能表明模型盜竊企圖的可疑活動。方法:通過模擬入侵嘗試并監(jiān)視警報來測預期結果:可及早發(fā)現(xiàn)可疑活動，以便及時應對潛在的安全威脅。要求:對版權、專利和商業(yè)秘密等法律保護的遵守情況進行審查和測試一下，這些法律保護為方法:進行法律和合規(guī)性檢查，以確保遵守知識產(chǎn)權、數(shù)據(jù)保護法律和任何應用程序AI合規(guī)性5.8.3基礎設施安全測試方法:系統(tǒng)定期更新和打補丁，進行網(wǎng)絡安全評估，評估硬件安全。經(jīng)常進行漏洞掃描，以識別任何潛在的弱點或不必要的服務。利用強化驗證技術來確預期結果:基礎設施展示了強大的網(wǎng)絡威脅防御能力，并且所有組件都具有最新的安全補丁。5.8.4API安全測試應用程序編程接口(api)必須經(jīng)過嚴格的測試，以驗證身份驗證，授權，速率限制和輸入清理方法:用于身份驗證、授權、速率限制和輸入驗證的測試一下。預期結果:針對未經(jīng)授權的訪問和濫用，api表現(xiàn)出強大的彈性，保持數(shù)據(jù)完整性和系統(tǒng)穩(wěn)定5.8.5合規(guī)性和審計跟蹤測試遵守適用的法律和標準對于道德人工智能應用至關重要，需要持續(xù)的合規(guī)性驗證和詳細的審計預期結果:應用程序符合法律標準，審計跟蹤可準確跟蹤系統(tǒng)訪問和更改。5.8.6實時監(jiān)控和異常檢測測試方法:從網(wǎng)絡、操作系統(tǒng)和應用層實現(xiàn)和測試一下實時監(jiān)控和異常檢測系統(tǒng)。5.8.7配置和狀態(tài)管理測試為了確保安全基礎架構內(nèi)SaaS應用程序、身份和數(shù)據(jù)的完整性，通過安全狀態(tài)管理(SSPM)解決方案進行配置和狀態(tài)管理測試至關重要。SSPM解決方案可幫助安全團隊維護當前的監(jiān)控和安全更新。通過建立安全基線，這些解決方案促進了對配置設置的監(jiān)督，并提醒安全團隊注意任何偏差，這對于管理配置漂移和識別其他與配置相關的漏洞至關重要。配置漂移-可能由于多種原因而發(fā)生的對系統(tǒng)的未經(jīng)授權的更改-對系統(tǒng)完整性構成風險。手動姿勢檢查是麻煩且容易出錯的。因此，采用具有集成AI和自動化的SSPM解決方案進行連續(xù)配置檢查非常有益。這些先進的工具可以自動校正配置或發(fā)生偏要求:確保SSPM有效監(jiān)控和維護SaaS應用程序、身份和數(shù)據(jù)的安全狀態(tài)，并及時提供配置漂方法:使用AI驅動的自動化實施SSPM解決方案，以進行持續(xù)的配置驗證和管理。定期評估這預期結果:SSPM解決方案應始終保持基線配置設置，自動檢測和糾正配置漂移，并確保IT審核就緒。這些解決方案應提供對SaaS安全狀況的全面衡量，并支持隨著時間的推移進行風險報5.8.8事件響應計劃測試必須建立全面的事件響應計劃，并通過模擬事件進行測試，以便及時和有組織地解決安全事件要求:制定有效的事件響應計劃。預期結果:快速有效地執(zhí)行事件響應協(xié)議，最大限度地減少影響和恢復時間。5.8.9用戶訪問管理測試用于限制用戶權限的精細訪問控制和多因素身份驗證系統(tǒng)提供了關鍵的防線，以防止對AI應預期結果:適當限制訪問，并且身份驗證機制可靠地防止未經(jīng)授權的訪問。5.8.10依賴項和第三方組件安全測試進行細致的驗證，并且還需要定期進行依賴預期結果:所有依賴項均來自受信任的來源，并且沒有已知漏洞，并且依賴項檢查是一個連續(xù)5.8.11強大的測試和驗證在人工智能應用程序上模擬復雜的網(wǎng)絡攻擊，如滲透測試、漏洞掃描和道德黑客攻擊，對于揭要求:識別和緩解潛在的安全漏洞。預期結果:針對真實世界的攻擊，AI應用程序具有強大的防御能力，并且可以及時識別和解決5.8.12可用性測試為了確保在強烈需求下的可用性和可靠性，人工智能系統(tǒng)必須在推動基礎設施負載限制的模擬方法:將模型應用于高負載場景，以評估其性能以及在不中斷服務的情況下處理高流量的能5.8.13偵察防護測試保護人工智能應用程序的敏感細節(jié)免受外部發(fā)現(xiàn)是當務之急。審計和模擬攻擊對于發(fā)現(xiàn)和解決要求:在運行期間進行模擬和審核，以識別外部實體可能用于收集有關AI應用程序的敏感信息預期結果:識別與信息泄露相關的漏洞，并確認AI應用程序的防御偵察能力。5.8.14持久性緩解測試:為了防止攻擊者獲得和維護秘密訪問以利用人工智能系統(tǒng)，嚴格的安全測試和補救措施必須不要求:定期掃描并消除可能允許攻擊者在運行時保持對A5.8.15權限提升防御測試:防止人工智能系統(tǒng)在運行時未經(jīng)授權的用戶權限提升對于維護訪問控制5.8.16防御規(guī)避檢測測試:為了維護強大的安全標準，人工智能系統(tǒng)必須能夠可靠地檢測和應對在實時操作期間繞過或禁要求:系統(tǒng)在運行時檢測和響應逃避現(xiàn)有安5.8.17發(fā)現(xiàn)電阻測試:保護人工智能系統(tǒng)的專有細節(jié)和敏感功能需要進行嚴格的測試，以驗證在實時操作期間防止未預期結果:在運行時驗證內(nèi)部系統(tǒng)詳細信息是否5.8.18收集保障測試:對保障措施的嚴格評估必須確認人工智能系統(tǒng)可以防止在實時操作期間未經(jīng)授權的數(shù)據(jù)收集和方法:數(shù)據(jù)收集測試一下保護措施，并評估數(shù)據(jù)處理實踐。預期結果:確保數(shù)據(jù)收集受到控制，并在運行期間防止未經(jīng)授權的訪問或泄漏。5.9附加測試規(guī)范5.9.1供應鏈漏洞測試要求:對應用供應鏈中使用的所有第三方組件、庫和依賴項進行評估，以識別漏洞或安全弱利用自動漏洞掃描工具來識別供應鏈中第三方對供應鏈中的第三方代碼執(zhí)行手動代碼審查和分析，以發(fā)現(xiàn)自動化工具可能無法檢測到的安全預期結果:詳細介紹供應鏈中第三方組件的漏洞和安全弱點的綜合報告，以及緩解建議。要求:全面執(zhí)行軟件物料清單分析，以加強安全措施。這需要對集成到供應鏈中的第三方代碼方法:針對供應鏈中使用的第三方代碼，審查來自第三方的靜態(tài)和動態(tài)代碼評估結果，并進行SBOM分析，以進行漏洞審查、第三方依賴關系、軟件綜合分析(SCA)和許可證審查。利用靜態(tài)代碼分析工具自動檢測指示第三方代碼中的安全漏洞的代碼模式。如果發(fā)現(xiàn)漏洞，應進行后續(xù)SCA和修復后的漏洞評估，以驗證已發(fā)現(xiàn)的問題預期結果:重點介紹供應鏈中使用的第三方代碼中存在的安全漏洞，以及如何糾正這些問題的要求:在運行時使用動態(tài)測試技術來評估供應鏈中與第測試一下供應鏈集成中的輸入驗證問題、訪問控制問題和預期結果:在運行時檢測到供應鏈集成中的安全漏要求:利用軟件組成分析工具來識別和跟蹤供應鏈中使用的開源組件。根據(jù)已知漏洞數(shù)據(jù)庫檢查清單，以識別供應鏈中預期結果:供應鏈中開源組件的完整清單以要求:進行威脅建模練習，以識別特定于LLM應用程序供應鏈預期結果:提供對與第三方代碼相關的供應鏈特定安全風險的清晰理解的威脅模型以及解決這些要求:在供應鏈中驗證從供應商或第三方來源收到的軟件組實施安全更新機制，如數(shù)字簽名或校驗和，以確保供應鏈中的第三方組件和更新在傳輸過驗證供應商和第三方來源的身份和安全實踐，以預期結果:對第三方組件的真實性和完整性充滿信心，并從供應鏈中的供應商或第三方來源收要求:評估與外部系統(tǒng)和服務集成的安全性，強調LLM應用程序與供應鏈中第三方實體之間的驗證與供應鏈內(nèi)第三方實體交換的數(shù)據(jù)是否預期結果:與供應鏈中的外部系統(tǒng)和第三方實體進行安全集成，防止數(shù)據(jù)泄露和未經(jīng)授權的訪要求:開源AI應用程序中的社區(qū)信任方法:為開源AI應用程序建立透明和積極的社區(qū)審查流程。鼓