ISOIEC38507-2022信息技術-IT治理-組織使用人工智能的治理影響（中文版-雷澤佳譯2024）

ISO/IEC38507：2024引言本文件的目的是為正在使用或考慮使用人工智能（AI）的組織的治理機構提供指導。本文件就治理機構在其組織內部使用人工智能的作用提供指導，并鼓勵各組織采用適當?shù)臉藴蕘碇纹鋵θ斯ぶ悄苁褂玫闹卫?。本文件在必要范圍內闡述了人工智能的性質和機制，以便理解其使用帶來的治理影響：使用人工智能會帶來哪些額外的機會、風險和責任？重點在于組織使用人工智能的治理（由人類執(zhí)行），而不是構成任何人工智能系統(tǒng)的技術。然而，這種治理需要對技術的影響有所了解。人工智能（AI）人工智能涵蓋了一系列技術，這些技術將計算能力、可擴展性、網(wǎng)絡、連接設備和接口以及海量數(shù)據(jù)融為一體。本文件中提及的“人工智能”旨在指代一整套技術和方法，而不是任何特定的技術、方法或應用。有關人工智能的概念和術語，參見ISO/IEC22989。人工智能的使用本文件中，“人工智能的使用”被定義為從最廣義上講，通過人工智能系統(tǒng)生命周期的任何部分開發(fā)或應用該系統(tǒng)，以實現(xiàn)目標并為組織創(chuàng)造價值。這包括與提供或使用此類系統(tǒng)的任何方的關系。使用人工智能的治理影響本文件的范圍涉及組織使用人工智能的影響。與任何強大的工具一樣，使用人工智能會帶來新的風險和責任，使用它的組織應予以解決。人工智能本身并非“好”或“壞”“公平”或“有偏見”“符合道德”或“不符合道德”，盡管其使用可能是這樣或似乎是這樣。組織的宗旨、道德準則和其他指導原則在其方針中得到了正式或非正式的體現(xiàn)。本文件對治理和組織方針及其應用進行了審查，并就如何調整這些方針和應用以使用人工智能提供了指導。方針的運營方面由管理層實施。本文件提及了其他標準，其中詳細說明了包括社會責任、可信度（如風險管理、偏見管理和質量）以及合規(guī)管理等在內的相關主題。信息技術-信息技術治理-組織使用人工智能的治理影響范圍本文件為組織的治理機構成員提供指導，以啟用和治理人工智能（AI）的使用，從而確保其在組織內部得到有效、高效和可接受的應用。本文件還為更廣泛的群體提供指導，包括：高級管理人員；外部企業(yè)或技術專家，如法律或會計專家、零售或工業(yè)協(xié)會或專業(yè)機構；公共當局和政策制定者；內部和外部服務提供商（包括顧問）；評估人員和審核人員。本文件適用于當前和未來人工智能使用的治理，以及此類使用對組織本身的影響。本文件適用于任何組織，包括公共和私營公司、政府實體和非營利組織。本文件適用于任何規(guī)模的組織，無論其是否依賴于數(shù)據(jù)或信息技術。規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅注日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。ISO/IEC22989:2022信息技術人工智能人工智能概念和術語ISO/IEC38500:2015信息技術—組織的IT治理術語和定義本文件采用ISO/IEC22989和ISO/IEC38500中給出的術語和定義。ISO和IEC在以下地址維護用于標準化的術語數(shù)據(jù)庫：ISO在線瀏覽平臺：/obrIEC在線電工術語庫：/與人工智能相關的術語人工智能的使用useofAI通過人工智能系統(tǒng)生命周期的任何部分開發(fā)或應用該系統(tǒng)，以實現(xiàn)組織的目標。此術語的范圍限定于與人工智能相關的任何可能具有治理影響的行動或活動。與治理相關的術語監(jiān)督oversight監(jiān)視組織方針和治理方針的實施情況，并管理組織設定的相關任務、服務和產品，以適應內部或外部環(huán)境的變化。有效的監(jiān)督需要對情況有全面的了解。監(jiān)督是ISO37000:2021，6.4中深入探討的“治理原則”之一。風險risk不確定性對目標的影響。影響是指偏離預期，可以是正面的和/或負面的，可能帶來機會（3.3.23）和威脅（3.3.13)。目標可有不同維度和類型，可應用在不同層級。 通常風險可以用風險源、潛在事件及其后果和可能性來表示。[來源：ISO31000:2018,3.1]風險偏好組織愿意追求或保留的風險（3.2.2）的數(shù)量和類型。[來源：ISO導則73:2009，]合規(guī)義務complianceobligations組織強制性地必須遵守的要求，以及組織自愿選擇遵守的要求。[來源：ISO37301:2021,3.25]合規(guī)compliance履行組織的全部合規(guī)義務（3.2.4）。[來源：ISO37301:2021,3.26]組織使用人工智能的治理影響總則組織的治理是通過應用一系列原則來實現(xiàn)的，這些原則有助于組織實現(xiàn)其組織宗旨，并在此過程中為組織及其相關方創(chuàng)造價值。根據(jù)ISO31000:2018中5.3，治理引導著組織的發(fā)展方向、其外部和內部關系，以及實現(xiàn)其宗旨所需的規(guī)則、過程和做法。管理結構將治理方向轉化為實現(xiàn)可持續(xù)績效和長期活力所需達到的預期水平的戰(zhàn)略和相關目標。附錄A概述了應遵循的治理和組織決策的概念（尤其是對現(xiàn)有標準的引用）。治理機構在傳統(tǒng)環(huán)境下設定目標的責任既包括財務目標，也包括非財務成果，包括文化、價值觀和道德成果。組織和治理方針通常是通過一系列控制措施、業(yè)務計劃、戰(zhàn)略、職位描述、專業(yè)學科公認做法、法規(guī)、培訓、關鍵績效指標以及各種高管溝通相結合的方式制定和實施的。治理機構對組織的所有活動負責。這種責任不可委托。組織的治理機構有責任持續(xù)考慮任何新工具、技術或技術的引入對組織的影響。治理機構的成員應確保自己，并能夠向相關方證明，他們的政策（以及這些政策的實施）對于組織、其產品和相互作用，以及組織使用的人力資源、過程和技術而言是充分的。在這方面，引入人工智能所帶來的責任和結果并不是新的。然而，人工智能有潛力實現(xiàn)新的組織目標，并實現(xiàn)或擴展現(xiàn)有的目標，而且能夠以更有效、更高效的方式實現(xiàn)。引入人工智能時保持治理治理機構設定組織的宗旨，并批準實現(xiàn)該目的所需的戰(zhàn)略。然而，當組織內部使用人工智能時，現(xiàn)有的治理可能不再適合其宗旨。具體工具的選擇，如人工智能系統(tǒng)，應是由管理層做出的決策，并應根據(jù)治理機構的指導進行。為了制定這樣的指導，治理機構應大致了解人工智能，因為其使用可以帶來：對組織具有重大的戰(zhàn)略利益；給組織帶來重大風險，并可能對其相關方造成傷害；給組織帶來額外的義務。治理機構應將其打算使用的人工智能作為其風險偏好的一部分進行評估。風險可能會迅速變化。新的見解和主動的方法為組織提供了應對風險的手段。因此，組織應表現(xiàn)出在必要時修改或中止項目的意愿。有關進一步的指導，請參見ISO/IEC38506。使用人工智能會產生新的影響，包括但不限于：在獲取數(shù)據(jù)和保證數(shù)據(jù)質量方面對技術和系統(tǒng)的依賴增加；當使用部分或完全自動化系統(tǒng)來處理以前由人類執(zhí)行的任務和問題（如信用評分）時，人工智能系統(tǒng)的透明度和可解釋性（包括對其中包含的目標、假設和規(guī)則的了解），以及修改和更新這些算法的適當過程；現(xiàn)有的指導和控制措施可能不適合確保所需的結果（并降低不良后果的風險），甚至可能受到損害。這是由于在委托給人類時與使用或獲取人工智能的支持時所做的假設存在差異?！臼纠?】“將信貸還款推遲到假期后”這一指令對于另一個人類操作員來說足夠清晰，但對于人工智能系統(tǒng)來說卻不夠精確，無法正確執(zhí)行。由于組織不使用人工智能而導致的銷售和運營方面的競爭壓力；在沒有意識到或考慮潛在偏見、錯誤或傷害的情況下接受使用人工智能系統(tǒng)，或沒有考慮將人工智能嵌入現(xiàn)有復雜系統(tǒng)中的影響；自動化學習系統(tǒng)的變化速度與相應的人類合規(guī)控制之間的差距不斷擴大；人工智能對工作隊伍的影響，包括對歧視的擔憂、對工人基本權利的侵害、由于自動化而導致的冗余或技能降級和升級，以及可能喪失的組織知識，但也要利用人工智能來提高人類的創(chuàng)造力，通過將重復性、瑣碎或危險的任務委托給人工智能系統(tǒng)來提高工作質量；對商業(yè)運營和品牌聲譽的影響。使用人工智能還可以減少或消除某些現(xiàn)有風險，治理機構應相應地審查和調整其風險評估?！臼纠?】人工智能系統(tǒng)可以減少在執(zhí)行重復性任務時輔助人類或要求人類持續(xù)監(jiān)視系統(tǒng)以尋找罕見異常（如保安人員）時出錯的風險。在引入人工智能時保持可追究責任治理機構的成員負責監(jiān)督組織的成果以及實現(xiàn)這些成果所需的系統(tǒng)和做法。他們對整個組織所做的決策負責，包括那些通過使用人工智能做出的決策，以及在部署人工智能時治理和控制的充分性。因此，他們對組織認為可接受的人工智能使用負責。治理機構應承擔使用人工智能的責任，而不是將責任歸咎于人工智能系統(tǒng)本身。治理機構的成員應負責了解使用人工智能系統(tǒng)所帶來的可能性和風險。他們應意識到將人類特性（如思考、情感、判斷、道德化）不適當?shù)貧w因于人工智能系統(tǒng)的風險，這種歸因可能超出比例或以不適當?shù)姆绞竭M行，超出了為理解人工智能使用所扮演的角色而必要的程度。在組織內部因缺乏應有的勤勉、謹慎、指導、培訓、監(jiān)督和執(zhí)行而導致問題出現(xiàn)時，治理機構的成員應對組織的不當行為負責。這種責任可以由治理機構本身確保，或由相關方通過其他方式施加。治理機構的成員可能會面臨處罰、免職或法律追究。因此，治理機構應確保其做法適合組織內部人工智能的具體用途。這可能包括審查和在必要時增強：指導：通過政策、戰(zhàn)略、資源配置、道德準則、價值觀聲明、目的或其他與組織內人工智能使用相關的工具；監(jiān)督：通過對人工智能的評估、其在組織中的價值評估和組織的風險承受能力，以及確保實施、監(jiān)測、衡量、決策保證和與組織內人工智能使用相關的其他機制；評估：考慮不同的因素，例如與組織相關的內部和外部因素、當前和未來的威脅和機遇、實現(xiàn)的成果、現(xiàn)有治理機制的有效性和效率，以及對所做決策和選擇的判斷。報告：向相關方證明人工智能的使用正在得到有效治理（與ISO/IEC38500:2015,4.2中的“評估”“指導”和“監(jiān)督”任務相比）。治理機構還應確保其具備處理人工智能使用所帶來的影響的能力。為此可采取的行動包括：提高其成員在人工智能方面的技能；增加對組織使用信息技術和特別是人工智能的評審頻率；審查和更新用于監(jiān)測內部和外部環(huán)境的標準；確保員工利益和關切（如工作場所安全、員工培訓、工作質量）得到體現(xiàn)；通過設立或加強處理戰(zhàn)略、風險評估或審核以及倫理問題的小組委員會來加強監(jiān)督。治理機構的責任應在人工智能的預期或實際使用的所有方面得到確立，并以足以確保預期成果的方式確立，特別是：在考慮使用人工智能的潛在影響時；在制定納入人工智能使用的業(yè)務戰(zhàn)略時；在人工智能系統(tǒng)的整個生命周期中的采購、實施、配置、部署、測試和其他項目階段；人工智能所處的環(huán)境發(fā)生變化時，以及人工智能系統(tǒng)的學習、行動、決策和輸出，及其對相關方的影響；確保有適當?shù)陌踩刂拼胧﹣肀Ｗo組織、其相關方和其數(shù)據(jù)；在停用時，包括人工智能系統(tǒng)中所包含的知識和數(shù)據(jù)。除了與人工智能本身相關的問題外，還有其他與新引入的技術相關的問題可能影響組織及其相關方，包括：誤解技術的性質；做出不適當?shù)闹卫頉Q策；忽略對人工智能的適當治理監(jiān)督；未將人工智能納入現(xiàn)有治理的范圍；在不具備特定情境意識、適當規(guī)劃、政策或培訓的情況下不適當?shù)鼗蚱毡榈貞眉夹g；未能保護信息和資產免受使用人工智能識別漏洞的自動化攻擊；未能解決人類與人工智能系統(tǒng)之間新興關系的影響。人工智能和人工智能系統(tǒng)概述總則人工智能系統(tǒng)形式多樣，治理機構對其監(jiān)督程度也各不相同。因此，治理機構應了解“使用人工智能”的含義，以及在使用的哪個階段治理機構應直接或通過適當?shù)闹卫頇C制參與其中。人工智能系統(tǒng)建立在現(xiàn)有的信息技術能力之上，包括網(wǎng)絡技術、物聯(lián)網(wǎng)設備（如傳感器和執(zhí)行器）、大數(shù)據(jù)和云計算。人工智能技術領域最近的大多數(shù)進展都與機器學習（ML）領域有關。機器學習是一種人工智能技術，它使計算機能夠在沒有明確編程的情況下“學習”。數(shù)據(jù)是關鍵：它們可以表示文本、數(shù)字、圖片、符號、公式、圖表、圖像、語音、聲音或視頻等。創(chuàng)建現(xiàn)有數(shù)據(jù)集的模型并將其應用于新數(shù)據(jù)，以解決特定問題、預測結果或對新的輸入數(shù)據(jù)進行分類。基于機器學習的人工智能系統(tǒng)的性質，包括其使用目的、算法選擇、數(shù)據(jù)驅動方法、訓練方法和基于概率的輸出，都可能給組織帶來額外的風險和機遇（另見6.7）。人工智能系統(tǒng)可以通過分析數(shù)據(jù)來自動化決策，提供潛在的概率結果，并在許多情況下根據(jù)該結果采取行動。人工智能系統(tǒng)可以改變產品、過程和關系的性質，以及組織的運營方式。這可能對大多數(shù)行業(yè)產生重大影響。與任何帶來益處的強大工具一樣，也存在造成傷害的潛在風險。因此，人工智能的使用應納入組織的風險評估中。人工智能的使用可能給組織帶來新的義務。這些可能是法律要求，或是采用自愿性實踐準則的結果，無論是直接在人工智能系統(tǒng)自動化決策過程中，還是間接通過其使用數(shù)據(jù)或其他資源或過程。人工智能系統(tǒng)跨越提供行動選項和執(zhí)行行動本身之間的界限（無人類參與）的可能性，應是治理機構重點考慮的問題。從治理影響的角度來看，人工智能與其他技術的區(qū)別在于：具有決策自動化的能力；使用數(shù)據(jù)分析、洞察和學習來解決問題，而不是使用明確的人類編碼邏輯；隨著人工智能系統(tǒng)環(huán)境的變化而適應，這些變化并非明確編碼且不一定事先已知。這三個要素對組織及其治理具有廣泛的影響。人工智能系統(tǒng)與其他信息技術的差異決策自動化人工智能系統(tǒng)通常根據(jù)為特定任務選擇的歷史和當前數(shù)據(jù)來創(chuàng)建輸出。在現(xiàn)代人工智能系統(tǒng)中，特別是基于機器學習的系統(tǒng)，所得預測通常表示為概率。例如：該部件不符合質量要求的可能性為97%；走這條路線將是最快的可能性為92%；攝像頭前的人臉屬于“BarryJones”的可能性為98%?；谶@些概率，人工智能系統(tǒng)可以采取不同的行動方案（由于再訓練，這些行動方案可能會隨時間而改變）。在某些情況下，可以在幾分之一秒內做出自動化決策。這種決策的速度是人工智能系統(tǒng)的關鍵要素，使它們成為組織使用的強大工具。自動化決策的范圍可能涉及大量且多種多樣的輸入數(shù)據(jù)。數(shù)據(jù)驅動的問題解決人工智能系統(tǒng)，特別是基于機器學習的系統(tǒng)，通常會檢查大量數(shù)據(jù)，并識別和精煉數(shù)據(jù)中發(fā)現(xiàn)的模式。這種能力使這些系統(tǒng)能夠解決某些類型的問題，這些問題對人類來說太難或太耗時，無法獨自解決或使用經典的編程技術解決。在這個過程中，數(shù)據(jù)驅動著進程，而不是人類驅動每個邏輯步驟并編寫代碼來解決問題。例如：識別面部是人類非常擅長的事情，但準確描述如何實現(xiàn)這一點卻非常困難。人工智能系統(tǒng)通過檢查數(shù)千張面部圖像，學習這些數(shù)據(jù)中的模式，并將這些模式應用于新的面部圖像來實現(xiàn)這一點；在數(shù)百萬個健康細胞中找到癌細胞的過程非常困難，但事實證明，用于圖像識別的機器學習技術適用于癌癥診斷。機器學習的使用不斷增加，再加上不斷變化的數(shù)據(jù)（在系統(tǒng)由于再訓練和持續(xù)學習而發(fā)展的情況下），極大地加速了問題解決的速度，并帶來了巨大的潛力以及治理挑戰(zhàn)。自適應系統(tǒng)一些人工智能系統(tǒng)在其運行階段會進行再訓練或持續(xù)訓練。人工智能系統(tǒng)利用運行過程中感知到的輸入數(shù)據(jù)來改進和優(yōu)化其內部模型。因此，隨著時間的推移，這類人工智能系統(tǒng)可能會從相同的輸入中產生不同的輸出。這種適應性可以作為對外部刺激的反應而發(fā)展，如環(huán)境變化或到達人工智能系統(tǒng)的反饋。例如，考慮一個推薦系統(tǒng)，它監(jiān)視用戶對推薦的反應并進行適應以提高接受率。這就是“持續(xù)學習”（ISO/IEC22989：—，3.1.10）。適應性也可以源于自我改進，例如在象棋人工智能系統(tǒng)中，它僅通過與自己對戰(zhàn)就能學習。這種自適應系統(tǒng)對治理也有影響：可能需要人工智能系統(tǒng)具備提供其功能洞察的能力，例如在評估或審核情況下；隨著人工智能系統(tǒng)的功能隨時間變化，確保系統(tǒng)仍在可接受的范圍內運行可能需要進一步的評估或其他控制機制；人工智能系統(tǒng)的適應性可以提高組織的敏捷性，并為其提供戰(zhàn)略優(yōu)勢；人工智能系統(tǒng)可能會無意中繞過現(xiàn)有的治理控制。管理層應確保人工智能系統(tǒng)明確遵守現(xiàn)有的治理控制。人工智能生態(tài)系統(tǒng)要了解人工智能系統(tǒng)的眾多組件以及這些組件如何與組織相關聯(lián)，需要對人工智能生態(tài)系統(tǒng)采取分層的方法。如圖1所示，人工智能生態(tài)系統(tǒng)非常廣泛，包括一系列不同的技術。該圖的更詳細版本可在ISO/IEC22989：—的圖6中找到，其中描述了有關機器學習元素和計算資源的更多細節(jié)。如果使用人工智能技術，此生態(tài)系統(tǒng)中的其他一些組件將成為整個人工智能系統(tǒng)的功能部分，并且應從治理的角度將其視為如此。云計算與邊緣計算+大數(shù)據(jù)與數(shù)據(jù)源資源池（計算、存儲、網(wǎng)絡、資源管理與配置）其他技術（例如：進化計算、群體智能）工程（模型開發(fā)與使用、工具）機器學習（模型開發(fā)與使用、工具、機器學習數(shù)據(jù)）AI服務云計算與邊緣計算+大數(shù)據(jù)與數(shù)據(jù)源資源池（計算、存儲、網(wǎng)絡、資源管理與配置）其他技術（例如：進化計算、群體智能）工程（模型開發(fā)與使用、工具）機器學習（模型開發(fā)與使用、工具、機器學習數(shù)據(jù)）AI服務AI系統(tǒng)垂直產業(yè)和研究圖1：來自ISO/IEC22989：—，圖6的人工智能生態(tài)系統(tǒng)簡化版這種分層的人工智能生態(tài)系統(tǒng)表示方法有助于根據(jù)組織在生態(tài)系統(tǒng)中的角色以及治理機構適當?shù)呢熑嗡絹韯澏ㄘ熑蔚某潭群头秶Ｈ斯ぶ悄苌鷳B(tài)系統(tǒng)的復雜性意味著，監(jiān)督的范圍將基于多個因素而有很大差異，這些因素包括：人工智能系統(tǒng)的預期目的；所使用的人工智能類型；所使用的人工智能生態(tài)系統(tǒng)的功能層；人工智能系統(tǒng)將帶來的潛在利益；人工智能系統(tǒng)可能帶來的新風險；人工智能系統(tǒng)的實施階段；組織在人工智能價值鏈中扮演的角色（例如，作為人工智能提供者、生產者、客戶的角色）。見ISO/IEC22989：—，5.17。這些因素受到組織目的和目標的影響，以及選擇使用人工智能系統(tǒng)而非其他信息技術的決策影響。這些因素大多在人工智能系統(tǒng)的開發(fā)和部署初期就予以考慮。然而，在整個生命周期中，還應考慮其他組織因素。圖2展示了從創(chuàng)立到退役的人工智能系統(tǒng)生命周期。一旦組織決定使用人工智能，這可以幫助治理機構確定可能出現(xiàn)關鍵治理問題并由治理機構解決的“節(jié)點”或“關卡”?？紤]到人工智能系統(tǒng)的生命周期，組織可以開始了解如何發(fā)展其現(xiàn)有的治理機制。鑒于人工智能系統(tǒng)對數(shù)據(jù)的依賴，生命周期可以幫助確定在哪些方面需要額外的治理。數(shù)據(jù)的治理在ISO/IEC38505系列中有所涉及。生命周期還可以幫助治理機構在每個階段識別組織可能面臨的額外風險，并就如何管理這些風險做出決策。在5.4和5.5中，將進一步描述使用人工智能產生的其他治理考慮因素。使用人工智能的益處治理機構可以考慮部署人工智能以追求組織已確定的具體機會，包括組織的未來增長或更好地實現(xiàn)組織的目的和目標。在這種情況下，治理機構需要對這些機會進行權衡，考慮其風險和使用帶來的其他影響。它應確保存在監(jiān)督機制，并用于審查部署是否仍符合組織的戰(zhàn)略意圖、目的和價值觀。人工智能可以用于實現(xiàn)目標并為組織創(chuàng)造價值。這可以帶來以下結果：降低運營成本；開發(fā)新產品和服務，加速對現(xiàn)有業(yè)務的商業(yè)顛覆；轉變政府組織或非營利組織等機構。組織可能已經在日常運營中使用人工智能。在組織日常運營中使用人工智能的例子包括：使用基于衛(wèi)星的導航系統(tǒng)為卡車運輸找到最高效的路線；大多數(shù)互聯(lián)網(wǎng)搜索都使用人工智能來回答問題、查找相似的圖片或文檔；生產率應用程序使用人工智能來為演示文稿中的幻燈片提供更好的設計建議或改進文檔中的語法?？梢栽诟鞣N領域（如農業(yè)、國防、教育、醫(yī)療、制造業(yè)、交通）中找到更多的應用，并使用各種部署模型（如云服務或本地系統(tǒng)、信息物理系統(tǒng)）。ISO/IECTR24030中包含了一個廣泛的用例集合，涵蓋了這些和其他領域以及部署模型。例如，人工智能系統(tǒng)可以：改變產品、過程和服務的性質；自動化反饋收集、比較、翻譯、數(shù)據(jù)審查或分析，將增值活動留給人類（如得出結論或做出決策）；提高客戶服務、生產率和產品質量；使用智能代理（如聊天機器人）收集相關信息、對請求進行分類和路由、幫助解決產品、服務或計費問題或解決問題，從而改變與客戶和供應商的關系（以及員工、客戶和供應鏈之間的關系）；通過從“自動化輔助”轉變?yōu)椤叭詣踊?，提高制造業(yè)和農業(yè)的效率；根據(jù)口語樣本識別說話者最可能的意圖；根據(jù)類似疾病爆發(fā)的歷史數(shù)據(jù)預測疾病的傳播；根據(jù)細胞檢查建議可能的癌癥病例；建議授予或拒絕貸款。這種使用人工智能可以為組織帶來益處，但也可能帶來新的或更嚴峻的挑戰(zhàn)，例如額外的風險或偏見，這些問題在第6章中進行了更詳細的討論。配備人工智能的組織可以重塑其戰(zhàn)略，并應用適合其行業(yè)的模型。它可以改變?yōu)橄嚓P方創(chuàng)造價值的方式以及捕捉這種價值的方式。使用人工智能也為勞動力創(chuàng)造了機會，例如通過使用人工智能激發(fā)更大的創(chuàng)造力、提高競爭力和消除重復性、瑣碎或不安全任務的不同工作機會。這樣，人工智能技術可以為組織帶來深刻的變革。治理機構應該了解人工智能為組織帶來的機會，并在適當?shù)臅r候推動其采用。通過使用人工智能來處理這些任務的過程負擔，組織可以將精力和資源集中在那些由無法自動化或復制的人類努力帶來的增值任務上。對使用人工智能的約束盡管組織可以輕易地識別出使用人工智能（AI）帶來的好處，但治理機構應了解這種使用對組織產生的約束和義務。為了充分管理這些約束和義務，組織應采取以下一些行動：加強合規(guī)監(jiān)督：沒有適當?shù)谋O(jiān)督，人工智能的使用可能會自動化流程，產生頻繁變化的結果，這些結果可能難以解釋或與組織政策相沖突（見6.6）。處理使用范圍問題：確保自動化的范圍受到治理機構的監(jiān)督，并由經過適當授權和具備技能的人員實施（見6.3）。治理機構應確保維持必要的權威、責任和問責制，并在實施前審查和理解這種自動化可能帶來的后果。評估和應對對相關方的影響：雖然一些決策會對相關方產生負面影響（例如拒絕向客戶提供銀行貸款），但組織應確保這種影響不會因使用人工智能而加劇?，F(xiàn)有的風險和影響評估，以及緩解過程（例如保留法律權利或確保法律確定性）應保持有效（見6.7）。確定使用此類技術的法律要求或義務：使用人工智能和相關解決方案（例如面部識別或自動駕駛車輛移動）越來越可能受到質疑，并可能成為新法律要求的主題。治理機構應展示如何滿足這些義務，并確保它們符合要求，并在需要時作出適當解釋。使人工智能的使用與組織目標保持一致：新技術的創(chuàng)新使用對許多組織的生存和健康至關重要，在這些情況下，治理將鼓勵這種創(chuàng)新。并非每個項目都具有戰(zhàn)略重要性（例如，有些項目僅旨在降低成本），但總體而言，人工智能的使用應有助于組織實現(xiàn)其目標。使人工智能的使用與組織文化和價值觀保持一致：人工智能系統(tǒng)提出的決策應考慮組織的政策、期望（包括使用的影響）和道德。確保解決問題時充分考慮環(huán)境。組織需要確保不會遺漏或省略對其用于解決問題的數(shù)據(jù)中至關重要的環(huán)境元素，這些元素對于理解行為、價值觀和文化至關重要。審查使用人工智能可能給組織帶來的額外風險：通過審查組織的目的和目標，并考慮其決定使用人工智能時可能確定的風險來源，以及處理這些風險的措施，組織應保持在其風險承受范圍內（見6.Z）。除了組織使用人工智能的這些廣泛約束（以及適用于組織或其相關方的任何其他約束）外，人工智能系統(tǒng)本身也存在技術約束。治理機構還應尋求管理層的保證，以確保這些約束得到充分管理。針對使用人工智能的方針總則人工智能系統(tǒng)使用數(shù)據(jù)來構建模型、進行預測，并可能自動化決策和行動。與管理人力資源、過程或技術的任何使用一樣，治理機構仍需對這些決策和行動負責。人工智能的某些使用可能會無意中導致政策不合規(guī)，或產生現(xiàn)有政策未預見的結果。對于不使用人工智能的組織而言，其指定的方向和控制措施可能是適當?shù)?，但對于使用人工智能的組織而言，則可能并不適當。為了繼續(xù)進行有效的治理，需要審查并可能加強現(xiàn)有的治理機制和控制措施，以確保它們穩(wěn)健、明確且適當，能夠涵蓋人工智能系統(tǒng)給組織及其相關方帶來的額外治理考慮因素（以及對管理層的指導）。在整個組織實施人工智能系統(tǒng)的過程中，治理機構和管理者應通過信息、咨詢和參與程序，進一步讓可能受到人工智能系統(tǒng)影響的相關方（如員工及其代表）參與其中。本條款的指導旨在幫助治理機構理解和修訂其應考慮的政策，以減少組織使用人工智能時可避免和意外后果的發(fā)生。然而，這些指導并不是也不可能是全面的。根據(jù)ISO/IECTR38502:2017,4.1.3，管理者負責確保在治理機構制定的戰(zhàn)略和政策范圍內實現(xiàn)組織的目標。治理任務是由治理機構和管理者密切合作完成的，如圖3所示。圖3：使用人工智能的治理影響圖3基于并修改了ISO/IEC38500:2015中的“信息技術治理模型”（見圖A.1）。無論使用何種技術，治理機構都應設定并監(jiān)督與其原則相一致的成果的實現(xiàn)。這些原則可以產生于內部，也可以由外部組織提出或強加（例如，通過法律、行業(yè)標準或國際規(guī)范）。技術創(chuàng)新的速度和不斷變化的法律要求應鼓勵組織積極維護一套關于使用人工智能的原則，并確保這些原則對于組織使用人工智能的情況仍然適用。對人工智能的治理監(jiān)督治理機構應確保為人工智能建立監(jiān)督安排，并且這些安排要與組織使用人工智能所帶來的風險相適應?；诮M織設定的政策，治理監(jiān)督應確定責任鏈中的個人和集體責任。良好的治理監(jiān)督應基于對系統(tǒng)使用（和使用環(huán)境）的一般理解。參見ISO/IEC23894:2017的6.3.33和ISO31000:2018的6.3.3中的“外部和內部環(huán)境”。作為其對人工智能的治理監(jiān)督的一部分，治理機構應確保：已制定政策以確保人工智能的適當使用；在組織內部以及適用時在任何價值鏈中的不同方之間，都明確界定并商定了責任、責任鏈、可追究責任、權限以及可能的權限委托；在使用人工智能時，有充分的人工監(jiān)督；任何使用人工智能或對人工智能的使用負責的人：對所使用的人工智能系統(tǒng)有適當?shù)睦斫?；得到了適當?shù)耐ㄖ团嘤枺ㄖ廊绾我约跋蛘l提出任何關切；有權做出決策（或知道向誰請求做出決策）并知道向誰報告；對人工智能系統(tǒng)有足夠的控制權，包括在必要時進行干預的可能性。決策治理決策治理是組織整體治理的一部分。為了分擔工作負擔和決策責任，組織會將權力和責任委托給各個成員。無論這種委托的權力或責任存在于何處，所有工作和決策的責任仍然由治理機構承擔（見4.3）。其中一些決策和工作可以越來越多地由人工智能系統(tǒng)做出和執(zhí)行，但治理機構仍需以與人類決策和工作相同的方式承擔責任。修訂關于使用人工智能的決策政策，旨在確保人類或人類群體對其已委托權力和責任的決策保持明確的責任，無論該決策是部分還是完全自動化。治理機構應監(jiān)視自動化系統(tǒng)生成的決策和輸出，并指導管理層確保通過實施適當?shù)目刂?，使這些系統(tǒng)在可接受的范圍內運行。這些控制應使治理機構能夠適當?shù)亓私鉀Q策是否符合組織政策，以及任何例外情況。治理機構應確保將對此類控制的積極監(jiān)督委托給擁有適當資源的工作人員，該工作人員應有權對發(fā)現(xiàn)的問題做出反應或發(fā)起反應。由人工智能系統(tǒng)提供的自動化決策的使用，并不改變治理機構（或任何委托權力）對此類決策的責任。與組織內決策相關的重要因素包括：與目標的一致性。決策應與組織目標保持一致，同時保持在組織分配的資源、定義的風險和其他控制范圍內。責任水平。確保決策水平與授予的權力和與決策相關的責任相匹配，是良好治理的關鍵要素。定義可能決策的范圍和影響，并將其與責任水平相匹配，對于授權員工采取適當行動，從而使整個組織更加敏捷是必要的。對于人工智能系統(tǒng)執(zhí)行的動作和決策，人類責任應明確定義，并分配給具有適當權力和工具來執(zhí)行任務的工作人員（例如，可見性、監(jiān)督、質量控制），并在發(fā)現(xiàn)問題時采取足夠的糾正措施。決策能力。決策者應具備其負責決策所需的技能和培訓。應實施控制，以確保人工智能系統(tǒng)適合其被設定的任務。參見ISO/IECTR24028。決策過程。相關方越來越要求決策過程的透明度。這種透明度包括報告要求、戰(zhàn)略方向和與所有內部和外部用戶的互動。隨著透明度的提高，決策中的預期參與程度和謹慎程度也在增加。因此，決策過程（以及為減輕錯誤決策后果而需采取的行動）是一個重要的治理機制，并且隨著人工智能的使用增加，其重要性將越來越高。決策監(jiān)督。治理機構應確保有足夠的監(jiān)督，實施控制以確保有效的決策能力，并且決策符合組織政策以及任何例外的情況都應有適當?shù)目梢娦浴τ跊Q策中的合規(guī)例外，應確定是否需要額外的透明度和責任。應向所有相關方提供適當?shù)氖侄危宰R別和報告不合規(guī)行為或決策結果（無論是否涉及人工智能系統(tǒng)），并應給予有意義、及時和充分的回應。數(shù)據(jù)使用的治理一些人工智能系統(tǒng)依賴于數(shù)據(jù)來構建和訓練模型，因此，數(shù)據(jù)使用的治理對于人工智能的負責任使用至關重要。治理機構應在早期階段確保現(xiàn)有的治理和管理措施足以滿足數(shù)據(jù)使用的目的，并確保敏感數(shù)據(jù)得到保護和安全（見ISO/IEC38505-1）。這包括，例如，記錄組織如何履行其在采購和銷售、隱私和安全、數(shù)據(jù)保留和處置等方面的義務，并監(jiān)督其自身關于數(shù)據(jù)管理的政策（另見6.7.4）。在使用數(shù)據(jù)的人工智能系統(tǒng)中，額外的治理考慮包括：為人工智能系統(tǒng)做出的相關設計選擇；數(shù)據(jù)收集；相關的數(shù)據(jù)準備和處理操作，例如注釋、標記、清理、豐富和聚合；制定相關假設，特別是關于數(shù)據(jù)應該衡量和表示的信息；事先評估數(shù)據(jù)的可用性、質量、數(shù)量和適用性；檢查可能存在的偏差；識別任何可能的數(shù)據(jù)缺口或不足，以及如何解決這些缺口和不足。人工智能系統(tǒng)（特別是涉及機器學習的系統(tǒng)）與其他IT系統(tǒng)之間的一個主要區(qū)別是，它們依賴于數(shù)據(jù)推斷來產生具有一定置信度的結果。第二個主要差異是訓練數(shù)據(jù)的存在和使用，其質量可以提高或降低任何結果的質量。這與軟件開發(fā)不同，軟件開發(fā)依賴于人類構思和編程產生結果所需的具體邏輯步驟。子條款5.2.2和5.2.3概述了這些系統(tǒng)之間的差異。由于數(shù)據(jù)質量對人工智能系統(tǒng)的性能至關重要，因此治理機構應向管理層尋求保證，確保數(shù)據(jù)對于其在人工智能系統(tǒng)中的預期用途具有必要的質量。根據(jù)應用程序的不同，使用歷史數(shù)據(jù)來訓練人工智能系統(tǒng)可能會導致：重復之前的錯誤；做出與數(shù)據(jù)中未記錄的結果相關的“不合理”決策；做出與人類難以理解的新情況或數(shù)據(jù)組合相關的決策，例如將不同且明顯不相關的數(shù)據(jù)集聯(lián)系起來；監(jiān)視和行為信息并非自愿披露。這些結果最好被理解為由于使用不完整、錯誤或不適當?shù)臄?shù)據(jù)而引入的錯誤或失誤。這有時（且經常錯誤地）被稱為“人工智能偏差”。然而，偏差是由人類引入或加強的，而不是由人工智能系統(tǒng)本身引入的（另見6.7.4）。當數(shù)據(jù)在人工智能系統(tǒng)中使用時，應審查現(xiàn)有數(shù)據(jù)使用的治理和數(shù)據(jù)管理實踐。此外，對于行業(yè)分析等共享人工智能系統(tǒng)，可能需要額外的治理政策和管理控制。其他技術資產（例如算法、神經網(wǎng)絡和自然語言處理系統(tǒng)）也可能需要對現(xiàn)有組織和治理政策進行類似的增強。組織應考慮將ISO/IEC38505-1中與數(shù)據(jù)使用相關的規(guī)定應用于人工智能使用治理的以下方面：價值：數(shù)據(jù)的質量和數(shù)量、及時性、使用環(huán)境和成本；風險：數(shù)據(jù)安全、濫用和隱私，以及不利用數(shù)據(jù)所涉及的競爭風險；約束：法律要求、合同義務、版權或商業(yè)利益。另見A.3關于數(shù)據(jù)使用的治理。數(shù)據(jù)及其在組織中的使用對于所有組織及其相關方來說都是一個日益重要的問題。根據(jù)ISO/IEC38505-1中概述的治理原則、模型和數(shù)據(jù)特定方面，治理機構應采取行動，確保組織數(shù)據(jù)使用的有效治理和投資，并處理其中涉及的風險。這包括確保為正確的目的使用正確的數(shù)據(jù)。文化與價值觀治理機構負責根據(jù)相關方、市場和監(jiān)管機構的要求，以及社會對組織運營和影響的期望變化，來定義組織所期望的文化和價值觀。治理機構應當了解《世界人權宣言》《約翰內斯堡可持續(xù)發(fā)展宣言》及其他文書所反映的新興指導和國際行為準則。更多細節(jié)參見ISO26000:2010，3.3.2。組織的任何決策或行動都應與其文化和價值觀保持一致。然而，組織的許多文化和價值觀都隱含在其員工的行為和過程中。人工智能系統(tǒng)沒有人類的理解能力，無法理解語境、常識、道德或知識來指導其輸出。相反，人工智能系統(tǒng)依靠模型、算法或訓練數(shù)據(jù)來實現(xiàn)類似的結果。出于這些原因，治理機構應當明確其文化和價值觀，并擁有適當?shù)闹卫頇C制和政策，以確保在需要時可以監(jiān)視和糾正人工智能系統(tǒng)的行為。在某些情況下，應當限制人工智能系統(tǒng)的范圍和影響，并通過人類行動加以增強，以確保治理政策得以實施。實現(xiàn)這一目標的方式將因情況而異。同樣，人工智能系統(tǒng)可以幫助識別人類決策中的缺陷（例如，由于不適當?shù)钠娀蚱缫?，或由于推理或推斷不當），從而為治理機構隨后可以解決的問題提供對組織的見解。這給組織的治理帶來了未來的挑戰(zhàn)。根據(jù)打算使用的人工智能系統(tǒng)的性質和目的，組織可能需要明確監(jiān)督這些系統(tǒng)，以確保它們符合組織的文化和價值觀。治理機制可以采取“文化與價值觀委員會”或“倫理審查委員會”的形式。監(jiān)督可以包括在批準敏感或高風險的人工智能系統(tǒng)項目之前進行審查，或滿足某些升級標準。該領域的其他組織政策可以要求在人工智能系統(tǒng)中使用技術控制，以協(xié)助遵守這些方針。有關人工智能使用的倫理和社會問題的更多信息，請參閱ISO/IECTR243684。合規(guī)合規(guī)義務為確保組織履行其合規(guī)義務，組織應建立持續(xù)的合規(guī)過程。為了有效實施，合規(guī)過程應由組織領導層塑造，并融入組織文化中。如ISO37301中所述，合規(guī)管理體系滿足這些要求，并幫助組織展示其履行義務和滿足相關方期望的承諾。治理機構應尋求保證，管理層配置和維護組織使用的任何人工智能系統(tǒng)，以滿足組織的合規(guī)義務并避免違規(guī)行為。違規(guī)行為的例子包括違反反壟斷法律要求的定價機制，或使用侵犯公民權利或具有歧視性的數(shù)據(jù)進行訓練。合規(guī)性關注運營人員的行為。在某些情況下，人工智能可以減少人類行為的影響，從而降低因人類行為而導致的不合規(guī)風險。因此，人為因素現(xiàn)在被提升或轉向那些設計、開發(fā)和實施人工智能系統(tǒng)的人員。這種轉變在意識、培訓和監(jiān)視方面帶來了全新的挑戰(zhàn)。在審查人工智能在組織及其合規(guī)義務中的作用時，治理機構應解決以下事項：相關方對人工智能使用和影響的期望（確保它們與現(xiàn)有方針和合規(guī)義務相一致）；人工智能在組織內使用的文化影響，例如人工智能系統(tǒng)的日益復雜化可能導致員工認為其無錯誤。組織應建立適當?shù)倪^程來驗證人工智能系統(tǒng)的輸出；組織使用人工智能的程度；人工智能對組織合規(guī)要求的影響；使用人工智能導致的組織風險偏好的變化；現(xiàn)有監(jiān)督過程、結構和控制解決人工智能特定方面的程度；使用人工智能對組織內問責結構的影響；應根據(jù)人工智能使用所帶來的影響（例如，設計和解決方案可能難以解釋并經常發(fā)生變化）評估現(xiàn)有的合規(guī)管理體系，這可能包括例如擴展合規(guī)方針，或擴大定期風險評估；個人是否受到受法律或組織方針約束的人工智能系統(tǒng)使用或創(chuàng)建的個人數(shù)據(jù)的影響。合規(guī)管理采用合規(guī)管理體系標準，組織可以以一種綜合的方式將其特定的管理要求（例如安全、質量和隱私）疊加到其管理體系上。這使得由于使用人工智能而向管理體系中添加額外的合規(guī)措施變得更加容易。在合規(guī)管理層面，應特別注意以下幾點：擴展合規(guī)過程，以適應人工智能系統(tǒng)的速度、范圍或復雜性（例如，提高監(jiān)視水平或頻率）；要求對人工智能系統(tǒng)做出的決策進行人工重新評估；增設控制措施，以確保人工智能系統(tǒng)保持在所需的合規(guī)條件下；確保用于模型構建或訓練的數(shù)據(jù)使用符合方針；使用人工智能來監(jiān)視其他人工智能系統(tǒng)，以及可能需要的額外監(jiān)視或警報。組織應使用合規(guī)管理體系來評估任何計劃使用的人工智能的影響。管理體系內人工智能的可能用途應成為此評估的一部分。風險風險偏好與管理無論以何種方式執(zhí)行，組織的治理都包括定義組織的目的和目標，以及實現(xiàn)這些目的和目標的策略。在考慮其策略時，組織的治理機構會決定為追求其目標而愿意承受的風險程度（即風險偏好）。為了保持在這一風險偏好之內，并協(xié)助治理機構就風險偏好做出決策，組織會建立風險管理過程。風險管理涉及為組織匯集相關信息以做出決策并應對風險。雖然治理機構會定義總體風險偏好和組織目標，但它會將識別、評估和處理風險的決策過程委托給組織內的管理層。治理和管理在應對風險方面的不同角色將在以下文件中進行討論：本文件，其中描述了組織在開發(fā)、采購或使用人工智能系統(tǒng)方面需要考慮的其他治理因素。這些因素包括新機遇、風險偏好的潛在變化，以及確保組織負責任地使用人工智能系統(tǒng)的新治理政策；ISO/IEC23894，其中描述了組織內應執(zhí)行的管理過程，以應對引入人工智能系統(tǒng)給組織帶來的額外風險。處理風險既涉及治理機構（它確定風險偏好并對此負責），也涉及管理層（它致力于將風險保持在商定的風險偏好范圍內）。對當前風險管理過程的審查應特別檢查決策、數(shù)據(jù)使用、文化和價值觀以及合規(guī)性方面的風險是否得到了充分理解和管理。這樣，就可以明確人工智能系統(tǒng)給組織帶來的額外風險的背景。一旦確定了這些額外風險，治理機構就更有可能：在設定組織目標時充分考慮風險；了解組織在追求其目標過程中面臨的風險；確保實施并有效運行管理此類風險的系統(tǒng)；確保此類風險在組織的風險偏好之內；確保有效傳達有關此類風險及其管理的信息（例如，使用ISO31000:2018,5.2）。風險管理風險管理是組織所有活動的核心部分。盡管人工智能系統(tǒng)可以為組織帶來益處，但組織在決策、數(shù)據(jù)使用以及組織所期望的文化和價值觀方面的良好治理目標應進行修訂，以考慮使用人工智能可能帶來的影響。組織努力保護其原則和價值觀、身份和聲譽、相關方、市場、環(huán)境，并進一步保護其行動自由，以取得成功。為了應對人工智能帶來的風險，治理機構應制定：適當?shù)膬炔恳?guī)則和方針；適當?shù)奶囟ㄗ咏M織、過程和工具，旨在保證或強制執(zhí)行良好治理所依賴的價值觀、原則和內部控制。此外，治理機構應確保組織的承包商和分包商遵守相同的實踐準則和政策。這些措施為任何相關方提供了識別和報告與不合規(guī)的人工智能系統(tǒng)相關的行為的手段，并獲得有意義和充分的回應。在涉及復雜的供應鏈以及聲譽、財務或其他風險可能累積到主要承包商或采購者的情況下，這些措施尤為重要。組織應清晰了解在不同組織的風險承受度發(fā)揮作用的合同關系中使用人工智能的影響。圖4展示了以下方面的示例：組織正在追求的目標（如保護其聲譽）；使用人工智能可能給組織帶來的額外風險源；可用于處理風險的一些技術和組織控制措施。目標組織希望通過風險管理過程保護的目標不僅包括資產（如數(shù)據(jù)、信息系統(tǒng)、應用程序代碼、算法和設備）的保護，還包括其應盡的職責、文化和價值觀、聲譽以及戰(zhàn)略。圖4展示了組織正在追求的目標的示例：可說明性與責任性。治理機構應保持其對組織內部和外部使用人工智能的責任的可說明性與監(jiān)督。聲譽與信任。此處考慮的風險視角是針對組織本身的。然而，組織并非孤立存在，因此應考慮其相關方和運營環(huán)境。影響相關方（如客戶和供應商）的風險的后果和可能性應是組織風險方面的關鍵考慮因素。盡責義務。組織對其內部和外部相關方負有責任，并可能負有法律上的盡責義務。這可能涉及確保所有相關方的福祉和保護其權利的義務（例如，獲得重要的金融、健康或住房服務，以及人權，包括行動自由或隱私權），這取決于司法管轄區(qū)，并可能產生監(jiān)管或法律后果。在盡責義務存在重大風險的情況下，治理機構應要求采取額外的組織控制措施，以有效處理此類風險，并確保它們不超過組織的風險承受度（參見6.7.5中的示例）。安全性。當使用人工智能系統(tǒng)存在重大的人身或情感傷害風險時，組織應特別警惕這種傷害的性質和后果。必要時，組織應建立適當?shù)南到y(tǒng)，以持續(xù)管理安全性，并考慮如何使用人工智能減少人類接觸危險活動的風險。安全與隱私。組織應確保其運營的安全性，尤其是在需要保密和個人隱私重要的情況下。使用人工智能不應改變這些目標，特別是考慮到人工智能系統(tǒng)能夠從數(shù)據(jù)模式中推斷出新信息的能力。數(shù)據(jù)。數(shù)據(jù)是組織的重要資源，其保護和完整性應成為組織的目標。透明度。組織決策的透明度可能是治理機構希望維持的目標。相關方期望至少了解解釋組織如何做出決策的一些重要輸入和變量，而無論做出該決策時使用了多少自動化。其中一些目標在ISO/IECTR24368、ISO/IECTR24028以及ISO31050中進行了深入探討。風險來源組織應預期，根據(jù)人工智能系統(tǒng)應用的領域范圍和性質以及部署的人工智能系統(tǒng)類型，會有額外的風險來源。人工智能的某些用途將是受限和可控的，給組織帶來很少或沒有額外的風險。而其他用途則會帶來組織中以前未曾出現(xiàn)過的重大風險。此外，如ISO/IEC23894所述，用于人工智能系統(tǒng)開發(fā)和應用的較不成熟技術可能會給組織帶來未知或難以評估的風險。另一方面，對于成熟技術，可以獲得更多種類的經驗數(shù)據(jù)，從而使風險更易于識別和評估。一套表征人工智能系統(tǒng)成熟度的“就緒水平”可用于評估和監(jiān)測風險。由于這些項目中的任何一個都可能影響任何其他項目，因此無法直接將資產、價值觀和目標映射到風險來源或風險控制上。圖4中所示的風險來源示例與人工智能的使用有關，盡管這些來源也適用于許多其他技術或過程。組織應預期，根據(jù)所使用的人工智能系統(tǒng)的范圍和性質，會有額外的風險來源。所示示例包括：數(shù)據(jù)來源。由于數(shù)據(jù)用于構建和訓練機器學習系統(tǒng)中的模型，因此數(shù)據(jù)的質量和適用性至關重要，并應與系統(tǒng)的預期用途和目標相一致。操縱數(shù)據(jù)可能允許進行對抗性攻擊，從而導致模型中毒和錯誤分類。不明確的規(guī)格。在傳統(tǒng)的軟件開發(fā)中，問題的性質及其解決方案是緊密相關的，因為相關人員對兩者都使用類似的方法。然而，人工智能系統(tǒng)可以在系統(tǒng)最初設計和開發(fā)之后的很長時間內以非常不同的方式到達解決方案，因此問題規(guī)格、系統(tǒng)要求、設計系統(tǒng)目標和包含的行為邊界的準確性、清晰度和范圍都可能發(fā)揮重要作用。價值鏈。人工智能系統(tǒng)的供應和分銷可能包括風險，如組織外部人員使用人工智能系統(tǒng)。價值鏈中不同方之間的責任應明確定義并達成一致。不必要的偏見。人工智能系統(tǒng)中使用的算法、訓練和測試數(shù)據(jù)以及機器學習模型通常旨在反映和預測現(xiàn)實世界的情況。由于其性質，這些系統(tǒng)只是一個小樣本或視角，并可能產生反映樣本而非現(xiàn)實世界的結果。這可能導致不必要的偏見被放大。參見ISO/IECTR24027:—6）。缺乏機器學習可解釋性。風險源于人工智能系統(tǒng)的復雜性。這可能使得很難解釋人工智能系統(tǒng)是如何得出特定結論的。這與傳統(tǒng)IT系統(tǒng)不同，在傳統(tǒng)IT系統(tǒng)中，人類定義了確定答案的算法程序?？梢詫θ祟愡M行質詢、復核、根據(jù)其地位和聲譽進行評估并要求其負責，并且可以對任何代碼進行測試，以確保其產生了預測的響應。缺乏人工智能專業(yè)知識。使用人工智能需要不同于傳統(tǒng)軟件開發(fā)的技能，盡管也需要那些技能。額外的技能包括對數(shù)據(jù)分析和統(tǒng)計學、建模和算法設計以及測試的理解，以及倫理和同理心等人類技能。網(wǎng)絡威脅。一些人工智能系統(tǒng)的實施可能容易受到特定且難以識別的網(wǎng)絡威脅的攻擊，這些威脅幾乎不會留下任何可見的痕跡。其他風險來源與人工智能的使用及其對人類的間接影響有關。例如：技能空洞化。人工智能在常規(guī)決策角色中的使用增加意味著人類隨著時間的推移越來越少地接觸經驗。員工經驗的減少（“代理萎縮”）將消除加強人類技能、決策能力和專業(yè)知識的機會。這種人類技能發(fā)展的空洞化對組織和整個社會來說都是一個風險。合同問題。治理機構應確保在使用人工智能系統(tǒng)時，適用的合同、法律和最佳實踐仍然有效。在許多人工智能應用中，系統(tǒng)最初并且可能持續(xù)地從其宿主組織的數(shù)據(jù)和實踐中學習。這獨特地使人工智能系統(tǒng)以其服務組織的方式反映出來，這種方式可能會影響合同、法律和最佳實踐的適用性。環(huán)境問題。治理機構應考慮由于人工智能訓練和數(shù)據(jù)處理導致的能源消耗所帶來的碳排放風險。它還應考慮由于加速淘汰硬件以支持更新的具備人工智能能力的云和邊緣設備而導致的污染和資源枯竭風險。個人自主權。人工智能的使用越來越多地決定著個人在新聞、娛樂、互動、產品和服務方面遇到的選擇范圍。盡管單獨來看很小，但這些決定的頻率和普及程度的增加意味著治理機構應考慮人工智能使用對人類自主權的影響，無論是對個人還是社區(qū)。錯失的機會。治理機構有時過于保守，無法利用新的機會。如果治理機構不抓住人工智能提供的機會，組織可能會面臨來自抓住這些機會的組織的更大競爭。控制措施控制措施旨在維持或修改風險，以確保其保持在組織風險承受范圍之內。這些控制措施可以是組織控制措施，如通過管理結構、審查委員會或管理過程實施的控制措施，也可以是技術控制措施，如通過數(shù)據(jù)庫訪問限制、軟件代碼或數(shù)據(jù)過濾等措施實施的控制措施。圖4所示的控制措施只是與人工智能系統(tǒng)相關的控制措施的一小部分。圖4展示了以下風險控制措施的示例：適用性。對人工智能系統(tǒng)的描述，包括其算法、數(shù)據(jù)和模型等，應足夠透明，以確保其適用于預期用途；倫理審查委員會。對于組織確定的高風險、高相關方影響或其他閾值的應用程序，常見的風險控制措施是使用倫理審查委員會，以確保與組織的文化和價值觀保持一致；管理過程。設計和實施管理過程是一種常見做法，用于滿足質量、安全、隱私和合規(guī)性等要求。可以為與人工智能系統(tǒng)相關的要求構建類似的過程；技術控制。嵌入在軟件中的技術控制可以實施行動，以幫助處理一些風險。例如，參見ISO/IECTR24029-1；教育與培訓。參與人工智能使用所有階段的人員都應接受充分的培訓，以確保他們獲得并部署所需的技能。（規(guī)范性）：治理和組織決策相關治理標準概述總則ISO37000將組織的治理描述為一套系統(tǒng)，通過該系統(tǒng)，組織得以被指導、監(jiān)督和問責，以實現(xiàn)其既定目標。其基礎包括：設定組織的宗旨、使命、愿景、組織精神、組織價值觀和文化，為組織指明方向；引導戰(zhàn)略并適當平衡資源以實現(xiàn)該宗旨；監(jiān)督組織的績效，確保合規(guī)性和可行性；與相關方互動并向其報告。在信息技術領域，“治理”在ISO/IEC38500:2015中被定義為“指導和控制系統(tǒng)的”，即通過評估、指導和監(jiān)視信息技術的使用這三個主要任務來指導和控制組織。指導ISO/IEC38500:2015為治理機構提供了指導，以便其在制定信息技術投資方向和信息技術應實現(xiàn)的目標方面的戰(zhàn)略和政策時分配責任。他們應在其組織中鼓勵形成良好的信息技術治理文化，并指導提交提案以供批準，以解決已確定的需求（見圖A.1）。責任組織的治理機構負責整個組織的決策、行動和不作為，并對組織的相關方負責。這種問責制不可委托他人。組織利用人員、過程和技術來實現(xiàn)其目標，并且無論利用何種資源，治理機構都要對組織的結果負責。例如，如果組織內部缺乏足夠的指導、培訓、監(jiān)督和執(zhí)行來防止濫用行為的發(fā)生，那么治理機構可以對工作人員濫用信息技術設備的行為負責并承擔相應責任。同樣，由于對人工智能使用的治理不足，治理機構也可能面臨風險?！叭斯ぶ悄艿目山邮苁褂谩笔怯山M織在其運營的各種環(huán)境中確定的，并且這種“可接受使用”可能會因環(huán)境而異。正是通過與相關方的互動過程，組織才能理解“可接受使用”的含義，并將這些要求轉化為組織政策。這些政策將不僅反映適用的法律要求，還反映社會期望。與相關方互動是組織治理的一項關鍵原則，它要求組織與相關方保持合理的互動，以確保組織能夠隨著時間的推移創(chuàng)造利益，并且以相關方可接受的方式這樣做。這種關系可能要求法律或道德義務，以及符合組織運營所在社會、經濟和環(huán)境中的規(guī)范或預期行為。監(jiān)督ISO37000:2021中6.4.1規(guī)定，治理機構應監(jiān)督組織的績效，以確保其符合治理機構對組織的意圖和期望，以及其道德行為和合規(guī)義務。組織政策反映了適用的法律和社會義務。它們還包括與組織目標相一致并推動組織實現(xiàn)這些目標的政策。為了對其相關方負責，治理機構將遵守組織政策作為保持對組織有效控制的一種手段。治理機構還負責確定組織在實現(xiàn)其目標過程中準備面臨的風險的性質和程度。一旦確定了這種風險承受能力，它就會監(jiān)督對該風險