人工智能革命的前景與風(fēng)險：風(fēng)險管理（中文版）

人工智能革命的前景和危險?2023伊薩卡。保留所有權(quán)利。?2023伊薩卡。保留所有權(quán)利。2.人工智能革命的承諾和危險：管理風(fēng)險CONTENTS446678確認信息3.人工智能革命的前景和危險：管理風(fēng)險ABSTRACT這是許多科幻電影的前提：技術(shù)超越了人類的智力，造成了嚴重的破壞，并最終接管了人類。雖現(xiàn)在現(xiàn)實生活中，但最近發(fā)行的ChatGPT感覺就像片頭字幕——而這只是許多生成式人工智能（AI）工智能項目“可能對社會和人類構(gòu)成深遠的風(fēng)門用于人工智能的新監(jiān)管機構(gòu)的必要性。不過，其他行業(yè)領(lǐng)導(dǎo)者認為，生成式人工智能的好處和風(fēng)們正在面對的技術(shù)有限，這些技術(shù)不如我們最大的希望那么有用，也不如我們最但有一個結(jié)論是肯定的：人工智能已經(jīng)席卷了我們的業(yè)務(wù)和我們的世界，需要首席信息安全官（CISO理、高管和IT高級管理人員來跟上快速發(fā)展的風(fēng)險1Futureoflife.該組織，“暫停巨型人工智能實驗：一封公開信”，2023年3月22日，/open-letter/pause-giant-ai-experiments/2Rundle，J.；“網(wǎng)絡(luò)安全主管導(dǎo)航人工智能風(fēng)險和潛在回報”，《華爾街日報，2023年5月25日，/文章/cybersecurity-chiefs-navigate-ai-risks-and-potential-rewards-9138b76d?2023伊薩卡。保留所有權(quán)利。4.人工智能革命的前景和危險：管理風(fēng)險當企業(yè)智慧遇到人工智能時人工智能的現(xiàn)狀際上都是由機器學(xué)習(xí)技術(shù)或大型語言模型（。例如，在輸入一個3000億個單詞的數(shù)據(jù)集后，53Openai.“介紹ChatGPT”，2022年11月30日，/blog/chatgpt4巴特。谷歌。試試巴德，Google，“/的人工智能實驗5Iyer，A.；“ChatGPT的智慧背后：3000億字，570GB數(shù)據(jù)”，《分析印度》雜志，2022年12月15日，https://分析印度語。com/behind-chatgpts-wisdom-300-bn-words-570-gb-data/6D，“威震天-圖靈自然語言生成”，NVIDIA開發(fā)者，2022年10月3日，https://開發(fā)人員。英偉達。com/megatron-turing-natural-language-generation?2023伊薩卡。保留所有權(quán)利。5.人工智能革命的前景和危險：管理風(fēng)險期到制定飲食計劃的各種任務(wù)。ChatGP軟Office365中，作為微軟365副駕駛。7微軟Word、Excel或PowerPoint的人都數(shù)級增長。爆炸性增長的一個例子8在使用Ch7Spataro，J.；“介紹微軟365副駕駛-你的工作副駕駛，”微軟官方博客，2023年3月16日，https://博客。微軟。com/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/8Ruby，D.；“30+詳細的ChatGPT統(tǒng)計數(shù)據(jù)-用戶和事實”，需求頁，2023年7月7日，/chatgpt-statistics/ ?2023伊薩卡。保留所有權(quán)利。6.人工智能革命的前景和危險：管理風(fēng)險對人工智能還是不人工智能議所證明的那樣。從自動化日常任務(wù)到生成創(chuàng)造性內(nèi)容，聽起來自信和合法，導(dǎo)致用戶在尋找他們的問題的相關(guān)答案時感到困惑或誤導(dǎo)。三星電子公司總部所在地11蘋果12摩根大通13和威瑞森通信14出于安全考慮，嚴重限制了生成式人工智能的職場使用。從車輪到汽車，歷史表明，任何能讓我們用更少的努力做更多事情的技術(shù)都廣受歡迎——作為生成技術(shù)人工智能已經(jīng)證明。識別人工智能的風(fēng)險和回報布什內(nèi)爾，S。T.；關(guān)于亨利·福特的真相，萊利和李公司，美國，1992年10元。stackoverflow.“臨時政策：ChatGPT被禁止”，/questions/421831/temporary-policy-chatgpt-is-banned11考利；“三星限制代碼泄露后使用生成人工智能。2023年5月8日，https://tech。co/news/samsung-restricts-generative-ai-use#:~:text=New%20Policy%20Bans%20Samsung%20Employeesz蒂利12歲；M。Kruppa；“蘋果公司限制員工使用ChatGPT，和其他公司一樣擔心泄密，”《華爾街日報》，2023年5月18日，/articles/apple-restricts-use-of-chatgpt-joining-other-companies-wary-of-leaks-d44d7d34?mod=文章內(nèi)聯(lián)13盧克帕特；“摩根大通限制員工使用ChatGPT”，《華爾街日報》，2023年2月22日，/articles/jpmorgan-restricts-employees-from-using-chatgpt-2da5dc34?mod=文章內(nèi)聯(lián)14Moneylife.在文章中，“摩根大通限制工人使用ChatGPT”，2023年2月23日，https://www。moneylife.in/article/jpmorgan-chase-restricts-workers-from-using-chatgpt/69948.html?2023伊薩卡。保留所有權(quán)利。7.人工智能革命的前景和危險：管理風(fēng)險1.確定人工智能的好處。2.識別人工智能風(fēng)險。3.采用持續(xù)的風(fēng)險管理方法。4.實施適當?shù)娜斯ぶ悄馨踩珔f(xié)議。進行人工智能效益分析豐富好處，15從將醫(yī)療保健和教育帶給服務(wù)不足的人，再15蓋茨；“人工智能的時代已經(jīng)開始”，2023年3月21日，https://www。gatesnotes.ai時代已經(jīng)開始了16奧，一個；“AI機器人ChatGPT通過美國醫(yī)療執(zhí)照考試，”Medscape，2023年1月26日，https://www.麥德景。com/viewarticle/987549；斯隆，K；“ChatGPT通過法學(xué)院考試，”路透社，2023年1月25日https://www.路透社。com/legal/transactional/chatgpt-passes-law-school-exams-despite-mediocre-performance-2023-01-25/;businesstoday.在“人工智能的下一步”：ChatGPT通過美國醫(yī)學(xué)執(zhí)照考試和沃頓商學(xué)院的MBA考試”中，《今日商業(yè)》，2023年1月25日，https://www.businesstoday.in/technology/story/next-step-for-ai-chatgpt-clears-us-medical-licensing-exam-and-whartons-mba-exam-367569-2023-01-25；部落的健康狀況?！叭斯ぶ悄苷谕ㄟ^醫(yī)學(xué)院考試”，2023年1月24日，/chatgpt/；惠特福德，E；福布斯如何讓ChatGPTAI在20分鐘內(nèi)寫2篇大學(xué)論文”，福布斯，2022年12月9日，/sites/emmawhitford/2022/12/09/heres-how-forbes-got-the-chatgpt-ai-to-write-2-college-essays-in-20-minutes/？sh=313d2f3b56ad；哈特森先生；“人工智能學(xué)會了以驚人的進步編寫計算機代碼”，《科學(xué)》，2022年12月8日，https://www.科學(xué)org/content/article/ai-learns-write-computer-code-驚人的進步?2023伊薩卡。保留所有權(quán)利。8.人工智能革命的前景和危險：管理風(fēng)險公司會做什么，他們?yōu)槭裁匆@樣做？公司會做什么，他們?yōu)槭裁匆@樣做？他們是怎么做的？該公司的競爭對手是如何利用人工智能工具的呢？他們依賴什么工具和才能，他們成功的標準是什么？對人工智能的投資成本是多少，它能帶來多少投資回報？該公司對其安全協(xié)議和機制將有助于確保數(shù)據(jù)質(zhì)量、完整性和機密性（例如，知識產(chǎn)權(quán)、個人可識別信息等）有多少信心？當人工智能消除了重大的成本和人才障礙時，該公司當前的戰(zhàn)略和目標將如何發(fā)展？員工和合作伙伴可以給人工智能創(chuàng)新桌帶來什么？A公司是一個行業(yè)領(lǐng)導(dǎo)者，憑借一種旗艦產(chǎn)品主導(dǎo)識別人工智能風(fēng)險。17Vallance,B.;C.變異；“AI“教父”杰弗里·辛頓退出谷歌后警告會有危險，”BBC新聞，https://www。bbc.世界-美國-加拿大-65452940?2023伊薩卡。保留所有權(quán)利。9.人工智能革命的前景和危險：管理風(fēng)險絡(luò)攻擊，并可能引入新的攻擊。從數(shù)據(jù)泄露社會風(fēng)險18歲的瓊斯，J.；“人工智能可以使3億個工作崗位實現(xiàn)自動化。以下是最危險（也是至少）危險的因素，”ZDNET，2023年5月27日，/article/ai-could-automate-25-of-all-jobs-heres-which-are-most-and-least-at-risk/；Elder，B.；“把你的辦公桌工作交給人工智能生產(chǎn)力奇跡，高盛說，《金融時報》，2023年3月27日，/content/50b15701-855a-4788-9a4b-5a0a9ee10561；尼爾-貝利，M.；E。布林霍爾夫森。核心；“思維機器：人工智能生產(chǎn)力繁榮的案例”，布魯金斯學(xué)會，2023年5月10日，/research/machines-of-mind-the-case-for-an-ai-powered-productivity-boom/；卡利亞瓦口；“研究：量化GitHub副駕駛對開發(fā)者生產(chǎn)力和幸福感的影響”，GitHub博客，2022年9月7日，https://github.blog/2022-09-07-research-quantifying-github-copi-lots-impact-on-developer-productivity-and-happiness/；Korinek，A；經(jīng)濟研究的語言模型和認知自動化”，國家經(jīng)濟研究局，/10.3386/w30957；BrynjolfssonE.；D。李；L。雷蒙德；“生成人工智能”，國家經(jīng)濟研究局，/10.3386/w31161；ChuiM.；R。羅伯茨。是的；“生成型人工智能在這里：像ChatGPT這樣的工具如何改變你的業(yè)務(wù)，”麥肯錫，2022年12月20日，https://www.麥金賽。com/capabilities/quantumblack/our-insights/generative-ai-is-here-how-像聊天的工具可以改變你的業(yè)務(wù)19邦德，美國；“五角大樓爆炸的假病毒圖片可能是由人工智能創(chuàng)建的，”NPR，2023年5月22日，/2023/05/22/1177590231/fake-viral-images-of-an-explosion-at-the-pentagon-were-probably-created-by-ai?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險過3億個工作崗位20將受到ChatGPT模型的IP泄漏和無效ChatGPT泄露了公司的專有信息。21另一個OneDrive上搜索公司內(nèi)部數(shù)據(jù)，有可ChatGPT分享敏感信息。22不過，還有更無效的所有權(quán)理概念”?！?0歲的瓊斯21麥迪森，L.；“三星員工使用ChatGPT犯了一個重大錯誤，”技術(shù)雷達，2023年4月4日，/news/samsung-workers-leaked-company-secrets-by-using-chatgpt22森格普塔；“亞馬遜警告員工關(guān)于ChatGPT，說不要與聊天機器人分享敏感信息，”今日印度，2023年1月27日，https://www。indiatoday.in/technology/news/story/amazon-warns-employees-chatgpt-do-not-share-sensitive-info-with-chatbot-2327014-2023-01-2723麥肯德里克；“誰最終擁有ChatGPT和其他人工智能平臺生成的內(nèi)容？”，《福布斯》，2023年2月22日，https://www。福布斯。com/sites/joemckendrick/2022/12/21/who-ultimately-owns-content-generated-by-chatgpt-and-other-ai-platforms/?sh=21cf9785542324Brittain,B.;"U.S.版權(quán)局表示，一些人工智能輔助的作品可能受版權(quán)保護，”路透社，2023年3月15日，/world/us/us-copyright-office-says-some-ai-assisted-works-may-be-copyrighted-2023-03-15/25達菲，J.；“為什么作家知道使用ChatGPT是個壞主意”，PCMAG，2023年1月25日，/opinions/why-writers-know-usingchatgpt-is-a-bad-idea?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險對網(wǎng)絡(luò)安全和彈性的影響像PentestGPT這樣的人工智能滲透預(yù)測試工具，以及一個提示，“為我找到一個特定技術(shù)的安全漏洞，如ChatGPT已被用來創(chuàng)建一個信息竊取器戶的垃圾郵件中，英語語法和語法都有顯著提高。攻擊上升47%的一個因素31Zscaler在2022年看到的。$等《rruescpnusn個業(yè)務(wù)連續(xù)性計劃，兩knentOhneepoefrhpetrisvteopfpaotnI-irtoifinesdeilnI.ap良p是對內(nèi)部系統(tǒng)的優(yōu)化他們同事的工資和其他敏感信息。雖然這種風(fēng)險人工智能特有的，但考慮一下如何使用像PassGPT用于猜測和生成密碼的LLM）這樣的工具33這極大26門，J.；“網(wǎng)絡(luò)安全面臨著來自人工智能的挑戰(zhàn)technology/2023/05/11/hacking-ai-cybersecurity-future/2728 《華盛頓郵報》，2023年5月11日，/ ，“OPWNAI：網(wǎng)絡(luò)罪犯開始使用”ChatGPT，2023年1月6日/2023/opwnai-cybercriminals-starting-to-use-chatgpt/反對不斷發(fā)展的網(wǎng)絡(luò)威脅景觀的組織，包括生成的2023年4月3日，反對不斷發(fā)展的網(wǎng)絡(luò)威脅景觀的組織，包括生成的2023年4月3日，,,/news/風(fēng)景darktrace-email-defends-organizations-against-evolving-cyber-threat-29同上。“2023年6月2日，https://www.“2023年6月2日，/video/6328691103112 /resources-industry-reports-threatlabz-phishing-report31Zscaler?！熬W(wǎng)絡(luò)釣魚報告”，https:// /resources-industry-reports-threatlabz-phishing-report黑莓，2023年2月2日/32辛格；“黑莓，2023年2月2日/baacyeeespesahgeedtadsge/;C2ibtlsaedceurirfeadci-hcapll-negnearl-cayreifiritalicn-lalie-niem'sinentt-xol-/nn3an,11?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險技能差距過度反應(yīng)預(yù)期和意外使用制，以防止濫用其知識。例如，由于Cha利用越獄的方法36提示或使用諸如WormGPT等工具37為了數(shù)據(jù)完整性ChatGPT、Bard和其他節(jié)目往往會產(chǎn)生看起，不同的人工智能程序會提供不同的答案39對歷史問題特曼在推特上承認40“現(xiàn)在對任何重要的事面，我們有很多工作要做。”34W，“事實表：拜登-哈里斯政府宣布國家網(wǎng)絡(luò)安全戰(zhàn)略”，2023年3月2日，/briefing-room/statements-releases/2023/03/02/fact-sheet-biden-harris-administration-announces-national-cybersecurity-strategy/麥克唐納；“拜登敦促考慮聯(lián)邦數(shù)字身份框架，”生物識別更新，2022年4月18日，/202204/biden-urged-to-consider-federal-digital-identity-framework36Loynds，J.；“如何越獄ChatGPT：最佳提示&更多”，Dexerto，2023年8月1日，/tech/如何越獄-2143442/37凱利；“WormGPT-網(wǎng)絡(luò)罪犯使用生成人工智能工具發(fā)動BEC攻擊，”，|SlashNext，2023年7月13日，/blog/wormgpt-the-generative-ai-tool-cybercriminals-are-using-to-launch-business-email-compromise-attacks/38，“幻覺（人工智能）”，/wiki/Hallucination_（artificial_intelligence）#：~：text=For%20例子%2C%20a%20幻覺%20聊天機器人39麥克拉肯，H.；“如果ChatGPT不能更好地理解事實，其他事情就無關(guān)重要了，”《快公司》，2023年1月11日，/90833017/1740奧特曼，S；“ChatGPT非常有限，但在某些事情方面足夠好，足以制造對偉大的誤導(dǎo)印象。現(xiàn)在依賴它來做任何重要的事情都是錯誤的。這是進步的預(yù)覽；在穩(wěn)健性和真實性方面，我們有很多工作要做。，推特，2022年12月10日，/sama/status/1601731295792414720?lang=en?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險高了。這種情況于2023年5月在曼哈頓聯(lián)41b；“當你的律師使用聊天GPT時發(fā)生的事情，”紐約時報，2023年5月27日，/2023/05/27/航空公司訴訟。html?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險采用持續(xù)風(fēng)險管理方法評估方法。例如，新的框架，如AI風(fēng)險管理框架1.0）42從美國國家標準與技術(shù)研究所（NIST）開始，旨1.識別該公司的整體人工智能風(fēng)險。2.定義該公司的風(fēng)險偏好。3.監(jiān)控和管理風(fēng)險。第一步：識別風(fēng)險第二步：定義風(fēng)險偏好42NIST，“人工智能風(fēng)險管理框架（AIRMF1.0）”，2023年1月，/10.6028/nist.ai.100-1?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險第三步：監(jiān)視器和管理風(fēng)險向所有員工傳達風(fēng)險愿景優(yōu)先考慮風(fēng)險管理活動解決所有需要采取行動的風(fēng)險（如新的安全控制），并指導(dǎo)團隊成員解決他們的風(fēng)險領(lǐng)域分配所有權(quán)和個人責(zé)任確定風(fēng)險監(jiān)測的頻率構(gòu)建人工智能安全程序：八個協(xié)議和實踐優(yōu)勢——這些組織可能沒有CISO或?qū)ｉT的一個：信任但要驗證?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險擊和滲透。2023年5月，OpenAI證實二：設(shè)計合格使用策略三：指定一個人工智能領(lǐng)導(dǎo)四：進行成本分析帶來財務(wù)負擔。對人工智能進行了全面的成本一種工具的成本效益，還需要計算安全控制的43Poremba，美國；“ChatGPT確認數(shù)據(jù)泄露，引發(fā)安全問題，”安全情報，https://安全情報。com/articles/chatgpt確認數(shù)據(jù)泄露44伯吉斯先生；《對ChatGPT的黑客行動才剛剛開始》，《連線》雜志，2023年4月13日，/story/chatgpt-jailbreak-生成性黑客攻擊45Wodecki，B.；“遇見羊駝：開源ChatGPT制造不到600美元，”人工智能業(yè)務(wù)，2023年3月20日，/nlp/meet-alpaca-the-open-source-chatgpt-made-for-less-than-600?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險五：適應(yīng)和創(chuàng)建網(wǎng)絡(luò)安全程序智能為中心的安全實踐(e。g.,安全的設(shè)82%的IT專業(yè)人員46將考慮在未來兩IP泄漏：安全和隱私團隊應(yīng)該具備適當?shù)募寄芎涂刂拼胧?，以防止IP泄漏。組織可以使用基于權(quán)限的訪問、可見性工具、防火墻和應(yīng)用程序控件來確定員工在哪里和如何使用人工智能工具。這些措施可以防止未經(jīng)授權(quán)的轉(zhuǎn)移有價值的公司數(shù)據(jù)，并限制潛在的損害。例如，當對數(shù)據(jù)建立適當?shù)幕诮巧脑L問控制時，人力資源經(jīng)理可以向LLM詢問來自LLM的工資，但只有公司律師可以詢問公開的人力資源案件。此外，數(shù)字過濾器還可以阻止用戶訪問私有的內(nèi)部存儲庫。培訓(xùn)和政策承諾還可以讓員工了解與人工智能工具共享敏感信息的嚴重后果。災(zāi)難恢復(fù)和事件響應(yīng)：人工智能可以通過多種方式協(xié)助進行業(yè)務(wù)連續(xù)性和事件響應(yīng)規(guī)劃。通過分析運營數(shù)據(jù)，人工智能工具可以識別對業(yè)務(wù)連續(xù)性的威脅，幫助設(shè)計響應(yīng)策略，并在模擬場景中進行測試。當意外的中斷發(fā)生時，人工智能可以將業(yè)務(wù)恢復(fù)計劃的某些階段自動化，例如優(yōu)化資源分配，以保持關(guān)鍵操作的運行。連續(xù)性：人工智能在組織內(nèi)的使用為業(yè)務(wù)連續(xù)性帶來了獨特的挑戰(zhàn)。嚴重依賴人工智能進行業(yè)務(wù)流程和功能的組織可能會發(fā)現(xiàn)，如果人工智能工具停止運行，它們自己就無法運營。因此，在制定人工智能計劃和戰(zhàn)略時，必須特別考慮到業(yè)務(wù)的連續(xù)性。威脅情報：雖然市場上的許多威脅情報和網(wǎng)絡(luò)監(jiān)控工具已經(jīng)以某種方式整合了機器學(xué)習(xí)，但最新的生成式人工智能工具可以提供關(guān)于輸出的新見解，甚至可以檢測到以前遺漏的威脅警報。谷歌發(fā)布了谷歌云安全AI工作臺47該公司可以分析代碼、周邊安全和網(wǎng)絡(luò)中的漏洞。該平臺創(chuàng)建了一個個性化的威脅檔案，幫助團隊通過可操作的情報和跨數(shù)據(jù)源的可見性主動加強防御。實施這樣的工具的組織可能會受益于關(guān)于威脅意識和補救措施的效率的提高。六、授權(quán)審計和可追溯性46歲的辛格，美國；“IT領(lǐng)導(dǎo)人預(yù)測，chatgpt支持的網(wǎng)絡(luò)攻擊即將到來，”黑莓，2023年2月2日，https://blogs.黑莓。com/en/2023/02/it-leaders-predict-chatgpt-enabled-cyberattacks-are-imminent47Potti，美國；“谷歌云計劃如何用生成式人工智能增強安全性”，谷歌云博客，2023年4月14日，/blog/products/identity-security/rsa-google-cloud-security-ai-workbench-generative-ai?2023伊薩卡。保留所有權(quán)利。人工智能革命的前景和危險：管理風(fēng)險七：開發(fā)一套人工智能倫理學(xué)關(guān)于人工智能倫理的建議492021年11月。像I織50以及美國國防部51已經(jīng)采用了人工智能的倫理原關(guān)。人工智能技術(shù)在許多領(lǐng)域都帶來了重大好處，八：社會適應(yīng)。48.微軟負責(zé)任的人工智能標準，v2對外部發(fā)布的一般要求。(2022).https://query.推動。cms.rt.微軟。com/cms/api/am/binary/RE5cmFl49日聯(lián)合國教科文組織?！度斯ぶ悄軅惱怼?，https://www。