Azure OpenAI：生成式人工智能白皮書(shū)

前言2023年生成式AI應(yīng)用激增。2024年AI將會(huì)帶動(dòng)10%的面對(duì)生成式AI及其應(yīng)用落地的迅猛發(fā)展，微軟期待用AI重新定義軟件開(kāi)發(fā)與工作的未來(lái)。服務(wù)生態(tài)，從提供AI工具到構(gòu)筑AI平臺(tái)和生態(tài)，全方位幫助開(kāi)發(fā)者應(yīng)對(duì)技術(shù)革命，予力人們運(yùn)用AI，讓每個(gè)人都可以在工作和生活中，受益于這些突破性技術(shù)，探索全新機(jī)遇與無(wú)限可能。微軟的AI戰(zhàn)略包括三個(gè)部分：將AI副駕融入每個(gè)微軟云解決方案、幫助客戶(hù)通過(guò)AI本白皮書(shū)將全面介紹MicrosoftAzure生成式人工智能領(lǐng)域的解決方佳實(shí)踐以及支持AI的云端算力及架構(gòu)優(yōu)勢(shì)，您戰(zhàn)略的落地路徑，本白皮書(shū)介紹的落地方案涵蓋從直接使用微軟AzureAI和Azure22目錄前言第一章AzureAI及AzureOpenAl服務(wù)概括4第二章生成式人工智能落地實(shí)踐的四種路徑7路徑一直接使用AzureOpenAI模型:添加您的數(shù)據(jù)至路徑四訓(xùn)練您的自有模型第三章生成式人工智能落地成功案例參考游戲行業(yè):完美世界零售行業(yè)：CarMaxAzureAI服務(wù)通過(guò)現(xiàn)成的預(yù)生成可定制的API和模型，幫助開(kāi)發(fā)人員和組織快速創(chuàng)建智能、前沿、面向市場(chǎng)且負(fù)責(zé)任的應(yīng)用程序，包括對(duì)話(huà)、搜索、監(jiān)視、翻譯、語(yǔ)音、視覺(jué)和決策的自然語(yǔ)言處理。這意味著，您可以使基于你自己的數(shù)據(jù)構(gòu)建、微調(diào)和訓(xùn)練自定使用統(tǒng)一的儀表板實(shí)踐負(fù)責(zé)任、高質(zhì)量的基于你自己的數(shù)據(jù)構(gòu)建、微調(diào)和訓(xùn)練自定使用統(tǒng)一的儀表板實(shí)踐負(fù)責(zé)任、高質(zhì)量的加速機(jī)器學(xué)習(xí)工作流的自動(dòng)化、協(xié)作和可AzureAIContentSafe在應(yīng)用程序和服務(wù)中檢測(cè)用戶(hù)生成的和AI在在A(yíng)zureAI的幫助下，您可以為您的組織構(gòu)建可以立即推向市場(chǎng)的先進(jìn)應(yīng)用程序。以微軟為例，MicrosoftaaMicrosoftAzure4微軟Azure作為OpenAI的獨(dú)家云服務(wù)提供商，自2019年開(kāi)始便以出色的、面向AI時(shí)代的領(lǐng)先架構(gòu)，為OpenAI的快速發(fā)展提供助力?；陔p方的戰(zhàn)略合作，現(xiàn)在A(yíng)zure全球版客戶(hù)可以通過(guò)AzureOpenAI服務(wù)直MicrosoftAzureMicrosoftAzure預(yù)配置吞吐容量的專(zhuān)屬模式:適合各類(lèi)追求穩(wěn)定性能及穩(wěn)定延時(shí)的AI生產(chǎn)應(yīng)用。通過(guò)提供穩(wěn)定的最大延遲和吞吐量保障穩(wěn)定可預(yù)負(fù)責(zé)任的人工智能原則在科技行業(yè)里，微軟率先提出了打造負(fù)責(zé)任的人工智能的決心。2016年，微軟CEO薩提關(guān)于人工共同責(zé)任的專(zhuān)欄文章，幾個(gè)月后，第一次公開(kāi)提出了微軟的人工智能準(zhǔn)則：公平、可靠和安全、隱私BuildingblockstoenactprinciplesTrainingandpracticGovernanceBuildingblockstoenactprinciplesTrainingandpracticGovernancePrivacy&Security.Reliability&SafetyInclusivenessResponsibleFairnessAccountabilityTransparencyaaMicrosoftAzure6基于現(xiàn)有模型進(jìn)行Fine-tuning44同時(shí)，也可以通過(guò)使用Azure大語(yǔ)言模型運(yùn)營(yíng)功能(LLMuauaMicrosoftAzure7先進(jìn)的模型構(gòu)建應(yīng)用。通過(guò)基于A(yíng)zureAI優(yōu)化的基礎(chǔ)設(shè)施、企業(yè)級(jí)可用性、合規(guī)性、數(shù)據(jù)安全和隱私控aaMicrosoftAzure8擁有指令的AI助手,并利用模型、工具TTS模型OpenAI的TTS模型在A(yíng)OAI和AzureAISpeech同時(shí)上線(xiàn)。新的TTS模型能生成GPT-4-TurbowithVision：GPT-4Tur態(tài)模型（LMM），支持圖像分析并能對(duì)圖像有關(guān)問(wèn)題生成文本響應(yīng)。它結(jié)合了自它不僅僅能夠識(shí)別圖片中的對(duì)象，更注重理解上下文和細(xì)節(jié)，比如創(chuàng)建詳細(xì)的圖AzureOpenAI服務(wù)推出了三款模型的Fine-tuning功能（Babbage-002、Davinci-002和GPT-3.5-Turbo）。用戶(hù)可以使用AzureOpenAI服務(wù)或Azure機(jī)器學(xué)習(xí)對(duì)Babbage/Davinci-002和GPT-3.5-Turbo進(jìn)行Fine-tuning。GPT-3.5-Turbo1106模型已支持?ne3.5-Turbo都降低50%。Babbage-002和Davinci-002支持completion，Turbo支持對(duì)話(huà)式交互。通過(guò)幾個(gè)簡(jiǎn)單的命令，您就可以指定基本模型、提供數(shù)據(jù)、進(jìn)行訓(xùn)練和部署。點(diǎn)擊閱讀關(guān)于微調(diào)的介紹文章Whisper：Whisper模型提供轉(zhuǎn)錄和翻譯音頻內(nèi)容的功能，同時(shí)支持大規(guī)模高質(zhì)量MicrosoftAzureuaMicrosoftAzureuaMicrosoftAzure9功能，用戶(hù)可以使用自己的數(shù)據(jù)驅(qū)動(dòng)OpenAI模型，獲得有價(jià)值、高質(zhì)量的洞察。同時(shí)，用戶(hù)友好的API和SDK，將與您的現(xiàn)有系統(tǒng)輕松集成；定制化示例■本地文件：連接您的AzureAI門(mén)戶(hù)文件，為數(shù)據(jù)連接提供靈活性和便利性。數(shù)據(jù)在攝取、切分之后，將導(dǎo)入Azure認(rèn)知搜索索引。txt、■基于數(shù)據(jù)進(jìn)行提問(wèn)和聊天：基于數(shù)據(jù)進(jìn)行提問(wèn)和聊天：連接數(shù)據(jù)源之后，您就可以通過(guò)AzureAIaaMicrosoftAzureEmbedding是一種特殊的數(shù)據(jù)表示格式，機(jī)器學(xué)習(xí)模型和算法可以輕松使用。Embedding是一段文本的語(yǔ)MM在A(yíng)I領(lǐng)域，特別是在大型語(yǔ)言模型中，提示指的是用戶(hù)為引起特定類(lèi)型的響應(yīng)而給出的輸入或指令。要充分利用GPT-4等大型語(yǔ)言模型，就必須精心設(shè)計(jì)能產(chǎn)生有效結(jié)果的提示。挑戰(zhàn)在于如何選擇詞語(yǔ)、表達(dá)方式、需要注意的是，相似的提示可能會(huì)引發(fā)不同的響應(yīng)，這取決于底層模型、訓(xùn)練數(shù)據(jù)，甚至是用戶(hù)請(qǐng)求措辭的細(xì)uauaMicrosoftAzureFine-tuning是開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家用來(lái)定制大型語(yǔ)言模型，以滿(mǎn)足特定任務(wù)需求的方法之一。與“檢索增強(qiáng)生成”（RetrievalAugmentedGeneration，RAG）和“提示工程”等方法通過(guò)在提示中注入正確的信息和AzureOpenAI服務(wù)和Azure機(jī)器學(xué)習(xí)），1.如果您希望簡(jiǎn)單而快速地獲取結(jié)果，請(qǐng)不要立即開(kāi)始使用Fine-tuning：因?yàn)檫@需要大量的數(shù)據(jù)和時(shí)3.如果您希望確保您的模型具有良好的基礎(chǔ)，避免產(chǎn)生幻覺(jué)（hallucinations那么RAG1.教會(huì)模型一項(xiàng)新技能，以便它在特定任務(wù)上表現(xiàn)應(yīng)。有時(shí)，通過(guò)Fine-tuning較小的模型，也2.通過(guò)示例向模型演示如何執(zhí)行某些操作，但在提而Fine-tuning允許您將這些較長(zhǎng)的提示集成到模型從您自己的數(shù)據(jù)庫(kù)、搜索引擎等查詢(xún)最新信息微調(diào)經(jīng)常用于引導(dǎo)模型執(zhí)行特定任務(wù)，例如微調(diào)將少樣本示例移入訓(xùn)練步驟，但增加了微調(diào)訓(xùn)練是昂貴的，但可能會(huì)減少提示長(zhǎng)度這是一個(gè)高風(fēng)險(xiǎn)領(lǐng)域。微調(diào)可以重新訓(xùn)練模uauaMicrosoftAzure使用AzureOpenAI服務(wù)進(jìn)行Fine-tuning將為您帶來(lái)雙重優(yōu)勢(shì)：您可以自定義先進(jìn)的OpenAI大語(yǔ)言模型Azure的內(nèi)容審查功能讓您使用所需的數(shù)據(jù)進(jìn)行Fine-如果您是AzureOpenAI服務(wù)和LLMs的新用戶(hù)，歡迎您使用微軟提供的簡(jiǎn)單易用的API來(lái)訓(xùn)練和部署模Fine-tuning分為兩個(gè)部分：訓(xùn)練Fine-tuning模型以就可以開(kāi)始了！您可以使用AzureOpenAIStudio進(jìn)行簡(jiǎn)單的GUI操作，或者對(duì)于更高級(jí)的用戶(hù)，我們還訓(xùn)練完成后，新模型將在您的資源中可用。當(dāng)使用您經(jīng)過(guò)Fine-tuning的模型部署后將按小時(shí)收取托管費(fèi)如果您熟悉使用AzureMachineLearningStudio來(lái)開(kāi)發(fā)、監(jiān)控和部署模型，您可以將Fine-tuning集成至AML工作流程中的現(xiàn)有模型。除了OpenAI模型，Azure機(jī)器學(xué)習(xí)還支持對(duì)開(kāi)源模型進(jìn)行Fine-tuning，微調(diào)”先進(jìn)AI，離不開(kāi)算力基礎(chǔ)設(shè)施、服務(wù)與專(zhuān)業(yè)知識(shí)。我們將微軟過(guò)去十年的超級(jí)計(jì)算經(jīng)驗(yàn)和支持超大型AI訓(xùn)練您可以在A(yíng)zureAIStudio中使用預(yù)構(gòu)建和可現(xiàn)在A(yíng)zureAI模型目錄中添加了新的基礎(chǔ)和生成式AI模型。在Huggi穩(wěn)定擴(kuò)散模型、falcon模型、CLIP、WhisperV3、BLIP和SAM模型。此外，我們還添加了分別來(lái)自Meta和NVIDIA的CodeLlama和Nemo借助我們的模型即服務(wù)，專(zhuān)業(yè)開(kāi)發(fā)人員很快就能輕松集成最新的Command、G42的Jais以及Mistral的高級(jí)模型作為API端點(diǎn)到應(yīng)用程序Azure領(lǐng)先的GPU和網(wǎng)絡(luò)解決方案的獨(dú)特架構(gòu)設(shè)計(jì)，為計(jì)算最密集的AI訓(xùn)練和能和規(guī)模。這就是世界領(lǐng)先的AI公司（包括OpenAI、Meta在2023年11月份發(fā)布的MLperf性能基準(zhǔn)報(bào)告里，我們將175B參數(shù)GPT-3模型的訓(xùn)練時(shí)間從之前的10.94NVIDIAH100TensorCoreGPUQuantum-2In?niBandNVSwitch+NVLink4.0基于NvidiaH200用于大模型訓(xùn)練和推理的NDH200v5機(jī)型。基于A(yíng)MDMI300X用于支持大模型的高帶寬內(nèi)存GPU機(jī)型NDMI300X我們對(duì)于對(duì)話(huà)式AI的關(guān)注促使我們開(kāi)發(fā)和訓(xùn)練一些最復(fù)雜的大型基礎(chǔ)結(jié)構(gòu)為我們提供了必要的性能，以便大規(guī)模、可靠地、高效處理這些模型。梅賽德斯-奔馳（奔馳）是世界知名的汽車(chē)品牌，致力于為用戶(hù)提供更互聯(lián)、更智能、更個(gè)性化的駕駛體驗(yàn)。為了實(shí)現(xiàn)這一目標(biāo)，奔馳開(kāi)發(fā)了MBUX語(yǔ)音助手“嘿，梅賽德斯”，讓用戶(hù)可以通過(guò)自然語(yǔ)音命令控制車(chē)內(nèi)的各種功能，如導(dǎo)航、娛樂(lè)、空調(diào)等。這種語(yǔ)音助手不僅可以提高用戶(hù)的便捷性和生產(chǎn)力，還可以增強(qiáng)用戶(hù)的奔馳需要保證GPT模型的安全性和可靠性，以及用戶(hù)的奔馳需要確保奔馳需要保證GPT模型的安全性和可靠性，以及用戶(hù)的奔馳需要確保GPT模型與MBUX語(yǔ)音助手的兼容性和穩(wěn)定性，以及與其他車(chē)內(nèi)系微軟AzureOpenAI服務(wù)為奔馳提供了一個(gè)集成了GPT模型的車(chē)載語(yǔ)音助手，讓用戶(hù)可以通過(guò)自然語(yǔ)言與車(chē)輛進(jìn)行交互。這個(gè)語(yǔ)音助手可以理解用戶(hù)的需求和意圖，提供全面和相關(guān)的回答，還可以集成第三方服務(wù)，讓用戶(hù)可以在駕駛過(guò)程中完成更多的任務(wù)。這個(gè)方案通過(guò)Azure的企業(yè)功能和基礎(chǔ)設(shè)施，保證了語(yǔ)音安全性，同時(shí)遵循了微軟的負(fù)責(zé)任的人工智能原則。這個(gè)方案正在美國(guó)進(jìn)行Beta測(cè)試，預(yù)計(jì)將為奔馳用戶(hù)帶aaMicrosoftAzure奔馳可以在三個(gè)月內(nèi)完成GPT模型的Beta測(cè)試，并根據(jù)用戶(hù)的反奔馳可以使用AzureOpenAI服務(wù)的預(yù)留預(yù)配置吞吐量功能，以便大規(guī)?？乇捡Y可以通過(guò)GPT模型提供更直觀(guān)、更具對(duì)話(huà)感的語(yǔ)音助手，讓用戶(hù)可以通uauaMicrosoftAzure02零售行業(yè)沃爾瑪沃爾瑪是全球最大的零售商，以低價(jià)和多樣化的商品吸引了數(shù)億消費(fèi)者。沃爾瑪在2023財(cái)年實(shí)現(xiàn)了超過(guò)820億美元的電子商務(wù)銷(xiāo)售額，并持續(xù)擴(kuò)大其活躍數(shù)字客戶(hù)群。該公司的目標(biāo)是為顧客提供最佳的數(shù)字購(gòu)物體驗(yàn)，沃爾瑪希望通過(guò)引入生成式AI沃爾瑪希望通過(guò)引入生成式AI技術(shù)，包括文件總結(jié)沃爾瑪致力于提供更個(gè)性化的商品包括文件總結(jié)沃爾瑪致力于提供更個(gè)性化的商品括安全性、合規(guī)性和區(qū)域可用性）的支持。結(jié)合沃爾瑪專(zhuān)有數(shù)據(jù)和技術(shù)、大型語(yǔ)言模型以及沃爾瑪建立的零售專(zhuān)用模型，沃爾瑪在iOS、Android和自有網(wǎng)站上建立了一個(gè)全新的生成式AI支持的門(mén)用于理解顧客查詢(xún)的上下文并生成個(gè)性化回復(fù)。很快，顧客將利用該功能獲得更具互動(dòng)性和對(duì)話(huà)性的體驗(yàn)，獲取特定問(wèn)題的答案，并收到個(gè)性化的產(chǎn)品建議。借助這種前沿的生成式AI技術(shù)，用戶(hù)可以從“滾動(dòng)搜索”aaMicrosoftAzure完美世界游戲是中國(guó)最早自主研發(fā)3D游戲引擎的游戲企業(yè)。作為全球化的游戲開(kāi)發(fā)商、發(fā)行商、運(yùn)營(yíng)商，并在端游、手游、主機(jī)游戲、VR游戲以及云游戲等多個(gè)領(lǐng)域進(jìn)行布局，旗下產(chǎn)品出口100多個(gè)國(guó)家和地區(qū)，其出品的《誅仙》《天龍八部》《幻塔》等游戲，搭載中國(guó)文化，為全球玩家?guī)?lái)了優(yōu)質(zhì)的游戲體驗(yàn)。為了在MMO游戲研發(fā)中實(shí)現(xiàn)效能突破，完美世界游戲于2022年開(kāi)始基于A(yíng)zureOpenAI及其他AzureAI服務(wù)探索升級(jí)游戲玩家的AI交互體驗(yàn)。AI升級(jí)游戲玩家的AI交互體驗(yàn)。AI對(duì)話(huà)缺少與生成文本對(duì)應(yīng)的聲畫(huà)表現(xiàn)，難以直接革新技術(shù)中臺(tái)對(duì)工作室的賦能。完美世界游戲內(nèi)部早已成立AI中心，但如何將GenAI的技術(shù)能力落地為各完美世界游戲在生產(chǎn)管線(xiàn)、核心業(yè)務(wù)和開(kāi)發(fā)工具上實(shí)現(xiàn)了全面優(yōu)化。策劃團(tuán)隊(duì)引入GPTOpenAI模型，為AI文本創(chuàng)意、劇情拓展和定制世界觀(guān)環(huán)節(jié)提供支持；結(jié)合GPT4-8K模型和GPT3.5微調(diào)模能化建模、生成分鏡預(yù)覽；此外，完美世界將AzureOpenAI模型強(qiáng)大的歸納、理解及總結(jié)能力應(yīng)用在量化運(yùn)營(yíng)場(chǎng)景與安全維護(hù)場(chǎng)景；并基于A(yíng)zureOpen目前生產(chǎn)管線(xiàn)優(yōu)化已經(jīng)