生成式人工智能：發(fā)展演進(jìn)及產(chǎn)業(yè)機(jī)遇

生成式人工智能：發(fā)展演進(jìn)及產(chǎn)業(yè)機(jī)遇徐思彥騰訊研究院高級(jí)研究員當(dāng)OpenAI在2022年11月30日發(fā)布Ch一場(chǎng)眩暈式的變革。自2010年代初深度學(xué)習(xí)問世以來，人工智能進(jìn)入到第三次高潮。而2017年Transformer算法將模型時(shí)代。OpenAI基于Transformer的Decoder部分建立起來了GPT家族。ChatGPT一經(jīng)面世便風(fēng)靡全球，人們驚訝于其能夠進(jìn)行連貫、有深度對(duì)話的同時(shí)，也驚異地發(fā)現(xiàn)了它涌現(xiàn)了推理、思能力。伴隨AI預(yù)訓(xùn)練大模型持續(xù)發(fā)展、人工智能生成內(nèi)容（AIGC）算法不斷創(chuàng)新以及多模態(tài)AI日益主流化，以Chat技術(shù)加速成為AI領(lǐng)域的最新發(fā)展方向，推動(dòng)AI迎來下一個(gè)大發(fā)展、大繁榮的時(shí)代，將對(duì)經(jīng)濟(jì)社會(huì)發(fā)展產(chǎn)生重大的影響 AIGC技術(shù)的定義及背景AIGC(ArtificialInteligenceGeneratedContent)，指的是通過人工智能技術(shù)自動(dòng)生成內(nèi)容的生產(chǎn)方式。通過訓(xùn)練與訓(xùn)練數(shù)據(jù)相似的內(nèi)容。與傳統(tǒng)類型的AI主要關(guān)注識(shí)別和預(yù)測(cè)現(xiàn)有數(shù)據(jù)的模式不同，AIGC著重于創(chuàng)造新的、有創(chuàng)意理在于學(xué)習(xí)和理解數(shù)據(jù)的分布，進(jìn)而生成具有相似特征的新數(shù)據(jù)，在圖像、文本、音頻、視頻等多種領(lǐng)域都有廣泛最引人注目的應(yīng)用當(dāng)屬ChatGPT。ChatGPT是基于OpenAI公司的大型語言模型GPT-3.5訓(xùn)練、調(diào)試、優(yōu)化的聊天機(jī)AI模型可以處理各種各樣的文字和推理任務(wù)。ChatGPT發(fā)布僅兩個(gè)月即獲得1億月活用戶，超越了歷史上所有互聯(lián)網(wǎng)用戶增長(zhǎng)速度。以大型語言模型、圖像生成模型為代表的AIGC技術(shù)，成為新一代人工智能的平臺(tái)型技術(shù)，助力不AIGC大爆發(fā)的背后，普遍認(rèn)為三個(gè)領(lǐng)域的AI技術(shù)的發(fā)展為其提供了肥沃的土壤，分別是生成算法、預(yù)訓(xùn)練模型和多第一，隨著各種生成算法的不斷創(chuàng)新突破，AI現(xiàn)在已經(jīng)可以生成文字、代碼、圖像、語音、視頻物體等各種類型的與過去最顯著的區(qū)別是從分析式AI（AnalyticalAI）發(fā)展為生成式AI（GenerativeAI）。分析式AI模型是根據(jù)已有斷、預(yù)測(cè)，最典型的應(yīng)用之一是內(nèi)容智能推薦；生成式AI模型則是學(xué)習(xí)已有數(shù)據(jù)后進(jìn)行演繹、生成創(chuàng)造全新內(nèi)容。第二，預(yù)訓(xùn)練模型，也就是我們常說的大模型，引發(fā)了AIGC技術(shù)能力的質(zhì)變。在過去，研究人員需要針對(duì)每一個(gè)類型I模型，訓(xùn)練好的模型只能從事特定任務(wù)，不具有通用性。而預(yù)訓(xùn)練的大模型技術(shù)顯著提升了AIGC模型的通用化能力AIGC模型成為自動(dòng)化內(nèi)容生產(chǎn)的“工廠”和“流水線”。生成式AI模型，包括ChatGPT、GPT-4等大語言模型（Ladels，LLM）和Midjourney、StableDiffusion等圖像生成模型，又被稱為基礎(chǔ)模型（FoundationModels其的海量數(shù)據(jù)預(yù)訓(xùn)練的深度學(xué)習(xí)算法，展現(xiàn)出強(qiáng)大的、更加泛化的語言理解和內(nèi)容生成能力。以大型語言模型（LLM）為例，經(jīng)過海量的互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)的訓(xùn)練，語言模型的參數(shù)可以達(dá)到萬億甚至百萬億級(jí)別。模型的生成能力，同一個(gè)語言模型可以高質(zhì)量地完成各種各樣的文字和推理任務(wù)，例如作詩、寫文章、講故事、寫代等等。因此，大模型已經(jīng)成為了各大企業(yè)競(jìng)相追逐的AI方向。第三，多模態(tài)AI技術(shù)的發(fā)展。多模態(tài)技術(shù)讓AIGC模型可以跨模態(tài)地去生成各種類型的內(nèi)容，比如把文字轉(zhuǎn)化為圖片步增強(qiáng)了AIGC模型的通用能力。[1]1）生成對(duì)抗網(wǎng)絡(luò)(GAN,GenerativeAdversarialGAN是由IanGoodfellow等人于2014年提出的一種生成式模型。它由生成器（Generator）和判別器（Discrimina生成器負(fù)責(zé)生成新的數(shù)據(jù)，判別器負(fù)責(zé)判斷生成數(shù)據(jù)與真實(shí)數(shù)據(jù)的相似程度。通過不斷的訓(xùn)練，生成器能夠生成越來2）變分自編碼器(VAE,VariationalAutoencoVAE是一種基于概率生成模型的生成式方法，它通過編碼器（Encoder）和解碼器（Decoder）兩部分來實(shí)現(xiàn)數(shù)據(jù)的將輸入數(shù)據(jù)映射到潛在空間中的一個(gè)分布，解碼器負(fù)責(zé)從潛在空間中的分布采樣數(shù)據(jù)并生成新的數(shù)據(jù)。RNN是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。RNN具有記憶功能，能夠捕捉序列數(shù)據(jù)中的時(shí)序信息。在生成式人Transformer是一種基于自注意力（Self-Attention）機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它在自然語言處理領(lǐng)域取得了顯著的成果型可以用于生成式任務(wù)，如文本生成、機(jī)器翻譯等。其他相關(guān)技術(shù)：除了上述技術(shù)外，還有一些其他的生成式模型和技術(shù)，如PixelRNN、PixelCNN、WaveNet等。這頻生成等領(lǐng)域也取得了一定的成果。大語言模型等生成式AI技術(shù)帶來了新的AI發(fā)展范式，其應(yīng)用前景十分廣闊。。對(duì)于大眾而言，生成式AI意味著新的創(chuàng)大程度上解放個(gè)體的創(chuàng)造力和創(chuàng)意生產(chǎn)。除此之外，AIGC還將改變獲取信息的主要方式。ChatGPT在尋找答案、解經(jīng)部分的超越了如今的搜索引擎，ChatGPT或許在未來會(huì)改變我們獲取信息、輸出內(nèi)容的方式，AIGC有望成為數(shù)字比爾·蓋茨將人工智能的發(fā)展和微處理器、個(gè)人電腦、互聯(lián)網(wǎng)以及智能手機(jī)相提并論，認(rèn)為其將重塑所有的行業(yè)。微軟atyaNadella認(rèn)為，ChatGPT是知識(shí)工作者的“工業(yè)革命”，斷言人工智能將徹底改變所有類型的軟件服務(wù)。目前，會(huì)議等諸多軟件服務(wù)都已融入了生成式AI的能力。OpenAI公司首席執(zhí)行官SamAltman稱，多模態(tài)的AI大模型有望之后的新的技術(shù)平臺(tái)。這意味著，開發(fā)人員基于預(yù)訓(xùn)練的AI大模型，可以通過模型微調(diào)快速開發(fā)出垂直領(lǐng)域的模型用，人工智能的革命性正在于此。[2] AIGC的應(yīng)用領(lǐng)域及案例自然語言生成是一種AIGC技術(shù)，可以生成逼真的自然語言文本。生成式AI可以編寫文章、故事、詩歌等，為作家和的創(chuàng)作方式。同時(shí)，它還可以用于智能對(duì)話系統(tǒng)，提高用戶與AI的交流體驗(yàn)。ChatGPT（全名：ChatGenerativePre-trainedTransformer對(duì)話生成式預(yù)訓(xùn)練變換模型）是由OpenAI開發(fā)的一器人程序，于2022年11月推出。該程序使用基于GPT-3.5架構(gòu)的大型語言模型并通過強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練。ChatG式互動(dòng)，可以解決包括自動(dòng)文本生成、自動(dòng)問答、自動(dòng)摘要等在內(nèi)的多種任務(wù)。Jasper已經(jīng)開始為谷歌、臉書等知名公司提供文案AIGC的商業(yè)服務(wù)。2.圖像生成領(lǐng)域圖像生成是AIGC技術(shù)中最為普遍的應(yīng)用之一。StabilityAI發(fā)布了穩(wěn)定擴(kuò)散（StableDiffusion）模型，通過開源快速I繪畫的技術(shù)使用門檻，消費(fèi)者可以通過訂閱旗下產(chǎn)品DreamStudio來輸入文本提示詞生成繪畫作品，產(chǎn)品已經(jīng)吸引3.音視頻創(chuàng)作與生成AIGC技術(shù)可以用于語音合成，即生成逼真的語音。例如，通過學(xué)習(xí)人類的語音特征，生成式模型可以生成逼真的語助手、語音翻譯等應(yīng)用。AIGC技術(shù)可以用于生成音樂。生成式AI可以根據(jù)給定的風(fēng)格和旋律創(chuàng)作新的音樂作品，為作靈感。這種技術(shù)還可以幫助音樂家更有效地探索音樂風(fēng)格和元素的組合。這些曲目可以用于音樂創(chuàng)作、廣告音樂等生成式AI可以用于生成虛擬角色、場(chǎng)景和動(dòng)畫，為電影和游戲制作帶來更多的創(chuàng)意可能。此外，AI還可以根據(jù)用戶的2023年3月，騰訊AILab在GDC上提出了3D虛擬場(chǎng)景自動(dòng)生成解決方案，能夠幫助游戲開發(fā)者以更低成本創(chuàng)造風(fēng)格虛擬城市，提升3D虛擬場(chǎng)景的生產(chǎn)效率。其中重點(diǎn)分享了城市布局生成、建筑外觀生成和室內(nèi)映射生成三大能力。調(diào)過程僅需要不到30分鐘，相比手動(dòng)設(shè)計(jì)效率提升近100倍；而單個(gè)獨(dú)特建筑的制作時(shí)間也降低至17.5分鐘，大大提生成式AI可以在化學(xué)、生物學(xué)、物理學(xué)等領(lǐng)域探索新的理論和實(shí)驗(yàn)方法，幫助科學(xué)家發(fā)現(xiàn)新的知識(shí)。此外，生成式A計(jì)、材料科學(xué)等領(lǐng)域，加速技術(shù)創(chuàng)新和發(fā)展。6.代碼生成領(lǐng)域經(jīng)過自然語言和數(shù)十億行代碼的訓(xùn)練。部分生成式AI模型精通十幾種語言，包括Python、JavaScript、Go、Perl、能夠根據(jù)自然語言的指令生成相應(yīng)的代碼。GitHubCopilot是一個(gè)GitHub和OpenAI合作產(chǎn)生的AI代碼生成工具，可根據(jù)命名或者正在編輯的代碼上下文為開發(fā)官方介紹其已經(jīng)接受了來自GitHub上公開可用存儲(chǔ)庫(kù)的數(shù)十億行代碼的訓(xùn)練，支持大多數(shù)編程語言。騰訊云新一代AI代碼助手CODINGWise：將大模型AI能力賦能給開發(fā)者，增強(qiáng)開發(fā)體驗(yàn)，提升開發(fā)效率。CODI編程語言、主流開發(fā)框架和常用IDE。具備代碼補(bǔ)全、生成單元測(cè)試、代碼糾錯(cuò)等能力，能輔助開發(fā)者加速開發(fā)過程，ODINGWise能力覆蓋溝通、編碼、評(píng)審等關(guān)鍵環(huán)節(jié)，包括：溝通環(huán)節(jié)：通過對(duì)話方式，進(jìn)行上下文推理給出代碼理解代碼邏輯；研發(fā)環(huán)節(jié)：根據(jù)當(dāng)前代碼類型、代碼上下文等信息進(jìn)行代碼補(bǔ)全；能根據(jù)代碼反向生成注釋和單元節(jié)：進(jìn)行代碼查錯(cuò)、定位問題并輔助生成建議；隨后給出建議代碼、替換錯(cuò)誤的代碼塊；評(píng)審環(huán)節(jié)：輔助開發(fā)者生成可以輔助評(píng)審者生成評(píng)審建議；調(diào)試環(huán)節(jié)：可通過自然語言指令實(shí)現(xiàn)快速的代碼修改和調(diào)優(yōu)。騰訊會(huì)議·AI小助手：只需通過簡(jiǎn)單自然的會(huì)議指令，基于對(duì)會(huì)議內(nèi)容的理解，就可以完成信息提取、內(nèi)容分析、會(huì)管務(wù)。會(huì)后可以自動(dòng)生成智能總結(jié)摘要，還能基于智能錄制的能力，幫助用戶高效回顧，提升用戶開會(huì)和信息流轉(zhuǎn)效率彭博社于近期發(fā)布了為金融界打造的大語言模型（LLM）——BloombergGPT。它使用了類似于ChatGPT的技術(shù)原ormer模型和大規(guī)模預(yù)訓(xùn)練技術(shù)來實(shí)現(xiàn)自然語言處理，擁有500億參數(shù)。BloombergGPT的預(yù)訓(xùn)練數(shù)據(jù)集主要來自彭數(shù)據(jù)，構(gòu)建了一個(gè)3630億個(gè)標(biāo)簽的數(shù)據(jù)集，支持金融行業(yè)的各種任務(wù)。BloombergGPT的目標(biāo)是幫助用戶更好地理解和分析金融數(shù)據(jù)和新聞。它可以根據(jù)用戶的輸入，生成與金融相關(guān)的自新聞?wù)⑹袌?chǎng)分析、投資建議等。它的應(yīng)用場(chǎng)景主要包括金融分析、投資咨詢、資產(chǎn)管理等領(lǐng)域。例如，在資產(chǎn)管據(jù)歷史數(shù)據(jù)和市場(chǎng)情況，預(yù)測(cè)未來的股票價(jià)格和交易量，為投資經(jīng)理提供投資建議和決策支持。在財(cái)經(jīng)新聞?lì)I(lǐng)域，B根據(jù)市場(chǎng)數(shù)據(jù)和事件，自動(dòng)生成新聞?wù)头治鰣?bào)告，為讀者提供及時(shí)、準(zhǔn)確的金融信息。AI智能體（AIAgent）被認(rèn)為是OpenAI的下一個(gè)方向。從今年3月AutoGPT推出后，GenerativeAgent、GPTGI項(xiàng)目的爆發(fā)將LLM的敘事代入了新的階段，從“超級(jí)大腦”到真正有可能成為“全能助手”。2023年4月，一個(gè)名叫AutoGPT的開源項(xiàng)目在Github上發(fā)布了，截止至2023年4月16日，該項(xiàng)目已經(jīng)獲得70K+星由GPT-4驅(qū)動(dòng)的可以自主實(shí)現(xiàn)用戶設(shè)定的任何目標(biāo)的開源應(yīng)用程序。當(dāng)用戶提出一個(gè)需求或任務(wù)時(shí)，AutoGPT會(huì)自主體的執(zhí)行計(jì)劃并開始執(zhí)行，直到完成用戶提出的要求。Auto-GPT的出現(xiàn)意味著AGI正逐漸向更加自主化和智能化的方向發(fā)展。首先，它可以使人工智能應(yīng)用更加普及和便利夠自主分析和執(zhí)行任務(wù)，大大降低了應(yīng)用的門檻和成本，讓更多的人能夠輕松地使用人工智能技術(shù)來解決問題。其次提高人工智能應(yīng)用的效率和精度。傳統(tǒng)的人工智能模型需要從頭到尾地執(zhí)行整個(gè)任務(wù)，這會(huì)浪費(fèi)很多時(shí)間和計(jì)算資源誤。AutoGPT可以自主分析任務(wù)，并且提出具體的執(zhí)行計(jì)劃，這樣可以大大縮短執(zhí)行時(shí)間，并且減少錯(cuò)誤率。[3]盡管Auto-GPT還在非常早期的實(shí)驗(yàn)階段，但其開創(chuàng)了一種全新的AI交互方式，即由機(jī)器主動(dòng)提出任務(wù)和計(jì)劃，人類標(biāo)。這種交互方式不僅提高了AI智能體的自主性和靈活性，同時(shí)也拓展了人與AI之間的交互方式，打破了人類對(duì)于人想象，使得人工智能技術(shù)能從“工具”走向人類的“伙伴”。除了獨(dú)立的AIAgent之外，未來還可能出現(xiàn)由多個(gè)AI智能體組成的“虛擬智能社會(huì)”。GenerativeAgents—在由斯合發(fā)表的一篇名叫《GenerativeAgents:InterativeSimulacraofHumanBehavior》論文中，研究者們成功地構(gòu)鎮(zhèn)”，其中的25個(gè)智能體在小鎮(zhèn)上生存。借助AIGC，其中的NPC具備了可信人類行為，并對(duì)周圍環(huán)境變化做出適當(dāng)國(guó)外商業(yè)咨詢機(jī)構(gòu)預(yù)測(cè)，到2030年AIGC和生成式AI市場(chǎng)規(guī)模將達(dá)到1100億美元。正如“互聯(lián)網(wǎng)+”一樣，“AIGC各業(yè)，在教育、醫(yī)療、金融、政務(wù)、制造、機(jī)器人、數(shù)字人、元宇宙、廣告營(yíng)銷、電子商務(wù)、市場(chǎng)和戰(zhàn)略咨詢等眾多形式，深度賦能千行百業(yè)，助力高質(zhì)量發(fā)展。 AIGC的產(chǎn)業(yè)應(yīng)用中的挑戰(zhàn)與問題1.可解釋性與可靠性生成式人工智能的可解釋性問題是指生成式人工智能（GenerativeArtificialIntelligence）所產(chǎn)生的結(jié)果難以解釋或智能是一種基于深度學(xué)習(xí)的人工智能技術(shù)，其通過學(xué)習(xí)大量數(shù)據(jù)來生成新的數(shù)據(jù)或圖像。但是，生成式人工智能所產(chǎn)理解和解釋，因?yàn)槠鋬?nèi)部的運(yùn)作過程非常復(fù)雜，而且很難直觀地描述。這種可解釋性問題對(duì)于許多應(yīng)用場(chǎng)景都非常重要，比如醫(yī)療診斷、金融風(fēng)控、自動(dòng)駕駛等領(lǐng)域。在這些領(lǐng)域中，人們工智能的內(nèi)部運(yùn)作過程，以便更好地理解其產(chǎn)生的結(jié)果，并且能夠?qū)ζ溥M(jìn)行調(diào)整和優(yōu)化。解決生成式人工智能的可解釋性問題是當(dāng)前人工智能研究的一個(gè)重要方向，研究人員正在探索各種方法來使生成式人可解釋和可理解。這些方法包括可視化技術(shù)、可解釋性模型、對(duì)抗性樣本等等。2.AI大模型的價(jià)值對(duì)齊問題所謂人工智能的價(jià)值對(duì)齊（AIAlignment就是讓人工智能系統(tǒng)的行為符合人類的目標(biāo)、偏好或倫理原則。價(jià)值對(duì)一個(gè)核心議題。在理論上，如果一個(gè)強(qiáng)大的AI系統(tǒng)所追求的目標(biāo)和人類的真實(shí)目的意圖和價(jià)值不一致，就有可能給果。就目前而言，大語言模型的價(jià)值對(duì)齊問題主要表現(xiàn)為，如何在模型層面讓人工智能理解人類的價(jià)值和倫理原則，的有害輸出，從而打造出更加有用同時(shí)更加符合人類價(jià)值觀的AI模型。在這方面，RLHF是一個(gè)有效的方法，通過小現(xiàn)比較好的效果。簡(jiǎn)言之，RLHF要求人類專家對(duì)模型輸出內(nèi)容的適當(dāng)性進(jìn)行評(píng)估，并基于人類提供的反饋對(duì)模型進(jìn)減少模型在未來生產(chǎn)有害內(nèi)容的可能性。實(shí)際上，RLHF算法不僅是確保AI模型具有正確價(jià)值觀的關(guān)鍵所在，而且對(duì)長(zhǎng)期健康可持續(xù)發(fā)展也十分重要。[4]3.塑造負(fù)責(zé)任的AI創(chuàng)新生態(tài)大語言模型等生成式AI的進(jìn)展，在讓人們看到AGI曙光的同時(shí)，也帶來更加復(fù)雜難控的風(fēng)險(xiǎn)，包括對(duì)人類未來生存的需要成為一個(gè)負(fù)責(zé)任創(chuàng)新的時(shí)代，而非另一個(gè)“快速行動(dòng)、打破陳規(guī)”的時(shí)代。人們需要建立合理審慎的AI倫理和治任的AI生態(tài)，打造人機(jī)和諧共生的未來。生成式AI領(lǐng)域的創(chuàng)新主體則需要積極探索技術(shù)上和管理上的安全保障措施，在科技向善理念之下，人工智能時(shí)代不應(yīng)成為另一個(gè)“快速行動(dòng)、打破陳規(guī)”的時(shí)代（即先快速把產(chǎn)品做出來，事后等方式解決其社會(huì)問題而應(yīng)成為一個(gè)負(fù)責(zé)任創(chuàng)新的時(shí)代，通過建立合理審慎的AI倫理和治理框架，塑造負(fù)責(zé)任的和諧共生的未來。[5] AIGC在產(chǎn)業(yè)應(yīng)用中的未來趨勢(shì)1.多模態(tài)帶來創(chuàng)新應(yīng)用藍(lán)海多模態(tài)AI是指能夠處理和理解多種類型信息的人工智能，如文本、圖像、音頻、視頻等。這種AI不僅能夠處理單一數(shù)且可以在不同數(shù)據(jù)類型間建立聯(lián)系和融合，從而實(shí)現(xiàn)一個(gè)綜合、全面的理解多模態(tài)。AI能夠?qū)Ω鞣N不同類型的數(shù)據(jù)進(jìn)在多模態(tài)技術(shù)發(fā)展初期，不同模態(tài)的AI開始進(jìn)行集成，比如圖像識(shí)別和自然語言處理技術(shù)的結(jié)合。除了ImageBind打數(shù)仍在探索文本與圖像的融合，但進(jìn)展飛快。UniDiffuser:除了單向文生圖，還能實(shí)現(xiàn)圖生問、圖文聯(lián)合生產(chǎn)、無條OpenAI開發(fā)了許多多模態(tài)AI案例如DALL-E、CLIP等，可以識(shí)別圖像中的對(duì)象，同時(shí)生成與圖像相關(guān)的描述性文本隨著多模態(tài)技術(shù)的進(jìn)展，多模態(tài)AI在理解和處理不同類型數(shù)據(jù)時(shí)能夠?qū)崿F(xiàn)更高程度的融合。算法和模型可以在不同數(shù)系，提取跨模態(tài)的共享信息。這使得AI能夠深度理解和解決復(fù)雜問題。未來在諸多創(chuàng)新領(lǐng)域，多模態(tài)技術(shù)的發(fā)展將海。[6]2.生成式AI帶來更貼近人的交互方式從使用鍵盤-鼠標(biāo)等方式跟電腦交互，到使用手指滑動(dòng)屏幕跟手機(jī)交互，再到人們用喚醒詞跟智能音箱等交互，人機(jī)令，到識(shí)別人的動(dòng)作，語音，不斷朝著更貼近人的習(xí)慣的交互方式演進(jìn)。生成式AI的發(fā)展，讓人類有史以來第一次有方式，來跟機(jī)器對(duì)話，而機(jī)器也借由大模型擁有了極強(qiáng)的理解人類語言的能力，有望帶來一場(chǎng)全新的交互變革。正如從終端、到連接，到