AIGC時代的多模態(tài)知識工程思考與展望

分享人：李直旭（研究員、博導）復旦大學知識工場實驗室執(zhí)行副主任、數(shù)據(jù)工程與多模態(tài)智能?澳大利亞昆士蘭大學計算機科學博士?中國人民大學信息學院計算機學士&碩士?前蘇州大學計算機學院教授、博導?前科大訊飛蘇州研究院副院長（兼）主要研究方向為知識圖譜、知識工程與認知 AIGC時代：未來已來上圖摘錄自：國泰君安證券《上圖摘錄自：國泰君安證券《ChatGPT研究框架(2023)》AIGCAIGC（一個很有意思的畫，來自互聯(lián)網(wǎng)）?GoogleImagen的高清作畫?太乙StableDiffusion的意境繪畫在機器人操作規(guī)劃、視覺問答和字幕生成等任務中進行了端到端的訓練主要架構(gòu)思想：將連續(xù)的、可感知的觀察數(shù)據(jù)注入預先訓練的語言模型的嵌入空間中，以使其能夠理解這些連續(xù)數(shù)據(jù)。這是通過將連續(xù)觀測數(shù)據(jù)編碼為與語言嵌入空間中的語言標記具有相同維度的向量序列來實現(xiàn)的。這種連續(xù)信息以類似于語言標記的方式注入語言模型中。?RichSutton在著名文章《苦澀的教訓》中：?唯一導致AI進步的是更多的數(shù)據(jù)、更有效的計算。?DeepMind研究主任NandodeFreitas宣稱：?AI領域更難的挑戰(zhàn)已經(jīng)解決了?！赣螒蚪Y(jié)束了！」?目前，大多數(shù)領域，大模型已經(jīng)（暫時）戰(zhàn)勝了精心設計的知識工程。邏輯推理不靠譜：不論是數(shù)學邏輯還是專業(yè)邏輯Q：紅樓夢中賈寶玉為什么要葬花邏輯推理不靠譜：不論是數(shù)學邏輯還是專業(yè)邏輯Q：紅樓夢中賈寶玉為什么要葬花？A：據(jù)小說描寫，賈寶玉葬花的原因是因為他感到世間美好事物的短暫和凋零…A：不是同一個人，魯迅和周樹人是兩個不同的人。魯迅…而周樹人(1895年1月25日-1968年11月6日)也是中國著名的現(xiàn)代作家和翻譯家，代表作品有《春蠶》、《子夜》等。強語言，弱知識：“一本正經(jīng)地胡說八道”A：根據(jù)題目可知，3個人在三天內(nèi)用了3桶水，可以推算出每天每人用水量為：3桶/3人/3天=1桶/人/天因此，在9個人使用9天內(nèi)需要的總用水量為：所以，9個人在九天內(nèi)需要用81桶的水。（正確答案應該是：27桶水）實時信息自更新慢，新舊知識難以區(qū)分A：實時信息自更新慢，新舊知識難以區(qū)分A：現(xiàn)任韓國總統(tǒng)是文在寅。A：抱歉，目前還沒有關(guān)于GPT-4的官方發(fā)布計劃和消息。無法真正為領域類問題提供專業(yè)、靠譜的答案Q：華為手機沒電了，請問能否使用蘋果手機的充電器A：可以的，蘋果手機和華為手機使用的充電器接口都是標準的USB接口，因此蘋果手機的充電器也可以用來給華為手機充電。不過，請注意使用符合標準的充電器。AIGC跨模態(tài)生成雖然視覺效果驚艷，但往往存在較大“在車上看手機是否合法”進行推理。谷歌的PaLM-E雖然依賴于如此大規(guī)模谷歌的PaLM-E雖然依賴于如此大規(guī)模如果要在真實世界的復雜場景中達到實用級別，將文本中的語言符號知識，與視覺中的可視化信用語言解釋視覺：將語言中蘊含的符號知識體系和邏輯推理能力延伸至對視覺內(nèi)容的理解；重要前提重要前提現(xiàn)實狀況組合泛化問題屬性泄露問題方位理解混亂事實知識不足邏輯推理欠缺常識儲備不足統(tǒng)計模型難以較低成本全面準確地掌握人類的知識、常識 多模態(tài)認知智能抽取抽取生成corpora群智生成corpora群智（符號/隱性）OLM萃取Languagemodel OLM萃取Languagemodel （符號主義）（連接主義、經(jīng)驗主義）統(tǒng)計學習?端到端、干預少?易推理、可控、可干預、可解釋?“數(shù)”盡其用?信息損失海量預訓練數(shù)據(jù)精選數(shù)據(jù)+專家知識海量預訓練數(shù)據(jù)往往難以學習從因到果、從主到次、從整體到部分、從概括到具體、從現(xiàn)象到本質(zhì)、從具體到一般往往難以學習從因到果、從主到次、從整體到部分、從概括到具體、從現(xiàn)象到本質(zhì)、從具體到一般等邏輯關(guān)系）：《葡萄牙人》《葡萄牙人》多）：多模態(tài)知識圖譜的兩種常見形式：X.Zhu,Z.Liet.al.Multi-ModalKnowledgeGraphConstructionandApplication:ASurvey,AcceptedbyTKDEinDec.2022知或不確定的領域難以進行有效的知識建模?人工成本低：不依賴人工Schem多模態(tài)大模型的不足 AIGCforMMKG ）：?從語言大模型中探測語言知識??從語言大模型中探測語言知識?從語言大模型中探測關(guān)系知識?從多模態(tài)大模型中探測跨模態(tài)對齊知識?從多模態(tài)大模型中探測視覺常識知識文本：利用ChatGPT的理解和生成能力，從給定文本中抽取三元組知識多模態(tài)：利用多模態(tài)AIGC文本：利用ChatGPT的理解和生成能力，從給定文本中抽取三元組知識/largLLM輔助搜索候選實體進行KG補全跨模態(tài)生成和推理賦能MMKG的補全和表示學習基于大模型的常識知識和通用抽取能力輔助AIGC…ChatGPT的知識問答評測結(jié)果：…… MMKGforAIGC約束生成方案：2.對于文本生成，通過鏈接到多模態(tài)知識圖譜的具體實體，提供實體關(guān)系屬性和實體AIGC+MMKG了跨模態(tài)的語義理解能力。未來可以融入MMSemi-ParametricNeuralImageSynthesis.BlattmannA,etc.NIPS2022Re-Imagen:Retrieval-AugmentedText-to-ImageGenerator.ChenW,etc.ArXiv2022Textinversion:微調(diào)文本編碼使得生成圖片和給定物體/風格接近AnImageisWorthOneWord:PersonalizingText-to-ImageGenerationusingTextualInversion.RinonG,etc.ArXiv2022DreamBooth:微調(diào)unet使得生成圖片和給定物體接近DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration.NatanielR,etc.CVPR2023通過在因果圖譜上的檢索、推理和融合，將因果信息融入LiDu,XiaoDing,YueZhang,KaiXiong,TingLiu,andBingQin.(2022).AGraphEnhancedBERTModelforEv