快手可圖大模型的技術演進與應用探索-快手+李巖

1專題：多模態(tài)大語言模型的前沿應用與創(chuàng)新2024.08.18中國上海主講人：快手可圖大模型負責人李巖3l視覺生成方向的未來展望4l視覺生成方向的未來展望5=+可靈AI平臺國內版：；可靈AI平臺海外版：67n外部評測結果：/#/leaderboard/multimodal?kind=t2i89將全面開源?？蓤D（Kolors）支持中英文雙語，生成效果比肩Midjourney-v6水可圖（Kolors）已在HuggingFace平臺和GitHub上線，包括模型權重和完整微信用戶群創(chuàng)作者反饋Bilibili平臺部分可圖內容封面“有些個外行甚至混淆了模型開源和代碼開源這兩個概念。模型開源你拿到的是一大堆的參數(shù)，是要去做SFT，還是要去做安全對齊，你些參數(shù)是怎么來的，你是無法做到“眾人拾高”的，即使你拿到對應的源代碼，你也不用了多少數(shù)據(jù)，用了什么比例的數(shù)據(jù)去訓練參數(shù)，所以拿到這些東西并不能夠讓你站在肩膀上去迭代和開發(fā)。”視頻生成大模型視頻生成大模型l視覺生成方向的未來展望l優(yōu)勢：圖文對比學習，預先進行圖文空間的表征對齊，降低擴散模型的訓練難度，l劣勢：圖文全局特征對齊，細粒度語義理解能力較弱，存在概念壓縮、屬性混淆、多主體空間關系理解不足等問題，復雜文本結構或語義l優(yōu)勢：面向理解問題訓練，英文場景T5是非常好的選擇l劣勢：T5模型于2019年發(fā)布，后來又發(fā)布了多語言版本的mT5和uMT5，其訓練數(shù)據(jù)集C4里中文語料占比少于2%，且數(shù)據(jù)實效性較差，中文語義理解l優(yōu)勢：百億千億參數(shù)規(guī)模，TB級Token語料訓練，模型Capacity更大，在文本理解和生成任務上表現(xiàn)出色，擅長處理長文本、復雜文本結構或l劣勢：主流的Decoder-onlyLLM主要面向文本生成任務，模型訓練時采用Causal準，尤其是在需要對整個輸入序列進行深度雙向理解l模型架構：模型架構類似Encoder-Decoder，但與T5不同的l模型訓練：雙向注意力Encoder，提取PartA的全局文本表征；單向注意力Decoder，對MaskednDu,Zhengxiao,etal.,Glm:Generallanguagemodelpretrainingwithautoregressiveblankinfilling,in一個綠色的蘋果和一個橘色的書包滿月下的街道，熙熙攘攘的行人正在享受繁華夜生活。街角攤位上，一位有著火紅頭發(fā)、穿著標志性天鵝絨斗篷的年輕女子，正在和脾氣暴躁的老小販討價還價。這個脾氣暴躁的小販身材高大、老道，一個綠色的蘋果和一個橘色的書包克式的電話興致勃勃地交談怎樣選擇合適的文本表征l原則一：英文場景無腦選T5l原則二：多文本表征不差于單文本表征，且大小搭配，生態(tài)可玩l原則三：LLM可以作為文本表征，但需要PromptEngineering與l原則四：端到端訓練效果好于FrozenTextEncoderl原則五：大模型時代多考慮MultilingualTextEncoder“AlthoughLLaMA3-8Bexhibitsmuchstrongerlanguageunderstandingability,itstillfailstocatchuptotheperformanceofthesmallermodelT5-XLontheimage-to-textalignmentbenchmark.Meanwhile,thelargervariantT5-XXLachievesasignificantadvantageoverT5-XL.ThepowerfulcapabilitiesofLLMsintextcomprehensionandlogicalreasoninghavenotbeendemonstratedinsuchascenario.”nMa,Bingqi,etal.,ExploringtheRoleofLargeLanguageModelsinPromptEncodingforDiffusionModels,inarXiv:2406.11831l視覺生成方向的未來展望QualityTuning(QT)vs.ReinforcementLearningfromHumanFeedback(RLHF)lQT：通過構建高質量、高美感的人工標注只能看到正例數(shù)據(jù)的模式，模型無法發(fā)現(xiàn)和改進自己的缺點。通過近似Log-Likelihood目標進行訓練，僅能建模匹配訓練數(shù)據(jù)集模型效果。利用強化學習算法來優(yōu)化擴散模型的訓練，讓模型不僅能夠建模匹配訓練集的數(shù)據(jù)分布，也能夠最大化獎勵模型的l總結：相比QT，RLHF的效果天花板更高，泛化能力也更強，但也存在反饋質量敏感、數(shù)據(jù)收集成本高、訓練難度大等問題。我們認為nXu,Jiazheng,etal.Imagereward:LearningandevaluatinghumanprnYang,Kai,etal.Usinghumanfeedbacktofine-tunediffusionmodelswithoutanyrewardmodel,inCVPR2024nChen,Chaofeng,etal.Enh機器評估vs.人工評估Ashumansevaluateimagesfromdifferentperspectives,theirpreferencefortheimagesalsovaries.Specifically,whenexaminingtheimagesinthetoprow,theimageontheleftstandsoutintermsofaestheticappeal,thoughitfallsshortinsemanticalignment(e.g.,twoboatsontheriver)comparedtoitscounterpartontheright.Inthecaseofthebottomrow,bothimagesareaestheticallypleasing,yettheimageontherightismarredbypoordetailquality(e.g.,assignifiedbytheredboundingboxesaroundthedistortedhandandfoot).Annotationinterface.Annotatorsarerequiredtoevaluatethepreferenceforthegivenimagepaironfourdimensions,includingaesthetics,detailquality(detail),semanticalignment(alignment)andoverallscore(overall)).Annotationscoresarediscretevaluesrangingfrom1to5,whicharesubsequentlynormalizedtoBooleanvaluesof0or1.Whenthescoresaretied,thenormalizedscoreissetto0.5.行業(yè)主流文生圖質量數(shù)據(jù)集明細可圖獎勵模型技術框架n項目主頁：/Kwai-Kolors/MPS（代碼開源，權重開源，數(shù)據(jù)開源）l視覺生成方向的未來展望寫字能力是視覺生成大模型的“上乘武功”，特別是開放域的中文寫字能力，寫對和寫好是技術難點，目前開源可圖的效果還只能用于娛樂場景（例如表情包），嚴肅場景的文字繪制需要階段性倚賴結構性線索或約束。nJiJ,ZhangG,WangZ,etal.Improvingdiffusionmodelsforscenetexteditingwithdualencoders,inarXiv:2304.05568nTuoY,XiangW,HeJY,etal.Anytext:Multilingualvisualtextgenerationandediting,nYangY,GuiD,YuanY,etal.Glyphcontrol:Gly場景一：隨便寫寫（不可控）一類訓練數(shù)據(jù)：優(yōu)勢是數(shù)據(jù)規(guī)模大，文字覆蓋廣（含字），字體/字號/字色/位置/角度變化多樣；劣勢是合成數(shù)據(jù)貼合感強，真實感弱。主要用于把字寫對。魑魅魍魎魑魅魍魎二類訓練數(shù)據(jù)：優(yōu)勢是數(shù)據(jù)真實，美感高；劣字覆蓋少。主要用于把字寫好。n在我國漢字代碼標準GB2312-80中有6,763個常用漢字規(guī)定了二進制編碼。n新版《信息技術中文編碼字符集》強制性國家標準將于2023年8月1日正式實施，共收錄漢字87,887個，比上一版增加錄入了1.7萬余個生僻漢字，不僅場景二：認真寫寫（可控）技術要點l視覺生成方向的未來展望l虛擬試穿在工業(yè)界和學術界的火爆程度較高，特別是2024年以來l該行業(yè)的要求和難點包括：①保模特人臉I(yè)D，②保模特人體特征，③保服裝款式，④保服裝細節(jié)，⑤保效果自然，⑥?？缈钍皆嚧┓€(wěn)定nImprovingDiffusionModelsforAuthenticVirtualTry-onintheWild,YisolChoi,etc.,inarXiv:2403.05139nOutfitAnyone:Ultra-highQualityVirtualTry-OnforAnyClothingandAnyPerson,KeSun,etc.,inarXiv:2407.16224nAnyFit:ControllableVirtualTry-onforAnyCombinationofAttireAcrossAnyScenario,YuhanLi,etc.,inarXiv:2405.18172nViViD:VideoVirtualTry-onusingDiffusionModels,ZixunFanM&MVTO:Multi-GarmentVirtualTry-OnandEditing,LuyangZhu,etc.,inCVPR2024nOOTDiffusion:OutfittingFusionbasedLatentDiffusionforControllableVirtualTry-on,YuhaoXu,虛擬試穿的一種普適技術框架n可圖虛擬試穿DEMO：https://huggingfac輸入模特圖輸入服裝圖產品A效果產品B效果產品C效果可圖l視覺生成方向的未來展望視覺生成方向的未來展望①行業(yè)難點：可控性！可控性！可控性?、谀Ｐ统叽纾阂曈X生成模型的ScalingLaw會得到驗證，但行業(yè)也會像LLM一樣展露出小型化通用模型的趨勢③數(shù)據(jù)生態(tài)：大量的數(shù)據(jù)供應商會如雨后春筍一般出現(xiàn)，數(shù)據(jù)供應商的售前營銷會與行業(yè)明星產品進行綁定，版權侵擾的司法訴訟也會