如何從0訓(xùn)練企業(yè)自用SoraLatte模型

1如何從0訓(xùn)練企業(yè)自用Sora/Latte模型By神櫻團(tuán)隊(duì)/高煥堂教授指導(dǎo)1.前言：ViT的魅力是開源的。ViT。每一個(gè)圖像塊進(jìn)行嵌入編碼並添加位置的資訊，2----------------------------------------------------------------------------(引自https://hackmd.io/@YungHuiHsu/ByDHdxBS5)入，也可以利用卷積提取高級(jí)信息，同時(shí)降低Patch的冗餘特徵。缺乏一致性，也缺乏對(duì)較大運(yùn)動(dòng)的充分學(xué)習(xí)能力。3----------------------------------------------------------------------------(引自/@andy6804tw/)3。如下圖：(引自/@andy6804tw/)4----------------------------------------------------------------------------(引自/@andy6804tw/)片轉(zhuǎn)換為標(biāo)記序列，然後可疊加成為多層Transformers顯著增強(qiáng)了這些方面的能力。最後再經(jīng)過一個(gè)全連接層進(jìn)行影像分類等後續(xù)任務(wù)。如下圖：5----------------------------------------------------------------------------(引自/@andy6804tw/)2.下載Sora替代源碼ra-model-16bdbc126c0d6----------------------------------------------------------------------------l在這網(wǎng)頁(yè)的文章裡，作者GavinLi說道：『Latte尚未開源其Text轉(zhuǎn)Video的訓(xùn)練程式碼。於是，我們複製了論文中的文字到影片訓(xùn)練程式碼，並將其提供給任何人使用，以訓(xùn)練他們自己的Sora替代模型?！?----------------------------------------------------------------------------按下<Code>按鈕，就可以下載開源的程式碼了。如下：按下<Code>按鈕，就可以下載開源的程式碼了。如下：8----------------------------------------------------------------------------於是，順利下載源碼成功了。它利用預(yù)訓(xùn)練的VAE將視頻編碼成為潛藏空間(Latentspace)中的特徵，並提取出時(shí)空的Token。然後應(yīng)用一系列的TransformerBlock3.從Latte核心的Attention機(jī)制複習(xí)Attention機(jī)制勢(shì)非常浩大的Sora，其關(guān)鍵技術(shù)---DiT(DiffusionTransformer)的核心也是注意力機(jī)制。於是，本文就從相似度(Similarity)基礎(chǔ)，繼續(xù)延伸到注意力機(jī)制。更重要的是：此項(xiàng)機(jī)制也是可以學(xué)習(xí)的(Learnable)，於是9----------------------------------------------------------------------------就來把它包裝於NN模型裡，成為可以訓(xùn)練的注意力模型(Attentionmodel)。輯，及其訓(xùn)練方法。以<企業(yè)經(jīng)營(yíng)>來做比喻首先來做個(gè)比喻。例如，一個(gè)公司有三個(gè)部門，其投資額(以X表這三部門投資額是：X=[10,6,2.5]，其單位是---百萬元。經(jīng)過一年的經(jīng)營(yíng)，其營(yíng)收比率是：W=[2.0]，就可以計(jì)算出營(yíng)收金額是----------------------------------------------------------------------------其中的預(yù)算分配表，可以是相似度矩陣(Similarity由相似度的計(jì)算而來?，F(xiàn)在，就來理解上圖的計(jì)算邏輯，請(qǐng)觀摩一個(gè)X=torch.tensor([[10.0],[6.0],[2.5]])#投資額W=torch.tensor([[2----------------------------------------------------------------------------print('\n----投資預(yù)算額Z-相似度表A，計(jì)算出新年度的投資預(yù)算額，並輸出如下：使用Attention計(jì)算公式陣再除以它們的歐氏長(zhǎng)度的乘積，將相似度的值正規(guī)化，就得到余弦----------------------------------------------------------------------------(Cosine)相似度。而且，如果將上述的相似度矩陣，在經(jīng)由Softmax()函數(shù)的運(yùn)算，就得到注意力矩陣(Attentionweights)了。例如，有兩個(gè)矩當(dāng)我們把上圖裡的Wq、Wk和Wv權(quán)重都放入SelfAttention模型裡，就能進(jìn)行機(jī)器學(xué)習(xí)(Machinelearning)來找出最佳的權(quán)重值(即Wq、Wk和Wv)，就能預(yù)測(cè)出Q、K和V了。並且可繼續(xù)計(jì)算出A了。訓(xùn)練SelfAttention模型現(xiàn)在就把Wq、Wk和Wv都放入SelfAttention模型裡。請(qǐng)觀摩def__init__(self):defforward(self,x):X=torch.tensor([[10.0],[6.0],[2.5]loss.backward()print('ep=',epoch,'loss=',loss.item())print('\n-----預(yù)算分配表A-----')print('\n-----投資預(yù)算額Z-----')中，回持續(xù)修正模型裡的權(quán)重(即Wq、Wk和Wv)，並且其損失(Loss)值----------------------------------------------------------------------------Q、K和V，然後繼續(xù)計(jì)算出A和Z值。以上基於相似度計(jì)算，繼續(xù)說明合，然後進(jìn)行預(yù)測(cè)。營(yíng)規(guī)律，並進(jìn)行準(zhǔn)確的預(yù)測(cè)。4.繼續(xù)擴(kuò)大到Latte的Attentation模型defforward(self,x):[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,#--------------------------這個(gè)程式並沒有進(jìn)行訓(xùn)練，只是把X輸入給Attention模型，然後觀察其q、k、v矩陣的形狀(Shape)。此程式執(zhí)行時(shí)----------------------------------------------------------------------------defforward(self,x):[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,#--------------------------此程式執(zhí)行時(shí)，輸出Attention-weight20----------------------------------------------------------------------------接著，可以將上述範(fàn)例裡的Wq、Wk和Wv合併起來。請(qǐng)繼續(xù)觀21defforward(self,x):q,k,v=qkv.unbind(0)[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,22[[1,0,0,0,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,0,[[1,0,0,0,0,0,0,0,#--------------------------這個(gè)程式並沒有進(jìn)行訓(xùn)練，只是把X輸入給Attention模型，然後23----------------------------------------------------------------------------制。請(qǐng)繼續(xù)觀摩程式碼：24defforward(self,x):q,k,v=qkv.unbind(0)[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,25[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,[0,0,0,1,0,0,0,0,[[1,0,0,0,0,0,0,0,0#--------------------------這就展開多頭Attention的計(jì)算，並輸出Z值。所以此程式執(zhí)行26----------------------------------------------------------------------------接著，就可以來訓(xùn)練這Attenton模型了。請(qǐng)繼續(xù)觀摩程式碼：27defdefforward(self,x):#--------------------------------------#-----------訓(xùn)練1000回合-----------------print('展開訓(xùn)練...')28loss.backward()print('ep=',epoch,'loss=',loss.item())#-----------------------------------------print('\n-----Z-----')29----------------------------------------------------------------------------######################################################################################################################proj_drop=0.defforward(self,x):#--------------------------------------#-----------訓(xùn)練1000回合-----------------print('展開訓(xùn)練...')loss.backward()print('ep=',epoch,'loss=',loss.item())#-----------------------------------------print('\n--