2024網(wǎng)站視頻內(nèi)容理解

網(wǎng)站視頻內(nèi)容理解HuluHulu的Hulugo1換掉視頻中的廣告片段并插入Hulu自己的廣告等。下面，我們以片頭/片尾檢測、內(nèi)嵌字1示越可能是正片內(nèi)容。如圖3所示，圖片中如果包含大段字幕信息，得分就會比較高，被認(rèn)為可能是片尾幀。DeepCNN是一個有監(jiān)督模型，它的訓(xùn)練數(shù)據(jù)來自于Hulu內(nèi)部穩(wěn)定的DeepCNN分類器。DeepCNNCNNShallowCNN，用來融合幀與幀之間在時間維幀與上一集、下一集對應(yīng)位置處的幀是否相同/相似，并把這個信息歸一化之后作為ShallowCNN的一個額外輸入（添加一個新的channel），與DeepCNN的得分放在頻的誤差在10秒以內(nèi)。與Hulu之前已有數(shù)據(jù)相比，這兩個指標(biāo)分別提高了24.22%和的時間分布，用這個分布的波峰點來預(yù)測片尾點的位置。我們用Hulu過去六個月的用戶行Deep-and-ShallowCNNDeep-and-ShallowCNN23DeepCNN在字幕中，一般會伴隨著“previouslyon”、“l(fā)asttime”等關(guān)鍵詞，或者同一部劇不同Hulu頻內(nèi)嵌字幕的檢測和語言識別在Hulu也是非常重要的。視頻內(nèi)嵌字幕的檢測，實際上是文本檢測任務(wù)，一般來說并不是一個難題，主流的（Connectionisttextproposalnetwork）模型就可以解決。但是，在實際應(yīng)用中，也遇CRNN（ConvolutionalRecurrentNeuralNetwork）模型的基礎(chǔ)上，增加了一個分支，繼續(xù)進(jìn)入CRNN的另外一個分支，做字幕文字的識別（OCR），最后將識別出來的字符輸框架如圖4所示。45Hulu5meta-data驗。因此，Hulu一直對這些數(shù)據(jù)的質(zhì)量有著比較高的要求。為了達(dá)到高質(zhì)量，就需要花費很多人工去檢查和校驗這些數(shù)據(jù)。上面提到，有了AI算法之后，我們可以利用算法來快速檢測很多信息。然而，算法的準(zhǔn)確性畢竟比不上人，更好的方案是：先用AI算法計算一遍通過AI算法和人工校驗的配合，既能提升效率，也能保證質(zhì)量，同時沒有增加人工負(fù)擔(dān)。作為流媒體平臺，HuluHulu工負(fù)擔(dān)。因此，我們構(gòu)建了一個針對Hulu新來視頻的AI算法自動化流程：一旦有新視頻HuluAImeta-data的AI算法自動化流程的示意圖。6AI日常生活中，我們一般不鼓勵給某個人或某件事打上一個標(biāo)簽。但是，對于Hulu的海量視不同質(zhì)量的標(biāo)注數(shù)據(jù)。對于Hulu而言，考慮到自身的業(yè)務(wù)場景和特定任務(wù)，我們對于視頻Hulu統(tǒng)一的標(biāo)簽類別體系。這是一件非常復(fù)雜、工作量很大的事情，我們需要融合多個開得到每個視頻在Hulu統(tǒng)一的標(biāo)簽體系下的標(biāo)簽結(jié)果，具體的框架結(jié)構(gòu)如圖7所示。簽可以是幀級的、鏡頭級的、場景級的，甚至可以聚合為視頻級別的（如圖8所示）。7.構(gòu)建Hulu.視頻級別的標(biāo)簽AIAI的動態(tài)預(yù)覽圖、視頻封面圖片等。以視頻封面圖片為例，由于特殊的UI設(shè)計，Hulu對于裁剪、調(diào)整，使其滿足一系列條件，例如，封面圖片中不能有文字（UI上會顯示文字），圖片中的人臉、重要區(qū)域的位置要合適（UI）等