廣電融媒體的內(nèi)容管理與信息更新

廣電融媒體的內(nèi)容管理與信息更新

1ai技術(shù)在視頻監(jiān)控場景中的應(yīng)用去年，隨著騰訊、人工智能、百度和科學(xué)研究信息飛等大型工程公司的發(fā)展，視聽音樂技術(shù)尤其快?；ヂ?lián)網(wǎng)媒體（如優(yōu)柯土、愛奇藝、騰訊視頻等）的發(fā)展也促進(jìn)了視聽音樂雜志的發(fā)展。在互聯(lián)網(wǎng)技術(shù)的發(fā)展下，圖像識別技術(shù)和語音識別技術(shù)都發(fā)展到了可以商用的級別。比如，在安防、交通執(zhí)法、票據(jù)識別和導(dǎo)航等領(lǐng)域已經(jīng)很成熟了。AI技術(shù)和應(yīng)用場景如表1所示?；ヂ?lián)網(wǎng)媒體率先采用“視音頻標(biāo)簽”方式進(jìn)行視音頻結(jié)構(gòu)化處理，這種基于視音頻AI技術(shù)的“標(biāo)簽”方法，同樣可以應(yīng)用在廣電行業(yè)。通過AI技術(shù)，如采用圖像識別、語音識別、OCR識別等，能夠解決這些海量、寶貴的視音頻無法檢出以及利用的問題。幫助實(shí)現(xiàn)視音頻全面、自動標(biāo)注內(nèi)容，主要對人臉、聲音、場景進(jìn)行標(biāo)注，后期提供檢索，也可以和制作域聯(lián)通，同時(shí)可以輔助少量的敏感人物標(biāo)注。雖然說現(xiàn)在已經(jīng)有很多技術(shù)是開源的，但這些算法在解決具體問題時(shí)候需要通過一些復(fù)雜的交叉有機(jī)結(jié)合來做，不同行業(yè)的特殊屬性也需要不同的訓(xùn)練模型，大量的數(shù)據(jù)、知識圖譜和短期內(nèi)的人工校對也是正常范圍內(nèi)的工作，也就是說，AI逐步在各個(gè)行業(yè)進(jìn)行了應(yīng)用落地，技術(shù)最終也是為制作特定場景服務(wù)的。2媒體內(nèi)容運(yùn)營提供有力支撐利用人工智能引擎，建立基于視音頻文件的智能標(biāo)簽體系，以達(dá)到如下四個(gè)目標(biāo)：一是提高內(nèi)容檢出率、提升內(nèi)容管理效率；二是提供多種工具集輔助編輯記者日常工作；三是提供融媒體內(nèi)容匯聚能力；四是建立可持續(xù)發(fā)展的AI工具平臺。3典型應(yīng)用場景3.1識別、人臉識別以及任務(wù)管理每一個(gè)素材都可以進(jìn)行多種維度的標(biāo)記，加上這種標(biāo)簽并結(jié)合人工智能語音識別、人臉識別等技術(shù)以后，實(shí)現(xiàn)對素材內(nèi)容的管理，而非原有的對素材文件的管理，更加智能。能夠智能識別媒資庫中的圖片、音頻、視頻等進(jìn)行場景、人物、屬性、物體、拍攝地、OCR文字等，并對媒資進(jìn)行自動化標(biāo)簽。3.2文學(xué)檢索組合查詢多維度組合交叉查詢，同時(shí)過濾特定內(nèi)容，形成組合檢索，實(shí)現(xiàn)精準(zhǔn)查找，有效提高查詢效率與精確性。AI智能應(yīng)用能夠根據(jù)單獨(dú)的人像、語音、場景、OCR等維度進(jìn)行檢索，也能夠進(jìn)行組合查詢。比如，要檢索出王庭凱(XXX市委書記)相關(guān)內(nèi)容，同時(shí)結(jié)合口播說的某段內(nèi)容“XXX工業(yè)園區(qū)進(jìn)行考察指導(dǎo)”，可以同時(shí)輸入兩組關(guān)鍵詞進(jìn)行組合檢索，提高檢索內(nèi)容的精準(zhǔn)度和匹配度；又如，在做視頻檢索時(shí)，可能不希望出現(xiàn)王庭凱和和XXX人物同時(shí)出現(xiàn)的畫面，在排除關(guān)鍵詞一欄可以寫上XXX人物，檢索出的內(nèi)容會自動過濾掉有這個(gè)人物的相關(guān)畫面。4ai能力架構(gòu)內(nèi)容匯聚通過自動掃描本地文件、移動回傳、實(shí)時(shí)采集、Web上傳和url抓取等方式進(jìn)行匯聚，主要是視頻文件、音頻文件和圖片。AI能力平臺通過進(jìn)行內(nèi)容分析處理，把人臉、場景、COR、語音等維度的內(nèi)容進(jìn)行接骨化，結(jié)合知識庫進(jìn)行綜合匹配，同時(shí)結(jié)合自然語義分析進(jìn)行交叉比對，將這些標(biāo)簽結(jié)果全部存儲下來。系統(tǒng)架構(gòu)如圖1所示。然后提供給用戶進(jìn)行檢索、二次生產(chǎn)，比如，語音校對、拆條、直接拖拽到非編以及發(fā)布，等等。通過引擎集群，處理人臉、語音、場景、OCR進(jìn)行任務(wù)處理，之后進(jìn)行結(jié)構(gòu)化和交叉處理，再把這些結(jié)果給到前端用戶進(jìn)行檢索，最后用戶可以對這些內(nèi)容進(jìn)行校對、拆條、下載、導(dǎo)出等業(yè)務(wù)層面的操作。業(yè)務(wù)流程如圖2所示。AI能力平臺由兩大內(nèi)容模塊構(gòu)成：AI預(yù)處理引擎和AI能力工具集(包括人臉識別、語音識別、OCR識別、語義分析、場景檢測等)。采用“視音頻標(biāo)簽”方式進(jìn)行視音頻結(jié)構(gòu)化處理，這種基于視音頻AI技術(shù)的“標(biāo)簽”方法，降低了人工在視音頻內(nèi)容結(jié)構(gòu)化過程中的比重，能夠高效檢出海量、寶貴的視音頻內(nèi)容，利用率顯著飆升，深層次優(yōu)化并豐富了視音頻內(nèi)容管理手段。相較于傳統(tǒng)離線媒體資源管理系統(tǒng)，AI能力系統(tǒng)平臺一方面打破傳統(tǒng)網(wǎng)絡(luò)“孤島”運(yùn)行模式，實(shí)現(xiàn)基于互聯(lián)網(wǎng)的上載、審核、入庫、編目、下載等業(yè)務(wù)流程，另一方面集成AI人工智能引擎，引入編目前移及智能標(biāo)簽概念，提供基于語音、圖像、場景等的智能編目工具，實(shí)現(xiàn)媒體資源管理的高效化、智能化4.1智能視頻識別AI預(yù)處理引擎將豐富的預(yù)處理組件集成在一起，支持對包括視頻、圖片、音頻等在內(nèi)的全格式的文件進(jìn)行處理，能夠進(jìn)行智能轉(zhuǎn)碼、提取音頻、圖片抽幀、提取關(guān)鍵幀等操作。具備媒體語音識別、視頻內(nèi)容字幕識別、出鏡人物識別和聚合、拍攝鏡頭識別、鏡頭顏色識別、鏡頭場景識別、視音頻內(nèi)容分類識別、視音頻內(nèi)容結(jié)構(gòu)化識別、內(nèi)容關(guān)鍵詞識別、內(nèi)容摘要提取等功能。支持多模態(tài)的內(nèi)容分析技術(shù)，將音視頻內(nèi)容結(jié)構(gòu)化，支持對視音頻內(nèi)容按照廣電四層編目結(jié)構(gòu)自動切分節(jié)目。4.2ai能力工具集4.2.1人臉特征編碼模塊人臉識別工具通過和人物庫模板進(jìn)行比對，實(shí)現(xiàn)識別出視頻、圖片中的人臉功能。人臉識別引擎建立在自主算法深度學(xué)習(xí)平臺基礎(chǔ)上，提供分布式訓(xùn)練、超大數(shù)據(jù)學(xué)習(xí)及復(fù)雜關(guān)聯(lián)應(yīng)用，同時(shí)能夠基于GPU集群對新樣本數(shù)據(jù)進(jìn)行算法模型訓(xùn)練。可以直接將人臉識別算法部署到本地，在不調(diào)用網(wǎng)絡(luò)資源的情況下提供本地化的引擎服務(wù)，本地人臉識別的算法和樣本庫支持更新，并且支持提供開放和標(biāo)準(zhǔn)的API訪問接口，能夠方便融媒體中心其他應(yīng)用系統(tǒng)進(jìn)行接口調(diào)用。人臉識別工具具備人臉庫模板管理功能，支持設(shè)定人臉識別特征值最大的一幀圖片為最優(yōu)人臉圖像，可將其保存至人臉特征庫。使用人員通過輸入一張圖片，如果檢測到該圖片中有人臉，人臉識別引擎可自動將存儲在融媒體中心內(nèi)容庫中的與該人臉相關(guān)的所有影像資料進(jìn)行快速匹配和檢索展示出來。人臉識別工具在沒有人物庫模板信息可參考的情況下，對所有符合要求的人臉特征進(jìn)行提取和識別標(biāo)注。可以隨機(jī)輸入一定數(shù)量的還有特定人物的視頻或圖片文件進(jìn)行人臉識別處理，這種方式下的人臉識別準(zhǔn)確率應(yīng)該大于等于98%。人臉庫模板管理具有人物快速搜索和檢出維護(hù)功能，通過指定關(guān)鍵詞可以將內(nèi)容庫中的某一人物資料查找出來，對其添加任務(wù)信息和增加敏感人物等標(biāo)簽；也可以通過人臉識別引擎辨別出的人臉，在視頻庫中找到該人臉的視頻文件和具體的位置，并對該人臉進(jìn)行關(guān)鍵人物或敏感人物的標(biāo)注。視頻資源入庫時(shí)只需要一次翻庫(特征值提取加上和人物庫人臉比對)，對視頻資源進(jìn)行人臉識別和自動編目，并對所管理的視音頻、圖片類資源進(jìn)行自動化預(yù)處理，對視頻中所有人臉的聚合，提高人臉檢索的效率。人臉識別工具可自動標(biāo)識關(guān)鍵人物和敏感人物，在資源詳情頁面展現(xiàn)視頻中出現(xiàn)的所有關(guān)鍵人物及其出現(xiàn)的時(shí)間段信息，點(diǎn)擊時(shí)間段可在播放器中自動定位人物出現(xiàn)畫面。后期對資源中存在的任何人物進(jìn)行識別時(shí)，不需要再次翻庫即可最快在幾分鐘內(nèi)在視頻庫中找到該人物在哪些視頻的哪些位置出現(xiàn)過。在視頻文件入庫時(shí)會自動執(zhí)行一個(gè)智能拆條服務(wù)，通過連續(xù)亮度灰度直方圖算法，技術(shù)將鏡頭切換拆分出來，后期加以人工簡易操作，可以形成一個(gè)個(gè)獨(dú)立條目，同時(shí)也能添加描述，單獨(dú)下載語音等。同時(shí)，使用人員在進(jìn)行視頻內(nèi)容編輯生產(chǎn)時(shí)，可以通過調(diào)用人臉識別引擎進(jìn)行智能化處理，如果視頻中有落馬官員、雙涉藝人等涉政或涉密的人員的畫面信息，能夠快速、準(zhǔn)確地進(jìn)行自動識別和標(biāo)注，并且支持將識別的人臉結(jié)果按段落展現(xiàn)。4.2.2語音識別模塊語音識別工具通過對已有音頻文件、視頻文件口播進(jìn)行識別，將音頻內(nèi)容轉(zhuǎn)寫為文本信息，用于后續(xù)的元數(shù)據(jù)檢索和大數(shù)據(jù)分析，輔助人工進(jìn)行快速檢索，實(shí)現(xiàn)全量、增量自動化智能轉(zhuǎn)寫，提升內(nèi)容檢出率。語音識別引擎具備把語音自動轉(zhuǎn)寫為文本信息的語音識別和轉(zhuǎn)換能力，對中文普通話語音識別準(zhǔn)確率不低于99%，需支持不是標(biāo)準(zhǔn)普通話的相似音的識別能力如L和N，同時(shí)支持其他方言及語種的擴(kuò)展?？梢灾苯訉⒄Z音識別算法部署到本地，在不調(diào)用網(wǎng)絡(luò)資源的情況下提供本地化的引擎服務(wù)，在離線情況下能夠同時(shí)支持至少2路的轉(zhuǎn)寫，并且每一路的識別倍速應(yīng)該不低于5倍速。語音識別的綜合識別率在≥85%，新聞類節(jié)目識別率≥95%，單服務(wù)器效率不低于三倍速，支持水平擴(kuò)展；對于新聞類節(jié)目，斷句準(zhǔn)確率≥85%。本地人臉識別的算法和樣本庫支持更新，并且支持提供開放和標(biāo)準(zhǔn)的API訪問接口，能夠方便融媒體中心其他應(yīng)用系統(tǒng)進(jìn)行接口調(diào)用。語音識別工具將媒體包含的語音音頻自動轉(zhuǎn)換為文本，可以查看語音識別結(jié)果的文本，同時(shí)給出識別內(nèi)容的時(shí)間索引信息，可以精確到每個(gè)詞或者每個(gè)字，可通過文本回聽語音。提供“時(shí)碼+文本”和“文本”兩種查看和顯示模式；識別出的文本與素材能夠?qū)崿F(xiàn)綁定，實(shí)現(xiàn)每次點(diǎn)擊該節(jié)目素材，能夠查看到語音識別的文本結(jié)果；在“時(shí)碼+文字”模式下，可查看到系統(tǒng)識別的各時(shí)間段文本內(nèi)容，點(diǎn)擊任一時(shí)間段，播放進(jìn)度可跳轉(zhuǎn)至該位置；在“文本”模式下，可查看到平臺識別的所有文本內(nèi)容。語音識別引擎能夠?qū)斎氲囊纛l流進(jìn)行智能分析，具備高效的噪音抑制能力，并且能夠?qū)⒄Z氣詞自動去除，能夠快速的將語音信號中的語音和非語音信號時(shí)段區(qū)自動區(qū)分開來，能夠智能對識別出的語句進(jìn)行分段，并且保證段落切分合理。使用人員將視音頻文件導(dǎo)入到語音識別工具，可以對整段語音文件進(jìn)行離線的識別和分析，也可以對連續(xù)輸入的語音進(jìn)行實(shí)時(shí)識別分析，結(jié)合端點(diǎn)檢測，可以對語音進(jìn)行語句分段處理和即時(shí)輸出結(jié)果。語音識別工具支持常見的視頻封裝格式、純音頻格式文件以及音頻流(包括未編碼的二進(jìn)制音頻流)的導(dǎo)入。視頻封裝格式包括：*AVI、*MP4、TS、MPG、WMV、MPEG、MKV、MOV等；音頻文件格式包括：*WAV、*MP3、WMA、AMR等。語音識別工具支持自定義熱詞組，能夠從識別出的內(nèi)容中辨別是否具有相關(guān)的熱詞?？梢詫?dǎo)入融媒體中心日常工作中和業(yè)務(wù)相關(guān)的常用的關(guān)鍵詞，也能夠?qū)肴缯蚊舾性~、臟詞、口頭禪等禁忌詞，識別引擎能自動將識別出的結(jié)果中的禁忌詞進(jìn)行屏蔽。語音識別工具能夠自動或根據(jù)前端輸入對語音中的說話人物進(jìn)行角色分離，識別結(jié)果要求帶角色信息，能夠根據(jù)上下文在同音詞語中識別出正確的詞語，支持前端輸入關(guān)鍵詞后，引擎需支持關(guān)鍵詞識別的能力。4.2.3．文本在復(fù)合條件下的識別對于OCR文字識別工具，編輯記者在日常工作中使用較多，編輯記者點(diǎn)擊OCR工具的截圖，即可截取畫面上的任意位置進(jìn)行文字識別，識別后的文本結(jié)果將在右側(cè)OCR工具下展示，能夠在線編輯修改。OCR文字識別工具應(yīng)該具有較高的識別率和識別準(zhǔn)確率，對于中英文識別率達(dá)能夠達(dá)到95%，并且能夠識別傾斜任意角度的文字。4.2.4意義分析提供相似文本聚類功能，基于語義分析的文本相識度算法4.2.5節(jié)目內(nèi)容的生產(chǎn)提高了生產(chǎn)效率能夠通過智能化視頻識別和分析，快速將已播出的電視節(jié)目自動拆成一條條獨(dú)立完整的視頻條目，極大提高節(jié)目內(nèi)容的生產(chǎn)效率和視頻質(zhì)量，并且滿足快速的生產(chǎn)發(fā)布要求。4.2.6通過文本檢索結(jié)果進(jìn)行文本對比能夠自動對視頻里的音頻或獨(dú)立的音頻內(nèi)容進(jìn)行識別，并將語音轉(zhuǎn)換成文本內(nèi)容，但是AI引擎無法達(dá)到100%的識別率，需要進(jìn)一步校對文本信息。用戶可以在現(xiàn)有的語音轉(zhuǎn)文本結(jié)果上進(jìn)行文本校對，在檢索結(jié)果語音部分點(diǎn)擊“語音文本校對”即可。語音文本校對有時(shí)間軸和純文本模式，純文本模式專注于文字本身校對，時(shí)間軸模式支持合并連續(xù)不間斷的文字，方便后期業(yè)務(wù)制作。4.2.7智能句子支持語音識別，智能翻譯，支持時(shí)碼拾取與標(biāo)定，支持智能唱詞模板預(yù)置，支持唱詞特效。4.2.8場景檢測支持場景智能識別標(biāo)注，支持人物、景物快速檢測，支持檢測精度自由調(diào)節(jié)，支持按照幀+時(shí)間位置雙重定位，支持場景切分+人工添加場景。4.3資源整理和任務(wù)管理素材管理、任務(wù)管理都是平臺系統(tǒng)的重要組成部分，素材管理是系統(tǒng)中所有資源均在本模塊進(jìn)行統(tǒng)一管理，不同的管理人員擁有不同的操作權(quán)限，可以對資源進(jìn)行新增、刪除、編輯修改、查詢等操作。素材管理流程如圖3所示。同時(shí)，業(yè)務(wù)人員可以對某一或某些資源進(jìn)行業(yè)務(wù)操作處理，如分發(fā)、下載、信息修改等。任務(wù)管理負(fù)責(zé)整個(gè)平臺任務(wù)的監(jiān)控即人工處理，既可以方便快捷地顯示各種任務(wù)的狀態(tài)，也可以對相關(guān)需要審核的任務(wù)進(jìn)行處理。在對資源進(jìn)行管理和任務(wù)處理時(shí)都需要對素材進(jìn)行瀏覽查看，方便高效。5節(jié)目素材下載、制作使用角色主要包含：(1)記者：對素材進(jìn)行上傳、瀏覽、下載；(2)編輯：根據(jù)記者傳回的素材進(jìn)行下載、制作；(3)素材管理員：負(fù)責(zé)所有素材的保存、刪除、審核、修改；(4)編目人：負(fù)責(zé)對需要保存的素材進(jìn)行編目；(5)主任：負(fù)責(zé)對下載到各系統(tǒng)重要節(jié)目的審核；(6)系統(tǒng)管理員：負(fù)責(zé)對素材管理的維護(hù)，功能權(quán)限添加修該，流程維護(hù)。6公司6.1入在線媒資庫內(nèi)容提交入庫申請，可選設(shè)置審核流程，審核通過之后進(jìn)行后臺AI智能編目(標(biāo)簽化編目)，編目完成根據(jù)素材屬性可選擇入庫到個(gè)人媒資庫空間，僅供自身瀏覽使用，也可選擇入庫到公共媒資庫，作為公共素材所有人可見使用。媒資庫內(nèi)容能夠在線二次編目。一般素材可提交入庫申請之后直接進(jìn)行后臺AI智能編目，然后直接入在線媒資庫。AI智能編目包括視頻人物信息編目、語音信息編目、場景信息編目、基本信息編目等。6.2生產(chǎn)流程經(jīng)過AI智能處理的在線媒資庫內(nèi)容和素材，可直接通過拖拽引用的方式或在線媒資庫嵌入素材框版塊方式，引入到非編軟件上進(jìn)行編輯。6.3在線媒資庫內(nèi)容下載在線媒資庫可通過AI編目標(biāo)簽、關(guān)鍵詞進(jìn)行內(nèi)容檢索、下載?；ヂ?lián)網(wǎng)任意地點(diǎn)通過B/S瀏覽器訪問融媒體中心平臺，打開在線媒資庫模塊，檢索框輸入需要檢索的內(nèi)容標(biāo)簽、關(guān)鍵詞等信息，通過檢索內(nèi)容找到所需要的素材，可在線瀏覽，若需下載，則應(yīng)提交在線媒資庫內(nèi)容下載申請，審核通過之后可下載相關(guān)內(nèi)容。7第三方系統(tǒng)不開放目前，大部分融媒體中心都建設(shè)有自己的內(nèi)容管理系統(tǒng)(媒資、融媒體平臺、內(nèi)容庫等)，同時(shí)融媒體中心的內(nèi)容管理系統(tǒng)可能是不同廠商的產(chǎn)品，從項(xiàng)目集成難度到系統(tǒng)安全難度都可能面臨第三方系統(tǒng)不對外開放的阻力，即意味著不能夠獲取共享節(jié)目的索引。因此，為更好地整合現(xiàn)有及未來的資源，提供三種不同的互聯(lián)方式實(shí)現(xiàn)與現(xiàn)有內(nèi)容管理系統(tǒng)的配合，實(shí)現(xiàn)AI智能技術(shù)為內(nèi)容管理系統(tǒng)賦能。7.1視頻結(jié)構(gòu)化實(shí)現(xiàn)方式：采用文件掃描入庫方式，增量的抓取內(nèi)容管理系統(tǒng)低碼區(qū)的增量素材文件，并通過AI能力系統(tǒng)提供的開放和標(biāo)準(zhǔn)的API訪問接口進(jìn)行視頻結(jié)構(gòu)化AI識別，識別的結(jié)果經(jīng)過處理存儲在AI能力系統(tǒng)內(nèi)。方案優(yōu)勢：采用淺度互聯(lián)方式，可以通過AI能力系統(tǒng)提供的檢索門戶進(jìn)行素材的檢索、瀏覽和下載，與現(xiàn)有內(nèi)容管理系統(tǒng)是松耦合關(guān)系，只需要提供低碼文件目錄即可。7.2ai結(jié)構(gòu)組成實(shí)現(xiàn)方式：AI能力系統(tǒng)通過現(xiàn)有內(nèi)容管理系統(tǒng)檢索接口方式，獲取內(nèi)容管理系統(tǒng)里面的文件元數(shù)據(jù)信息、低碼文件位置等關(guān)鍵信息，并且利用這些數(shù)據(jù)進(jìn)行視頻AI結(jié)構(gòu)化；通過AI能力系統(tǒng)提供統(tǒng)一的檢索門戶，可以對素材進(jìn)行檢索、瀏覽、下載，同時(shí)可以在系統(tǒng)里面直接通過內(nèi)容管理系統(tǒng)的門戶頁面，鏈接到具體的素材頁面，進(jìn)行內(nèi)容的打點(diǎn)下載、回遷等業(yè)務(wù)流程。方案優(yōu)勢：采用中度互聯(lián)方式，不但可以實(shí)時(shí)地結(jié)構(gòu)化增量素材，還可以結(jié)構(gòu)化歷史內(nèi)容信息。同時(shí)，還能和現(xiàn)有內(nèi)容管理系統(tǒng)進(jìn)行互通與生產(chǎn)業(yè)務(wù)流程形成閉環(huán)。與現(xiàn)有內(nèi)容管理