實(shí)時(shí)融合實(shí)景擴(kuò)展制播平臺(tái)定制研發(fā)項(xiàng)目需求

實(shí)時(shí)融合實(shí)景擴(kuò)展制播平臺(tái)定制研發(fā)項(xiàng)目需求一、項(xiàng)目背景本項(xiàng)目為傳媒學(xué)院科研平臺(tái)——全省影視媒體技術(shù)研究重點(diǎn)實(shí)驗(yàn)室建設(shè)項(xiàng)目。擬定制研發(fā)一套實(shí)時(shí)融合實(shí)景擴(kuò)展制播平臺(tái)，平臺(tái)模塊主要包含多機(jī)位實(shí)景采集與標(biāo)定、虛擬場景AI擴(kuò)展、虛實(shí)場景無縫融合、信號包裝渲染以及直播發(fā)布等智能音視頻處理能力，并根據(jù)AI實(shí)景擴(kuò)展的虛擬制播場景定制3套模板。平臺(tái)的建設(shè)可用于虛擬制播仿真訓(xùn)練實(shí)驗(yàn)課程教學(xué)，輔助學(xué)生了解虛擬節(jié)目的制作流程，培養(yǎng)學(xué)生對虛擬節(jié)目制作過程中的實(shí)操技能，滿足教師科研、人才培養(yǎng)、學(xué)生競賽等需求。主要內(nèi)容：1、需定制研發(fā)一套實(shí)時(shí)融合實(shí)景擴(kuò)展直播平臺(tái)，平臺(tái)包括實(shí)景擴(kuò)展渲染平臺(tái)系統(tǒng)和實(shí)景融合合成系統(tǒng)兩個(gè)子平臺(tái)系統(tǒng)。實(shí)景擴(kuò)展渲染平臺(tái)系統(tǒng)包含實(shí)景擴(kuò)展平臺(tái)、多模態(tài)圖像生成引擎、圖像擴(kuò)展引擎、圖像重繪引擎、圖像分割引擎、語義理解系統(tǒng)；實(shí)景融合合成系統(tǒng)包含虛擬運(yùn)鏡系統(tǒng)、推流系統(tǒng)、實(shí)景融合系統(tǒng)、圖層管理系統(tǒng)和智能導(dǎo)播系統(tǒng)。2、場景定制服務(wù)，需根據(jù)AI實(shí)景擴(kuò)展的虛擬制播場景定制3套模板。二、采購內(nèi)容1、必須根據(jù)客戶的實(shí)際應(yīng)用需求進(jìn)行靈活的定制開發(fā)指定的系統(tǒng)平臺(tái)、平臺(tái)的操作方便性和界面簡潔美觀性需充分滿足客戶的要求；2、系統(tǒng)設(shè)計(jì)應(yīng)結(jié)合學(xué)校信息化現(xiàn)狀，充分利用現(xiàn)有資源，滿足先進(jìn)性、開放性、可擴(kuò)展性、安全性等設(shè)計(jì)要求；3、開發(fā)后軟件支持麒麟操作系統(tǒng)和windows10以上系統(tǒng)版本，系統(tǒng)運(yùn)行安全、穩(wěn)定和流暢；三、服務(wù)內(nèi)容及要求序號服務(wù)名稱服務(wù)要求數(shù)量單位備注1實(shí)景擴(kuò)展渲染平臺(tái)系統(tǒng)1.系統(tǒng)模擬真實(shí)實(shí)訓(xùn)中所使用的實(shí)訓(xùn)環(huán)境，完整還原實(shí)訓(xùn)中所用到的實(shí)訓(xùn)設(shè)備，便于開展配套實(shí)訓(xùn)項(xiàng)目。2.系統(tǒng)須采用B/S架構(gòu)設(shè)計(jì)，用戶可在任意瀏覽器中訪問平臺(tái)系統(tǒng)。3.系統(tǒng)應(yīng)具備用戶登錄、用戶權(quán)限等基本功能，不同登錄用戶之間的項(xiàng)目數(shù)據(jù)應(yīng)相互隔離，確保用戶之間數(shù)據(jù)的獨(dú)立性。4.系統(tǒng)應(yīng)具備虛擬場景的AI擴(kuò)展能力，包含擴(kuò)展、生成、重繪等。5.系統(tǒng)以工程項(xiàng)目為單位進(jìn)行工作，并提供工程結(jié)果保存、導(dǎo)出等功能。6.具備基本項(xiàng)目管理功能，如項(xiàng)目創(chuàng)建、項(xiàng)目重命名、項(xiàng)目刪除、項(xiàng)目編輯等，為便于大量項(xiàng)目的管理，項(xiàng)目應(yīng)具備搜索功能。7.為滿足項(xiàng)目交付后的項(xiàng)目升級和改進(jìn)，系統(tǒng)架構(gòu)設(shè)計(jì)要求具備開放可擴(kuò)展性，以便后續(xù)根據(jù)實(shí)際情況擴(kuò)展升級其他功能。8.系統(tǒng)具備圖像編輯能力，包括：（1）矩形框選工具。支持通過鼠標(biāo)選擇矩形區(qū)域，用于后續(xù)的生成或擴(kuò)展操作。（2）套索選擇工具。支持通過鼠標(biāo)選擇多邊形區(qū)域，用于不規(guī)則區(qū)域的選擇。（3）圖像裁剪工具。支持通過鼠標(biāo)拖動(dòng)的方式，對所選圖片進(jìn)行裁剪。（4）圖層選擇工具。在圖層場景下，通過該工具可以選中對應(yīng)的圖層，后續(xù)的所有操作將會(huì)鎖定在所選圖層中，支持拖拽改變圖層上下級關(guān)系。9.系統(tǒng)具備AI圖像生成能力，包括文生圖、圖生圖等，生成圖像符合文本/圖像描述。10.系統(tǒng)具備自適應(yīng)生成能力。當(dāng)不輸入文本和圖片的情況下，系統(tǒng)會(huì)自動(dòng)根據(jù)附近圖像特征生成高度融合的圖像。11.系統(tǒng)提供圖像擴(kuò)展能力，框選時(shí)，當(dāng)選擇區(qū)域包含圖像外部分時(shí)，觸發(fā)圖像擴(kuò)展功能，系統(tǒng)會(huì)基于圖像邊緣的特征對圖像進(jìn)行融合擴(kuò)展，擴(kuò)展生成的部分會(huì)以新圖層的形式顯示在圖層列表中。12.系統(tǒng)提供圖像重繪能力，框選時(shí)，當(dāng)選擇區(qū)域全部為圖像內(nèi)部時(shí)，觸發(fā)圖像重繪功能，系統(tǒng)將根據(jù)提示詞或參考圖片，重新生成對應(yīng)區(qū)域并覆蓋。1套/2實(shí)景融合合成渲染系統(tǒng)1.系統(tǒng)模擬真實(shí)實(shí)訓(xùn)中所使用的實(shí)訓(xùn)環(huán)境，完整還原實(shí)訓(xùn)中所用到的實(shí)訓(xùn)設(shè)備，便于開展配套實(shí)訓(xùn)項(xiàng)目。2.系統(tǒng)須采用C/S架構(gòu)設(shè)計(jì)，用戶安裝客戶端后可以使用系統(tǒng)功能。3.系統(tǒng)軟件應(yīng)支持IP信號或基帶信號的輸入/輸出，具備最高4K信號的制作能力。4.系統(tǒng)支持設(shè)置音視頻輸出設(shè)備，視頻輸出分辨率、幀率，預(yù)設(shè)通道，設(shè)置TCP/UDP推流地址等內(nèi)容。5.系統(tǒng)支持RTMP推流，支持對RTMP推流參數(shù)進(jìn)行配置，包括流通道名稱、推流地址、帶寬設(shè)置、編碼格式、延遲、質(zhì)量的設(shè)置。6.系統(tǒng)提供信號內(nèi)錄功能，提供內(nèi)部錄制功能的設(shè)置，包括錄制采樣方式、視頻編碼格式等設(shè)置。7.系統(tǒng)支持多種輸入源類別，對節(jié)目制作需要用到的本地素材和各類輸入信號放在不同的素材類別列表中進(jìn)行管理和調(diào)用，類別包括攝像機(jī)、視頻、圖片、字幕、音頻等。8.系統(tǒng)支持添加信源，在類別列表中選中對應(yīng)的信源，添加至導(dǎo)播臺(tái)信號通道中。9.系統(tǒng)支持切換信源，在同一通道中，支持實(shí)時(shí)切換不同的信源。10.系統(tǒng)支持PVW/PGM設(shè)置。PVW和PGW為預(yù)覽通道和節(jié)目通道，支持將任意通道標(biāo)記為PVW何PGM。11.系統(tǒng)提供提供預(yù)覽信號和節(jié)目信號的實(shí)時(shí)預(yù)覽，支持實(shí)時(shí)設(shè)置PVW和PGM對應(yīng)的信號通道。12.系統(tǒng)支持轉(zhuǎn)場切換，在節(jié)目通道和預(yù)覽通道之間，可以應(yīng)用各種特效進(jìn)行切換，包括直接切換、漸變、滑動(dòng)轉(zhuǎn)場、涂抹轉(zhuǎn)場等。13.系統(tǒng)支持摳像功能，要求包括：（1）色鍵摳像。（2）細(xì)節(jié)抹除。（3）色彩補(bǔ)償。（4）強(qiáng)化主體。（5）邊緣柔化。（6）美顏。14.系統(tǒng)支持圖文編輯制作，包括：（1）圖層列表。列表內(nèi)可以添加12個(gè)圖層，其縮略圖會(huì)顯示在圖層列表欄中，不同圖層之間要求體現(xiàn)上下層關(guān)系，如在列表中位置靠上的圖層，在圖像上會(huì)覆蓋位置靠下的圖層。（2）圖層類別。圖層應(yīng)支持圖片、視頻、音頻、文字、日期、時(shí)鐘、通道等多種內(nèi)容。（3）圖層內(nèi)容。支持每個(gè)圖層的內(nèi)容的獨(dú)立配置，在編輯器中選擇對應(yīng)的圖層后可以添加相應(yīng)的內(nèi)容。（4）圖層布局。支持調(diào)整每個(gè)圖層在畫面中的位置布局，支持文字對齊和圖像對齊模式的設(shè)置。（5）多狀態(tài)圖文。一個(gè)圖文組合可以存儲(chǔ)多種狀態(tài)，每個(gè)狀態(tài)可記錄組合內(nèi)圖層的位置、大小、透明度、顯隱等不同狀態(tài)。并可在不同狀態(tài)間實(shí)現(xiàn)動(dòng)畫過渡。15.系統(tǒng)支持調(diào)音臺(tái)功能，包括：（1）通道音量調(diào)整。提供調(diào)音臺(tái)控制界面，每一組對應(yīng)一個(gè)切換通道的內(nèi)容控制。音量滑塊默認(rèn)停留在0db的無增益位置，拉動(dòng)對應(yīng)通道的音量滑塊就可以調(diào)整切換通道的音量。（2）音頻播放規(guī)則調(diào)整。切換通道的音頻播放規(guī)則有跟隨/靜音/獨(dú)奏三種。（3）獨(dú)立輸入音頻調(diào)整。對于通過音頻采集設(shè)備單獨(dú)輸入的音頻信號，系統(tǒng)需提供獨(dú)立的調(diào)音臺(tái)界面進(jìn)行調(diào)整。（4）獨(dú)立輸入音頻聲道設(shè)置。從音頻設(shè)備輸入的單獨(dú)音頻信號，提供左聲道、右聲道和立體聲的調(diào)整選項(xiàng)。（5）獨(dú)立輸入音頻延時(shí)控制。支持對單獨(dú)輸入音頻的音頻延時(shí)功能，以保證不經(jīng)過系統(tǒng)處理的單獨(dú)輸入音頻信號與經(jīng)過系統(tǒng)處理的視頻信號可以同步呈現(xiàn)。16.系統(tǒng)應(yīng)支持內(nèi)容輸出控制功能，提供開關(guān)控制按鈕，控制從輸出設(shè)備輸出節(jié)目通道（PGM）內(nèi)容的啟停。17.系統(tǒng)應(yīng)具備輸出延時(shí)控制功能，支持在節(jié)目播出過程當(dāng)中對輸出設(shè)置內(nèi)置延時(shí)量，并提供小窗口預(yù)覽實(shí)際播出效果。18.系統(tǒng)具備輸出信號截圖功能，提供功能按鈕，點(diǎn)擊截取當(dāng)前節(jié)目通道（PGM窗口）內(nèi)容存儲(chǔ)。19.系統(tǒng)提供輸出信號錄制功能。支持對輸出信號進(jìn)行錄制，提供錄制碼率、錄制文件位置的設(shè)置。20.系統(tǒng)提供流媒體輸出功能，為流媒體制作需要，系統(tǒng)須提供流媒體輸出、推流站點(diǎn)配置，可以進(jìn)行推流目標(biāo)地址的設(shè)置，如RTMP/RTSP。21.系統(tǒng)應(yīng)具備多畫輸出功能，包括：（1）多畫輸出控制開關(guān)，系統(tǒng)應(yīng)具備多畫面輸出功能，只要系統(tǒng)接有一個(gè)以上顯示器，就可以在主屏顯示操作界面以外，在副屏顯示可自由組合通道的多畫面監(jiān)看信號。（2）自定義多畫布局，系統(tǒng)支持自定義調(diào)整多畫面監(jiān)看布局，包括每個(gè)窗口的獨(dú)立信源設(shè)置、位置、圖層關(guān)系等。（3）副屏信號輸出。當(dāng)標(biāo)準(zhǔn)配置設(shè)備無法通過輸出卡輸出4K信號時(shí)，可支持通過副屏或者第三屏輸出4K節(jié)目信號。22.系統(tǒng)應(yīng)具備宏命令功能，包括：（1）宏命令錄制，系統(tǒng)可以將一系列操作錄制于一個(gè)宏命令中，并一鍵執(zhí)行。方便在日常錄制中節(jié)省操作和調(diào)整的時(shí)間，保證精