廣電媒體數(shù)據(jù)治理設(shè)計與架構(gòu)

1、廣電媒體數(shù)據(jù)治理設(shè)計與架構(gòu)作者：芮浩來源：中國傳媒科技2019年第2期摘要：本文通過梳理融合媒體背景下廣播電視臺開展數(shù)據(jù)治理工作的重要意義和現(xiàn)狀， 探討了開展數(shù)據(jù)治理工作的目標，設(shè)計出一套適合廣電媒體數(shù)據(jù)治理使用的組織結(jié)構(gòu)、制度規(guī) 范和常規(guī)流程，并介紹了技術(shù)實現(xiàn)的架構(gòu)方案。關(guān)鍵詞：數(shù)據(jù)治理；治理機制；體系設(shè)計；數(shù)據(jù)架構(gòu)中圖分類號：G229.2文獻標識碼：A文章編號：1671-0134（2019）02-111-03DOI： 10.19483/ki.11-4653/n.2019.02.027文/芮浩引言數(shù)據(jù)是廣電媒體的重要資產(chǎn)，是其科學(xué)決策分析管理的基礎(chǔ)。近些年，大多數(shù)廣播電視臺 花費大量的資金和

2、時間建立了各種信息化系統(tǒng)來支撐業(yè)務(wù)發(fā)展。這些信息系統(tǒng)已成為廣電媒體 技術(shù)體系中極為重要的組成部分，廣電媒體也收獲了信息化帶來的互聯(lián)互通、資源共享的紅利。 同時，在這些系統(tǒng)的海量數(shù)據(jù)中還存在著許多有價值的信息可以提煉，廣電媒體如何將數(shù)據(jù)集 成在一起，并把數(shù)據(jù)轉(zhuǎn)換為信息、知識加以利用，我們稱之為廣電媒體的數(shù)據(jù)治理，這已成為 提高節(jié)目制作傳播水平和管理能力的重要一步。廣電媒體數(shù)據(jù)治理現(xiàn)狀隨著廣電媒體對云計算、大數(shù)據(jù)等技術(shù)的認識逐步深入，并且由于媒體間競爭加劇，自身 對智慧化生產(chǎn)、精細化管理的要求也越來越高，各級廣電媒體對數(shù)據(jù)整合和治理的必要性和重 要性已經(jīng)充分認可，也更需要將各信息系統(tǒng)中蘊含的類型繁

3、多、數(shù)量龐大的數(shù)據(jù)內(nèi)容進行加工 處理。從業(yè)務(wù)和技術(shù)兩個層面分析，廣電媒體在數(shù)據(jù)治理上主要面臨以下挑戰(zhàn)：1.1業(yè)務(wù)方面：信息系統(tǒng)的分析能力僅支持提供簡單的報表，功能單薄，無法滿足復(fù)雜的分析需求。例如， 無法分析媒體資產(chǎn)系統(tǒng)存在的資源，哪些內(nèi)容眾比較喜歡，在節(jié)目制作中可重復(fù)使用。業(yè)務(wù)分析多集中于單一系統(tǒng)，領(lǐng)導(dǎo)層無法從全局角度對各個業(yè)務(wù)線進行跨業(yè)務(wù)、多角度、 多層次的綜合分析。例如，領(lǐng)導(dǎo)層無法從全局掌握節(jié)目制作的效率、耗費的資金、社會反響等 信息。數(shù)據(jù)不一致問題較嚴重，相同業(yè)務(wù)數(shù)據(jù)在不同系統(tǒng)中存在多個不同版本。各業(yè)務(wù)系統(tǒng)自行管理數(shù)據(jù)，內(nèi)數(shù)據(jù)質(zhì)量較低，業(yè)務(wù)數(shù)據(jù)的含義在單位的各個部門間存在不 一致的解釋

4、，從而造成數(shù)據(jù)無法進行分析。1.2技術(shù)方面已經(jīng)意識到數(shù)據(jù)治理工作的重要性，但是并沒有將其提到戰(zhàn)略高度，技術(shù)部門的注意力重 點仍然是業(yè)務(wù)系統(tǒng)建設(shè)和運維?，F(xiàn)有分析功能多為相應(yīng)業(yè)務(wù)系統(tǒng)的子模塊，與業(yè)務(wù)系統(tǒng)耦合性較強，缺乏對全業(yè)務(wù)分析的 支持。各個業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù)量大且種類多，現(xiàn)有技術(shù)不具備大規(guī)模并行處理或分布式處理能力， 在分析能力上有“瓶頸”。各個業(yè)務(wù)系統(tǒng)在同一類核心數(shù)據(jù)的定義上標準不統(tǒng)一，數(shù)據(jù)質(zhì)量差，無法直接二次利用。以上問題影響廣電媒體業(yè)務(wù)合理的、可持續(xù)的展開，阻礙了其在大數(shù)據(jù)時代的前進，是迫 切需要解決的問題。數(shù)據(jù)治理目標在實際工作中，廣電媒體數(shù)據(jù)紛繁復(fù)雜，從數(shù)據(jù)來源上看既有生產(chǎn)辦公系統(tǒng)（如

5、媒資、文 稿、磁帶庫等系統(tǒng)）數(shù)據(jù)，也有從自有新媒體系統(tǒng)（網(wǎng)絡(luò)廣播電視臺、IPTV平臺、客戶端等） 通過埋碼和日志方式采集的用戶行為數(shù)據(jù)，還包括通過網(wǎng)絡(luò)爬蟲抓取的互聯(lián)網(wǎng)數(shù)據(jù)和從數(shù)據(jù)源 提供商采購的網(wǎng)絡(luò)數(shù)據(jù)和收視數(shù)據(jù)；從存儲容量上看既有常年變化不大的上百MB數(shù)萬行的人力 資源數(shù)據(jù)，也有每年增長上百TB幾十億條記錄的機頂盒終端采集數(shù)據(jù)；從數(shù)據(jù)形式上看既有結(jié) 構(gòu)化的，也有半結(jié)構(gòu)化的。根據(jù)這些數(shù)據(jù)的特點，數(shù)據(jù)治理需達到以下目標：2.1數(shù)據(jù)標準化制定數(shù)據(jù)規(guī)范，使數(shù)據(jù)有準確的定義。數(shù)據(jù)被完整記錄且精度滿足業(yè)務(wù)要求。數(shù)據(jù)的成本和價值可計算。數(shù)據(jù)有合理的存儲周期。2.2數(shù)據(jù)存儲和訪問規(guī)則化形成統(tǒng)一內(nèi)容和用戶的數(shù)

6、據(jù)架構(gòu)。形成統(tǒng)一的數(shù)據(jù)存儲模型。形成多渠道的數(shù)據(jù)訪問路徑。數(shù)據(jù)易訪問且有安全機制。2.3數(shù)據(jù)責(zé)任化數(shù)據(jù)有明確的責(zé)任方。數(shù)據(jù)內(nèi)容符合質(zhì)量要求。數(shù)據(jù)治理體系當(dāng)前，各廣電媒體信息化程度不同，數(shù)據(jù)規(guī)模和數(shù)據(jù)質(zhì)量的不同，決定了開展數(shù)據(jù)治理的 步驟也會不一致，圖1是筆者構(gòu)想中的適用于大多數(shù)廣電媒體開展數(shù)據(jù)治理工作體系框架的一 般途徑。為了有序?qū)嵤?shù)據(jù)治理，應(yīng)采用規(guī)劃先行分步實施的原則，首先，依據(jù)各廣電媒體自 身目標和規(guī)劃明確戰(zhàn)略方向；其次，制定適合自身業(yè)務(wù)特點的組織架構(gòu)、制度規(guī)范和管理流程; 最后，才是選擇可行的技術(shù)工具和實現(xiàn)方案。期1敝據(jù)治理體系旌史在戰(zhàn)略層面，數(shù)據(jù)治理既要以解決實際工作中數(shù)據(jù)不可知、不

7、可用、不可控和弱關(guān)聯(lián)的問 題為目標，也要結(jié)合當(dāng)云計算、大數(shù)據(jù)、人工智能等技術(shù)快速迭代發(fā)展和媒體融合趨勢進行全 局性規(guī)劃制定。在機制層面，數(shù)據(jù)治理工作需要通過組織、制度、流程的完善和梳理加以落實，切實加強 機制建設(shè)才能保證持續(xù)提升數(shù)據(jù)治理執(zhí)行效果。在實現(xiàn)層面，包括元數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)、數(shù)據(jù)調(diào)度與處理系統(tǒng)等，通過信 息化系統(tǒng)的建設(shè)，將紙面上的規(guī)劃、制度和流程內(nèi)化于技術(shù)平臺和工具中，用于輔助管理人員 開發(fā)和維護，提升數(shù)據(jù)治理工作的效率。數(shù)據(jù)治理機制4.1成立數(shù)據(jù)治理組織健全的組織架構(gòu)是開展數(shù)據(jù)治理工作的基礎(chǔ)，可有效保障數(shù)據(jù)治理工作在跨部門間的高效 推進，組織中人員構(gòu)成應(yīng)包括管理、業(yè)務(wù)和技

8、術(shù)三種類型，對應(yīng)領(lǐng)導(dǎo)組、業(yè)務(wù)組、技術(shù)組三種 角色。領(lǐng)導(dǎo)組：由臺領(lǐng)導(dǎo)、技術(shù)和業(yè)務(wù)部門負責(zé)人組成，負責(zé)建立數(shù)據(jù)治理文化，制定數(shù)據(jù)治理 的目標、規(guī)劃、制度、流程等，分配和確保數(shù)據(jù)治理工作中所需要的資源。業(yè)務(wù)組：由業(yè)務(wù)骨干、業(yè)務(wù)部門系統(tǒng)管理員組成，負責(zé)明確數(shù)據(jù)需求，維護基礎(chǔ)數(shù)據(jù)的增、 刪、改、查操作，在數(shù)據(jù)產(chǎn)生源頭保障數(shù)據(jù)的正確性和實效性。技術(shù)組：由信息化部門的相關(guān)人員組成，包括開發(fā)人員、數(shù)據(jù)庫管理員、系統(tǒng)運維人員。 系統(tǒng)開發(fā)人員負責(zé)開發(fā)和選用適用的平臺和工具；數(shù)據(jù)庫管理員負責(zé)數(shù)據(jù)的安全、備份和審計 等工作；系統(tǒng)運維人員負責(zé)檢測數(shù)據(jù)質(zhì)量和系統(tǒng)運維等工作。4.2規(guī)范數(shù)據(jù)治理制度數(shù)據(jù)治理制度應(yīng)作為單位強制

9、執(zhí)行規(guī)范，制度需闡明數(shù)據(jù)治理的目的、適用范圍、職責(zé)和 具體內(nèi)容，由管理辦法、技術(shù)規(guī)范和實施細則等部分組成。數(shù)據(jù)治理的制度范圍應(yīng)包括數(shù)據(jù)標 準、數(shù)據(jù)采集、數(shù)據(jù)審核、數(shù)據(jù)分析、數(shù)據(jù)發(fā)布、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)維護、數(shù)據(jù)安全 管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)管理考核等在數(shù)據(jù)使用過程中的方方面面。所有制度的制定都應(yīng)以 有效實用和優(yōu)化服務(wù)為目標，不斷提高數(shù)據(jù)的規(guī)范性、準確性、完整性和關(guān)聯(lián)性。規(guī)章制度最 終可落地需要有一套行之有效的管控辦法，其中考核是是保障制度落實的根本，需建立明確的 考核制度，建立相應(yīng)的針對數(shù)據(jù)治理方面的考核辦法，定期加以考核整改。4.3完善數(shù)據(jù)治理流程數(shù)據(jù)治理工作的主要業(yè)務(wù)流程可遵循本單位

10、數(shù)據(jù)治理的規(guī)范制度和數(shù)據(jù)治理的內(nèi)容分為發(fā) 現(xiàn)、定義、應(yīng)用、改進四個核心流程階段。其中發(fā)現(xiàn)流程獲取已有數(shù)據(jù)清單、數(shù)據(jù)當(dāng)前的狀態(tài)、 數(shù)據(jù)的生命周期以及數(shù)據(jù)當(dāng)前支持維護能力；定義流程記錄數(shù)據(jù)的定義、數(shù)據(jù)間關(guān)系以及實施 數(shù)據(jù)治理工作必須明確的規(guī)則、標準以及關(guān)鍵性能指標；應(yīng)用流程是執(zhí)行數(shù)據(jù)治理的過程，涵 蓋了數(shù)據(jù)的交換、存儲、分析、處理等手段，以確保數(shù)據(jù)治理與發(fā)現(xiàn)和定義流程階段獲取的所 有業(yè)務(wù)規(guī)則、工作流程、職能角色及職責(zé)相符；改進流程通過數(shù)據(jù)質(zhì)量管理和安全保障等手段 用于推動數(shù)據(jù)治理工作的有效性及價值，監(jiān)測是否與定義的規(guī)則和標準相符。實現(xiàn)體系設(shè)計數(shù)據(jù)治理所涉及的工具和平臺是與廣電媒體整體的數(shù)據(jù)架構(gòu)體系

11、密不可分的，圖3給出了 一套面向融合業(yè)務(wù)環(huán)境下的廣電媒體數(shù)據(jù)框架圖，其中數(shù)據(jù)治理主要通過數(shù)據(jù)管理平臺來實現(xiàn)， 該平臺貫穿數(shù)據(jù)業(yè)務(wù)始終。包括數(shù)據(jù)資產(chǎn)管理系統(tǒng)、數(shù)據(jù)質(zhì)量管理系統(tǒng)和數(shù)據(jù)調(diào)度處理系統(tǒng)等， 它們是數(shù)據(jù)治理能夠順利開展的技術(shù)保障。只有建立功能齊備的數(shù)據(jù)治理工具和平臺，才能從 各個領(lǐng)域有效地進行數(shù)據(jù)的管理和治理，提高廣電媒體的數(shù)據(jù)價值。El數(shù)據(jù)資產(chǎn)管理系統(tǒng)：統(tǒng)一管理全媒體的數(shù)據(jù)資產(chǎn)，包括元數(shù)據(jù)、數(shù)據(jù)標準與數(shù)據(jù)模型等重 要的數(shù)據(jù)內(nèi)容，涵蓋數(shù)據(jù)生命周期管理功能，并提供可視化的數(shù)據(jù)查詢和展示功能，實現(xiàn)數(shù)據(jù) 資產(chǎn)的快速與便捷查詢。數(shù)據(jù)質(zhì)量管理系統(tǒng)：落實數(shù)據(jù)質(zhì)量檢測工作，實現(xiàn)數(shù)據(jù)質(zhì)量問題的發(fā)現(xiàn)、跟蹤、

12、治理、評 價的全流程閉環(huán)管理，包括數(shù)據(jù)質(zhì)量規(guī)則管理、數(shù)據(jù)采集核驗、數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)、數(shù)據(jù)質(zhì)量 問題分析等模塊。數(shù)據(jù)調(diào)度與處理系統(tǒng)：用于實現(xiàn)各系統(tǒng)間的互聯(lián)互通，相互協(xié)同與驗證，為數(shù)據(jù)平臺和業(yè) 務(wù)應(yīng)用提供數(shù)據(jù)統(tǒng)一、形式多樣的數(shù)據(jù)服務(wù)。在該系統(tǒng)中，還需要加強數(shù)據(jù)使用中訪問權(quán)限的 安全性，保障數(shù)據(jù)不被泄露和非法訪問。總結(jié)廣電媒體的數(shù)據(jù)治理是一個持續(xù)迭代的復(fù)雜的系統(tǒng)工程。對技術(shù)部門來說，需從戰(zhàn)略層面 出發(fā)，認識到數(shù)據(jù)資產(chǎn)的重要性和數(shù)據(jù)治理工作對未來發(fā)展的巨大價值。通過數(shù)據(jù)治理進而提 供數(shù)據(jù)服務(wù)，可以將技術(shù)管理變?yōu)榧夹g(shù)服務(wù)；通過數(shù)據(jù)治理進而變現(xiàn)數(shù)據(jù)價值，可以從成本中 心轉(zhuǎn)變?yōu)槔麧欀行?。同時，數(shù)據(jù)治理過程涉及業(yè)務(wù)的方方面面，不僅是對數(shù)據(jù)價值充分梳理和 挖掘的過程，也是內(nèi)部管理職能優(yōu)化和執(zhí)行力強化的過程，還是提升核心競爭力、在現(xiàn)有業(yè)務(wù) 系統(tǒng)基礎(chǔ)上醞釀跨界融合創(chuàng)新應(yīng)用的契機。為此，需要在治理前期就應(yīng)該規(guī)劃好各項規(guī)章制度 和管理架構(gòu)，切實建立一套可管可用的數(shù)據(jù)治理技術(shù)平臺，確保后續(xù)的各項治理工作能夠行之 有效并且長期堅持。參考文獻周慧寧，權(quán)少亭.信息