2023發(fā)電企業(yè)工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)入湖標(biāo)準(zhǔn)

工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)入湖標(biāo)準(zhǔn)發(fā)電企業(yè)工業(yè)互聯(lián)網(wǎng)平臺(tái)數(shù)據(jù)入湖標(biāo)準(zhǔn)目錄TOC\o"1-4"\h\u268261.概述 4292311.1.編寫目的 425911.2.適用范圍 4130301.3.數(shù)據(jù)湖定義 532.數(shù)據(jù)入湖標(biāo)準(zhǔn) 5140212.1.明確數(shù)據(jù)Owner 568842.2.發(fā)布數(shù)據(jù)標(biāo)準(zhǔn) 6279742.3.認(rèn)證數(shù)據(jù)源 8291982.4.定義數(shù)據(jù)密級(jí) 9182672.5.數(shù)據(jù)質(zhì)量評(píng)估 10220762.6.元數(shù)據(jù)注冊(cè) 1141433.數(shù)據(jù)入湖方式 11概述根據(jù)XX發(fā)電公司企業(yè)信息化現(xiàn)狀和數(shù)字化前期建設(shè)要求，規(guī)劃建設(shè)XX發(fā)電工業(yè)互聯(lián)網(wǎng)平臺(tái)，增強(qiáng)業(yè)務(wù)協(xié)同和集中管控能力，實(shí)現(xiàn)XX發(fā)電各信息化系統(tǒng)數(shù)據(jù)的快速接入，構(gòu)建工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)湖。打破目前各業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)壁壘，實(shí)現(xiàn)數(shù)據(jù)資源橫向集成、縱向貫通，實(shí)現(xiàn)XX發(fā)電企業(yè)級(jí)數(shù)據(jù)共享，解決數(shù)據(jù)與業(yè)務(wù)緊密耦合、數(shù)據(jù)分析應(yīng)用重復(fù)建設(shè)、需要出臺(tái)數(shù)據(jù)入湖的標(biāo)準(zhǔn)，指導(dǎo)企業(yè)的通過統(tǒng)一的標(biāo)準(zhǔn)開展業(yè)務(wù)系統(tǒng)數(shù)據(jù)入湖工作。編寫目的本文檔目的是對(duì)工業(yè)互聯(lián)網(wǎng)平臺(tái)項(xiàng)目建設(shè)過程中的數(shù)據(jù)入湖標(biāo)準(zhǔn)進(jìn)行詳細(xì)的介紹，明確數(shù)據(jù)入湖標(biāo)準(zhǔn)整體思路和流程，對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的管理及維護(hù)，編寫此文檔，指導(dǎo)讀者開展數(shù)據(jù)入湖工作。適用范圍適用于項(xiàng)目組成員、平臺(tái)設(shè)計(jì)、開發(fā)、維護(hù)技術(shù)人員及平臺(tái)管理員。數(shù)據(jù)湖定義數(shù)據(jù)湖是一個(gè)以原始格式(通常是對(duì)象塊或文件)存儲(chǔ)數(shù)據(jù)的系統(tǒng)或存儲(chǔ)庫(kù)。數(shù)據(jù)湖通常是所有企業(yè)數(shù)據(jù)的單一存儲(chǔ)，用于報(bào)告、可視化、高級(jí)分析和機(jī)器學(xué)習(xí)等任務(wù)。數(shù)據(jù)湖可以包括來自關(guān)系數(shù)據(jù)庫(kù)的結(jié)構(gòu)化數(shù)據(jù)(行和列)、半結(jié)構(gòu)化數(shù)據(jù)(CSV、日志、XML、JSON)、非結(jié)構(gòu)化數(shù)據(jù)（電子郵件、文檔、pdf）和二進(jìn)制數(shù)據(jù)（圖像、音頻、視頻）。數(shù)據(jù)作為一項(xiàng)重要資產(chǎn)，已經(jīng)成為企業(yè)的共識(shí)，為了更好地存儲(chǔ)數(shù)據(jù)、挖掘數(shù)據(jù)，使用數(shù)據(jù)湖，企業(yè)在快速實(shí)現(xiàn)企業(yè)中各類的數(shù)據(jù)集成的同時(shí)，也能輕松獲取企業(yè)外部數(shù)據(jù)，打通產(chǎn)業(yè)鏈上下游數(shù)據(jù)，實(shí)現(xiàn)生態(tài)化數(shù)據(jù)整合，實(shí)現(xiàn)全貌數(shù)據(jù)分析。同時(shí)，數(shù)據(jù)存儲(chǔ)量大，支持批量歷史數(shù)據(jù)和實(shí)時(shí)流數(shù)據(jù)的處理，能夠?qū)崿F(xiàn)數(shù)據(jù)的快速查詢和高級(jí)分析。數(shù)據(jù)入湖標(biāo)準(zhǔn)數(shù)據(jù)入湖要遵從6項(xiàng)入湖標(biāo)準(zhǔn)，基于6項(xiàng)標(biāo)準(zhǔn)保證入湖的質(zhì)量，同時(shí)面向不同的消費(fèi)場(chǎng)景提供兩種入湖方式，滿足數(shù)據(jù)使用的要求。數(shù)據(jù)入湖是數(shù)據(jù)消費(fèi)的基礎(chǔ)，需要嚴(yán)格滿足入湖的6項(xiàng)標(biāo)準(zhǔn)，包括明確數(shù)據(jù)Owner、發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)、定義數(shù)據(jù)密級(jí)、明確數(shù)據(jù)源、數(shù)據(jù)質(zhì)量評(píng)估、元數(shù)據(jù)注冊(cè)。通過這6項(xiàng)標(biāo)準(zhǔn)保證入湖的數(shù)據(jù)都有明確的業(yè)務(wù)責(zé)任人，各項(xiàng)數(shù)據(jù)都可理解，同時(shí)都能在相應(yīng)的信息安全保障下進(jìn)行消費(fèi)。明確數(shù)據(jù)Owner數(shù)據(jù)Owner由數(shù)據(jù)產(chǎn)生對(duì)應(yīng)的流程Owner擔(dān)任，是所轄數(shù)據(jù)端到端管理的責(zé)任人，負(fù)責(zé)對(duì)入湖的數(shù)據(jù)定義數(shù)據(jù)標(biāo)準(zhǔn)和密級(jí)，承接數(shù)據(jù)消費(fèi)中的數(shù)據(jù)質(zhì)量問題，并制定數(shù)據(jù)管理工作路標(biāo)，持續(xù)提升數(shù)據(jù)質(zhì)量。如下表梳理：序號(hào)系統(tǒng)責(zé)任部門責(zé)任人1核心業(yè)務(wù)一體化系統(tǒng)-財(cái)務(wù)財(cái)務(wù)張三2全面預(yù)算系統(tǒng)財(cái)務(wù)李四3資金調(diào)度中心財(cái)務(wù)張三4普聯(lián)報(bào)表系統(tǒng)財(cái)務(wù)李四5財(cái)務(wù)共享中心財(cái)務(wù)李四發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)入湖數(shù)據(jù)要有相應(yīng)的業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)。業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)描述公司層面需共同遵守的“屬性層”數(shù)據(jù)的含義和業(yè)務(wù)規(guī)則，是對(duì)某個(gè)數(shù)據(jù)的共同理解。數(shù)據(jù)標(biāo)準(zhǔn)的信息如下表所示。根據(jù)上面要求梳理各個(gè)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)較準(zhǔn)要求的內(nèi)容，提供業(yè)務(wù)數(shù)據(jù)資產(chǎn)分類（即數(shù)據(jù)表屬于哪個(gè)主題域），數(shù)據(jù)表字段類型、字段中文名、表間關(guān)系。舉例如下，下面是財(cái)務(wù)域二級(jí)主題劃分，根據(jù)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)信息來分類到具體主題域下，并開展與對(duì)應(yīng)邏輯模型和物理模型的數(shù)據(jù)入湖對(duì)接工作。同時(shí)提供詳細(xì)的業(yè)務(wù)系統(tǒng)的表臺(tái)賬，如下表所示：認(rèn)證數(shù)據(jù)源通過認(rèn)證數(shù)據(jù)源，能夠確保數(shù)據(jù)從正確的數(shù)據(jù)源頭入湖。認(rèn)證數(shù)據(jù)源應(yīng)遵循公司數(shù)據(jù)源管理的要求。認(rèn)證過的數(shù)據(jù)源作為唯一數(shù)據(jù)源頭被數(shù)據(jù)湖調(diào)用。在開始數(shù)據(jù)入湖時(shí)，確認(rèn)如下幾個(gè)內(nèi)容數(shù)據(jù)源：記錄數(shù)據(jù)源的基本信息，例如：URL、用戶名、密碼等。確認(rèn)數(shù)據(jù)結(jié)構(gòu)及其約束條件。確認(rèn)數(shù)據(jù)源接口和數(shù)據(jù)交換協(xié)議。定義數(shù)據(jù)密級(jí)定義數(shù)據(jù)密級(jí)是數(shù)據(jù)入湖的必要條件，為了確保數(shù)據(jù)湖中的數(shù)據(jù)能充分地共享，同時(shí)又不發(fā)生信息安全問題，入湖的數(shù)據(jù)必須要定密。數(shù)據(jù)定密的責(zé)任主體是數(shù)據(jù)Owner，數(shù)據(jù)管家有責(zé)任審視入湖數(shù)據(jù)密級(jí)的完整性，并推動(dòng)、協(xié)調(diào)數(shù)據(jù)定密工作。數(shù)據(jù)定級(jí)密度在屬性層級(jí)，根據(jù)資產(chǎn)的重要程度，定義不同等級(jí)，數(shù)據(jù)保密級(jí)別分為“公開”、“內(nèi)部”，秘密”和“機(jī)密”四個(gè)級(jí)別，管控級(jí)別依次上升。各級(jí)別定義如下：非授權(quán)的公開、泄露將直接對(duì)公司、客戶或者員工經(jīng)濟(jì)損失、嚴(yán)發(fā)生重大法的數(shù)據(jù)。一旦泄露、非法提供或?yàn)E用可能危害人身和財(cái)產(chǎn)安性待遇等公司重大戰(zhàn)略決策用戶身份證號(hào)銀行卡號(hào)公司核心算法代碼等非授權(quán)的公開、泄露將直接對(duì)公司、客戶或者員工失、破壞公司聲發(fā)生法律責(zé)任等)的數(shù)據(jù)。能夠單獨(dú)識(shí)別自然人身份或者反映特定自然人活人力資源數(shù)據(jù)財(cái)務(wù)數(shù)據(jù)商務(wù)合作合同信息產(chǎn)品策劃信息等可在公司內(nèi)部進(jìn)行發(fā)放和傳播的信息，需要控制信非授權(quán)的公開、泄露將直接對(duì)公司、客戶或者員工造成較小不利影響的數(shù)據(jù)。單獨(dú)無法識(shí)別自然人身份或者反映特定自然人活別自然人身份或者與個(gè)人。產(chǎn)品運(yùn)營(yíng)指標(biāo)內(nèi)部發(fā)布的制度、規(guī)范、通知等布而不會(huì)產(chǎn)生任何安全和法律問題。公司數(shù)據(jù)分類分級(jí)矩陣關(guān)系如下：公開秘密機(jī)密用戶數(shù)據(jù)用戶公開數(shù)據(jù)用戶內(nèi)部數(shù)據(jù)用戶秘密數(shù)據(jù)用戶機(jī)密數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)公開數(shù)據(jù)業(yè)務(wù)內(nèi)部數(shù)據(jù)業(yè)務(wù)秘密數(shù)據(jù)業(yè)務(wù)機(jī)密數(shù)據(jù)公司數(shù)據(jù)公司公開數(shù)據(jù)公司內(nèi)部數(shù)據(jù)公司秘密數(shù)據(jù)公司機(jī)密數(shù)據(jù)其他數(shù)據(jù)其他公開數(shù)據(jù)其他內(nèi)部數(shù)據(jù)其他秘密數(shù)據(jù)其他機(jī)密數(shù)據(jù)數(shù)據(jù)質(zhì)量評(píng)估數(shù)據(jù)質(zhì)量是數(shù)據(jù)消費(fèi)結(jié)果的保證，數(shù)據(jù)入湖不需要對(duì)數(shù)據(jù)進(jìn)行清洗，但需要對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，讓數(shù)據(jù)的消費(fèi)人員了解數(shù)據(jù)的質(zhì)量情況，并了解消費(fèi)該數(shù)據(jù)的質(zhì)量風(fēng)險(xiǎn)。同時(shí)數(shù)據(jù)Owner和數(shù)據(jù)管家可以根據(jù)數(shù)據(jù)質(zhì)量評(píng)估的情況，推動(dòng)源頭數(shù)據(jù)質(zhì)量的提升，滿足數(shù)據(jù)質(zhì)量的消費(fèi)要求?？梢蚤_展規(guī)則算法質(zhì)量校驗(yàn)，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，如下是一些常用的校驗(yàn)規(guī)則。元數(shù)據(jù)注冊(cè)元數(shù)據(jù)注冊(cè)是指將入湖數(shù)據(jù)的業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)進(jìn)行關(guān)聯(lián)，包括邏輯實(shí)體與物理表的對(duì)應(yīng)關(guān)系，以及業(yè)務(wù)屬性和表字段的對(duì)應(yīng)關(guān)系。通過聯(lián)接業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)的關(guān)系，能夠支撐數(shù)據(jù)消費(fèi)人員通過業(yè)務(wù)語義快速地搜索到數(shù)據(jù)湖中的數(shù)據(jù)，降低數(shù)據(jù)湖中數(shù)據(jù)消費(fèi)的門檻，能讓更多的業(yè)務(wù)分析人員理解和消費(fèi)數(shù)據(jù)。數(shù)據(jù)入湖方式數(shù)據(jù)入湖遵循信息架構(gòu)，以邏輯數(shù)據(jù)實(shí)體為粒度入湖，邏輯數(shù)據(jù)實(shí)體在首次入湖時(shí)應(yīng)該考慮信息的完整性。原則上，一個(gè)邏輯數(shù)據(jù)實(shí)體的所有屬性應(yīng)該一次性進(jìn)湖，避免一個(gè)邏輯實(shí)體多次入湖，增加入湖工作量。一個(gè)邏輯實(shí)體可以有不同的入湖方式：批量集成(ETL)對(duì)于需要進(jìn)行復(fù)雜數(shù)據(jù)清理和轉(zhuǎn)換且數(shù)據(jù)量較大的場(chǎng)景，采用全量的批量集成，主要有jdbc直連庫(kù)、文件數(shù)據(jù)集成等。調(diào)度作業(yè)每小時(shí)或每天執(zhí)行。批量集成不適合低數(shù)據(jù)延遲和高靈活性的場(chǎng)景。接口集成（API）通過AP提取數(shù)據(jù)，適用于處理不同數(shù)據(jù)結(jié)構(gòu)以及需要高可靠性和復(fù)雜轉(zhuǎn)換的場(chǎng)景。接口集成不適合處