數(shù)據(jù)處理平臺 技術(shù)方案

數(shù)據(jù)處理平臺技術(shù)方案數(shù)據(jù)處理平臺技術(shù)方案數(shù)據(jù)處理平臺技術(shù)方案資料僅供參考文件編號：2022年4月數(shù)據(jù)處理平臺技術(shù)方案版本號：A修改號：1頁次：1.0審核：批準:發(fā)布日期：數(shù)據(jù)處理平臺技術(shù)方案2016年06月目錄TOC\o"1-4"\h\z\u1. 項目說明 1 背景 1 術(shù)語定義及說明 12. 建設(shè)目標和原則 1 建設(shè)目標 1 建設(shè)和完善數(shù)據(jù)處理流程 1 建設(shè)和完善管理平臺 1 建立良好的容錯機制 1 設(shè)計原則 2 可靠性 2 易用性 2 擴展性 23. 功能需求 2 需求概述 2 功能模塊 3 數(shù)據(jù)收集 3 數(shù)據(jù)清洗 3 數(shù)據(jù)存儲 3 對外輸出 3 流程監(jiān)控 3 管理平臺 3 其他需求 4 性能需求 4 可靠性要求 4 進度計劃 4 故障處理要求 44. 方案總體設(shè)計 4 技術(shù)路線選擇 4 總體架構(gòu) 4 架構(gòu)介紹 5 數(shù)據(jù)處理流程 55. 安全設(shè)計 5 數(shù)據(jù)的備份和恢復系統(tǒng) 5 管理層安全 5項目說明背景因項目數(shù)據(jù)拆分，***將要創(chuàng)建一套完備的數(shù)據(jù)管理體系，替換原有的數(shù)據(jù)處理方式。為用戶提供更高效、便捷的服務(wù)。術(shù)語定義及說明名稱解釋數(shù)據(jù)格式對原始數(shù)據(jù)文件中數(shù)據(jù)格式的定義，比如json、數(shù)組等數(shù)據(jù)類型原始數(shù)據(jù)的類型，比如實況、指數(shù)等文件類型原始數(shù)據(jù)的文件類型，比如.dat、.txt文件建設(shè)目標和原則建設(shè)目標建設(shè)和完善數(shù)據(jù)處理流程基于原有的處理流程，采用新技術(shù)架構(gòu)，重構(gòu)現(xiàn)有處理平臺，徹底解決現(xiàn)有平臺的問題。建設(shè)和完善管理平臺建設(shè)和完善管理平臺，可以為運維人員提供更好的維護管理的工具，并且能夠讓管理員可以根據(jù)多種數(shù)據(jù)的不同要求設(shè)置出適應(yīng)數(shù)據(jù)的處理規(guī)則。建立良好的容錯機制建立良好的容錯機制，設(shè)置更優(yōu)的數(shù)據(jù)處理規(guī)則，為數(shù)據(jù)處理提供優(yōu)質(zhì)服務(wù)。設(shè)計原則可靠性隨著系統(tǒng)的建成，必然各平臺之間的信息傳遞對系統(tǒng)的依賴程度將變得很高，系統(tǒng)失效所造成的影響也就越大。因此，系統(tǒng)的設(shè)計必須，從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備選型以及廠商的技術(shù)服務(wù)和維修響應(yīng)能力等方面綜合考慮，以確保系統(tǒng)運行的可靠性和穩(wěn)定性。易用性我們系統(tǒng)設(shè)計必須考慮到使用者和以后的維護的方便容易。所以，在系統(tǒng)的設(shè)計中要求系統(tǒng)架構(gòu)易于理解，系統(tǒng)管理方便簡潔，系統(tǒng)維護自動容易。擴展性平臺的建設(shè)是一項長期的工程，要充分考慮其將來潛在的需求?？茖W的設(shè)計思想應(yīng)著眼于目前的應(yīng)用系統(tǒng)及現(xiàn)有的技術(shù)，并考慮以最小的代價來適應(yīng)網(wǎng)絡(luò)技術(shù)不斷的發(fā)展，使現(xiàn)有系統(tǒng)能夠與需求同步增長，使系統(tǒng)在元數(shù)據(jù)不斷增加的基礎(chǔ)上，維護者能夠很方便的擴充平臺功能。功能需求需求概述實現(xiàn)對不同來源的多種數(shù)據(jù)類型文件進行收集、存儲、到最終業(yè)務(wù)的統(tǒng)一處理，實現(xiàn)數(shù)據(jù)實時對接，并具有擴展性。1) 數(shù)據(jù)收集：2) 數(shù)據(jù)整理：3) 數(shù)據(jù)存儲：4) 業(yè)務(wù)接口：5)監(jiān)控：功能模塊數(shù)據(jù)收集~~~~~~~~~~~數(shù)據(jù)清洗~~~~~~~~~~~~~數(shù)據(jù)存儲經(jīng)估算，每天的數(shù)據(jù)約有9-10G，在如此數(shù)據(jù)量的情況下，要對數(shù)據(jù)進行存儲，同時應(yīng)用緩存，提高輸出效率。對外輸出為保證原有外部用戶正常使用，數(shù)據(jù)輸出與原有輸出保持一致。流程監(jiān)控針對整個流程進行數(shù)據(jù)監(jiān)控監(jiān)控原始數(shù)據(jù)站點缺失、監(jiān)控非法數(shù)據(jù)。以便反饋給原始數(shù)據(jù)提供方，后期優(yōu)化。管理平臺管理平臺需要有如下功能：其他需求性能需求可靠性要求進度計劃待定故障處理要求軟件故障：如操作系統(tǒng)死機、崩潰、數(shù)據(jù)庫管理系統(tǒng)過載或其他原因崩潰，通過自動或手動重新啟動系統(tǒng)解決，如重新啟動不能解決問題，可以切換至備用服務(wù)器；硬件故障：如硬盤故障，采取措施是定期進行數(shù)據(jù)庫備份，一旦出現(xiàn)硬件故障，可以使用備份文件恢復數(shù)據(jù)庫。方案總體設(shè)計技術(shù)路線選擇總體架構(gòu)架構(gòu)介紹數(shù)據(jù)處理流程 安全設(shè)計數(shù)據(jù)的備份和恢復系統(tǒng)在安全建設(shè)中必不可少的一個環(huán)節(jié)就是數(shù)據(jù)的常規(guī)備份和歷史保存。一般在生產(chǎn)本地的備份目的主要有兩個：一是生產(chǎn)系統(tǒng)的業(yè)務(wù)數(shù)據(jù)由于系統(tǒng)或人為誤操作造成損壞或丟失后，可及時在生產(chǎn)本地實現(xiàn)數(shù)