數(shù)據(jù)處理平臺技術(shù)方案樣本

數(shù)據(jù)解決平臺技術(shù)方案06月目錄TOC\o"1-4"\h\z\u1. 項(xiàng)目闡明 11.1 背景 11.2 術(shù)語定義及闡明 12. 建設(shè)目的和原則 12.1 建設(shè)目的 12.1.1 建設(shè)和完善數(shù)據(jù)解決流程 12.1.2 建設(shè)和完善管理平臺 12.1.3 建立良好容錯機(jī)制 12.2 設(shè)計(jì)原則 22.2.1 可靠性 22.2.2 易用性 22.2.3 擴(kuò)展性 23. 功能需求 23.1 需求概述 23.2 功能模塊 33.2.1 數(shù)據(jù)收集 33.2.2 數(shù)據(jù)清洗 33.2.3 數(shù)據(jù)存儲 33.2.4 對外輸出 33.2.5 流程監(jiān)控 33.2.6 管理平臺 33.3 其她需求 43.3.1 性能需求 43.3.2 可靠性規(guī)定 43.3.3 進(jìn)度籌劃 43.3.4 故障解決規(guī)定 44. 方案總體設(shè)計(jì) 44.1 技術(shù)路線選取 44.2 總體架構(gòu) 44.2.1 架構(gòu)簡介 54.2.2 數(shù)據(jù)解決流程 55. 安全設(shè)計(jì) 55.1 數(shù)據(jù)備份和恢復(fù)系統(tǒng) 55.2 管理層安全 5項(xiàng)目闡明背景因項(xiàng)目數(shù)據(jù)拆分，***將要創(chuàng)立一套完備數(shù)據(jù)管理體系，替代原有數(shù)據(jù)解決方式。為顧客提供更高效、便捷服務(wù)。術(shù)語定義及闡明名稱解釋數(shù)據(jù)格式對原始數(shù)據(jù)文獻(xiàn)中數(shù)據(jù)格式定義，例如json、數(shù)組等數(shù)據(jù)類型原始數(shù)據(jù)類型，例如實(shí)況、指數(shù)等文獻(xiàn)類型原始數(shù)據(jù)文獻(xiàn)類型，例如.dat、.txt文獻(xiàn)建設(shè)目的和原則建設(shè)目的建設(shè)和完善數(shù)據(jù)解決流程基于原有解決流程，采用新技術(shù)架構(gòu)，重構(gòu)既有解決平臺，徹底解決既有平臺問題。建設(shè)和完善管理平臺建設(shè)和完善管理平臺，可覺得運(yùn)維人員提供更好維護(hù)管理工具，并且可以讓管理員可以依照各種數(shù)據(jù)不同規(guī)定設(shè)立出適應(yīng)數(shù)據(jù)解決規(guī)則。建立良好容錯機(jī)制建立良好容錯機(jī)制，設(shè)立更優(yōu)數(shù)據(jù)解決規(guī)則，為數(shù)據(jù)解決提供優(yōu)質(zhì)服務(wù)。設(shè)計(jì)原則可靠性隨著系統(tǒng)建成，必然各平臺之間信息傳遞對系統(tǒng)依賴限度將變得很高，系統(tǒng)失效所導(dǎo)致影響也就越大。因而，系統(tǒng)設(shè)計(jì)必要，從系統(tǒng)構(gòu)造、技術(shù)辦法、設(shè)備選型以及廠商技術(shù)服務(wù)和維修響應(yīng)能力等方面綜合考慮，以保證系統(tǒng)運(yùn)營可靠性和穩(wěn)定性。易用性咱們系統(tǒng)設(shè)計(jì)必要考慮到使用者和后來維護(hù)以便容易。因此，在系統(tǒng)設(shè)計(jì)中規(guī)定系統(tǒng)架構(gòu)易于理解，系統(tǒng)管理以便簡潔，系統(tǒng)維護(hù)自動容易。擴(kuò)展性平臺建設(shè)是一項(xiàng)長期工程，要充分考慮其將來潛在需求?？茖W(xué)設(shè)計(jì)思想應(yīng)著眼于當(dāng)前應(yīng)用系統(tǒng)及既有技術(shù)，并考慮以最小代價來適應(yīng)網(wǎng)絡(luò)技術(shù)不斷發(fā)展，使既有系統(tǒng)可以與需求同步增長，使系統(tǒng)在元數(shù)據(jù)不斷增長基本上，維護(hù)者可以很以便擴(kuò)充平臺功能。功能需求需求概述實(shí)現(xiàn)對不同來源各種數(shù)據(jù)類型文獻(xiàn)進(jìn)行收集、存儲、到最后業(yè)務(wù)統(tǒng)一解決，實(shí)現(xiàn)數(shù)據(jù)實(shí)時對接，并具備擴(kuò)展性。1) 數(shù)據(jù)收集：2) 數(shù)據(jù)整頓：3) 數(shù)據(jù)存儲：4) 業(yè)務(wù)接口：5)監(jiān)控：功能模塊數(shù)據(jù)收集~~~~~~~~~~~數(shù)據(jù)清洗~~~~~~~~~~~~~數(shù)據(jù)存儲經(jīng)估算，每天數(shù)據(jù)約有9-10G，在如此數(shù)據(jù)量狀況下，要對數(shù)據(jù)進(jìn)行存儲，同步應(yīng)用緩存，提高輸出效率。對外輸出為保證原有外部顧客正常使用，數(shù)據(jù)輸出與原有輸出保持一致。流程監(jiān)控針對整個流程進(jìn)行數(shù)據(jù)監(jiān)控監(jiān)控原始數(shù)據(jù)站點(diǎn)缺失、監(jiān)控非法數(shù)據(jù)。以便反饋給原始數(shù)據(jù)提供方，后期優(yōu)化。管理平臺管理平臺需要有如下功能：其她需求性能需求可靠性規(guī)定進(jìn)度籌劃待定故障解決規(guī)定軟件故障：如操作系統(tǒng)死機(jī)、崩潰、數(shù)據(jù)庫管理系統(tǒng)過載或其她因素崩潰，通過自動或手動重新啟動系統(tǒng)解決，如重新啟動不能解決問題，可以切換至備用服務(wù)器；硬件故障：如硬盤故障，采用辦法是定期進(jìn)行數(shù)據(jù)庫備份，一旦浮現(xiàn)硬件故障，可以使用備份文獻(xiàn)恢復(fù)數(shù)據(jù)庫。方案總體設(shè)計(jì)技術(shù)路線選取總體架構(gòu)架構(gòu)簡介數(shù)據(jù)解決流程 安全設(shè)計(jì)數(shù)據(jù)備份和恢復(fù)系統(tǒng)在安全建設(shè)中必不可少一種環(huán)節(jié)就是數(shù)據(jù)常規(guī)備份和歷史保存。普通在生產(chǎn)本地備份目重要有兩個：一是生產(chǎn)系統(tǒng)業(yè)務(wù)數(shù)據(jù)由于系統(tǒng)或人為誤操作導(dǎo)致?lián)p壞或丟失后，可及時在生產(chǎn)本地實(shí)現(xiàn)數(shù)據(jù)恢復(fù)；另一種目是在發(fā)生地區(qū)性劫難（地震、火災(zāi)、機(jī)器毀壞等）時，可及時在本地或異地實(shí)現(xiàn)數(shù)據(jù)及整個系統(tǒng)劫難恢復(fù)。管理層安全網(wǎng)