2023數(shù)據(jù)管理平臺(tái)術(shù)方案

數(shù)據(jù)管理平臺(tái)詳細(xì)技術(shù)方案1數(shù)據(jù)管理平臺(tái)整體架構(gòu)及部署方式2 數(shù)據(jù)管理平臺(tái)應(yīng)用解決方案32數(shù)據(jù)管理平臺(tái)實(shí)施策略和運(yùn)維機(jī)制數(shù)據(jù)管理平臺(tái)整體架構(gòu)多維數(shù)據(jù)庫DW數(shù)據(jù)庫/數(shù)據(jù)倉庫映射元數(shù)據(jù)應(yīng)用映射管理

數(shù)據(jù)導(dǎo)入導(dǎo)出 分?jǐn)偱渲媒涌谡{(diào)度流程管理用戶管理元數(shù)據(jù)管理控制

日志管理ERP業(yè)務(wù)系統(tǒng)Excel數(shù)據(jù)管理平臺(tái)交互層邏輯層存儲(chǔ)層數(shù)據(jù)倉庫層應(yīng)用層Others其他數(shù)據(jù)文件數(shù)據(jù)模板制作架構(gòu)介紹3非獨(dú)立存在，是輔助企業(yè)數(shù)據(jù)管理的面向用戶的工具采用B/S架構(gòu)，使用方法簡潔產(chǎn)品實(shí)現(xiàn)分層規(guī)劃Web頁面完成配置和管理操作Excel數(shù)據(jù)導(dǎo)入導(dǎo)出功能可配置化的管理平臺(tái)和權(quán)限通過元數(shù)據(jù)實(shí)現(xiàn)各個(gè)功能模塊的校驗(yàn)及權(quán)限配置等的協(xié)同工作存儲(chǔ)層有兩種存儲(chǔ)方式，保證數(shù)據(jù)安全性數(shù)據(jù)管理平臺(tái)如何匹配業(yè)務(wù)目標(biāo)映射/元數(shù)據(jù)校驗(yàn)數(shù)據(jù)倉庫ETL數(shù)據(jù)補(bǔ)錄導(dǎo)入/ETL財(cái)務(wù)管理系統(tǒng)人事管理系統(tǒng)工程管理系統(tǒng)銷售數(shù)據(jù)表行政辦公費(fèi)用表成本數(shù)據(jù)……..……..對接數(shù)據(jù)源輔助管理數(shù)據(jù)源接入界面化、分角色控制數(shù)據(jù)補(bǔ)錄與導(dǎo)入，方便非技術(shù)人員使用異構(gòu)數(shù)據(jù)源系統(tǒng)接入的調(diào)度管理映射/元數(shù)據(jù)校驗(yàn)數(shù)據(jù)接入/導(dǎo)入自動(dòng)化完成有效性校驗(yàn)映射關(guān)系與元數(shù)據(jù)聯(lián)動(dòng)4數(shù)據(jù)管理平臺(tái)數(shù)據(jù)存儲(chǔ)方式客戶驗(yàn)證渠道驗(yàn)證科目驗(yàn)證客戶元數(shù)據(jù)渠道元數(shù)據(jù)科目元數(shù)據(jù)客戶ID渠道ID科目ID其它ID值A(chǔ)001C001AC01 TH01001 100A001C001AC02TH010012001數(shù)據(jù)倉庫對接數(shù)據(jù)終端輔助管理輸出數(shù)據(jù)按需定制導(dǎo)出格式，方便對接數(shù)據(jù)終端集成第三方工具導(dǎo)出到數(shù)據(jù)倉庫則可按需保存數(shù)據(jù)格式系統(tǒng)內(nèi)校驗(yàn)映射和元數(shù)據(jù)的數(shù)據(jù)源表可以星型架構(gòu)的形式導(dǎo)出至數(shù)據(jù)倉庫或多維數(shù)據(jù)庫ID客戶編碼客戶名稱屬性1A001孩子王ID渠道編碼渠道名稱屬性1C001商超ID科目編碼科目名稱屬性1AC01積分ID其他編碼其他名稱1TH01001大型媽媽班2TH01002消費(fèi)者促銷源表客戶活動(dòng)渠道積分大區(qū)費(fèi)用孩子王大型媽媽班商超1002000華潤蘇果消費(fèi)者促銷藥線20018905數(shù)據(jù)管理平臺(tái)部署方式數(shù)據(jù)管理平臺(tái)服務(wù)器數(shù)據(jù)庫服務(wù)器（資料庫）數(shù)據(jù)管理平臺(tái)數(shù)據(jù)庫服務(wù)器（業(yè)務(wù)/財(cái)務(wù)數(shù)據(jù)）數(shù)據(jù)庫服務(wù)器配置：支持的數(shù)據(jù)庫版本：Oracle

11gR2及以上獨(dú)立的數(shù)據(jù)庫實(shí)例或schema表空間：10G及以上注.

以上均為經(jīng)驗(yàn)值，據(jù)具體業(yè)務(wù)需求調(diào)整。終端6應(yīng)用服務(wù)器配置要求：OS：windows

server

2008R2及以上CPU：4核及以上內(nèi)存：16G級以上磁盤：100G及以上1數(shù)據(jù)管理平臺(tái)整體架構(gòu)及部署方式2 數(shù)據(jù)管理平臺(tái)應(yīng)用解決方案37數(shù)據(jù)管理平臺(tái)實(shí)施策略和運(yùn)維機(jī)制應(yīng)用模塊功能介紹用戶管理及用戶權(quán)限機(jī)制性能評估及測試數(shù)據(jù)備份及恢復(fù)策略數(shù)據(jù)補(bǔ)錄流程在web頁面自定義模板字段將定義好的模板上傳至服務(wù)器用戶根據(jù)需求下載相應(yīng)模板填報(bào)數(shù)據(jù)復(fù)核導(dǎo)入數(shù)據(jù)系統(tǒng)校驗(yàn)數(shù)據(jù)校驗(yàn)不通過數(shù)據(jù)上傳到系統(tǒng)補(bǔ)錄模板可前端自定義在前端配置好模板字段以及字段屬性可設(shè)置字段級別校驗(yàn)規(guī)則8版本管理，模板上傳至服務(wù)器供其他用戶下載使用

填報(bào)并核對完后數(shù)據(jù)提交審核系統(tǒng)會(huì)根據(jù)校驗(yàn)規(guī)則進(jìn)行數(shù)據(jù)校驗(yàn)最后數(shù)據(jù)正式上傳到系統(tǒng)補(bǔ)錄模板配置配置模板字段時(shí)需要選擇字段屬性、字段類型、字段長度，是否為主鍵、是否為主數(shù)據(jù)列名：為數(shù)據(jù)庫字段編碼說明：為數(shù)據(jù)庫或模板字段名稱排序：是可以定義模板的字段順序字段長度：表示要補(bǔ)錄數(shù)據(jù)的長度類型：代表補(bǔ)錄數(shù)據(jù)是數(shù)字還是字符設(shè)置主鍵：用來標(biāo)識數(shù)據(jù)的唯一性和增量存儲(chǔ)數(shù)據(jù)設(shè)置主數(shù)據(jù)：開啟企業(yè)主數(shù)據(jù)校驗(yàn)，如果將字段設(shè)置為關(guān)聯(lián)企業(yè)主數(shù)據(jù)，在上傳數(shù)據(jù)時(shí)系統(tǒng)會(huì)與企業(yè)主數(shù)據(jù)表進(jìn)行校驗(yàn)主數(shù)據(jù)表：指定與上傳數(shù)據(jù)進(jìn)行校驗(yàn)的企業(yè)主數(shù)據(jù)表表名數(shù)據(jù)庫名稱：用戶在配置模板的時(shí)候可以指定數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫表名：指定數(shù)據(jù)庫的存儲(chǔ)表名9補(bǔ)錄模板數(shù)據(jù)導(dǎo)入用戶通過在Excel模板中將數(shù)據(jù)補(bǔ)錄完成，然后通過上傳文件的方式將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫，主要壓力為數(shù)據(jù)庫，準(zhǔn)備數(shù)據(jù)可在線下完成校驗(yàn)規(guī)則：用戶在通過web頁面補(bǔ)錄數(shù)據(jù)時(shí)，頁面會(huì)對用戶錄入的數(shù)據(jù)進(jìn)行有效性校驗(yàn)，如：正則表達(dá)式及常規(guī)校驗(yàn)：非空，字段類型與格式，長度限制、有無重復(fù)，郵箱/手機(jī)/身份證等格式判斷可提供范圍區(qū)間限制包括但不限于：日期范圍、數(shù)值期間SQL校驗(yàn)，對數(shù)據(jù)庫內(nèi)已存在主數(shù)據(jù)比較校驗(yàn)，例如：組織架構(gòu)、產(chǎn)品信息、會(huì)員信息、財(cái)務(wù)預(yù)算科目/項(xiàng)目可對一些個(gè)性化的規(guī)則進(jìn)行匹配：包括但不限于指定表的某些字段匹配，例如發(fā)票紅沖等10操作步驟:選擇需要上傳的表點(diǎn)擊上傳數(shù)據(jù)，選擇數(shù)據(jù)文件，將數(shù)據(jù)導(dǎo)入到系統(tǒng)在日志記錄模塊查看上傳結(jié)果，有無報(bào)錯(cuò)數(shù)據(jù)校驗(yàn)規(guī)則企業(yè)主數(shù)據(jù)校驗(yàn)數(shù)據(jù)倉庫數(shù)據(jù)補(bǔ)錄導(dǎo)入/ETL企業(yè)主數(shù)據(jù)表校驗(yàn)規(guī)則類型應(yīng)答對導(dǎo)入的數(shù)據(jù)需先進(jìn)行有效性校驗(yàn)。正則表達(dá)式及常規(guī)校驗(yàn)：非空，字段類型與格式，長度限制、是否重復(fù)，郵箱/手機(jī)/身份證等格式判斷可提供范圍區(qū)間限制包括但不限于：日期范圍、數(shù)值期間SQL校驗(yàn)，對數(shù)據(jù)庫內(nèi)已存在主數(shù)據(jù)比較校驗(yàn)，例如：組織架構(gòu)、產(chǎn)品信息、會(huì)員信息、財(cái)務(wù)預(yù)算科目/項(xiàng)目可對一些個(gè)性化的規(guī)則進(jìn)行匹配：包括但不限于指定表的某些字段匹配，例如發(fā)票紅沖等。枚舉值校驗(yàn)，不屬于主數(shù)據(jù)且在上傳數(shù)據(jù)需要做有效性校驗(yàn)的內(nèi)容，可通過此頁面配置枚舉值。如事業(yè)部、付款方式、來源系統(tǒng)等字符長度校驗(yàn)重復(fù)值校驗(yàn)數(shù)據(jù)格式校驗(yàn)數(shù)值期間校驗(yàn)映射校驗(yàn)非空、字符類型校驗(yàn)數(shù)據(jù)管理平臺(tái)映射數(shù)據(jù)表錯(cuò)誤日志輸出11數(shù)據(jù)上傳錯(cuò)誤輸出數(shù)據(jù)日志顯示：上傳結(jié)果可彈出錯(cuò)誤頁面提示或者已上傳成功提示提供執(zhí)行結(jié)果查詢頁面上傳成功則數(shù)據(jù)寫入，日志顯示會(huì)話執(zhí)行成功上傳未成功的提示導(dǎo)致失敗的原因數(shù)據(jù)規(guī)則校驗(yàn)、映射校驗(yàn)、企業(yè)主數(shù)據(jù)校驗(yàn)未通過，數(shù)據(jù)行不可寫入錯(cuò)誤信息輸出：錯(cuò)誤信息中提供錯(cuò)誤描述提供年、月及任務(wù)作為查詢條件默認(rèn)展示最新100行錯(cuò)誤信息，更多信息需翻頁展示輸出錯(cuò)誤信息的行次和內(nèi)容，用于定位數(shù)據(jù)行及單元格提供下載全部錯(cuò)誤信息的功能可按照不同的錯(cuò)誤類型，查找錯(cuò)誤信息，且錯(cuò)誤信息分用戶權(quán)限進(jìn)行查看12補(bǔ)錄數(shù)據(jù)查詢及下載功能描述：如果用戶有下載權(quán)限，系統(tǒng)按照期間和有權(quán)限的數(shù)據(jù)進(jìn)行導(dǎo)出選擇期間和權(quán)限范圍，點(diǎn)擊導(dǎo)出數(shù)據(jù)，選擇存儲(chǔ)位置，將數(shù)據(jù)表導(dǎo)出到Excel可按照上傳時(shí)間進(jìn)行數(shù)據(jù)下載13調(diào)度后臺(tái)數(shù)據(jù)ETL處理鏈路用戶在不依賴IT人員介入的情況下，通過web頁面調(diào)用后臺(tái)處理流程，可按照用戶權(quán)限、輸入不同的參數(shù)觸發(fā)后臺(tái)數(shù)據(jù)處理鏈路，完成數(shù)據(jù)處理過程后臺(tái)數(shù)據(jù)鏈路處理完成后，會(huì)反饋運(yùn)行狀態(tài)信息，并記錄上次操作時(shí)間及操作人通過調(diào)用ETL工具發(fā)布的Webservice服務(wù)實(shí)現(xiàn)對數(shù)據(jù)處理流程調(diào)度的功能，目前比較匹配度較高的ETL工具為ODI14此功能為附加功能，為完成數(shù)據(jù)集成調(diào)度，不屬于數(shù)據(jù)補(bǔ)錄和映射維護(hù)等主要功能模塊用戶審計(jì)線索及操作日志管理記錄用戶在平臺(tái)做的所有操作做記錄，管理員可查詢所有用戶的操作信息，根據(jù)用戶不同權(quán)限，可查詢看的錯(cuò)誤日志范圍不同?？砂凑詹僮黝愋突蚰０迕Q進(jìn)行精確查詢151數(shù)據(jù)管理平臺(tái)整體架構(gòu)及部署方式2 數(shù)據(jù)管理平臺(tái)應(yīng)用解決方案316應(yīng)用模塊功能介紹用戶管理及用戶權(quán)限機(jī)制性能評估及測試數(shù)據(jù)備份及恢復(fù)策略數(shù)據(jù)管理平臺(tái)實(shí)施策略和運(yùn)維機(jī)制用戶安全機(jī)制管理用戶在PC端通過瀏覽器訪問數(shù)據(jù)管理平臺(tái)用戶在登錄界面輸入用戶名和密碼通過校驗(yàn)之后成功登錄到數(shù)據(jù)管理平臺(tái)用戶初始登錄需要強(qiáng)制修改密碼并且校驗(yàn)密碼強(qiáng)度最低8位（包含符號、字母、數(shù)字、大小寫）密碼輸入錯(cuò)誤3次系統(tǒng)鎖定當(dāng)前登錄用戶，需要聯(lián)系管理員同時(shí)可對接企業(yè)統(tǒng)一認(rèn)證管理平臺(tái)，實(shí)現(xiàn)統(tǒng)一認(rèn)證登錄，用戶信息統(tǒng)一管理17用戶權(quán)限管理對功能、數(shù)據(jù)設(shè)置不同層次的用戶權(quán)限，確保安全性用戶組的方式分配權(quán)限，使權(quán)限管理更加清晰用戶可分組管理，并對用戶組賦予權(quán)限用戶權(quán)限可復(fù)制，權(quán)限可細(xì)分到功能權(quán)限（操作菜單、模板權(quán)限）數(shù)據(jù)權(quán)限（數(shù)據(jù)輸入、下載）組織元數(shù)據(jù)（輸入、查詢、無）用戶分組管理營銷費(fèi)用組大數(shù)據(jù)平臺(tái)積分商品管理外部訂單導(dǎo)入數(shù)據(jù)權(quán)限組功能權(quán)限組輸入、查詢、下載輸入、查詢、下載菜單/模板權(quán)限配置模板1模板2模板3…..菜單/模板權(quán)限配置模板1模板2模板3…..18單點(diǎn)登錄認(rèn)證用戶認(rèn)證集成– 統(tǒng)一域認(rèn)證的用戶登錄模式– 可直接登錄數(shù)據(jù)管理平臺(tái)，也可通過AD集成單點(diǎn)登錄– 可在其他應(yīng)用系統(tǒng)嵌入U(xiǎn)RL實(shí)現(xiàn)點(diǎn)擊后跳轉(zhuǎn)到數(shù)據(jù)管理平臺(tái)數(shù)據(jù)管理平臺(tái)AD認(rèn)證系統(tǒng)單點(diǎn)登錄Token用戶登錄Token驗(yàn)證Token驗(yàn)證SAML2.0協(xié)議19用戶權(quán)限架構(gòu)擴(kuò)展USER1(一級用戶)可管理所屬用戶的權(quán)限，并繼承所屬用戶權(quán)限用戶A二級用戶，可擁有平臺(tái)具體的操作權(quán)限用戶B二級用戶，可擁有平臺(tái)具體的操作權(quán)限用戶C二級用戶，可擁有平臺(tái)具體的操作權(quán)限所屬功能權(quán)限上傳下載錯(cuò)誤日志查看所屬單體及模板權(quán)限公司：HH01模板組：營運(yùn)1組所屬功能權(quán)限1.上傳查看操作記錄查看公司：HH02模板組：大數(shù)據(jù)平臺(tái)組所屬單體及模板權(quán)限所屬功能權(quán)限上傳下載模板配置映射管理所屬單體及模板權(quán)限公司：HH03模板組：分銷平臺(tái)組如圖，對用戶權(quán)限進(jìn)行了分級管理，細(xì)化權(quán)限控制，極大提升數(shù)據(jù)的保密性和平臺(tái)的穩(wěn)定性一級用戶可對下屬用戶用戶擁有下屬用戶的所有權(quán)，用戶所屬權(quán)限記性靈活配置同時(shí)A、B、C用戶平臺(tái)實(shí)際操作權(quán)限，可操作的數(shù)據(jù)范圍受所屬權(quán)限控制管理員201數(shù)據(jù)管理平臺(tái)整體架構(gòu)及部署方式2 數(shù)據(jù)管理平臺(tái)應(yīng)用解決方案321應(yīng)用模塊功能介紹用戶管理及用戶權(quán)限機(jī)制性能評估及測試數(shù)據(jù)備份及恢復(fù)策略數(shù)據(jù)管理平臺(tái)實(shí)施策略和運(yùn)維機(jī)制系統(tǒng)交互方式分解，性能評估分析數(shù)據(jù)倉庫平臺(tái)資料庫Web服務(wù)用戶量大壓力集中在web服務(wù)層面，多用戶并發(fā)請求頁面登陸用戶量大壓力集中在數(shù)據(jù)倉庫導(dǎo)入臨時(shí)表，數(shù)據(jù)校驗(yàn)關(guān)聯(lián)映射關(guān)系，映射校驗(yàn)數(shù)據(jù)導(dǎo)入導(dǎo)出用戶量小單一進(jìn)程執(zhí)行DML操作。入庫配置化第三方集成映射導(dǎo)入導(dǎo)出用戶權(quán)限管理用戶量大壓力集中在數(shù)據(jù)倉庫，批量寫入、查詢或?qū)С鲇脩袅啃∽x寫平臺(tái)資料庫用戶量小/中讀寫平臺(tái)資料庫數(shù)據(jù)管理平臺(tái)的應(yīng)用服務(wù)器是基于J2EE服務(wù)器進(jìn)行開發(fā)，采用B/S架構(gòu)構(gòu)建；基于Java語言的數(shù)據(jù)管理平臺(tái)系統(tǒng)，遵從SPECjbb2005性能指標(biāo)開發(fā)；22性能測試示例測試環(huán)境：服務(wù)器：windows

2012（虛擬機(jī)）內(nèi)存：14GCPU:雙核，1.8GHz網(wǎng)絡(luò)：測試環(huán)境內(nèi)網(wǎng)測試文件：文件格式：Excel字段數(shù)量：13行數(shù)：100000文件大?。?MB加載方式：通過Excel模板文件加載到數(shù)據(jù)庫耗時(shí)：2-3min

左右231數(shù)據(jù)管理平臺(tái)整體架構(gòu)及部署方式2 數(shù)據(jù)管理平臺(tái)應(yīng)用解決方案324應(yīng)用模塊功能介紹用戶管理及用戶權(quán)限機(jī)制性能評估及測試數(shù)據(jù)備份及恢復(fù)策略數(shù)據(jù)管理平臺(tái)實(shí)施策略和運(yùn)維機(jī)制備份恢復(fù)策略數(shù)據(jù)管理平臺(tái)服務(wù)器數(shù)據(jù)庫服務(wù)器（資料庫）服務(wù)環(huán)境備份與恢復(fù)方法1：備份：異地保存數(shù)據(jù)管理平臺(tái)程序包、環(huán)境所需的配置文件；恢復(fù)：當(dāng)需要恢復(fù)時(shí)，遷移至任何環(huán)境進(jìn)行安裝部署調(diào)試。方法2：25

備份：生產(chǎn)環(huán)境網(wǎng)段中搭建一臺(tái)備用機(jī)，設(shè)置與生產(chǎn)機(jī)的共享磁盤，將系統(tǒng)文件、日志等信息安裝至共享磁盤，安裝部署調(diào)試完畢，不啟動(dòng)服務(wù)；(也可以啟動(dòng)服務(wù)，作為高可用節(jié)點(diǎn)備用）恢復(fù)：修改服務(wù)器IP（設(shè)置域名登陸數(shù)據(jù)管理平臺(tái)則無需修改），啟動(dòng)服務(wù)。數(shù)據(jù)資料庫備份與恢復(fù)備份：數(shù)據(jù)庫導(dǎo)出成文件，保存至異地或共享磁盤進(jìn)行備份；恢復(fù)：數(shù)據(jù)庫備份文件導(dǎo)入。1數(shù)據(jù)管理平臺(tái)整體架構(gòu)及部署方式2 數(shù)據(jù)管理平臺(tái)應(yīng)用解決方案326數(shù)據(jù)管理平臺(tái)實(shí)施策略和運(yùn)維機(jī)制實(shí)施方工作量實(shí)施方參與度客戶方負(fù)責(zé)人客戶參與度產(chǎn)品安裝2人天100%IT管理員20%產(chǎn)品培訓(xùn)3人天100%IT管理員100%補(bǔ)錄模板配置0.5人天100%IT管理員100%映射模板配置0.5人天100%IT管理員100%主數(shù)據(jù)校驗(yàn)0.5人天100%IT管理員100%數(shù)據(jù)校驗(yàn)0.5人天100%IT管理員100%用戶管理0.5人天100%IT管理員100%集成鏈路管理0.5人天100%IT管理員100%技術(shù)支持5人天1個(gè)月內(nèi)，非定期支