煙草行業(yè)數(shù)據(jù)綜合分析應用解決方案

3 3 3 44.1、設計原則 44.2、設計思路 54.3、總體架構 6 65.1、整合內(nèi)容 6 7 7 95.3、數(shù)據(jù)應用 5.4、主要功能 22 5.4.4、圖表定制 245.1、企業(yè)報表 245.2、主題分析 25 整合決策3、無縫集成的應用桌面終端信息利用管理信息發(fā)布管理報表管理共掌數(shù)據(jù)采集系統(tǒng)數(shù)據(jù)源安全、標準規(guī)范體系維護運營規(guī)范體系原始數(shù)據(jù)區(qū)數(shù)據(jù)集市區(qū)移動終端數(shù)據(jù)來源主要為營銷系統(tǒng)、專賣系統(tǒng)、物流系統(tǒng)、財務系統(tǒng)、0A系統(tǒng)以及5.2、采集處理方式通過WebService機制項服務器傳遞消息；支持通過各類數(shù)據(jù)傳輸中間件進行消數(shù)據(jù)采集模數(shù)據(jù)加工處理數(shù)據(jù)采集模數(shù)據(jù)加工處理信息采集模塊5.2.1.2、技術實現(xiàn)數(shù)據(jù)利用數(shù)據(jù)利用數(shù)據(jù)中心共享數(shù)據(jù)庫采集方式數(shù)據(jù)源后現(xiàn)有多媒體文檔2、數(shù)據(jù)接口本系統(tǒng)采集通過建立數(shù)據(jù)□的方式與現(xiàn)有的營銷系統(tǒng)、專賣系統(tǒng)、物流系統(tǒng)、財務系統(tǒng)、0A系統(tǒng)以及其他業(yè)務系統(tǒng)進行數(shù)據(jù)采集，并將采集數(shù)據(jù)進行審核與加工處理。與此同時考慮到與新系統(tǒng)的整合，系統(tǒng)將預留數(shù)據(jù)交互模塊并建立數(shù)據(jù)交換機制，為新業(yè)務系統(tǒng)的接入提供準備。利用完善的ETL工具，通過節(jié)點控制庫、信息共享與管理庫把采集來的數(shù)據(jù)按照業(yè)務內(nèi)在關聯(lián)形成能夠表述完整業(yè)務鏈信息的整合信息，并為下一步的數(shù)據(jù)應用打定基礎。1、ETL工具介紹ETL負責將分散的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)。它是承前啟后的必要的一步。相對于關系數(shù)據(jù)庫，數(shù)據(jù)倉庫技術沒有嚴格的數(shù)學理論基礎，它更面向實際項目應用。所以從項目應用的角度來考慮，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對數(shù)據(jù)進行數(shù)據(jù)集市區(qū)展現(xiàn)與分析區(qū)(用戶)管理采購物流綜合展現(xiàn)系統(tǒng)購思域交換數(shù)據(jù)上報校驗數(shù)據(jù)中心各業(yè)務系統(tǒng)例層次上.糟糕的模式設計、缺少完整性約束的定義以及多個數(shù)據(jù)源之間異質的清洗工具就能夠根據(jù)這條規(guī)則判斷出哪些是無效值.對于第2種拼寫錯誤的情形，市名相比較，就可以判斷出數(shù)據(jù)庫中存放的本來應該是哪個城市.對于第3種情查找表.對于第4種情形，在一個自由格式的文本類每個部分都可以單獨作為一個字段.如果每個部分的先后順序一定，且互相之間情況往往不是這樣，因此要通過機器學習或者其他辦法來解決.由領域專家選定說，需要折衷考慮記憶率和準確率.我們將利用隱馬爾科夫模型(HMM)的解決辦法.第8種和第9種情形表示的是相似重復記錄的情況.在第8種情形里，一個記在檢測相似重復記錄之前，需要先對數(shù)據(jù)進行一些處理性別等.相似重復記錄清除可以針對兩個數(shù)據(jù)集或者一個合并后的數(shù)據(jù)集.首先，需最簡單的情況是，數(shù)據(jù)記錄具有這樣的屬性集(或者屬性),它總能夠惟一標們還考慮了字符串的縮寫形式并結合信息檢索的向量空間模型來定義文本元素在處理大的數(shù)據(jù)集時，匹配重復記錄是一個非常耗時的過程.因為是模糊匹5.3、數(shù)據(jù)應用文本數(shù)據(jù)從各類數(shù)據(jù)源(數(shù)據(jù)庫、數(shù)據(jù)倉庫、平面文件)中精心篩選出來的“黃金”析，支持TOPN/BottomN分析，支持2/8分析，支持源集成到一個一致的視圖中。為了實現(xiàn)這個目的，本工具會將公共描述符>客戶主題分析5.4、主要功能于192.0.2.3上的端口為8020的getData服務等。添加用戶姓名