海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運營管理中的運用

1、海量非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)在運營管理中的運用目錄2銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點及使用2規(guī)劃、設(shè)計、線上、近線、離線、下線、調(diào)閱、銷毀？結(jié)構(gòu)化數(shù)據(jù)是哪些，非結(jié)構(gòu)化數(shù)據(jù)是哪些，如何獲取？海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點與實現(xiàn)3銀行數(shù)據(jù)全生命周期管理-系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)設(shè)計階段落實數(shù)據(jù)管理：投產(chǎn)前明確數(shù)據(jù)管控手段：生產(chǎn)數(shù)據(jù)管理備份與歸檔：歷史數(shù)據(jù)調(diào)用分析使用：提出應(yīng)用系統(tǒng)數(shù)據(jù)管理規(guī)范定義應(yīng)用系統(tǒng)數(shù)據(jù)管理協(xié)議明確不同類型數(shù)據(jù)的管控手段定義控制維護使用明確各類數(shù)據(jù)的特性確定各類數(shù)據(jù)的存在環(huán)境系統(tǒng)及業(yè)務(wù)數(shù)據(jù)的采集方式設(shè)計各類數(shù)據(jù)的備份與恢復(fù)生產(chǎn)數(shù)據(jù)性能及容量管理生產(chǎn)數(shù)據(jù)的備份與歸檔數(shù)據(jù)在線、近線

2、、下線管理備份數(shù)據(jù)有效性驗證與管理系統(tǒng)數(shù)據(jù)監(jiān)控與分析業(yè)務(wù)數(shù)據(jù)的調(diào)用與登記業(yè)務(wù)數(shù)據(jù)的翻新與備份3銀行數(shù)據(jù)全生命周期管理目標(biāo)數(shù)據(jù)規(guī)劃數(shù)據(jù)生產(chǎn)數(shù)據(jù)管理數(shù)據(jù)使用- 數(shù)據(jù)特性識別- 使用規(guī)劃設(shè)計 - 備份需求確認- 使用周期確定- 技術(shù)手段落實-生產(chǎn)狀態(tài)監(jiān)控-運行趨勢分析-整體容量管理-歷史數(shù)據(jù)調(diào)閱-運營情況分析-業(yè)務(wù)創(chuàng)新支持數(shù)據(jù)管理- 在線生產(chǎn)數(shù)據(jù)監(jiān)控采集- 近線查詢數(shù)據(jù)歸檔處理- 離線歸檔數(shù)據(jù)備份分析- 數(shù)據(jù)分析結(jié)果綜合運用-數(shù)據(jù)采集管理-數(shù)據(jù)加工處理-備份計劃管理-備份操作執(zhí)行 -介質(zhì)歸檔管理-備份周期管理4 數(shù)據(jù)管理如何實現(xiàn) 哪些是結(jié)構(gòu)化數(shù)據(jù) 哪些是非結(jié)構(gòu)化數(shù)據(jù)銀行各類數(shù)據(jù)的產(chǎn)生、分布、狀態(tài)、用

3、途.基礎(chǔ)運行產(chǎn)生技術(shù)相關(guān)數(shù)據(jù)業(yè)務(wù)執(zhí)行產(chǎn)生動態(tài)與靜態(tài)數(shù)據(jù)信息操作安全賬務(wù)銀行單筆業(yè)務(wù)的執(zhí)行，引起整體架構(gòu)各層面產(chǎn)生各類關(guān)聯(lián)性數(shù)據(jù)審計安全事故故障單接入網(wǎng)絡(luò)服務(wù)器存儲規(guī)范發(fā)展變更管理虛擬化安全應(yīng)用應(yīng)用系統(tǒng)數(shù)據(jù)管理協(xié)議、日志輸出標(biāo)準(zhǔn)化.7業(yè)務(wù)標(biāo)識設(shè)計：為業(yè)務(wù)全程分析埋下“線索”、染色請求：請求發(fā)起端，超時、成功率連接網(wǎng)絡(luò)轉(zhuǎn)發(fā)、動態(tài)分配，后端狀態(tài)轉(zhuǎn)換快速轉(zhuǎn)接、轉(zhuǎn)換，是否有堵塞服務(wù)業(yè)務(wù)服務(wù)原子交易，速度、可靠短連接：資源共用、容量大、連接耗時，關(guān)注異常波動長連接：資源專用、效率高，關(guān)注超時及掛起狀態(tài)系統(tǒng)間會話業(yè)務(wù)流程單系統(tǒng)交易業(yè)務(wù)標(biāo)識：可用于故障定位、容量系數(shù)、業(yè)務(wù)分析.89銀行數(shù)據(jù)生命周期管理：從源頭

4、控制與實施q日志標(biāo)準(zhǔn)化l日志分類：應(yīng)用系統(tǒng)，應(yīng)將交易流水日志、系統(tǒng)debug日志，系統(tǒng)報錯日志l日志分級：各類日志應(yīng)設(shè)置級別控制，通過動態(tài)開關(guān)，控制日志寫出的粒度l日志格式：各類應(yīng)用日志，尤其是系統(tǒng)報錯日志，應(yīng)遵守統(tǒng)一的格式要求l日志傳輸：日志寫出并傳輸?shù)姆绞?，?yīng)采用全行統(tǒng)一的傳輸方式q 交易報文標(biāo)準(zhǔn)化l 統(tǒng)一交易標(biāo)識：全行統(tǒng)一的交易標(biāo)識，在多系統(tǒng)中傳輸，便于監(jiān)控和故障診斷l(xiāng) 報文加密策略：對中間件、應(yīng)用服務(wù)器的報文加密進行統(tǒng)一規(guī)定9 數(shù)據(jù)管理如何實現(xiàn) 哪些是結(jié)構(gòu)化數(shù)據(jù) 哪些是非結(jié)構(gòu)化數(shù)據(jù)A Composite Web Application, Involving J2EE, Integrat

5、ion Middleware and Legacy Systems 系統(tǒng)名稱系統(tǒng)名稱是否含有下列內(nèi)容是否含有下列內(nèi)容交易流水表交易流水表交易代碼交易代碼交易日期交易日期交易時間交易時間交易狀態(tài)交易狀態(tài)分類統(tǒng)計分類統(tǒng)計圖形化前端管理系統(tǒng)圖形化前端管理系統(tǒng)(GTS)(GTS)有有有有有有有有有有分行號分行號理財產(chǎn)品銷售系統(tǒng)（理財產(chǎn)品銷售系統(tǒng)（FUNDFUND）有有有有有有有有有有有有電子支付平臺（電子支付平臺（EPAYEPAY）有有有有有有有有有有無無外匯買賣系統(tǒng)（外匯買賣系統(tǒng)（EXCHEXCH）有有有有有有有有有有無無動態(tài)口令集中認證管理平臺動態(tài)口令集中認證管理平臺(OPT)(OPT)有有有有有

6、有有有有有渠道渠道現(xiàn)金管理系統(tǒng)（現(xiàn)金管理系統(tǒng)（CaMSCaMS）有有有有有有有有有有有有手機銀行（手機銀行（CEMBCEMB）有有有有有有有有有有登錄方式登錄方式短信平臺系統(tǒng)短信平臺系統(tǒng)(MSG)(MSG)有有有有在同一字段內(nèi)在同一字段內(nèi)有有運營商運營商貴金屬交易系統(tǒng)貴金屬交易系統(tǒng)(GOLD)(GOLD)有有有有有有有有有有無無核心業(yè)務(wù)系統(tǒng)（核心業(yè)務(wù)系統(tǒng)（ECASECAS）有有有有有有有有有有業(yè)務(wù)種類業(yè)務(wù)種類Call-CenterCall-Center系統(tǒng)系統(tǒng)(CCS)(CCS)有有有有有有有有有有交易種類交易種類總行大前置系統(tǒng)（總行大前置系統(tǒng)（EBIPEBIP）前置二期監(jiān)控實施中前置二期監(jiān)控

7、實施中總行中間業(yè)務(wù)平臺（總行中間業(yè)務(wù)平臺（EBMPEBMP）有有有有有有有有有有無無新網(wǎng)絡(luò)銀行系統(tǒng)（新網(wǎng)絡(luò)銀行系統(tǒng)（NBANKNBANK）有有有有有有有有有有交易渠道交易渠道基金托管系統(tǒng)基金托管系統(tǒng)(FTS)(FTS)有有有有有有有有有有有有第三方存管系統(tǒng)第三方存管系統(tǒng)(IFTS)(IFTS)有有有有有有有有有有交易渠道交易渠道企業(yè)年金系統(tǒng)（企業(yè)年金系統(tǒng)（EPAMSEPAMS）有有有有有有有有改造后有改造后有交易渠道交易渠道客戶信息統(tǒng)一管理系統(tǒng)客戶信息統(tǒng)一管理系統(tǒng)(ECIF)(ECIF)有有有有有有有有有有無無信貸風(fēng)險流程管理系統(tǒng)（信貸風(fēng)險流程管理系統(tǒng)（CECMCECM）有有有有有有無無有有無

8、無市場風(fēng)險管理系統(tǒng)市場風(fēng)險管理系統(tǒng)(SUMMIT)(SUMMIT)有有有有有有有有有有無無結(jié)構(gòu)化數(shù)據(jù)及其采集使用：交易流水. 數(shù)據(jù)管理如何實現(xiàn) 哪些是結(jié)構(gòu)化數(shù)據(jù) 哪些是非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)：運行產(chǎn)生的各類日志【靜態(tài)】運行過程中產(chǎn)生的各類日志為非結(jié)構(gòu)化特性數(shù)據(jù)輸入日志的結(jié)構(gòu)化程度很低日志的字段標(biāo)示等非標(biāo)準(zhǔn)化跨日志關(guān)聯(lián)性高，但搜索線索難以自動化日志生成的形式多種多樣（文件名不定）難以采集、歸檔、查詢非標(biāo)準(zhǔn)日志難以定期清理難以保證日志的完整性難以做上下文關(guān)聯(lián)分析網(wǎng)絡(luò)端口監(jiān)聽所有端口TCP/UDPsyslog, SNMP, IMAP, POP3, JMS計算機文件監(jiān)測運行的文件批量上傳文件網(wǎng)絡(luò)，應(yīng)

9、用，服務(wù)器和設(shè)備日志自定義腳本與APIs 可設(shè)定測試 WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell文件系統(tǒng) 監(jiān)測系統(tǒng)的變化 配置 密碼文件 關(guān)鍵性腳本與代碼13q XX系統(tǒng)應(yīng)用協(xié)議分析： WTC+SOP是基本結(jié)構(gòu)，SOP內(nèi)還封裝其他協(xié)議 封裝XML、封裝|分隔的key-value pair非結(jié)構(gòu)化數(shù)據(jù)：運行產(chǎn)生的網(wǎng)絡(luò)報文【動態(tài)】生產(chǎn)環(huán)境中的各類數(shù)據(jù)的關(guān)聯(lián)性、多樣性、復(fù)雜性目錄16銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點及使用2動態(tài)數(shù)據(jù)、靜態(tài)數(shù)據(jù)、結(jié)構(gòu)化、非結(jié)構(gòu)化、多層分布、邏輯相關(guān)運行監(jiān)控、趨勢

10、分析、容量管理、數(shù)據(jù)歸檔、查詢統(tǒng)計、運營分析海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點與實現(xiàn)3 數(shù)據(jù)分類及采集 日志類采集及使用 報文類采集及使用根據(jù)不同類型數(shù)據(jù)的特點，采取不同的技術(shù)手段l利用利用Hadoop、Storm等主流大數(shù)據(jù)技術(shù)，采等主流大數(shù)據(jù)技術(shù)，采集歸檔并分析海量非結(jié)集歸檔并分析海量非結(jié)構(gòu)化日志，可完成跨層構(gòu)化日志，可完成跨層面跨節(jié)點的多維度查詢面跨節(jié)點的多維度查詢與分析；與分析；l網(wǎng)絡(luò)報文為動態(tài)瞬時存在數(shù)據(jù)，采集、解讀、處理難度大，但數(shù)據(jù)為強客觀性，分析與利用價值高；網(wǎng)絡(luò)交易報文l利用GoldenGate等數(shù)據(jù)庫同步技術(shù)采集結(jié)構(gòu)化數(shù)據(jù)，實現(xiàn)離線狀態(tài)下實時交易性能分析；非結(jié)構(gòu)化日志離線交易流水監(jiān)控

11、預(yù)警運營分析業(yè)務(wù)支持18網(wǎng)絡(luò)交易報文采集u 交易協(xié)議標(biāo)準(zhǔn)、規(guī)范u 協(xié)議非加密u 網(wǎng)絡(luò)鏡像流量獲取方便u 網(wǎng)絡(luò)節(jié)點間交易監(jiān)控 應(yīng)用交易日志采集u 交易日志保存在文本文件中u 日志格式標(biāo)準(zhǔn)、規(guī)范u 對交易日志有歸檔查詢、故障診斷分析的需求交易流水鏡像采集u 交易流水內(nèi)容豐富u 交易流水信息保存在數(shù)據(jù)庫中 u交易流水表以Inset操作為主采集方式采集方式適用場景適用場景根據(jù)不同類型數(shù)據(jù)的特點，采取不同的技術(shù)手段19 數(shù)據(jù)分類及采集 日志類采集及使用 報文類采集及使用日志類數(shù)據(jù)采集：生產(chǎn)日志分析與監(jiān)控的需求日志類數(shù)據(jù)采集：日志關(guān)鍵字分析使用樣例日志類數(shù)據(jù)采集：非結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)化的使用 數(shù)據(jù)分類及采集 日

12、志類采集及使用 報文類采集及使用25網(wǎng)絡(luò)交換機流量交換機探針監(jiān)控服務(wù)器將流量通過網(wǎng)絡(luò)交換機鏡像端口鏡像到流量交換機流量過濾，報文拆分不影響網(wǎng)絡(luò)運行將二進制流轉(zhuǎn)換為可讀的Pcap包按照通訊協(xié)議和報文格式解包網(wǎng)絡(luò)交易報文采集分析實現(xiàn)原理25通過網(wǎng)絡(luò)報文分析、提前預(yù)警故障隱患q前置前置-Connex上海上海 前置前置-connex北京北京26通過網(wǎng)絡(luò)報文分析、觀察關(guān)鍵業(yè)務(wù)會話狀態(tài)業(yè)務(wù)分析、創(chuàng)新支持數(shù)據(jù)歸檔、查詢服務(wù)運行采集、容量管理估值預(yù)警、隱患分析綜合監(jiān)控、聚焦定位綜合采集使用日志+報文+數(shù)據(jù)庫28運行狀態(tài)綜合展現(xiàn)：觀測發(fā)現(xiàn)、聚焦定位、診斷分析服務(wù)臺視圖告警中心視圖告警大屏視圖交易視圖應(yīng)用關(guān)聯(lián)性視

13、圖交易詳情視圖交易路徑視圖資源使用視圖告警熱度圖會話性能視圖一線視圖二線視圖 通過各種視圖有效運用，能夠把監(jiān)控系統(tǒng)采集到的各類數(shù)據(jù)，展示給不同角色的用戶，在日常運維、重保值守，故障影響分析、故障定向定位等方面發(fā)揮重要作用。29系統(tǒng)容量數(shù)據(jù)采集：系統(tǒng)數(shù)據(jù)、應(yīng)用數(shù)據(jù)、交易數(shù)據(jù)31歷史數(shù)據(jù)綜合查詢：海量歸檔、轉(zhuǎn)結(jié)構(gòu)化、多維查詢32業(yè)務(wù)運行狀態(tài)分析：業(yè)務(wù)類型分布、業(yè)務(wù)類型趨勢用戶行為分析：操作行為、過程行為、結(jié)果選擇目錄34銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點及使用2采集與傳輸、歸檔與處理、查詢與統(tǒng)計、分析與展現(xiàn)、集成與運用采集的復(fù)雜性、傳輸?shù)目煽啃?、處理的高效性、結(jié)構(gòu)化能力.海量非結(jié)構(gòu)化

14、數(shù)據(jù)技術(shù)要點與實現(xiàn)335類型采集方式日志來源管理目標(biāo)歸檔周期過期處理備注syslogsyslogTCPsyslogUDP網(wǎng)絡(luò)采集，查詢，歸檔6個月銷毀記錄采集時間，日志發(fā)生時間。加工采集數(shù)據(jù)。防火墻webServerAPP服務(wù)器DBServerOracle-tracetailDB采集，查詢，歸檔，實時監(jiān)控6個月銷毀文本tailwebServer采集，查詢，歸檔，實時監(jiān)控12個月留存中間件應(yīng)用日志性能tailOVO采集，查詢，實時監(jiān)控1個月銷毀ITM事件tailOMNIBUS采集，查詢，實時監(jiān)控，歸檔6個月銷毀資產(chǎn)tail交易流水采集，查詢，實時監(jiān)控，歸檔12個月留存統(tǒng)一監(jiān)控平臺網(wǎng)絡(luò)報文tail

15、BPC采集，查詢，實時監(jiān)控，歸檔6個月銷毀WRT技術(shù)要點與實現(xiàn)架構(gòu)：明確數(shù)據(jù)對象、設(shè)計技術(shù)手段明確數(shù)據(jù)對象、設(shè)計技術(shù)手段 日志類采集技術(shù)要點 網(wǎng)絡(luò)報文采集技術(shù)要點 數(shù)據(jù)整體管理與展現(xiàn)p采集與傳輸：p采集：根據(jù)業(yè)務(wù)、運維、監(jiān)控、審計的需要，能夠按照關(guān)聯(lián)性、完整性、統(tǒng)計性等要求，采集各技術(shù)層面、各類生產(chǎn)環(huán)境、各中類型的生產(chǎn)日志；p傳輸：能夠?qū)⒉杉降母黝惾罩荆凑找螅ㄊ欠窨蓙G失），安全、穩(wěn)定、可靠的進行傳輸，傳送到日志采集服務(wù)器；p歸檔與查詢：p歸檔：將采集到的各類日志，按照系統(tǒng)、模塊、節(jié)點等架構(gòu)規(guī)則，采集時間、保存周期等周期規(guī)則，業(yè)務(wù)、系統(tǒng)等屬性規(guī)則，進行多維度歸檔與備份；p查詢：按照歸檔的多

16、維度屬性，能夠進行跨系統(tǒng)、跨節(jié)點、跨文件綜合查詢；p分析與使用：p分析：針對非結(jié)構(gòu)化數(shù)據(jù)，能夠完成各類邏輯分析（如：周期內(nèi)同一事件的發(fā)生次數(shù)、比例等）p使用：根據(jù)分析規(guī)則，能夠產(chǎn)生各類、各級報警信息，并集成到監(jiān)控系統(tǒng)，提供業(yè)務(wù)運行狀態(tài)實時數(shù)據(jù)及分析結(jié)果，提供業(yè)務(wù)運行特征分析結(jié)果；日志類數(shù)據(jù)采集關(guān)鍵技術(shù)要點虛擬設(shè)備VS 管道程序v開發(fā)和移植方面：管道兼容普通LINUX 及類UNIX 系統(tǒng)，而設(shè)備方式除了linux 通用外，每一個UNIX都是一套新的設(shè)備程序。v日志采集能力方面：設(shè)備方式可以采集任何寫入文件的日志，而管道方式只能采集 ”a+”(無文件則創(chuàng)建，有文件則追加) 文件。v日志采集范圍方面

17、：設(shè)備方式是一個設(shè)備可以采集該操作系統(tǒng)上所有應(yīng)用日志，而管道方式，每多一個日志文件，必須對應(yīng)多增加一個進程或線程來采集。在不修改應(yīng)用系統(tǒng)的情況下，采集各類日志：固定文件名、時間變量文件、名稱變量、路徑變化、目錄下新增日志.38虛擬設(shè)備日志采集方式開始記錄日志系統(tǒng)VFS日志文件設(shè)備控制信息 攔截write日志輸出設(shè)置攔截路徑開啟/關(guān)閉采集應(yīng)用虛擬設(shè)備配置控制程序攔截syslog控制其他相關(guān)設(shè)置管道程序采集日志方式開始打開日志文件(管道文件)寫入日志(管道文件)建立日志文件(管道文件)讀取日志文件(管道文件)日志輸出應(yīng)用管道程序讀取管道syslog采集系統(tǒng)Data-IPData-IP：日志文件全路

18、徑：日志文件全路徑Ip+地址Ip+地址MappingHadoop塊塊塊塊App標(biāo)識塊塊塊塊App標(biāo)識塊塊塊塊App標(biāo)識HDFS mr() NameNode/應(yīng)用1應(yīng)用2應(yīng)用3.日志的歸檔與索引大數(shù)據(jù)平臺-邏輯架構(gòu)Flume：是Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。42大數(shù)據(jù)平臺-邏輯架構(gòu)Kafka 是由 LinkedIn 開發(fā)，主要是用來處理 LinkedIn的大面積活躍數(shù)據(jù)流處理(activity strea

19、m)1. 可持久化消息2目標(biāo)是高流量處理3消費狀態(tài)信息并不保存在服務(wù)端，而是保存在消費端 4支持分布式。43大數(shù)據(jù)平臺-邏輯架構(gòu)Storm ：是一套分布式的、可靠的，可容錯的用于處理流式數(shù)據(jù)的系統(tǒng)。處理工作會被委派給不同的任務(wù)處理組件，每個組件負責(zé)一項簡單的、特定的處理任務(wù)。44大數(shù)據(jù)平臺-邏輯架構(gòu)Hadoop ：是一種可靠、高效、可伸縮的數(shù)據(jù)處理平臺。Hadoop 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數(shù)據(jù)。

20、此外，Hadoop依賴于普通的服務(wù)器，因此它的成本比較低。45 日志類采集技術(shù)要點 網(wǎng)絡(luò)報文采集技術(shù)要點 數(shù)據(jù)整體管理與展現(xiàn)確認應(yīng)用協(xié)議類型暫未支持的協(xié)議獲取協(xié)議規(guī)范理解應(yīng)用報文編碼和封裝方式等獲取樣本數(shù)據(jù)包逐一比對和驗證解碼已支持的協(xié)議修改配置文件實施開發(fā)解碼程序SOA中廣泛使用的協(xié)議：XML、SOAP、XML_over_TCP、Java序列化傳輸（RMI、Socket、EJB、JMS）、JSON、BSON等金融行業(yè)常用協(xié)議：8583類、IFX for ATM/POS、SNA、CICS(http封裝)、WAS(soap/jms)、WESB/WMB(soap/jms)、DB2_DRDA、Oracle TNS、CUPS、VISA、Mastercard、AE、JCB、三大運營商短信、Flexcube（核心銀行）、TATA Bancs（核心銀行）、FiServe（核心銀行）、先進數(shù)