綜合資源數據處理培訓課程

Inspurgroup綜合資源數據處理培訓資料2023/11/19三、智能校驗二、資源自動采集目錄四、傳輸數據處理一、數據維護2023/11/19

如果網絡從來不變化，那么所有網管系統(tǒng)都將獲得成功！然而，世界是永恒運動的，中國移動的網絡更是如此。。。唯一不變的是變化，只有變化才真正表達價值！1〕資源本身的增減2〕資源名稱屬性的變化3〕資源關聯關系屬性的變化4〕資源統(tǒng)計屬性的變化5〕資源狀態(tài)屬性的變化網絡割接調整網絡擴容網絡優(yōu)化網絡管理和分析的變化和深入1〕資源新增2)資源關聯關系屬性的變化3〕父資源統(tǒng)計屬性的變化1〕資源特征屬性的變化2〕資源統(tǒng)計屬性的變化3〕資源狀態(tài)屬性的變化1〕資源特征屬性的變化2〕資源統(tǒng)計屬性的變化3〕邏輯資源的調整和變化即便網絡不動，倘假設對網絡的分析和管理發(fā)生了變化，資源屬性也會發(fā)生變化！資源管理系統(tǒng)如何應對不斷變化的網絡，保證數據的準確和及時?數據維護-概述2023/11/19不像一些純IT系統(tǒng)，資源管理系統(tǒng)的建設和運轉，在很大程度上依賴于各級管理和維護人員的支持和投入；因此，必須通過技術手段和管理手段相結合，實現生產力和生產關系的統(tǒng)一管理手段： 資源的命名標準 資源數據的靜態(tài)錄入和變更管理 資源調度流程 資源數據質量的管理考核 資源管理系統(tǒng)的應用推廣 資源管理系統(tǒng)建設的組織保證技術手段： 資源數據模型的管理維護 資源的自動發(fā)現 資源數據的動態(tài)采集更新 資源數據的歷史管理 對資源共享應用的技術支持技術手段是根底，管理手段是核心，相互依賴數據維護-概述2023/11/19eOMS工單調度執(zhí)行網絡調整維護人員主動更新資源配置信息網管系統(tǒng)自動發(fā)現變化維護人員根據提示確認網絡變化并填補數據資源數據庫網絡調整完成主動維護被動維護割接/擴容/搬遷/升版/局數據修改/其他數據維護-維護方式2023/11/19數據維護-資源系統(tǒng)數據維護為了保證資源數據的準確性和及時性，數據維護采取手工維護和自動采集相結合的方式。手工維護方式簡潔、便于操作，批量導入導出功能，操作方便，能有效保證導入數據的準確性和導出數據的完整性。通過定制自動采集，可以對資源屬性進行自動采集更新。每一次的自動采集都有日志記錄，以查看資源數據采集情況。采集失敗的任務可以執(zhí)行數據補采，以確保某一周期內資源數據的準確性、完整性。為滿足網絡資源完整性的需要，智能校驗管理功能，對違反完整性規(guī)那么的網絡資源以列表形式呈現。2023/11/19數據維護-資源系統(tǒng)維護范圍話務網：TDM交換機、軟交換、BSC、HLR、BTS、CELL、直放站、室內分布系統(tǒng)、應急通信車、中繼端口、信令終端、信令路由、信令鏈路組、中繼群；

信令網：STP；

數據網：GGSN、SGSN、PCU、GPRSVPN業(yè)務、CDS、路由器、交換機、防火墻；

傳輸網：傳輸網元、通道、通道時隙、段、傳輸子系統(tǒng)、通道路由、PTP、CTP；

智能網：SMP、SCP、SSP、VC、AIP、VRS、VRB、網路設備；

短消息：短消息中心、短消息網關；

客服：客服中心、交換機設備、計算機設備；

配套設備：交換配套設備、基站配套設備、其他配套設備；

備品備件；

網管設備：網管效勞器〔即OMC〕、網管工作站、操作維護終端；

硬件資源：機架、機框和單板；

空間資源：局站和機房；2023/11/19

數據庫資源管理RMS多種錄入方式減少手工錄入工作量，同時提高數據的準確性既可以批量錄入，又可以單個對象錄入已有數據批量錄入Excel導入工具手工采集客戶端工具手工錄入已有數據新增數據數據維護主要途徑database中間數據庫自動采集遵循集團接口標準DB轉換工具網元直連其它系統(tǒng)統(tǒng)一接入平臺OMC采集數據維護輔助途徑變更流程管理工程狀態(tài)管理割接流程管理灰名單管理數據有效性校驗短信維護通知資源預警通知數據維護流程2023/11/19三、智能校驗二、資源自動采集目錄四、傳輸數據處理一、數據維護2023/11/19資源自動采集-采集流程

數據采集及處理大致可以分為數據采集〔形成標準文件〕、數據分析〔PERL分析〕、數據入庫〔LOAD入庫〕和數據匯總〔SQL〕四個步驟。采集歸一化處理DB/網元/OMC入原始表數據提取和關聯DB2023/11/19數據流轉流程圖通過采集系統(tǒng)生成以文件為載體形式的數據原始數據庫（分廠商）PERL分析經過處理的原始數據庫（區(qū)分廠商）需特殊處理的數據導出PERL對導出數據處理變更流程正式庫其它上層應用2023/11/19通過采集系統(tǒng)將數據以文件的形式采集下來以后，系統(tǒng)通過PERL進行分析，通過任務定制程序根據調度時間自動調用腳本對數據進行分析、入庫、匯總。及時反映網管信息。程序在UNIX系統(tǒng)環(huán)境下運行，以SHELL腳本的方式實現各流程的調用。通過PERL腳本實現數據分析。通過SHELL+SQL實現數據的入庫，通過SQL語句實現匯總。最終完成數據的展現，及時反映現網情況。

數據接入流程概述2023/11/19一、命令方式采集該采集方式為目前較為常用的采集方式，具有數據時效性高，準確性好的特性。由于我們直接從交換機獲取數據，減少了中間數據流轉的流程，數據的可信任程度比較高，這種數據獲取方式也是我們首選的采集種類。但是，由于此種采集方式直接與交換機交互，如有誤操作可能對交換機造成不可逆轉的影響。所以如要使用此種方式采集，應在用戶許可的前提下，通過特定賬戶，在特定時間內使用指定命令進行數據采集。此種采集方式的原理為登陸交換機發(fā)送特定命令后，交換時機反響相應信息在屏幕上，且當反響接收后不同廠商會有特定的命令結束標志。根據不同標志拷貝屏幕并保存為文本文件以供系統(tǒng)分析使用。目前可以通過采集調度系統(tǒng)或者我們自己編寫的PERL工具來配置信息獲取文件。數據采集的種類2023/11/19資源自動采集-集中代理集中代理給登陸代理系統(tǒng)的用戶提供了一個風格、模式統(tǒng)一的操作維護平臺，使用戶擺脫網元的IP地址、端口號、用戶名、密碼等登陸參數及煩瑣登陸步驟的限制。集中日志，所有登陸用戶的操作維護活動都被同步記錄到日志文件中和數據庫中，以備事后監(jiān)督使用。集中鑒權，可按平安管理模塊配置權限情況控制用戶可登陸哪一個網元，在山東移開工程更實現了命令級的鑒權，即可以控制用戶在具體網元上可發(fā)送哪些命令。用戶活動跟蹤，可讓高級用戶實時監(jiān)控其他用戶在網元上的活動〔監(jiān)控所發(fā)命令和返回數據〕，在必要時可以殺掉該用戶，保證網元完全。消息互通，登陸用戶可以在代理系統(tǒng)上互相發(fā)送文本消息，完成交互功能。不但可滿足操作維護工作，還可支持“集中采集程序getfile_proxy〞完成資源管理、局數據、網元巡檢等模塊的數據采集工作。2023/11/19集中化的數據采集程序，依托代理系統(tǒng)proxy，仿真普通的代理系統(tǒng)用戶工作。適合于能提供命令行方式的操作維護接口的設備，使用命令交互方式〔即發(fā)采集命令，接收返回數據〕實現數據采集工作。不但可用于資源管理數據的采集，還可用于局數據、網元巡檢等方面的數據采集，目前這三局部的數據都由該程序實現。一般在調度系統(tǒng)的驅動下運行，自動完成數據采集工作。也可以用手工方式運行，運行格式如下:getfile_proxy–nename<ne>-cmdid<ID>-sessid<ID>-outdir<DIR>-cmdstr“[命令字符串]〞。通過標準輸出報告采集任務完成與否。資源自動采集-集中代理程序2023/11/19二、數據庫方式采集此種采集方式為湖南、貴州及聯通一些運營商較為常用。尤其涉及多廠商配合建設資源的情況〔例如：貴州底層采集由億陽負責，上層應用由浪潮負責〕。這時數據庫的采集方式便成了最適宜的跨系統(tǒng)數據傳輸平臺。經過多年建設，我們此種采集方式系統(tǒng)已涵蓋了INFORMIX、ORACLE、SYBASE三種比較常用的數據庫，且完善形成了工具性的采集系統(tǒng)。通過配置相應信息便可完成數據采集。這種工具在后面的常用工具一章中會詳細解釋。使用此種采集方式應注意兩點問題：1、采集應給底層數據準備留出足夠時間，防止底層數據還在生成過程中便啟動采集造成鎖表。2、采集應在保證不鎖表的前提下盡量提前，給資源匯總留出足夠時間。數據采集的種類2023/11/19三、文件方式采集文件大致分為四種：文本文件、DB數據庫文件、XML文件、EXCEL文件。此種采集方式為三種方式中相對簡單的一種，通常與FTP或SMBClient配合使用，需要注意的是SMBClient為跨系統(tǒng)文件系統(tǒng)訪問接口〔例如UNIX系統(tǒng)訪問Windows系統(tǒng)文件〕，需要在UNIX系統(tǒng)下以root用戶相應配置才能生效。而且在文件分析時需要安裝相應的PERL模塊方可識別不同的文件格式。使用時注意兩點：1、過期歷史文件的垃圾刪除功能。2、文件的互斥訪問功能〔防止文件生成過程中被獲取過來，造成數據喪失〕。目前遼寧傳輸資源數據的采集就是通過文件方式實現，數據文件由直真采集并放到浪潮相應的文件目錄下，數據分析和入庫由浪潮來處理。數據采集的種類2023/11/19資源自動采集-采集策略

通過采集任務管理平臺來實現資源數據的自動采集、手工補采、采集任務監(jiān)控、采集任務調度，通過任務定制界面將該采集任務保存到數據庫中，通過任務調度完成數據庫中該任務的調度解析，最后通過集中代理完成命令自動定時采集。2023/11/19資源自動采集-采集任務查詢2023/11/19按方案查詢：資源自動采集-采集任務查詢2023/11/19按任務查詢：資源自動采集-采集任務查詢2023/11/19按網元查詢：資源自動采集-采集任務查詢2023/11/19按采集結果查詢：資源自動采集-采集任務查詢2023/11/19資源自動采集-手工調度能被手工調度的元任務實例需要滿足一定條件。不滿足調度的原因會右面用紅色標記出。未運行〔正在運行的元任務實例不能被調度〕；已激活〔未激活的元任務實例不能被調度〕；未調度〔已手工調度但還未被執(zhí)行的元任務實例不能被調度〕；調度次數不超過2次〔調度次數超過2次的元任務實例不能被調度〕。2023/11/19選中要手工調度的元任務實例，點擊手工執(zhí)行按鈕，出現時間設置輸入框，輸入調度時間〔也可以默認〕，點擊確定按鈕。資源自動采集-手工調度2023/11/19出現設置成功提示頁面，說明手工調度設置完成。資源自動采集-手工調度2023/11/19采集系統(tǒng)的產出物必定為以文件為載體的數據。但文件的命名必須有一定的標準。文件名包含多種信息，以“＃〞分隔。形式為：網元類型＃廠商標識＃網元名字＃命令標識＃采集時間＃進程號＃是否成功標識.src其中是否成功標識0代表采集成功，1代表采集失敗。采集時間精確到秒。例如：為什么以此種方式命名？一、此種命名方式可以唯一確定一個最小粒度的命令，以上面說明為例，文件給出了我們這樣的信息：該文件為向西門子命名為“MSC1〞的MSC網元發(fā)送命令標識為“statmp〞的命令生成的數據文件，文件采集時間為2007年8月4日3點整，采集結果為成功。一目了然。二、此種命名方式方便系統(tǒng)自動判斷文件入庫的表名稱。在后面的文件入庫章節(jié)中將會講到。采集系統(tǒng)產出物2023/11/19我們知道，經系統(tǒng)采集下來的文件格式是千奇百怪的，沒有一個統(tǒng)一的格式，但如果我們想將這些數據做入庫操作，那就需要規(guī)定一個統(tǒng)一的格式，方便數據庫入口命令〔例如：SQLLDR、LOAD命令〕將文件中的數據讀取到數據庫中。文件分析系統(tǒng)做的就是這樣的工作：調用PERL解析文件，形成可以入庫的文件樣式。即：以豎線作為分隔的數據形式。例如：西門子STATTRUNK命令文件經過解析后形成如下文件內容：MSC3|BSS5|961|33-1|33|1|TRUNK|BW|0-47-1-1|0|47|1|1|MOBB|2021-01-0112:00:00|其中藍色局部為數據內容，通過PERL程序將有意義的數據以特定的順序提取出來，這個順序還是用來建立數據庫表結構的依據。紅色局部為局號，從文件名中獲取，用來標識該數據屬于哪一臺交換機?！矓祿霂斓臅r候還被用來作為數據平安刪除的依據〕。位于數據的第一列，對應數據庫表的第一個字段“nename〞。粉色局部為數據獲取時間，從文件名中獲取，用以在系統(tǒng)中標識數據的采集、更新時間。位于數據的最后一列，對應數據庫表的最后一個字段“time_stamp〞。完成分析的文件將會在原文件名的根底上增加“.db〞后綴，以告訴系統(tǒng)，此文件已經分析完畢，可以進行入庫操作。系統(tǒng)在發(fā)現.db文件后，將會調用入庫子程序自動將文件入庫并保存入庫日志，方便查錯。思考：文件分析是否可以同時分析多個文件？？有何風險？？文件分析2023/11/19文件入庫是一個數據準備的過程，原始數據完成入庫后便可以在此根底上為正式數據的數據匯總做底層支持。在分析系統(tǒng)完成對原始文件的分析形成“db〞文件后，入庫腳本將文件入庫的過程是智能的。即：腳本自動根據文件名組合出該文件需要入哪一張表。原始表命名標準為：廠商縮寫_網元類型_命令標識。例如：文件經過分析后將入原始數據庫中的nok_bsc_zeei表中。并且在入庫前系統(tǒng)自動刪除該網元的老數據。即：在表中nename值為LC_BSC13的數據。以保證數據的及時性。流程如下：入庫程序拿到“.db〞文件后自動組合表名“nok_bsc_zeei〞；其次系統(tǒng)從文件名中得知該文件是網元“LC_BSC13〞的數據，那么系統(tǒng)自動尋找表中“nename〞值為“LC_BSC13〞的數據執(zhí)行刪除操作；最后系統(tǒng)將db文件中的數據讀入表中完成數據入庫。需要注意一點：文件在入庫過程中表是鎖定的，此時應注意進程保護，否那么將會由于鎖表造成入庫失敗。思考：nok_bsc_zeei表的結構大致應是什么樣子？？文件入庫2023/11/19要完成數據匯總有兩個必要條件：一、模型調研：與系統(tǒng)實際使用方確認模型，用戶關心那些網元，網元中比較關心哪些指標，上層應用需要用到哪些指標。這些調研清楚之后將模型固化到系統(tǒng)中。也就是我們所說的正式表，用以頁面展現。二、算法調研：模型中每一個字段需要用到什么命令采集，對應命令中哪一局部，是否需要多個命令關聯展現，多個命令之間如何關聯〔數據庫、文件方式大同小異〕。調研清楚之后將每個命令配置到采集系統(tǒng)中將文件采集下來分析入庫，對應我們所說的原始庫。最終將復雜的業(yè)務關聯關系固化到資源系統(tǒng)的原始庫與正式庫的數據庫語句關系，從而實現將復雜算法固化到系統(tǒng)中完成數據匯總的目的。原始庫與正式庫實現比較時的三種情況：1、新增：插入正式表；2、刪除：從正式表中將未采集到的數據刪除；3、更新：正式表中某幾個屬性發(fā)生變化，更新正式表。這一點請各位同事注意，在今后的灰名單章節(jié)中將說明此三種情況對灰名單的影響。該局部從技術角度上說是最簡單的一層，單純使用SQL語句就可以完成匯總，但從業(yè)務角度上說，這里面包含了太多復雜的算法知識，需要日積月累的專業(yè)知識方可實現開發(fā)、維護。感興趣的同事可以在今后的工作中多接觸一下這方面的知識。SQL使用本卷須知：1、臨時表的使用。2、索引的使用。3、exists、in、notin的區(qū)別。數據匯總2023/11/19某些情況下，原始的表數據可能無法滿足匯總要求，這時就需要在原始數據的根底上用PERL進行二次分析，將數據處理成滿足匯總條件的格式，重新插入新的表中以備數據匯總只用。二次數據也就應運而生。例如：在匯總小區(qū)臨區(qū)列表時要求將相鄰小區(qū)以逗號分隔，更新到一個字段中。而原始文件采到的數據卻是多條記錄，這時就需要將這多條記錄導出壓縮成一條數據并以逗號分隔，以到達匯總需求。缺點：1、頻繁導入、導出操作減慢了系統(tǒng)運行速度。2、過多的操作增加了故障幾率。例如：鎖表、進程將死。解決思路：這對業(yè)務要求一定的了解，在文件分析時提早預見到所需數據的格式，必要時可以一個文件分析成多個db文件，分別到達不同的匯總要求。防止無謂的導入導出操作。數據導出后的二次處理2023/11/19三、智能校驗二、資源自動采集目錄四、傳輸數據處理一、數據維護2023/11/192023/11/19智能校驗為了保證網絡資源的完整性和準確性，智能模型校驗功能將不符合業(yè)務規(guī)那么的數據發(fā)現，放入灰名單庫，通過短信、灰名單滾動提示、告警呈現、告警自動派發(fā)工單等多種途徑提示維護人員及時維護數據，最大程度地實現資源數據的智能檢錯、糾錯，提升資源數據的智能化管理程度和準確性管理。智能模型校驗是根據定義好的校驗規(guī)那么對資源數據的合法性進行核查，分為智能校驗規(guī)那么定義、資源數據智能校驗、短信發(fā)送、灰名單數據處理。2023/11/19在數據匯總章節(jié)中我們曾經介紹過原始庫與正式庫實現比較時的三種情況，那現在請各位同事想一下，在做數據刪除操作時如果由于采集原因造成采集文件為空是否會造成正式庫的數據喪失？？灰名單功能正是在這種背景下開發(fā)出來的。在數據連續(xù)幾天采集不到的情況下，可以認為數據為退網數據，此時系統(tǒng)并不做刪除操作，而是提交為維護人員進行確認，待確認后進行刪除操作。當數據發(fā)生變化時，還可以提供數據比照功能，讓維護人員及時了解到變化前后數據的變化過程。灰名單相當于底層數據的一個上層應用，為歷史數據比照的一個應用實例。它的正常運行必須基于底層數據的正常匯總?；颐麊喂δ?023/11/19智能校驗-校驗規(guī)那么

校驗規(guī)那么包括：連續(xù)多日未采集到數據連續(xù)5日未采集到的基站、小區(qū)、中繼端口、單板數據，那么為異常數據。基站配套設備校驗基站配套設備中的所屬基站在基站中不存在，那么配套設備數據為異常數據。話務網BTS中，基站ID以G、N、H、Z開頭并且“是否一體化、邊界背靠背基站〞屬性為否的基站，去掉微蜂窩基站，統(tǒng)計基站個數。配套設備中的基站空調所屬基站數、基站蓄電池組所屬基站數、基站開關電源所屬基站數、基站機房數量應等于基站數，基站存在而沒有配套設備的那么為異常數據。單板狀態(tài)沖突同一個序列號的單板既存在與現網又存在與備件庫。2023/11/19智能校驗-校驗流程

2023/11/192023/11/19將校驗匯總模型校驗數據在首頁滾動顯示，直觀了解模型校驗數據，以便及時處理。智能校驗-灰名單滾動提示2023/11/19智能校驗-灰名單數據處理

2023/11/19網元集中備份是貴