校園網(wǎng)數(shù)據(jù)分析平臺(tái)建設(shè)與應(yīng)用探索

1、    校園網(wǎng)數(shù)據(jù)分析平臺(tái)建設(shè)與應(yīng)用探索    摘要：校園網(wǎng)運(yùn)行和管理是高校推動(dòng)教育信息化的重要組成部分。在校園網(wǎng)運(yùn)行管理方面，管理員需要綜合認(rèn)證計(jì)費(fèi)系統(tǒng)、網(wǎng)絡(luò)管理系統(tǒng)、出口流量管理系統(tǒng)和無線網(wǎng)管系統(tǒng)的數(shù)據(jù)，通過查找、定位、監(jiān)控，解決校園網(wǎng)運(yùn)行中存在的問題。文章基于上述校園網(wǎng)管理系統(tǒng)的數(shù)據(jù)，構(gòu)建了校園網(wǎng)運(yùn)行分析模型和平臺(tái)，并利用數(shù)據(jù)挖掘技術(shù)分析了校園網(wǎng)用戶的上網(wǎng)行為特點(diǎn)，為校園網(wǎng)管理部門在日常工作中優(yōu)化校園網(wǎng)絡(luò)服務(wù)、保障網(wǎng)絡(luò)安全提供了支持。關(guān)鍵詞：校園網(wǎng)，認(rèn)證計(jì)費(fèi)，無線網(wǎng)，數(shù)據(jù)分析，網(wǎng)絡(luò)安全基金項(xiàng)目：本文是賽爾網(wǎng)絡(luò)下一代互聯(lián)網(wǎng)技術(shù)創(chuàng)新項(xiàng)目（項(xiàng)目編號(hào)：ng

2、ii20180603）的研究成果。進(jìn)入“大數(shù)據(jù)”時(shí)代，如何收集數(shù)量大和種類齊全的數(shù)據(jù)，成為決定大數(shù)據(jù)分析質(zhì)量的關(guān)鍵問題。校園網(wǎng)的運(yùn)行質(zhì)量和維護(hù)速度，需要大量系統(tǒng)數(shù)據(jù)進(jìn)行支撐，校園網(wǎng)支撐的主要系統(tǒng)包括認(rèn)證計(jì)費(fèi)系統(tǒng)、網(wǎng)管系統(tǒng)（有線網(wǎng)與無線網(wǎng)）和核心出口設(shè)備數(shù)據(jù)。用戶關(guān)注個(gè)人上網(wǎng)情況，上網(wǎng)的賬單、時(shí)長(zhǎng)、流量和使用地點(diǎn)成為師生關(guān)注的焦點(diǎn)，通過分析和挖掘認(rèn)證計(jì)費(fèi)等系統(tǒng)，可以給學(xué)生提供一份完美的賬單。同時(shí)，對(duì)于網(wǎng)絡(luò)管理和運(yùn)維人員來說，校園網(wǎng)中軟件系統(tǒng)運(yùn)行情況和硬件設(shè)備運(yùn)行狀況的清晰、便利查看，成為一個(gè)痛點(diǎn)。通過分析網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)和硬件運(yùn)行情況，量化網(wǎng)絡(luò)運(yùn)行指標(biāo)，建立網(wǎng)絡(luò)運(yùn)行模型。主要包括：上網(wǎng)行為分析，即用

3、戶流量、人數(shù)、時(shí)長(zhǎng)和地點(diǎn)等綜合分析，為計(jì)費(fèi)策略提供依據(jù)；網(wǎng)絡(luò)運(yùn)行分析，主要通過統(tǒng)計(jì)核心設(shè)備和樓宇的帶寬，提供線路和設(shè)備優(yōu)化方案，即量化無線ap的利用率，提供無線ap的優(yōu)化方案，量化交換機(jī)的利用率，提供交換機(jī)的優(yōu)化方案；出口鏈路分析，即量化出口鏈路質(zhì)量和飽和度，為鏈路優(yōu)化提供依據(jù)。一、分析平臺(tái)功能1.集成網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)，梳理數(shù)據(jù)質(zhì)量針對(duì)認(rèn)證計(jì)費(fèi)系統(tǒng)數(shù)據(jù)庫(kù)、無線探針數(shù)據(jù)庫(kù)、校園網(wǎng)網(wǎng)絡(luò)設(shè)備運(yùn)行管理系統(tǒng)數(shù)據(jù)庫(kù)、校園網(wǎng)出口智能流量管理系統(tǒng)、校園網(wǎng)mrtg流量數(shù)據(jù)進(jìn)行數(shù)據(jù)梳理，基于標(biāo)準(zhǔn)化的數(shù)據(jù)模型實(shí)現(xiàn)數(shù)據(jù)集成，檢測(cè)數(shù)據(jù)質(zhì)量，提供數(shù)據(jù)接口。2.構(gòu)建數(shù)據(jù)分析模型，為分析決策提供支持在北京師范大學(xué)數(shù)據(jù)中心基礎(chǔ)上構(gòu)

4、建數(shù)據(jù)分析模型，提供信息檢索服務(wù)，并充分利用數(shù)據(jù)挖掘等手段，為學(xué)校領(lǐng)導(dǎo)、網(wǎng)絡(luò)與信息化建設(shè)領(lǐng)導(dǎo)和有關(guān)部門信息利用、數(shù)據(jù)監(jiān)控、數(shù)據(jù)評(píng)估和決策咨詢提供參考。3.建設(shè)信息展示平臺(tái)，提供個(gè)性化服務(wù)基于北京師范大學(xué)網(wǎng)絡(luò)分析實(shí)際需求，構(gòu)建信息展示平臺(tái)，用戶可根據(jù)個(gè)人愛好和需要任意設(shè)置和調(diào)整信息界面，使學(xué)校領(lǐng)導(dǎo)、網(wǎng)絡(luò)管理人員可以瀏覽到想要的、需要的和必需的所有信息。4.提供管理規(guī)范和管理工具，保障系統(tǒng)持續(xù)運(yùn)行逐步建立數(shù)據(jù)中心的日常維護(hù)和運(yùn)作保障機(jī)制，制定管理規(guī)范、技術(shù)規(guī)范、工作流程、服務(wù)章程等各項(xiàng)規(guī)章制度，提供數(shù)據(jù)審計(jì)、數(shù)據(jù)監(jiān)控工具，保障北京師范大學(xué)網(wǎng)絡(luò)行為監(jiān)控與分析平臺(tái)的持續(xù)運(yùn)行。二、分析平臺(tái)架構(gòu)網(wǎng)絡(luò)行為監(jiān)

5、控與分析平臺(tái)考慮到現(xiàn)有信息系統(tǒng)實(shí)際情況，采用b/s結(jié)構(gòu)、linux操作系統(tǒng)、oracle或mysql數(shù)據(jù)庫(kù)。開發(fā)技術(shù)要考慮跨平臺(tái)和兼容特性，采用j2ee標(biāo)準(zhǔn)、組件技術(shù)及在數(shù)據(jù)交換上對(duì)xml的支持，使系統(tǒng)功能最優(yōu)化，同時(shí)將整體系統(tǒng)內(nèi)部在技術(shù)上的相互依賴性減至最低。平臺(tái)架構(gòu)圖如圖1所示。圖1平臺(tái)架構(gòu)圖邏輯架構(gòu)包含四個(gè)層次，分別是網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)及相關(guān)數(shù)據(jù)源、數(shù)據(jù)加載etl、數(shù)據(jù)倉(cāng)庫(kù)dw與多維分析模型、數(shù)據(jù)展示平臺(tái)。其中，認(rèn)證計(jì)費(fèi)系統(tǒng)和兩套網(wǎng)絡(luò)管理系統(tǒng)數(shù)據(jù)及相關(guān)數(shù)據(jù)源層包括上網(wǎng)行為和設(shè)備終端運(yùn)行數(shù)據(jù)和各類業(yè)務(wù)數(shù)據(jù)，涵蓋校園網(wǎng)絡(luò)所有準(zhǔn)備集成到數(shù)據(jù)倉(cāng)庫(kù)的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)etl采用數(shù)據(jù)集成工具實(shí)現(xiàn)，使用管理信息

6、標(biāo)準(zhǔn)，對(duì)異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行交換，通過定時(shí)抽取、增量更新、觸發(fā)更新、日志挖掘、策略抽取等多種方式同步數(shù)據(jù)。支持oracle、sql server和mysql等主流數(shù)據(jù)庫(kù)，以及access、excel、dbase/foxbase、tabled text、webservice、jdbc/odbc等多種數(shù)據(jù)源。數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)數(shù)據(jù)庫(kù)集合，存儲(chǔ)大量的多維數(shù)據(jù)，為上網(wǎng)行為分析提供數(shù)據(jù)支撐。展現(xiàn)層提供的統(tǒng)計(jì)數(shù)據(jù)，從為領(lǐng)導(dǎo)決策、師生服務(wù)、數(shù)據(jù)管理和數(shù)據(jù)審計(jì)等多層次進(jìn)行展現(xiàn)，為學(xué)校管理者和師生提供各類服務(wù)。三、分析平臺(tái)功能建設(shè)校園網(wǎng)數(shù)據(jù)分析平臺(tái)建設(shè)包括校園網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)集成平臺(tái)建設(shè)和數(shù)據(jù)分析平臺(tái)建設(shè)三個(gè)方

7、面。1.校園網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)校園網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)以主題模式進(jìn)行建設(shè)，存儲(chǔ)校園網(wǎng)相關(guān)的多維數(shù)據(jù)，實(shí)現(xiàn)靈活鉆取的功能。數(shù)據(jù)倉(cāng)庫(kù)建設(shè)是一件復(fù)雜的系統(tǒng)工作，通過確定問題域和系統(tǒng)責(zé)任、確定待分析的對(duì)象、歸納現(xiàn)實(shí)對(duì)象、抽象設(shè)計(jì)類、建立類層次結(jié)構(gòu)等過程，最終形成統(tǒng)一的校園網(wǎng)公共數(shù)據(jù)模型。其中數(shù)據(jù)模型是數(shù)據(jù)分析的支撐，數(shù)據(jù)模型包括事實(shí)表、維度表、維度級(jí)別、關(guān)聯(lián)關(guān)系、邏輯列等。（1）分析維度時(shí)間維度：年、月、日、時(shí)?？臻g維度：區(qū)域、樓宇、樓層、房間。主體維度：師生、院系、學(xué)科、年級(jí)。形式維度：有線網(wǎng)、無線網(wǎng)。（2）主要數(shù)據(jù)指標(biāo)結(jié)算數(shù)據(jù)（認(rèn)證計(jì)費(fèi)系統(tǒng)）：賬號(hào)、流量、費(fèi)用、時(shí)長(zhǎng)。上網(wǎng)明細(xì)（認(rèn)證計(jì)費(fèi)系統(tǒng)）：賬號(hào)、ip地址、上線時(shí)

8、間、下線時(shí)間、入流量、出流量、總流量、總時(shí)長(zhǎng)、消費(fèi)金額、產(chǎn)品名稱。有線網(wǎng)管系統(tǒng)：賬號(hào)、ip地址、mac地址、交換機(jī)地址、交換機(jī)端口、上線時(shí)間、下線時(shí)間、入流量、出流量。無線網(wǎng)管系統(tǒng)：賬號(hào)、ip地址、mac地址、無線ap 名稱、無線控制器ip。無線ap對(duì)應(yīng)表：無線ap名稱、樓宇、樓層、房間號(hào)。配線架對(duì)應(yīng)表：交換機(jī)端口、配線架端口、樓宇、樓層、房間號(hào)。2.校園網(wǎng)數(shù)據(jù)集成平臺(tái)數(shù)據(jù)集成平臺(tái)實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)與原有各業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交換工作。完成數(shù)據(jù)集成過程，其中包含集成過程、集成方法調(diào)用以及集成架構(gòu)和集成策略。集成的過程即為etl，它是將數(shù)據(jù)抽取（extract）、轉(zhuǎn)換（transform）、清洗（cle

9、ansing）、裝載（load）的過程，完成數(shù)據(jù)從數(shù)據(jù)源流向目標(biāo)數(shù)據(jù)庫(kù)。etl過程通過etl工具自動(dòng)進(jìn)行，實(shí)現(xiàn)自動(dòng)抽取、轉(zhuǎn)換、清洗和裝載。3.網(wǎng)絡(luò)行為分析平臺(tái)網(wǎng)絡(luò)行為分析平臺(tái)主要包含三個(gè)方面的內(nèi)容分析，如圖2所示。圖2網(wǎng)絡(luò)行為分析平臺(tái)圖（1）上網(wǎng)數(shù)據(jù)行為分析從學(xué)校領(lǐng)導(dǎo)的角度出發(fā)，需全面掌握師生的上網(wǎng)行為情況，對(duì)全校師生的上網(wǎng)費(fèi)用、流量、人數(shù)、時(shí)長(zhǎng)、目標(biāo)網(wǎng)站，結(jié)合人群特點(diǎn)、地點(diǎn)變化、不同學(xué)科、不同年級(jí)等進(jìn)行數(shù)據(jù)分析挖掘，展示各種上網(wǎng)報(bào)表，清楚地掌握各種上網(wǎng)數(shù)據(jù)，為制定政策、優(yōu)化工作提供分析決策依據(jù)。例如：分析哪些目標(biāo)網(wǎng)站是師生經(jīng)常訪問的，提取后即可以調(diào)整優(yōu)化目標(biāo)網(wǎng)站的鏈路，提高訪問速度，提升上網(wǎng)

10、體驗(yàn)；通過對(duì)比不同學(xué)科的上網(wǎng)時(shí)長(zhǎng)、流量，分析各學(xué)科的上網(wǎng)特點(diǎn)，上網(wǎng)需求大的學(xué)科可適當(dāng)增加流量，以滿足教學(xué)科研的需要；通過分析貧困生和一般家庭學(xué)生的上網(wǎng)費(fèi)用，來適當(dāng)減免貧困生的上網(wǎng)費(fèi)用等。（2）網(wǎng)絡(luò)運(yùn)行監(jiān)控分析從網(wǎng)絡(luò)管理人員的角度出發(fā)，收集統(tǒng)計(jì)校園網(wǎng)設(shè)備以及流量監(jiān)控、故障等信息，分析校園網(wǎng)整體運(yùn)維情況，為網(wǎng)絡(luò)運(yùn)行管理人員提供分析趨勢(shì)圖，以便進(jìn)一步減少運(yùn)維故障，提高網(wǎng)絡(luò)性能。同時(shí)，根據(jù)核心設(shè)備之間的流量，及樓宇出口流量和人數(shù)的使用情況，提供設(shè)備和線路帶寬調(diào)整的依據(jù)；根據(jù)接入交換機(jī)的利用率，判斷是否需要更換交換機(jī)，判斷當(dāng)前交換機(jī)是否需要升級(jí)、增加或減少設(shè)備，以提高利用率；統(tǒng)計(jì)無線ap的利用率，判斷a

11、p的調(diào)整和升級(jí)等。通過量化網(wǎng)絡(luò)指標(biāo)，為網(wǎng)絡(luò)的建設(shè)、運(yùn)行和維護(hù)提供決策依據(jù)。圖3校園網(wǎng)出口帶寬?cǎi){駛艙（3）網(wǎng)絡(luò)流量實(shí)時(shí)地圖從普通師生的角度出發(fā)，發(fā)布校園網(wǎng)的相關(guān)圖例，讓師生更加了解校園網(wǎng)。定時(shí)發(fā)布校園網(wǎng)相關(guān)數(shù)據(jù)趨勢(shì)圖例、校園網(wǎng)訪問互聯(lián)網(wǎng)實(shí)時(shí)出口鏈路質(zhì)量圖、校園網(wǎng)各樓宇（帶寬、流量、上網(wǎng)人數(shù)）實(shí)時(shí)流量地圖。校園三維地圖上展現(xiàn)校園無線網(wǎng)終端散點(diǎn)分布圖，讓師生更加形象直觀地了解校園網(wǎng)的使用情況，為上網(wǎng)行為提供分析決策。另一方面提供網(wǎng)絡(luò)流量的歷史數(shù)據(jù)，供師生參考，比如：學(xué)生的歷史數(shù)據(jù)可顯示帶寬和流量趨勢(shì)圖，晚高峰相對(duì)比較擁堵，在線人數(shù)也相對(duì)較多，網(wǎng)速相對(duì)其他時(shí)間也較慢，而白天則相對(duì)晚高峰有很大的優(yōu)勢(shì)。圖

12、4無線網(wǎng)熱力圖四、網(wǎng)絡(luò)數(shù)據(jù)分析案例上網(wǎng)消費(fèi)預(yù)警：主要針對(duì)師生上網(wǎng)流量預(yù)警、上網(wǎng)時(shí)長(zhǎng)預(yù)警和上網(wǎng)費(fèi)用預(yù)警。針對(duì)出現(xiàn)上述預(yù)警的師生定期進(jìn)行人工分析，根據(jù)實(shí)際情況匯報(bào)給其輔導(dǎo)員或院系辦公室。師生缺勤預(yù)警，尤其是學(xué)生宿寢預(yù)警成為高校的重要關(guān)注點(diǎn)，為了實(shí)現(xiàn)該預(yù)警，除認(rèn)證計(jì)費(fèi)系統(tǒng)數(shù)據(jù)外，還需通過探針監(jiān)測(cè)用戶終端位置信息（用戶手機(jī)即使未接入無線信號(hào)，也可以收集其信息），探針部署在主要路口和樓宇大廳，可以收集到用戶的時(shí)空信息。上網(wǎng)行為軌跡：為用戶一天在校園內(nèi)的行為軌跡，該數(shù)據(jù)結(jié)合師生在辦公室、教室、宿舍和食堂等空間上的上網(wǎng)數(shù)據(jù)，通過路口與樓宇大廳的探針，畫出學(xué)生的行為軌跡，如圖5所示。圖5上網(wǎng)行為軌跡無線網(wǎng)定位

13、：眾所周知，gps定位的精準(zhǔn)度有待提高，同時(shí)在建筑物內(nèi)無法定位具體樓層。室外定位主要靠gps實(shí)現(xiàn)，室內(nèi)定位靠接入ap及周圍ap信號(hào)衰減值確定，也可以使用無線廠商的定位算法。優(yōu)化校園資源：無線ap資源優(yōu)化：根據(jù)用戶接入情況，可以撤銷部分長(zhǎng)期無用戶接入的無線ap；對(duì)長(zhǎng)期高密接入無線ap的位置，適量增加無線ap或者更換高性能無線ap。公共資源調(diào)整：通過該系統(tǒng)分析食堂和自習(xí)室等場(chǎng)所的使用情況，根據(jù)用戶情況，考慮下一期建設(shè)優(yōu)先投入資源。自習(xí)室推薦：根據(jù)學(xué)生在教室的上網(wǎng)信息，分析自習(xí)室座位剩余情況。需要協(xié)調(diào)教室管理部門提供教室排課信息及教室座位信息，根據(jù)教室座位剩余情況和學(xué)生歷史自習(xí)室情況，推薦合適的樓宇和教室。五、結(jié)束語(yǔ)校園網(wǎng)數(shù)據(jù)分析平臺(tái)通過量化網(wǎng)絡(luò)指標(biāo)，建立網(wǎng)絡(luò)運(yùn)行模型，基于用戶上網(wǎng)行為分析用戶流量、人數(shù)、時(shí)長(zhǎng)等綜合指標(biāo)，為學(xué)校資費(fèi)調(diào)整、網(wǎng)絡(luò)建設(shè)提供決策依據(jù)。該平臺(tái)的用戶使用密集度為制定網(wǎng)絡(luò)重點(diǎn)建設(shè)部位提供決策依據(jù)；學(xué)校網(wǎng)絡(luò)資費(fèi)平均2年調(diào)整一次，也需要依賴該系統(tǒng)提供數(shù)據(jù)支撐。參考文獻(xiàn)：1任華，張玲，葉煜.數(shù)字化校園中用戶網(wǎng)絡(luò)行為大數(shù)據(jù)的分析與監(jiān)控j.計(jì)算機(jī)與數(shù)字工程，2017，45（9）：1814-18