大數(shù)據環(huán)境下上網行為分析管理系統(tǒng)

1、 大數(shù)據環(huán)境下上網行為分析管理系統(tǒng) 陳先浪孫新杰文中芳Summary：近幾年來，國家不僅開始著重教育發(fā)展，同時也開始關注信息變化的各種形式。如今信息時代逐漸形成以大數(shù)據、云計算等新型方式為主流的發(fā)展。與此同時各大高校早幾年便開始著重網上學習的新型學習方式，觸及到網上學習自然也離不開校園網的利用，于是我們便在校園網上下功夫，通過對六盤水師范學院校園網產生日志數(shù)據的如下指標：上線總數(shù)的分布、連接時長統(tǒng)計、在線人數(shù)統(tǒng)計、流量使用統(tǒng)計、工作日和周末的網絡活動對比、學生異常網絡行為統(tǒng)計等，進行上網行為趨勢、行為定位分析、上網行為等分析。給網絡管理者提供一個合理管理網絡資源和規(guī)范上網行為的分析系統(tǒng)。通過監(jiān)

2、制和管理校園網環(huán)境等措施，讓學生自覺通過網絡實現(xiàn)新時代下的學習形式，從而實現(xiàn)網絡環(huán)境下自我約束與提升。Key：校園網;上網行為;統(tǒng)計分析;數(shù)據分析;管理系統(tǒng)1大數(shù)據環(huán)境下的院校眾所周知，現(xiàn)在大學生的課外活動時間相對于高中封閉式學習要自由得多，但是由此，也造成了大部分學生對于時間上的要求過于懶散，大部分時間花在網絡上，生活作息不規(guī)律，學習效率大幅度降低。那么我們通過對六盤水師范學院的校園網數(shù)據的收集研究，對學生們在校園網絡下的此類行為作出具有針對性且以實際理論數(shù)據為支撐的解決方案?，F(xiàn)如今全國高校均已全面進入信息化教育環(huán)境，校園網絡因此早已成為各大高校的標配，甚至升級成校園管理工作中的考核項目。校

3、園網為教師、學生、管理人員構建了以大寬帶為基礎的多媒體網絡溝通平臺，以方便對教學資源、科研數(shù)據、綜合管理信息的相互傳輸與交流。由此可見，校園網是一種寬帶拓撲網絡。對于我校的多媒體網絡資源管理、網絡教學實驗室、電子圖書館、教學教務系統(tǒng)管理系統(tǒng)、考試數(shù)據庫等，皆是以網絡為基礎，以此產生各司其職的小型VLAN網絡，然后再通過介質傳輸或者無線傳輸進而搭建整個校園網絡。這樣可以可以使管理人員在極短時間內產生用戶的校園網絡行為報告，觀察校園網行為報告并加以挖掘和探究，最后分析大學生上網的行為，監(jiān)制高發(fā)用網時段和晚上熄燈后網絡的使用規(guī)范。由此做到提升校園網絡質量，加強學生生活作息規(guī)律，提高學生學習效率等目的

4、。同時通過對我校學生的上網行為分析，我們由此可以進一步了解到大學生對于網絡學習是產生的理念與要求，強調一個適合自己高效率的學習方式，并且做到分析教師講解課程時方式方法的不足之處，而后加以改善，并制定大學生自我學習能力培養(yǎng)方法即對策。由此制定網絡學習報告，在提升我校教學方面的質量的同時，也更加充實學生們的大學生活。除此之外，對于部分大學生的思想尚且還存在一些年輕化的狀態(tài)，個人自律能力和事件識別能力還需有待提高，對于類似校園網的開放式網絡有些許迷茫。所以可由此對于學生上網行為做一個調查，利用對校園網的測量與觀察，將數(shù)據收集并且進行分析，可以避免從以下幾方面的產生的危害：關于網絡信息的安全問題，我們

5、可以從網址這一類開始探究，我們需要做到的就是對于網址的篩選。近年來，還未進行相關技術認證的網址和非法網站逐漸增多，學生極其容易無意點擊進入，對此我們將屏蔽危險網絡，并做到防止釣魚網出現(xiàn)，減少學生進入此類網站的情況，也避免給學生造成非積極影響。其次就是對于文件管理安全的要求，通過數(shù)據分析，我們了解到，文件可能會出現(xiàn)的問題，部分網絡會導致內部文件外發(fā)審計的情況發(fā)生，由此我們也可對應相關問題采用文件后綴識別，封IP、端口的方式也盡可能避免此類情況發(fā)生，同時也要做到，在接受外部文件向內部文件發(fā)送時帶來的外來病毒，導致文件中毒或文件丟失的情況。最后前面提到的關于安全的問題，還應著重在應用APP上，手機現(xiàn)

6、已成為上網的使用多頻率重點工具，對于手機應用的安全問題，也可從中獲取相關數(shù)據信息，由此來確保應用APP使用時的安全問題。綜合上述所說的情況，以此達到對于網絡安全的審計，防止各類信息危害。與此同時通過此次分析以及數(shù)據收集形成相關網絡數(shù)據報表，由此報表對于學生上網行為在深入探究，由此加強對于管理層方面的更深更全面控制，也為管理層決策提供相應的更好更符合依據。以便于使我校校園網絡，達到一個更高更安全的層次，也方便為同學們帶來更好的校園網的體驗效果。2分析方法及技術2.1基于回歸分析的數(shù)據分析在傳統(tǒng)的分析方法中主要采用強制關聯(lián)去分析具備依存關系的數(shù)據表的字符屬性關聯(lián)，這種分析方法利于單位用戶的個人行為

7、的獨立整合，但是對于用戶群體的非相關聯(lián)用戶分析存在單一局限性，不利與分析系統(tǒng)的結果的普遍性、公共性、切實性，所以引入回歸分析法進行數(shù)據分析?；貧w分析法是是研究兩個及兩個以上的相同等級的變量間的相關關系的數(shù)據分析和統(tǒng)計的方法。在這種分析中變量與變量間的相關聯(lián)系存在非強制性關聯(lián)，寬松的依存關系。如用相關系數(shù)R來描述X與Y之間的相關性，公式如圖1回歸公式：透過圖2在2018-12-1至2018-12-7這七天的部分數(shù)據可以看出每天的pc與手機訪問呈現(xiàn)出強相關的趨勢，并且直觀的到手機端的用戶遠遠多于pc的用戶。（以上數(shù)據其演示作用，最終數(shù)據以產生的實際數(shù)據為主）2.2基于Hadoop生態(tài)圈的數(shù)據處理在

8、傳統(tǒng)的基于日志的上網行為管理系統(tǒng)中，必須得面臨一天十幾G的日志數(shù)據處理量，日志數(shù)據抽取分析的快速時效，難以排除的數(shù)據日志異常。Hadoop生態(tài)系統(tǒng)具備大型分布式文件系統(tǒng)HDFS，以及對底層文件系統(tǒng)進行數(shù)據驅動的MapReduce引擎。同時解決了分布式日志文件的大量儲存管理問題和接近實實時運算的高效工具，對于開發(fā)人員來說，他是一個更容易開發(fā)的和運行大數(shù)據處理的開源軟件的平臺，能夠輕松的處理TB級的數(shù)據量。2.3基于于Excel、js的web數(shù)據呈現(xiàn)Web的數(shù)據分析呈現(xiàn)較傳統(tǒng)的數(shù)據分析呈現(xiàn)還是有所差異的。報表、條形圖、扇形圖、折現(xiàn)圖等傳統(tǒng)的展現(xiàn)方式雖然可以表達分析內容與情況趨勢，但是卻不能形象生動

9、的表現(xiàn)出管理者需求的用戶的上網行為和網絡內容，因此引用了在傳統(tǒng)的基礎上加以優(yōu)化的網絡熱力圖、時段雷達圖等更加鮮明生動的符合視覺直觀需求的呈現(xiàn)方式：（1）硬性需求內容采用傳統(tǒng)的圖表表現(xiàn)手法，使用Excel自動繪制生成，以節(jié)約開發(fā)時間縮短系統(tǒng)開發(fā)周期，然后利用js將Excel生成的數(shù)據報表導入到web前端界面上進行呈現(xiàn)，部分實現(xiàn)效果如下圖：（2）網絡熱力圖：通過表現(xiàn)顏色的冷暖深淺程度，直接反映出熱點信息的分布，相關區(qū)域的聚集等數(shù)據信息。網絡熱力圖主要運用在網絡高峰熱點、直觀視覺沖擊、高呈現(xiàn)對比度等等很多以控制變量法為基礎的的多維度分析中。在本分析管理系統(tǒng)中通過分析網絡時段和對應的在線人數(shù)，表現(xiàn)出網

10、絡高發(fā)時段，其顏色越熱，表示在線人數(shù)越多。（3）網絡雷達圖：雷達圖是指對多個變量的全面分析。網絡雷達圖將變量之間的不確定關聯(lián)形象化，從而可以使我們在對用數(shù)值無法表現(xiàn)的傾向性和印象性進行把握的時候，將之清晰的實現(xiàn)，并且達到為擬定網絡分流限時計劃提供信息分析的數(shù)據協(xié)助。由于實行方法可以通過Excel直接生成，所以我們依舊采用js實現(xiàn)對數(shù)據表的引入。（4）動態(tài)詞云：是結合Key標簽的特征，如字體的大小、顏色等方式，表達重點信息程度，分析Key標簽的大片詞圖。字體若是越明顯越突出，則說明Key標簽對應的內容出現(xiàn)的次數(shù)也就越頻繁，由此便可以了解到用戶通過網絡對應用的使用頻數(shù)以及應用的使用情況。動態(tài)詞云就是通過做到Key標簽的各種各樣的視覺特效，從而產生出各種各樣的可視化表現(xiàn)效果。3總結經過我國現(xiàn)代信息科技化的長時間演變與進步，當下對于數(shù)據的處理也已經變得越來越成熟，大數(shù)據（BigData）已經可以做到在一定的時間內用普通數(shù)據處理工具做不到的對數(shù)據的集合上的一系列海量操作。由于信息科技的逐步成熟與完善，現(xiàn)如今各大院校大學生上網的行為多種多樣，例如：信息瀏覽、購物數(shù)據、消費記錄、資料查詢、游戲娛樂等