大數(shù)據(jù)環(huán)境下上網(wǎng)行為分析管理系統(tǒng)

1、 大數(shù)據(jù)環(huán)境下上網(wǎng)行為分析管理系統(tǒng) 陳先浪孫新杰文中芳Summary：近幾年來(lái)，國(guó)家不僅開始著重教育發(fā)展，同時(shí)也開始關(guān)注信息變化的各種形式。如今信息時(shí)代逐漸形成以大數(shù)據(jù)、云計(jì)算等新型方式為主流的發(fā)展。與此同時(shí)各大高校早幾年便開始著重網(wǎng)上學(xué)習(xí)的新型學(xué)習(xí)方式，觸及到網(wǎng)上學(xué)習(xí)自然也離不開校園網(wǎng)的利用，于是我們便在校園網(wǎng)上下功夫，通過(guò)對(duì)六盤水師范學(xué)院校園網(wǎng)產(chǎn)生日志數(shù)據(jù)的如下指標(biāo)：上線總數(shù)的分布、連接時(shí)長(zhǎng)統(tǒng)計(jì)、在線人數(shù)統(tǒng)計(jì)、流量使用統(tǒng)計(jì)、工作日和周末的網(wǎng)絡(luò)活動(dòng)對(duì)比、學(xué)生異常網(wǎng)絡(luò)行為統(tǒng)計(jì)等，進(jìn)行上網(wǎng)行為趨勢(shì)、行為定位分析、上網(wǎng)行為等分析。給網(wǎng)絡(luò)管理者提供一個(gè)合理管理網(wǎng)絡(luò)資源和規(guī)范上網(wǎng)行為的分析系統(tǒng)。通過(guò)監(jiān)

2、制和管理校園網(wǎng)環(huán)境等措施，讓學(xué)生自覺通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)新時(shí)代下的學(xué)習(xí)形式，從而實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下自我約束與提升。Key：校園網(wǎng);上網(wǎng)行為;統(tǒng)計(jì)分析;數(shù)據(jù)分析;管理系統(tǒng)1大數(shù)據(jù)環(huán)境下的院校眾所周知，現(xiàn)在大學(xué)生的課外活動(dòng)時(shí)間相對(duì)于高中封閉式學(xué)習(xí)要自由得多，但是由此，也造成了大部分學(xué)生對(duì)于時(shí)間上的要求過(guò)于懶散，大部分時(shí)間花在網(wǎng)絡(luò)上，生活作息不規(guī)律，學(xué)習(xí)效率大幅度降低。那么我們通過(guò)對(duì)六盤水師范學(xué)院的校園網(wǎng)數(shù)據(jù)的收集研究，對(duì)學(xué)生們?cè)谛@網(wǎng)絡(luò)下的此類行為作出具有針對(duì)性且以實(shí)際理論數(shù)據(jù)為支撐的解決方案。現(xiàn)如今全國(guó)高校均已全面進(jìn)入信息化教育環(huán)境，校園網(wǎng)絡(luò)因此早已成為各大高校的標(biāo)配，甚至升級(jí)成校園管理工作中的考核項(xiàng)目。校

3、園網(wǎng)為教師、學(xué)生、管理人員構(gòu)建了以大寬帶為基礎(chǔ)的多媒體網(wǎng)絡(luò)溝通平臺(tái)，以方便對(duì)教學(xué)資源、科研數(shù)據(jù)、綜合管理信息的相互傳輸與交流。由此可見，校園網(wǎng)是一種寬帶拓?fù)渚W(wǎng)絡(luò)。對(duì)于我校的多媒體網(wǎng)絡(luò)資源管理、網(wǎng)絡(luò)教學(xué)實(shí)驗(yàn)室、電子圖書館、教學(xué)教務(wù)系統(tǒng)管理系統(tǒng)、考試數(shù)據(jù)庫(kù)等，皆是以網(wǎng)絡(luò)為基礎(chǔ)，以此產(chǎn)生各司其職的小型VLAN網(wǎng)絡(luò)，然后再通過(guò)介質(zhì)傳輸或者無(wú)線傳輸進(jìn)而搭建整個(gè)校園網(wǎng)絡(luò)。這樣可以可以使管理人員在極短時(shí)間內(nèi)產(chǎn)生用戶的校園網(wǎng)絡(luò)行為報(bào)告，觀察校園網(wǎng)行為報(bào)告并加以挖掘和探究，最后分析大學(xué)生上網(wǎng)的行為，監(jiān)制高發(fā)用網(wǎng)時(shí)段和晚上熄燈后網(wǎng)絡(luò)的使用規(guī)范。由此做到提升校園網(wǎng)絡(luò)質(zhì)量，加強(qiáng)學(xué)生生活作息規(guī)律，提高學(xué)生學(xué)習(xí)效率等目的

4、。同時(shí)通過(guò)對(duì)我校學(xué)生的上網(wǎng)行為分析，我們由此可以進(jìn)一步了解到大學(xué)生對(duì)于網(wǎng)絡(luò)學(xué)習(xí)是產(chǎn)生的理念與要求，強(qiáng)調(diào)一個(gè)適合自己高效率的學(xué)習(xí)方式，并且做到分析教師講解課程時(shí)方式方法的不足之處，而后加以改善，并制定大學(xué)生自我學(xué)習(xí)能力培養(yǎng)方法即對(duì)策。由此制定網(wǎng)絡(luò)學(xué)習(xí)報(bào)告，在提升我校教學(xué)方面的質(zhì)量的同時(shí)，也更加充實(shí)學(xué)生們的大學(xué)生活。除此之外，對(duì)于部分大學(xué)生的思想尚且還存在一些年輕化的狀態(tài)，個(gè)人自律能力和事件識(shí)別能力還需有待提高，對(duì)于類似校園網(wǎng)的開放式網(wǎng)絡(luò)有些許迷茫。所以可由此對(duì)于學(xué)生上網(wǎng)行為做一個(gè)調(diào)查，利用對(duì)校園網(wǎng)的測(cè)量與觀察，將數(shù)據(jù)收集并且進(jìn)行分析，可以避免從以下幾方面的產(chǎn)生的危害：關(guān)于網(wǎng)絡(luò)信息的安全問(wèn)題，我們

5、可以從網(wǎng)址這一類開始探究，我們需要做到的就是對(duì)于網(wǎng)址的篩選。近年來(lái)，還未進(jìn)行相關(guān)技術(shù)認(rèn)證的網(wǎng)址和非法網(wǎng)站逐漸增多，學(xué)生極其容易無(wú)意點(diǎn)擊進(jìn)入，對(duì)此我們將屏蔽危險(xiǎn)網(wǎng)絡(luò)，并做到防止釣魚網(wǎng)出現(xiàn)，減少學(xué)生進(jìn)入此類網(wǎng)站的情況，也避免給學(xué)生造成非積極影響。其次就是對(duì)于文件管理安全的要求，通過(guò)數(shù)據(jù)分析，我們了解到，文件可能會(huì)出現(xiàn)的問(wèn)題，部分網(wǎng)絡(luò)會(huì)導(dǎo)致內(nèi)部文件外發(fā)審計(jì)的情況發(fā)生，由此我們也可對(duì)應(yīng)相關(guān)問(wèn)題采用文件后綴識(shí)別，封IP、端口的方式也盡可能避免此類情況發(fā)生，同時(shí)也要做到，在接受外部文件向內(nèi)部文件發(fā)送時(shí)帶來(lái)的外來(lái)病毒，導(dǎo)致文件中毒或文件丟失的情況。最后前面提到的關(guān)于安全的問(wèn)題，還應(yīng)著重在應(yīng)用APP上，手機(jī)現(xiàn)

6、已成為上網(wǎng)的使用多頻率重點(diǎn)工具，對(duì)于手機(jī)應(yīng)用的安全問(wèn)題，也可從中獲取相關(guān)數(shù)據(jù)信息，由此來(lái)確保應(yīng)用APP使用時(shí)的安全問(wèn)題。綜合上述所說(shuō)的情況，以此達(dá)到對(duì)于網(wǎng)絡(luò)安全的審計(jì)，防止各類信息危害。與此同時(shí)通過(guò)此次分析以及數(shù)據(jù)收集形成相關(guān)網(wǎng)絡(luò)數(shù)據(jù)報(bào)表，由此報(bào)表對(duì)于學(xué)生上網(wǎng)行為在深入探究，由此加強(qiáng)對(duì)于管理層方面的更深更全面控制，也為管理層決策提供相應(yīng)的更好更符合依據(jù)。以便于使我校校園網(wǎng)絡(luò)，達(dá)到一個(gè)更高更安全的層次，也方便為同學(xué)們帶來(lái)更好的校園網(wǎng)的體驗(yàn)效果。2分析方法及技術(shù)2.1基于回歸分析的數(shù)據(jù)分析在傳統(tǒng)的分析方法中主要采用強(qiáng)制關(guān)聯(lián)去分析具備依存關(guān)系的數(shù)據(jù)表的字符屬性關(guān)聯(lián)，這種分析方法利于單位用戶的個(gè)人行為

7、的獨(dú)立整合，但是對(duì)于用戶群體的非相關(guān)聯(lián)用戶分析存在單一局限性，不利與分析系統(tǒng)的結(jié)果的普遍性、公共性、切實(shí)性，所以引入回歸分析法進(jìn)行數(shù)據(jù)分析?；貧w分析法是是研究?jī)蓚€(gè)及兩個(gè)以上的相同等級(jí)的變量間的相關(guān)關(guān)系的數(shù)據(jù)分析和統(tǒng)計(jì)的方法。在這種分析中變量與變量間的相關(guān)聯(lián)系存在非強(qiáng)制性關(guān)聯(lián)，寬松的依存關(guān)系。如用相關(guān)系數(shù)R來(lái)描述X與Y之間的相關(guān)性，公式如圖1回歸公式：透過(guò)圖2在2018-12-1至2018-12-7這七天的部分?jǐn)?shù)據(jù)可以看出每天的pc與手機(jī)訪問(wèn)呈現(xiàn)出強(qiáng)相關(guān)的趨勢(shì)，并且直觀的到手機(jī)端的用戶遠(yuǎn)遠(yuǎn)多于pc的用戶。（以上數(shù)據(jù)其演示作用，最終數(shù)據(jù)以產(chǎn)生的實(shí)際數(shù)據(jù)為主）2.2基于Hadoop生態(tài)圈的數(shù)據(jù)處理在

8、傳統(tǒng)的基于日志的上網(wǎng)行為管理系統(tǒng)中，必須得面臨一天十幾G的日志數(shù)據(jù)處理量，日志數(shù)據(jù)抽取分析的快速時(shí)效，難以排除的數(shù)據(jù)日志異常。Hadoop生態(tài)系統(tǒng)具備大型分布式文件系統(tǒng)HDFS，以及對(duì)底層文件系統(tǒng)進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的MapReduce引擎。同時(shí)解決了分布式日志文件的大量?jī)?chǔ)存管理問(wèn)題和接近實(shí)實(shí)時(shí)運(yùn)算的高效工具，對(duì)于開發(fā)人員來(lái)說(shuō)，他是一個(gè)更容易開發(fā)的和運(yùn)行大數(shù)據(jù)處理的開源軟件的平臺(tái)，能夠輕松的處理TB級(jí)的數(shù)據(jù)量。2.3基于于Excel、js的web數(shù)據(jù)呈現(xiàn)Web的數(shù)據(jù)分析呈現(xiàn)較傳統(tǒng)的數(shù)據(jù)分析呈現(xiàn)還是有所差異的。報(bào)表、條形圖、扇形圖、折現(xiàn)圖等傳統(tǒng)的展現(xiàn)方式雖然可以表達(dá)分析內(nèi)容與情況趨勢(shì)，但是卻不能形象生動(dòng)

9、的表現(xiàn)出管理者需求的用戶的上網(wǎng)行為和網(wǎng)絡(luò)內(nèi)容，因此引用了在傳統(tǒng)的基礎(chǔ)上加以優(yōu)化的網(wǎng)絡(luò)熱力圖、時(shí)段雷達(dá)圖等更加鮮明生動(dòng)的符合視覺直觀需求的呈現(xiàn)方式：（1）硬性需求內(nèi)容采用傳統(tǒng)的圖表表現(xiàn)手法，使用Excel自動(dòng)繪制生成，以節(jié)約開發(fā)時(shí)間縮短系統(tǒng)開發(fā)周期，然后利用js將Excel生成的數(shù)據(jù)報(bào)表導(dǎo)入到web前端界面上進(jìn)行呈現(xiàn)，部分實(shí)現(xiàn)效果如下圖：（2）網(wǎng)絡(luò)熱力圖：通過(guò)表現(xiàn)顏色的冷暖深淺程度，直接反映出熱點(diǎn)信息的分布，相關(guān)區(qū)域的聚集等數(shù)據(jù)信息。網(wǎng)絡(luò)熱力圖主要運(yùn)用在網(wǎng)絡(luò)高峰熱點(diǎn)、直觀視覺沖擊、高呈現(xiàn)對(duì)比度等等很多以控制變量法為基礎(chǔ)的的多維度分析中。在本分析管理系統(tǒng)中通過(guò)分析網(wǎng)絡(luò)時(shí)段和對(duì)應(yīng)的在線人數(shù)，表現(xiàn)出網(wǎng)

10、絡(luò)高發(fā)時(shí)段，其顏色越熱，表示在線人數(shù)越多。（3）網(wǎng)絡(luò)雷達(dá)圖：雷達(dá)圖是指對(duì)多個(gè)變量的全面分析。網(wǎng)絡(luò)雷達(dá)圖將變量之間的不確定關(guān)聯(lián)形象化，從而可以使我們?cè)趯?duì)用數(shù)值無(wú)法表現(xiàn)的傾向性和印象性進(jìn)行把握的時(shí)候，將之清晰的實(shí)現(xiàn)，并且達(dá)到為擬定網(wǎng)絡(luò)分流限時(shí)計(jì)劃提供信息分析的數(shù)據(jù)協(xié)助。由于實(shí)行方法可以通過(guò)Excel直接生成，所以我們依舊采用js實(shí)現(xiàn)對(duì)數(shù)據(jù)表的引入。（4）動(dòng)態(tài)詞云：是結(jié)合Key標(biāo)簽的特征，如字體的大小、顏色等方式，表達(dá)重點(diǎn)信息程度，分析Key標(biāo)簽的大片詞圖。字體若是越明顯越突出，則說(shuō)明Key標(biāo)簽對(duì)應(yīng)的內(nèi)容出現(xiàn)的次數(shù)也就越頻繁，由此便可以了解到用戶通過(guò)網(wǎng)絡(luò)對(duì)應(yīng)用的使用頻數(shù)以及應(yīng)用的使用情況。動(dòng)態(tài)詞云就是通過(guò)做到Key標(biāo)簽的各種各樣的視覺特效，從而產(chǎn)生出各種各樣的可視化表現(xiàn)效果。3總結(jié)經(jīng)過(guò)我國(guó)現(xiàn)代信息科技化的長(zhǎng)時(shí)間演變與進(jìn)步，當(dāng)下對(duì)于數(shù)據(jù)的處理也已經(jīng)變得越來(lái)越成熟，大數(shù)據(jù)（BigData）已經(jīng)可以做到在一定的時(shí)間內(nèi)用普通數(shù)據(jù)處理工具做不到的對(duì)數(shù)據(jù)的集合上的一系列海量操作。由于信息科技的逐步成熟與完善，現(xiàn)如今各大院校大學(xué)生上網(wǎng)的行為多種多樣，例如：信息瀏覽、購(gòu)物數(shù)據(jù)、消費(fèi)記錄、資料查詢、游戲娛樂(lè)等