移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)采集方法分析

1、移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)采集方法分析摘要：移動(dòng)互聯(lián)網(wǎng)是移動(dòng)通信與互聯(lián)網(wǎng)兩個(gè)概念結(jié)合的產(chǎn)物。目前移動(dòng)通信運(yùn) 營(yíng)商3G、4G技術(shù)的發(fā)展以及Wifi覆蓋范圍的擴(kuò)大也使得網(wǎng)速越來(lái)越快，用戶體 服務(wù)需求體驗(yàn)越來(lái)越迫切；想用戶之所想，急用戶之所急的商業(yè)競(jìng)爭(zhēng)地位思維是 需要大量用戶數(shù)據(jù)支撐并分析的前提。因此對(duì)用戶數(shù)據(jù)合理采集并不斷發(fā)掘分析， 才能滿足移動(dòng)互聯(lián)網(wǎng)用戶日益增長(zhǎng)的智能化需求。關(guān)鍵詞：移動(dòng)通信；WAP網(wǎng)關(guān)；用戶數(shù)據(jù)一、概述目前移動(dòng)通信網(wǎng)絡(luò)飛速發(fā)展，GSM、TD-SCDMA、CDMA2000以及WCDMA各 制式無(wú)線網(wǎng)絡(luò)基礎(chǔ)設(shè)施升級(jí)換代頻繁、核心網(wǎng)3G無(wú)線網(wǎng)絡(luò)與核心網(wǎng)絡(luò)與2G網(wǎng)絡(luò) 互相兼容兼容性，各地運(yùn)營(yíng)商根

2、據(jù)實(shí)際需求考慮使用4G、3G與2G三大獨(dú)立的 無(wú)線、接入、核心網(wǎng)絡(luò)并存的局面。在全網(wǎng)同步引入HSDPA和HSUPA技術(shù)的同 時(shí)，對(duì)2G核心網(wǎng)中對(duì)原有GPRS/EDGE網(wǎng)絡(luò)升級(jí)改造。利用2G網(wǎng)絡(luò)頻率范圍在890-960MHZ的穿透性強(qiáng)的優(yōu)勢(shì)，不僅減輕3G、4G 基站的運(yùn)維負(fù)擔(dān)，還可以彌補(bǔ)4G網(wǎng)絡(luò)的覆蓋盲區(qū)。所以在移動(dòng)通信用戶數(shù)據(jù)采 集時(shí)不能不考慮現(xiàn)存2G網(wǎng)絡(luò)的豐富數(shù)據(jù)參考價(jià)值。隨著ISO和安卓系統(tǒng)的智能手機(jī)的大眾化，曾經(jīng)的GPRS技術(shù)里數(shù)據(jù)經(jīng)過(guò) WAP網(wǎng)關(guān)的處理逐漸弱化，用戶終端可接入移動(dòng)網(wǎng)絡(luò)經(jīng)過(guò)GGSN網(wǎng)關(guān)連接互聯(lián)網(wǎng) 并訪問(wèn)其內(nèi)容，2G網(wǎng)絡(luò)GPRS數(shù)據(jù)業(yè)務(wù)和EDGE技術(shù)與WAP網(wǎng)關(guān)相連。2G時(shí)

3、代， WAP無(wú)線協(xié)議互聯(lián)網(wǎng)無(wú)直接訪問(wèn)功能，所以添加WAP網(wǎng)關(guān)是用戶上網(wǎng)。智能手 機(jī)之前的Symbian系統(tǒng)處理能力不及PC主機(jī)，無(wú)論是網(wǎng)速還是現(xiàn)實(shí)視頻、音頻、 互動(dòng)性媒體、發(fā)布主題等等都與寬帶互聯(lián)網(wǎng)甚至光纖入戶的PC家用主機(jī)電腦無(wú) 法匹敵，在2.5G時(shí)代，GSM通信系統(tǒng)中的配套設(shè)備模塊中的WAP網(wǎng)關(guān)只能根據(jù) MS手機(jī)終端的應(yīng)別能力進(jìn)行通信網(wǎng)與互聯(lián)網(wǎng)的交。二、移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)移動(dòng)互聯(lián)網(wǎng)在2G/3G時(shí)代，核心網(wǎng)是兩個(gè)獨(dú)立的域，控制語(yǔ)音相關(guān)的叫電路 域（CS域：Circuit Switch），控制數(shù)據(jù)業(yè)務(wù)相關(guān)的叫分組域（PS域：Packet Switch）o相應(yīng)的，與語(yǔ)音相關(guān)的控制都放在了電路域，比

4、如上面的語(yǔ)音呼叫建 立、返回振鈴、判斷并執(zhí)行呼叫轉(zhuǎn)移，業(yè)務(wù)短信等等。與數(shù)據(jù)相關(guān)的控制則放在 了分組域，比如上面的與因特網(wǎng)服務(wù)器（通信網(wǎng)與因特網(wǎng)是兩張網(wǎng)）建立數(shù)據(jù)連 接、區(qū)分當(dāng)前流量是微信還是微博等等。自2G時(shí)代以來(lái)WAP網(wǎng)關(guān)是承載移動(dòng)數(shù) 據(jù)業(yè)務(wù)的網(wǎng)元。2.1用戶數(shù)據(jù)移動(dòng)通信的空間自由度與互聯(lián)網(wǎng)的內(nèi)容形式豐富結(jié)合處移動(dòng)互聯(lián)網(wǎng)的新品種。 目前移動(dòng)通信運(yùn)營(yíng)商3G、4G技術(shù)的發(fā)展以及Wifi覆蓋范圍的擴(kuò)大也使得網(wǎng)速越 來(lái)越快，用戶體服務(wù)需求驗(yàn)越來(lái)越迫切；用戶數(shù)據(jù)分為兩種：一種是用戶注冊(cè)信 息將自己的身份識(shí)別與手機(jī)號(hào)碼相關(guān)聯(lián)，在信息層面上存入數(shù)據(jù)庫(kù)，咋數(shù)據(jù)層面 上存入HLR中為通信系統(tǒng)的呼叫、尋址、和計(jì)

5、費(fèi)分配信道等工作提供服務(wù)；另一 種是指通過(guò)無(wú)線基站近乎于log日志的形式，使用戶主觀意愿被動(dòng)或不知情的前 提下在系統(tǒng)存儲(chǔ)設(shè)備上記錄用戶位置更新，小區(qū)切換，小區(qū)重選等為用戶提供的 移動(dòng)通信服務(wù)功能。這類數(shù)據(jù)的產(chǎn)生不由用戶的主觀意愿為選擇，是為了完成一 次通信系統(tǒng)用戶漫游的一個(gè)必要手段和環(huán)節(jié)，但是在數(shù)據(jù)分析挖掘研究者看來(lái)， 是有著非常意義的數(shù)據(jù)內(nèi)容，通過(guò)數(shù)據(jù)的數(shù)據(jù)清洗：去重、去噪聲、去錯(cuò)誤、插 值等異常處理；數(shù)據(jù)集成：統(tǒng)一單位、去掉冗余、選擇感興趣屬性列；數(shù)據(jù)變換： 數(shù)值歸一化、離散化處理；數(shù)據(jù)脫敏：去隱私化，截?cái)嗯c加密；數(shù)據(jù)演繹：特征 構(gòu)造，根據(jù)原有的一個(gè)或多個(gè)特征創(chuàng)建出新的特征并填充。獲得群體

6、用戶的地理 位置特征，在不同時(shí)段的移動(dòng)基站下的人流密度，繪制出人口出行交通時(shí)段的密 度可視化圖等等，通過(guò)對(duì)用戶數(shù)據(jù)不斷發(fā)掘分析，才能滿足移動(dòng)互聯(lián)網(wǎng)用戶日益 增長(zhǎng)的智能化需求。2.2數(shù)據(jù)分析在3.5G的LTE網(wǎng)絡(luò)體系架構(gòu)中，WAP/Web網(wǎng)關(guān)處在PGW后與外網(wǎng)互通，功 能等同于PDSN，其余接口并沒(méi)有什么功能變化。經(jīng)過(guò)BTS（基站）、傳輸設(shè)備、 BSCRNC等至PDSN （分組數(shù)據(jù)支持節(jié)點(diǎn)），在2G網(wǎng)絡(luò)中發(fā)至WAP網(wǎng)關(guān)的數(shù)據(jù) 分流發(fā)至智能設(shè)備；由設(shè)備開(kāi)啟用戶TCP連接，解析主機(jī)的URL用戶請(qǐng)求、判斷、 處理，經(jīng)過(guò)鑒權(quán)處理合法用戶，允許通過(guò)防火墻轉(zhuǎn)達(dá)請(qǐng)求接至互聯(lián)網(wǎng)提供鏈路連 接分配IP地址提供服務(wù)

7、，如果是欠費(fèi)或非法用戶拒絕原服務(wù)請(qǐng)求。從移動(dòng)互聯(lián)網(wǎng) 的智能手機(jī)應(yīng)用端的使用業(yè)務(wù)流量角度來(lái)分析，用戶通過(guò)終端經(jīng)過(guò)移動(dòng)互聯(lián)網(wǎng)接 入Internet網(wǎng)絡(luò)不同的APP有不同的流量特征，例如連接應(yīng)用程序：電子郵件、 即時(shí)通訊、GPS導(dǎo)航、遠(yuǎn)程訪問(wèn)；商業(yè)應(yīng)用程序：移動(dòng)銀行服務(wù)、股市跟蹤與交 易、文件處理及日程規(guī)劃；日常生活類應(yīng)用程序：電子商務(wù)、賬單支付、健康監(jiān) 測(cè)、數(shù)字閱讀與社交；娛樂(lè)應(yīng)用程序：新聞、游戲、多媒體播放器、照片及視頻 編輯器。三、研究方法3.1數(shù)據(jù)流收集器部署于SGSN和GGSN之間，并且不僅僅移動(dòng)電話產(chǎn)生的流量會(huì)被記錄，上 網(wǎng)卡所產(chǎn)生的流量也會(huì)被記錄。流量記錄中包含了時(shí)間、手機(jī)號(hào)、服務(wù)器I

8、P、數(shù) 據(jù)傳輸大小、數(shù)據(jù)類型等信息。本課題根據(jù)這些信息建立了流量權(quán)值圖（簡(jiǎn)稱流 量圖）。其中，手機(jī)號(hào)和服務(wù)器IP分別對(duì)應(yīng)流量圖中的不同節(jié)點(diǎn)，手機(jī)號(hào)向服務(wù) 器IP的數(shù)據(jù)傳輸代表了流量圖的邊，從服務(wù)器-IP到手機(jī)號(hào)是流量圖中對(duì)應(yīng)邊的 方向，數(shù)據(jù)傳輸大小代表了流量圖中邊的權(quán)值。通過(guò)上述對(duì)應(yīng)方法，為不同類型 的流量數(shù)據(jù)建立了各自的流量圖。并在流量圖的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)流量傳輸數(shù)據(jù)進(jìn) 行了分析。3.2技術(shù)路線SGSN與無(wú)線分組控制器之間同過(guò)Gb 口連接，實(shí)現(xiàn)移動(dòng)數(shù)據(jù)的管理；與歸屬 位置寄存器通過(guò)Gr 口連接，實(shí)現(xiàn)對(duì)用戶數(shù)據(jù)庫(kù)的訪問(wèn)控制；與GGSN通過(guò)Gn 口 連接，進(jìn)行IP數(shù)據(jù)包的傳輸以及協(xié)議變換。本文通過(guò)

9、部署Gb接口（SGSN與BSS 之間）的PC端截取數(shù)據(jù)流之后，用網(wǎng)絡(luò)爬蟲軟件對(duì)數(shù)據(jù)進(jìn)行初步的收集。Gb接 口是傳遞轉(zhuǎn)達(dá)SGSN和BSC之問(wèn)的信令和用戶數(shù)據(jù)的功能。用戶通過(guò)移動(dòng)終端將 請(qǐng)求發(fā)給BTS，再通過(guò)基站子系統(tǒng)連接傳輸網(wǎng)絡(luò)，Gb接口是終端入網(wǎng)的必經(jīng)接口。 本文是從Gb接口攔截移動(dòng)互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)，并對(duì)數(shù)據(jù)盡情分類，聚類等數(shù)據(jù) 挖掘方面的研究。原始數(shù)據(jù)由Gb接口得到，進(jìn)行深層次的分析，不僅能夠?qū)崟r(shí) 地了解當(dāng)前的網(wǎng)絡(luò)質(zhì)量，還能發(fā)現(xiàn)移動(dòng)用戶的網(wǎng)絡(luò)行為。以SGSN作為研究對(duì)象， GPRS是GPRS服務(wù)節(jié)點(diǎn)（Service GPRS Support Node）是移動(dòng)通信核心網(wǎng)的重要組 成部分，也是分

10、組交換的核心部分。研宄流經(jīng)具體SGSN的網(wǎng)絡(luò)業(yè)務(wù)流量、接入 用戶數(shù)以及訪問(wèn)記錄數(shù)的情況，以此來(lái)表征網(wǎng)絡(luò)中具體節(jié)點(diǎn)的業(yè)務(wù)情況。結(jié)束語(yǔ)當(dāng)前的三代移動(dòng)通信系統(tǒng)（2G3G4G）并存的移動(dòng)互聯(lián)網(wǎng)環(huán)境中，移動(dòng)互 聯(lián)網(wǎng)流量中雖然WAP流量不能構(gòu)成主流的移動(dòng)用戶流量的主要組成部分，原有 的WAP內(nèi)容正逐漸被WEB內(nèi)容所代替。本文所研究在移動(dòng)互聯(lián)網(wǎng)環(huán)境下，關(guān)于 個(gè)人用戶數(shù)據(jù)隱私保護(hù)的數(shù)據(jù)挖掘相關(guān)問(wèn)題。采取從基礎(chǔ)的移動(dòng)互聯(lián)網(wǎng)機(jī)制下的 顯示存在的“混搭網(wǎng)絡(luò)為數(shù)據(jù)研究出發(fā)點(diǎn)，深入分析地研究不同代移動(dòng)通信系統(tǒng) 所組成的網(wǎng)絡(luò)中產(chǎn)生的互聯(lián)網(wǎng)用戶數(shù)據(jù)。針對(duì)每個(gè)個(gè)人為基本單位內(nèi)容，采用理 論建模T方法論證T實(shí)驗(yàn)認(rèn)證的研究方法。隨著移動(dòng)數(shù)據(jù)接入的蓬勃發(fā)展，WAP 網(wǎng)關(guān)面臨著各種問(wèn)題。但是作為數(shù)據(jù)分析方，需要的是廣而全的數(shù)據(jù)，數(shù)據(jù)挖掘 用戶行為不是僅僅需要少數(shù)服從多數(shù)的統(tǒng)計(jì)，無(wú)論是Symbian系統(tǒng)的MS移動(dòng)終 端使用GPRS技術(shù)通過(guò)WAP網(wǎng)關(guān)訪問(wèn)WML語(yǔ)言編寫的網(wǎng)站，還是早已去電路域 依靠軟交換全網(wǎng)IP化實(shí)現(xiàn)核心網(wǎng)部分的網(wǎng)關(guān)轉(zhuǎn)接傳遞，每一個(gè)bit流量都代表這 一個(gè)用戶一個(gè)群體的價(jià)值與意