電信帳單數(shù)據(jù)挖掘

電信帳單數(shù)據(jù)挖掘TOC\o"1-5"\h\z概述1\o"CurrentDocument"項目背景1\o"CurrentDocument".數(shù)據(jù)挖掘和相關(guān)概念1\o"CurrentDocument".數(shù)據(jù)挖掘的概念和過程1\o"CurrentDocument".數(shù)據(jù)挖掘在電信管理中的應(yīng)用3.項目計劃4.項目目標(biāo)4\o"CurrentDocument".時間安排5.人員組織6\o"CurrentDocument"項目實(shí)施7\o"CurrentDocument"選擇數(shù)據(jù)挖掘工具7\o"CurrentDocument".建立數(shù)據(jù)庫表建立和數(shù)據(jù)清理8.建立數(shù)據(jù)多維存儲10維度創(chuàng)建10.OLAP存儲創(chuàng)建11\o"CurrentDocument".OLAP數(shù)據(jù)分析12\o"CurrentDocument"2.4.數(shù)據(jù)挖掘14\o"CurrentDocument"決策樹計算（月用戶數(shù)量分析）15\o"CurrentDocument".用戶分類（聚類分析）17\o"CurrentDocument"總結(jié)19-.概述1.1.項目背景隨著國內(nèi)電信市場競爭的日趨激烈，電信運(yùn)營商的經(jīng)營模式逐漸從〃技術(shù)驅(qū)動”向〃市場驅(qū)動”、〃客戶驅(qū)動”轉(zhuǎn)化。這就要求運(yùn)營商要采取以客戶為中心的策略，根據(jù)客戶的實(shí)際需求提供多樣化、層次化、個性化的服務(wù)解決方案。因此，客戶關(guān)系管理（CRM）成了電信運(yùn)營商增加收入和利潤，提高客戶滿意度、忠誠度的有效工具。在客戶關(guān)系管理的流程中，為了準(zhǔn)確、及時地進(jìn)行經(jīng)營決策，必須充分獲取并利用相關(guān)的數(shù)據(jù)信息對決策過程進(jìn)行輔助支持。近幾年迅速發(fā)展起來的數(shù)據(jù)挖掘技術(shù)就是實(shí)現(xiàn)這一目標(biāo)的重要手段。數(shù)據(jù)挖掘和相關(guān)概念數(shù)據(jù)挖掘的概念和過程1.數(shù)據(jù)挖掘的概念數(shù)據(jù)挖掘是根據(jù)企業(yè)的既定業(yè)務(wù)目標(biāo)和存在的問題，對大量的業(yè)務(wù)數(shù)據(jù)進(jìn)行探索，揭示其中隱藏的規(guī)律，并將其模型化，指導(dǎo)并應(yīng)用于企業(yè)的實(shí)際經(jīng)營。數(shù)據(jù)挖掘是建立在數(shù)據(jù)倉庫基礎(chǔ)上的高層應(yīng)用，但數(shù)據(jù)挖掘跟數(shù)據(jù)倉庫的其它一些應(yīng)用如OLAP分析、預(yù)定義報表和即席查詢等有很大的區(qū)別。后三者通常是用戶根據(jù)已知的情況對所關(guān)心的業(yè)務(wù)指標(biāo)進(jìn)行分析;而前者則是在業(yè)務(wù)問題和目標(biāo)明確但考察的問題不清楚時，對數(shù)據(jù)進(jìn)行探索，揭示隱藏其中的規(guī)律性，進(jìn)而將其模型化。2.數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘是一個循環(huán)往復(fù)的過程，通常涉及數(shù)據(jù)準(zhǔn)備、建立模型、評估和解釋模型、運(yùn)用和鞏固模型等步驟。（1）數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)準(zhǔn)備工作包括數(shù)據(jù)的選擇（選擇相關(guān)和合適的數(shù)據(jù)X探索（了解數(shù)據(jù)分布情況和異常數(shù)據(jù)等）、修正（包括缺失數(shù)據(jù)的插值等）和變換（離散值數(shù)據(jù)與連續(xù)值數(shù)據(jù)的相互轉(zhuǎn)換，數(shù)據(jù)的分組分類，數(shù)據(jù)項的計算組合等）。（2）建立模型：選取數(shù)據(jù)挖掘工具提供的算法并應(yīng)用于準(zhǔn)備好的數(shù)據(jù)，選取相應(yīng)參數(shù)，生成模型。（3）評估和解釋模型：對模型進(jìn)行比較和評估，生成一個相對最優(yōu)模型，并對此模型用業(yè)務(wù)語言加以解釋。（4）運(yùn)用和鞏固模型：對模型在實(shí)際應(yīng)用中的表現(xiàn)進(jìn)行監(jiān)控，如果模型表Dh"i現(xiàn)不好，則對模型作進(jìn)一步的考察和修正，以反映業(yè)務(wù)運(yùn)作規(guī)律的變化。TheKDDProcessIrnriiicdpi即mwzddmDataminingScjcctioti^rIS*本Preprocessing[—I'argctdaEaDh"i現(xiàn)不好，則對模型作進(jìn)一步的考察和修正，以反映業(yè)務(wù)運(yùn)作規(guī)律的變化。TheKDDProcessIrnriiicdpi即mwzddmDataminingScjcctioti^rIS*本Preprocessing[—I'argctdaEa[:THnstbnnationII/HIInterpretation/PaHernsevaluationKnowledge電信運(yùn)營商擁有許多熟的數(shù)據(jù)庫應(yīng)用系統(tǒng)，如網(wǎng)管系統(tǒng)、財務(wù)系統(tǒng)、計費(fèi)賬務(wù)系統(tǒng)、112障礙管理系統(tǒng)、繳費(fèi)銷賬系統(tǒng)等，并產(chǎn)生了大量的業(yè)務(wù)處理數(shù)據(jù)。如果針對客戶關(guān)系管理相關(guān)決策分析的需求，對這些數(shù)據(jù)進(jìn)行重組整合，就能充分利用這些寶貴的數(shù)據(jù)，體現(xiàn)信息的真正價值。數(shù)據(jù)挖掘技術(shù)在電信行業(yè)主要應(yīng)用領(lǐng)域如下：（1）客戶消費(fèi)模式分析客戶消費(fèi)模式分析（如固話話費(fèi)行為分析）是對客戶歷年來長話、市話、信息臺的大量詳單、數(shù)據(jù)以及客戶檔案資料等相關(guān)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，結(jié)合客戶的分類，可以從消費(fèi)能力、消費(fèi)習(xí)慣、消費(fèi)周期等諸方面對客戶的話費(fèi)行為進(jìn)行分析和預(yù)測，從而為固話運(yùn)營商的相關(guān)經(jīng)營決策提供依據(jù)。（2）客戶市場推廣分析客戶市場推廣分析（如優(yōu)惠策略預(yù)測仿真）是利用數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)優(yōu)惠策略的仿真，根據(jù)數(shù)據(jù)挖掘模型進(jìn)行模擬計費(fèi)和模擬出賬，其仿真結(jié)果可以揭示優(yōu)惠策略中存在的問題，并進(jìn)行相應(yīng)的調(diào)整優(yōu)化，以達(dá)到優(yōu)惠促銷活動的收益最大化。（3）客戶欠費(fèi)分析和動態(tài)防欺詐通過數(shù)據(jù)挖掘，總結(jié)各種騙費(fèi)、欠費(fèi)行為的內(nèi)在規(guī)律，并建立一套欺詐和欠費(fèi)行為的規(guī)則庫。當(dāng)客戶的話費(fèi)行為與該庫中規(guī)則吻合時，系統(tǒng)可以提示運(yùn)營商相關(guān)部門采取措施，從而降低運(yùn)營商的損失風(fēng)險。（4）客戶流失分析根據(jù)已有的客戶流失數(shù)據(jù)，建立客戶屬性、服務(wù)屬性、客戶消費(fèi)情況等數(shù)據(jù)與客戶流失概率相關(guān)聯(lián)的數(shù)學(xué)模型，找出這些數(shù)據(jù)之間的關(guān)系，并給出明確的數(shù)學(xué)公式。然后根據(jù)此模型來監(jiān)控客戶流失的可能性，如果客戶流失的可能性過高，則通過促銷等手段來提高客戶忠誠度，防止客戶流失的發(fā)生。這就徹底改變了以往電信運(yùn)營商在成功獲得客戶以后無法監(jiān)控客戶流失、無法有效實(shí)現(xiàn)客戶關(guān)懷的狀況。1.3.項目計劃1.3.1?項目目標(biāo)電信公司每個月的帳單有數(shù)百萬條，牽涉到千家萬戶，這些數(shù)據(jù)中有很多寶貴的東西，可以從這些資料中獲得寶貴的資料。電信的產(chǎn)品非常多，主要有以下一些種類：普通電話（市內(nèi)電話）、長途電話、小靈通和寬帶業(yè)務(wù)，這些業(yè)務(wù)是電信業(yè)務(wù)的主體；電信公司的帳單目前按自然月開帳，每個月給用戶郵寄帳單；電信公司具有劃分為多個區(qū)域包括（區(qū)局、分局）。項目的目標(biāo)之一就是對這些數(shù)據(jù)進(jìn)行分類統(tǒng)計，按照產(chǎn)品/時間/區(qū)域等對數(shù)據(jù)進(jìn)行分類統(tǒng)計（建立三個維度），如本地、長途、寬帶、小靈通用戶數(shù)；本地（長途和小靈通）通話次數(shù)和平均時長，語音ARP（平均用戶收入）值，寬帶ARP值，小靈通ARP值等。決策樹分析，統(tǒng)計月收入的變化情況，對用戶進(jìn)行聚類分析，將用戶分為不同的等級。項目目標(biāo)之二是進(jìn)一步加深對數(shù)據(jù)挖掘的認(rèn)識，通過上課，我們已經(jīng)初步了解了數(shù)據(jù)挖掘的基本原理和基本算法，通過電信數(shù)據(jù)挖掘這個實(shí)踐，可初步掌握數(shù)據(jù)挖掘的一般過程和工具，對數(shù)據(jù)挖掘有更深刻的認(rèn)識，這對今后的工作是有非常大的好處的。通過項目也可以促進(jìn)項目組人員之間的了解，取長補(bǔ)短，共同

提高技能。時間安排初步時間安排為三周時間時間安排備注第一周?項目需求?系統(tǒng)分析?人員分工?選擇數(shù)據(jù)挖掘工具?建立數(shù)據(jù)庫表結(jié)構(gòu)?建立挖掘模型第二周?數(shù)據(jù)清理，轉(zhuǎn)換成數(shù)據(jù)庫表?建立多維度OLAP數(shù)據(jù)存儲模型?OLAP數(shù)據(jù)分析第三周?數(shù)據(jù)挖掘?知識發(fā)現(xiàn)?編與課題報告和演示報告，演示成果人員組織二.項目實(shí)施選擇數(shù)據(jù)挖掘工具目前市場上的數(shù)據(jù)挖掘工具比較多，一般而言，目前市場上這些數(shù)據(jù)挖掘工具又可分成兩類一一企業(yè)型工具以及小型工具。?企業(yè)型數(shù)據(jù)挖掘工具：應(yīng)用在需要高處理能力、高網(wǎng)絡(luò)容量和大數(shù)據(jù)量的場合下。這些工具通常支持多種平臺，并基于客戶機(jī)/服務(wù)器結(jié)構(gòu)。它通?？梢灾苯舆B接一些復(fù)雜的數(shù)據(jù)管理系統(tǒng)（不像普通文本文件），并能處理大量的數(shù)據(jù)。這類數(shù)據(jù)挖掘工具的另一個特點(diǎn)是它通常提供了多種數(shù)據(jù)挖掘算法，并有能力解決多種應(yīng)用問題。企業(yè)數(shù)據(jù)挖掘工具的實(shí)例有IBM的IntelligentMiner和SASEnterpriseMiner,SPSSClementine等。?小型數(shù)據(jù)挖掘工具：它與企業(yè)型的工具著眼點(diǎn)不同。小型數(shù)據(jù)挖掘工具或者是針對低端、低消費(fèi)的用戶，或者是為解決特定的應(yīng)用問題提供特定的解決方案。比如Oracle公司的Darwin,Insightful公司的InsightfulMiner，等等。本次項目選擇的工具為MicrosoftAnalysisService[]MicrosoftSQLSerrar2000MicrosoftSQLServerMicrosoftSQLServer?優(yōu)點(diǎn)-掌握快，易上手，適合初學(xué)者和本次項目

-支持多種數(shù)據(jù)庫，支持ODBC接口-成本低，SQLServer2000自帶的ServicePack包缺點(diǎn)-只能做很簡單的挖掘工作，過于傻瓜-只支持基于維度的數(shù)據(jù)挖掘-只支持決策樹和聚類分析建立數(shù)據(jù)庫表建立和數(shù)據(jù)清理根據(jù)電信帳單數(shù)據(jù)挖掘項目的要求，選擇比較簡單的ACCESS數(shù)據(jù)庫存儲數(shù)據(jù)，ACCESS的操作比較簡單，由于數(shù)據(jù)庫的通用性，今后也可以擴(kuò)展到大型數(shù)據(jù)庫，如ORACLE，SYBASE，DB2等，建立如下的表結(jié)構(gòu)如下：1.電信帳單事實(shí)表F^icrasoftAccess-[Bill_fact:吏]□艾件死）編SCE）視圖圖〕撻口口工具（匚密■口幫EUH）□艾件死）編SCE）視圖圖〕撻口口工具（匚密■口幫EUH）字段名稱I數(shù)據(jù)類型EilldetailIDBl11_IDPrQduct_IPRegion_IDTime^IDTele_ninui：eTele_cDunt字字字字字.T早

數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)裁Tele_fee數(shù)字詳己琉號［計竟彳中，核M的：’蘭舞帳單編號［按月寄紿用戶〉產(chǎn)品蝙號（1普通電話,；R途電語3寬帶.4小靈通）區(qū)域墉號（:區(qū)局”局）"|W通話時間（通帶無,填寫0）通話換最（寬帶無.埴寫0■該表記錄了電信的帳單2.產(chǎn)品表

MfcnM&ftAccess-[Product_lat)le!去]-b~|田|3|乒?fàn)巪曹4矗容-】文件?編輯②播."D工且（I〕住il：v,幫勖也H-宣肓匚：?-b~|田|3|乒?fàn)巪曹4矗容-4.時間表McrosoftAccess-[Tlme_tablei去]:□文件四編輯②視圖如）插，七①工且①番口也幫勖〔旦）―_二三FineID―_二三TLjn.E_yEar由于電信帳務(wù)數(shù)據(jù)庫非常復(fù)雜，結(jié)構(gòu)繁多，不利于數(shù)據(jù)挖掘，因此必須首先

進(jìn)行數(shù)據(jù)清理，規(guī)范化數(shù)據(jù)。利于挖掘的數(shù)據(jù)庫應(yīng)該是星型或雪花形的數(shù)據(jù)結(jié)構(gòu)，我們的數(shù)據(jù)庫表的關(guān)聯(lián)關(guān)系如圖所示:數(shù)據(jù)清理后得到以下的數(shù)據(jù)：?總共建立計費(fèi)數(shù)據(jù)事實(shí)表，數(shù)據(jù)總量為132762條;?建立從2003-2004年的時間表；?建立區(qū)局-分局的對應(yīng)關(guān)系表，總共13個區(qū)局和180個分局；建立產(chǎn)品表（普通電話，長途電話，小靈通和寬帶）。2.3.建立數(shù)據(jù)多維存儲2.3.1.維度創(chuàng)建數(shù)據(jù)多維存儲是OLAP（在線事物處理）的存儲形式，不同于數(shù)據(jù)庫的關(guān)系結(jié)構(gòu)，采用了立方體的存儲結(jié)構(gòu)，更利于數(shù)據(jù)的快速匯總和查找。立方體的結(jié)構(gòu)以數(shù)據(jù)維度為基礎(chǔ)，為此我們建立了三個維度，時間、區(qū)域和產(chǎn)品，有些維度分等級，如時間和區(qū)域就分兩級維度，因?yàn)闀r間可以分到年月，區(qū)域這里分為區(qū)局和分局兩級。如圖所示區(qū)域維的結(jié)構(gòu)：。型工艮蠣導(dǎo)虱暗毋，回明風(fēng)鳥好工而徵’旦闈￥殂朝本召廿’甌巧￥￥召反郢暮與翱旦dvio劄豐宙1評風(fēng)2!A」3SsisXieuvw9N0E區(qū)際「/￥風(fēng)莘孟重由邪的0*丑'歐旱舞蛙搦多風(fēng)鳥好皆&遂劄豐'翱旦成多風(fēng)郢暮/胞召也合回風(fēng)93JAJ9SsjsXieuv郢凈■BW冬dVIO?ZSZ。全/胞風(fēng)莘丟K/胞通％目風(fēng)M莘’/胞M莘來一回此'期成郢暮/胞歐旱晚址多郢凈也如!A」3SsjsXieuv'期成&茸/胞也共回卻Glxlill電I卜耶個■：心心上”拓袒衣pjltwI-回印母?典丁:Y：*?':耳聯(lián)罪RJ-9+^ii：vr±j-E*I-*1-i--npi-f展麻廳：i：r:"p.-spnnj宮EmjlKVpg」修由fjtfwilllJ祀弭甲5MLM3E5EA|PJV臼日?占3況.奐*L1?gA°Fn^⑴甘H◎任辜布劇Sf(PW帝伯多EEfiiN段［田回?xafteuetdTPrcduct_[DPrCdJZLcfejp-./少區(qū)財用戶數(shù)長挾評"RegiontabkCWFJM-開抽時間：12:47:47牙區(qū)、用戶數(shù)皇折計倒t理舊息：蜜妥赴理冬曜鼬.集.己成功完成的喜繼散據(jù)靠-用F壁宣茹計-的灶程.：?3;12;47;47結(jié)用時間；12;療;如定新倘；。;00：皿毒勤&據(jù)主■.用戶融;fiiSE計。*：n_DD中-]LC'_22.3.3?OLAP數(shù)據(jù)分析利用OLAP分析工具和生成的OLAP存儲文件，可以對數(shù)據(jù)進(jìn)行初步的分析工作，如圖所示:*132h15Oh72^0-遠(yuǎn)程在fffeREftOKB-fflFUKitXHefisires-jBimetalCd|區(qū)虬產(chǎn)品寤秣-年月-Bf有產(chǎn)品也這聊冒通電話-和時曰融ft時詞芻計132,7621您]116.652]?-3X02?j舍計UJ47J??5應(yīng)L氐H哄feO御51TO國2,03102也4相猝:L72,07+03D1Ob0?002,90]39L如2,5537jED5W&LMO.IW3,573516鴕2.9?4?2WSijLffi注--|叫7LW4姬D94.5B3374￡54.IZ+ID124.KH333754,0164.9IM?7ZW-M3S”02部ft4j230?3XH2(TH合計01D2B5郵7.M9l.tfM1364,60135796為1莓34,7:133S4-L434,2:14203EH05DED?叫4,10333LL胡4.DIQ46jAA6T45LE55,51]E4,572364LL$4,073n4』豹W7125偵&+131涎1。LJ1LZS5as■S.D41￡￡7LEIErm14ID/.atazLLKb,3G3]Dn.qnT93Z枷Ifi.ZIHIB13H75L,M0L9Z9j973-L

由上圖可見各年度，各區(qū)局，各種相關(guān)產(chǎn)品的統(tǒng)計情況，可進(jìn)行上鉆和下鉆的操作，如先看每年的情況，下鉆后可以看到每月的情況，粒度更細(xì)微，為分析提供的數(shù)據(jù)更詳細(xì)，同理也可只看某一區(qū)局的數(shù)據(jù)，通過下鉆可以看到更細(xì)的分局的數(shù)據(jù)。還可以通過不同維度的排列組合，獲得所需要分析的數(shù)據(jù)，滿足不同用戶對數(shù)據(jù)分析的需求。此外還可以提供鉆取功能，直接看到數(shù)據(jù)庫的原始記錄，更方便分析。如圖鉆取數(shù)據(jù)庫的原始數(shù)據(jù):2.4,數(shù)據(jù)挖掘數(shù)據(jù)挖掘基于OLAP，但是OLAP只是數(shù)據(jù)挖掘的基礎(chǔ)，而本身并不是數(shù)據(jù)挖掘。數(shù)據(jù)挖掘有一些方法：如關(guān)聯(lián)分析、分類和預(yù)測、聚類分析等，每一種類方法又有許多不同的算法：如分類預(yù)測就包括判定樹、貝葉斯分類、后向傳播分類、回歸算法等。目前MicrosoftAnalysisService僅支持聚類分析和決策樹算法，決策數(shù)算法可以根據(jù)以下例子說明：市場部想分析當(dāng)前銷售事務(wù)并找出客戶統(tǒng)計信息（性別、婚姻狀況、年收入等等）和所申請會員卡（金卡/銀卡/普通卡）之間的模式。然后根據(jù)這些信息和申請會員卡的客戶的特征重新定義會員卡?？赡艿玫饺缦碌臎Q策樹：根據(jù)以上決策樹，我們可以判斷客戶選卡的模式，男性30-40歲年收入大于10萬的比較偏好選擇金卡。根據(jù)決策樹所構(gòu)造的結(jié)果是實(shí)現(xiàn)我們并不知道的一個結(jié)果，就象關(guān)聯(lián)分析中我們并不知道尿布和啤酒是關(guān)聯(lián)商品，往往用戶會同時購買一樣，決策樹的分枝是有數(shù)據(jù)和決策樹算法決定的，如果使用現(xiàn)成工具進(jìn)行決策樹的挖掘，我們無法預(yù)料能產(chǎn)生什么樣的決策結(jié)果。2.4.1.決策樹計算（月用戶：根據(jù)以上算法計算一個決策樹，判斷各月的收入情況，可以得到以下的分析結(jié)果:可以看到某些月份用戶數(shù)量比較多，而有些月份用戶數(shù)量比較少。這樣市場部就可以根據(jù)用戶數(shù)量在淡季進(jìn)行有針對性的促銷活動。2.4.2.用戶分類（聚類分析）我們要求對用戶進(jìn)行分類，但我們并不知道要怎么樣分類，我們將數(shù)據(jù)交AnayliseService處理，AnayliseService為我們得到U一^分類，可以作為用戶分類的依據(jù)。分類結(jié)果如下表所表示:月詁費(fèi)用戶數(shù)百分比<3531.259700073%3531.25-10056.252469718.6%10056.25-13000.7525372%>13000.7585236.4%全部132762100%可見用戶大多數(shù)還是以低端用戶為主（數(shù)據(jù)經(jīng)過處理），高端用戶也有6.4%,主要是企業(yè)