數(shù)據(jù)挖掘 概念和技術(shù)1ppt課件

1、2001-11-6;.1數(shù)據(jù)發(fā)掘: 概念和技術(shù) Chapter 6 張曉輝 2001-11-6;.2第6章：從大數(shù)據(jù)庫中發(fā)掘關(guān)聯(lián)規(guī)那么n關(guān)聯(lián)規(guī)那么發(fā)掘n從買賣數(shù)據(jù)庫中發(fā)掘一維的布爾形關(guān)聯(lián)規(guī)那么n從買賣數(shù)據(jù)庫中發(fā)掘多層次關(guān)聯(lián)規(guī)那么n在買賣數(shù)據(jù)庫和數(shù)據(jù)倉庫中發(fā)掘多維關(guān)聯(lián)規(guī)那么n從關(guān)聯(lián)發(fā)掘到相關(guān)性分析n基于約束的關(guān)聯(lián)發(fā)掘n小結(jié)2001-11-6;.3什么是關(guān)聯(lián)發(fā)掘?n關(guān)聯(lián)規(guī)那么發(fā)掘：n在買賣數(shù)據(jù)、關(guān)系數(shù)據(jù)或其他信息載體中，查找存在于工程集合或?qū)ο蠹现g的頻繁方式、關(guān)聯(lián)、相關(guān)性、或因果構(gòu)造。n運用：n購物籃分析、交叉銷售、產(chǎn)品目錄設(shè)計、 loss-leader analysis、聚集、分類等。n舉例

2、： n規(guī)那么方式： “Body Head support, confidence.nbuys(x, “diapers) buys(x, “beers) 0.5%, 60%nmajor(x, “CS) takes(x, “DB) grade(x, “A) 1%, 75%2001-11-6;.4關(guān)聯(lián)規(guī)那么：根本概念n給定: (1)買賣數(shù)據(jù)庫 (2)每筆買賣是：一個工程列表 (消費者一次購買活動中購買的商品)n查找: 一切描畫一個工程集合與其他工程集合相關(guān)性的規(guī)那么nE.g., 98% of people who purchase tires and auto accessories also ge

3、t automotive services donen運用n* 護理用品 (商店應(yīng)該怎樣提高護理用品的銷售？)n家用電器 * (其他商品的庫存有什么影響?)n在產(chǎn)品直銷中運用附加郵寄nDetecting “ping-ponging of patients, faulty “collisions2001-11-6;.5規(guī)那么度量：支持度與可信度n查找一切的規(guī)那么 X & Y Z 具有最小支持度和可信度n支持度, s, 一次買賣中包含X 、 Y 、 Z的能夠性n可信度, c, 包含X 、 Y的買賣中也包含Z的條件概率交易ID購買的商品2000A,B,C1000A,C4000A,D5000B

4、,E,F設(shè)最小支持度為50%, 最小可信度為 50%, 那么可得到A C (50%, 66.6%)C A (50%, 100%)買尿布的客買尿布的客戶戶二者都買二者都買的客戶的客戶買啤酒的客戶買啤酒的客戶2001-11-6;.6關(guān)聯(lián)規(guī)那么發(fā)掘：道路圖n布爾 vs. 定量 關(guān)聯(lián) (基于 處置數(shù)據(jù)的類型)nbuys(x, “SQLServer) buys(x, “DMBook) buys(x, “DBMiner) 0.2%, 60%nage(x, “30.39) income(x, “42.48K) buys(x, “PC) 1%, 75%n單維 vs. 多維 關(guān)聯(lián) (例子同上)n單層 vs. 多

5、層 分析n那個種類牌子的啤酒與那個牌子的尿布有關(guān)系?n各種擴展n相關(guān)性、因果分析n關(guān)聯(lián)并不一定意味著相關(guān)或因果n最大方式和閉合相集n添加約束n如, 哪些“小東西的銷售促發(fā)了“大家伙的買賣？2001-11-6;.7第6章：從大數(shù)據(jù)庫中發(fā)掘關(guān)聯(lián)規(guī)那么n關(guān)聯(lián)規(guī)那么發(fā)掘n從買賣數(shù)據(jù)庫中發(fā)掘一維的布爾形關(guān)聯(lián)規(guī)那么n從買賣數(shù)據(jù)庫中發(fā)掘多層次關(guān)聯(lián)規(guī)那么n在買賣數(shù)據(jù)庫和數(shù)據(jù)倉庫中發(fā)掘多維關(guān)聯(lián)規(guī)那么n從關(guān)聯(lián)發(fā)掘到相關(guān)性分析n基于約束的關(guān)聯(lián)發(fā)掘n小結(jié)2001-11-6;.8關(guān)聯(lián)規(guī)那么發(fā)掘一個例子對于 A C：support = support(A 、C) = 50%confidence = support(A 、

6、C)/support(A) = 66.6%Apriori的根本思想:頻繁項集的任何子集也一定是頻繁的交易ID購買商品2000A,B,C1000A,C4000A,D5000B,E,F頻繁項集支持度A75%B50%C50%A,C50%最小值尺度 50%最小可信度 50%2001-11-6;.9關(guān)鍵步驟：發(fā)掘頻繁集n頻繁集:是指滿足最小支持度的工程集合n頻繁集的子集也一定是頻繁的n如, 假設(shè)AB 是頻繁集，那么 A B 也一定是頻繁集n從1到kk-頻繁集遞歸查找頻繁集n用得到的頻繁集生成關(guān)聯(lián)規(guī)那么2001-11-6;.10Apriori算法n銜接: 用 Lk-1自銜接得到Ckn修剪: 一個k-項集，

7、假設(shè)他的一個k-1項集他的子集 不是頻繁的，那他本身也不能夠是頻繁的。n偽代碼:nCk: Candidate itemset of size knLk : frequent itemset of size knL1 = frequent items;nfor (k = 1; Lk !=; k+) do beginn Ck+1 = candidates generated from Lk;n for each transaction t in database don increment the count of all candidates in Ck+1 that are contained

8、 in tn Lk+1 = candidates in Ck+1 with min_supportn endnreturn k Lk;2001-11-6;.11Apriori算法 例子TID Items100 1 3 4200 2 3 5300 1 2 3 5400 2 5數(shù)據(jù)庫 Ditemset sup.1223334153itemset sup.12233353掃描 DC1L1itemset1 21 31 52 32 53 5itemset sup1 211 321 512 322 533 52itemset sup1 322 322 533 52L2C2C2掃描 DC3L3itemset2 3 5掃描 Ditemset sup2 3 522001-11-6;.12如何生成候選集n假定 Lk-1 中的項按順序陳列n第一步: 自銜接 Lk-1 ninsert into Cknselect p.item1, p.item2, , p.itemk-1, q.ite