數(shù)據(jù)挖掘與應(yīng)用(十三)課件

1第十三講

模型評(píng)估1第十三講 模型評(píng)估2模型評(píng)估為了得到能有效預(yù)測(cè)因變量的模型，可以建立多個(gè)模型，對(duì)它們進(jìn)行評(píng)估和比較，并從中選擇最優(yōu)的模型。通常根據(jù)對(duì)修正數(shù)據(jù)集的預(yù)測(cè)效果來選擇模型。一般地：令D為評(píng)估數(shù)據(jù)集；ND為其中的觀測(cè)數(shù)；令Yi和分別表示D中觀測(cè)i的因變量的真實(shí)值和模型預(yù)測(cè)值。2模型評(píng)估為了得到能有效預(yù)測(cè)因變量的模型，可以建立多個(gè)模型，3因變量為二分變量的情形若因變量只有兩種取值，可不失一般性地假設(shè)它們?yōu)?和t。設(shè)模型預(yù)測(cè)觀測(cè)i屬于類別0和類別1的概率分別為和

?？墒褂靡韵路椒ǖ玫結(jié)i的預(yù)測(cè)值:如果>0.5，令=1，否則令=0。3因變量為二分變量的情形若因變量只有兩種取值，可不失一般性地4獲取Yi的預(yù)測(cè)值也可定義分類利潤(rùn)，令P(l2│l1)表示將實(shí)際屬于類別l1的觀測(cè)歸入類別l2所產(chǎn)生的利潤(rùn)。缺省地P(0│0)=P(1│1)=1，P(1│0)=P(0│1)=0。在實(shí)際應(yīng)用中，需要根據(jù)實(shí)際情況設(shè)置分類利潤(rùn)的值。例如，在直郵營(yíng)銷中，假設(shè)類別1代表潛在顧客響應(yīng)(即進(jìn)行了購(gòu)買)，類別0代表潛在顧客不響應(yīng)。P(0│0)和P(0│1)對(duì)應(yīng)于不郵寄產(chǎn)品目錄，帶來的利潤(rùn)為0。P(1│0)對(duì)應(yīng)于將實(shí)際不響應(yīng)的顧客錯(cuò)誤判斷為響應(yīng)而郵寄產(chǎn)品目錄，帶來的利潤(rùn)為負(fù)，等于聯(lián)系顧客成本(包括產(chǎn)品目錄制作、郵寄等成本)的負(fù)值。P(1│1)對(duì)應(yīng)于將實(shí)際響應(yīng)的顧客正確判斷為響應(yīng)而郵寄產(chǎn)品目錄，帶來的利潤(rùn)為顧客的購(gòu)買金額減去聯(lián)系成本的差;因?yàn)镻(1│1)只能取一個(gè)值，這里采用的購(gòu)買金額是顧客的平均購(gòu)買金額。4獲取Yi的預(yù)測(cè)值也可定義分類利潤(rùn)，令P(l2│l1)表示將5獲取Yi的預(yù)測(cè)值給

賦值時(shí)需要比較期望利潤(rùn):將觀測(cè)i歸入類別0所帶來的期望利潤(rùn)為P(0│0)+P(0│1)，而將觀測(cè)i歸入類別1所帶來的期望利潤(rùn)為P(1│0)+P(1│1)；如果前者小于后者，即則令=1，否則令=0。5獲取Yi的預(yù)測(cè)值給賦值時(shí)需要比較期望利潤(rùn):將觀測(cè)6獲取Yi的預(yù)測(cè)值也可定義分類損失，令C(l2│l1)表示將實(shí)際屬于類別l1的觀測(cè)歸入類別l2所產(chǎn)生的損失。缺省地C(0│0)=C(1│1)=0，C(1│0)=C(0│1)=0。給賦值時(shí)需要比較期望損失:將觀測(cè)i歸入類別0所帶來的期望損失為C(0│0)+C(0│1)，而將觀測(cè)i歸入類別1所帶來的期望損失為C(1│0)+C(1│1)；如果前者大于后者，即則令=1，否則令=0。6獲取Yi的預(yù)測(cè)值也可定義分類損失，令C(l2│l1)表示將7混淆矩陣最簡(jiǎn)單的模型評(píng)估方法是使用下表所示的混淆矩陣，表中Nl1l2為實(shí)際屬于類別l1而被預(yù)測(cè)屬于類別l2的觀測(cè)數(shù)；顯然，N00+N01+N10+N11=ND。7混淆矩陣最簡(jiǎn)單的模型評(píng)估方法是使用下表所示的混淆矩陣，表中8混淆矩陣實(shí)際屬于類別0的觀測(cè)中被誤分入類別1的比例為N01/(N00+N01)，實(shí)際屬于類別1的觀測(cè)中被誤分入類別0的比例為N10/(N10+N11)，總的誤分類率為(N01+N10)/ND。8混淆矩陣實(shí)際屬于類別0的觀測(cè)中被誤分入類別1的比例為N019平均利潤(rùn)或平均損失當(dāng)分類利潤(rùn)和分類損失取缺省值時(shí)，評(píng)估模型的平均利潤(rùn)或平均損失等價(jià)于評(píng)估總誤分類率。如果定義了分類利潤(rùn)或分類損失，還可評(píng)估模型的平均利潤(rùn)

或平均損失

。9平均利潤(rùn)或平均損失當(dāng)分類利潤(rùn)和分類損失取缺省值時(shí)，評(píng)估模型10更加細(xì)致的評(píng)估我們可以直接使用模型預(yù)測(cè)概率以對(duì)模型進(jìn)行更加細(xì)致的評(píng)估。設(shè)某個(gè)關(guān)于直郵營(yíng)銷的歷史數(shù)據(jù)集D中有100,000位顧客，總體響應(yīng)率為20%，也就是說，如果把產(chǎn)品目錄郵寄給這100,000位顧客，實(shí)際會(huì)收到20,000份響應(yīng)。將這100,000位顧客按照預(yù)測(cè)概率

從大到小進(jìn)行排列，我們將考慮聯(lián)系其中的某些顧客。為了方便討論起見，按十分位數(shù)將排列好的顧客等分為十組，考慮聯(lián)系第一組的顧客、第二組的顧客，等等；但實(shí)際中可以精確到聯(lián)系多少位顧客。10更加細(xì)致的評(píng)估我們可以直接使用模型預(yù)測(cè)概率以對(duì)模型進(jìn)行更11更加細(xì)致的評(píng)估響應(yīng)率:被聯(lián)系的人中響應(yīng)的比例，即基準(zhǔn)響應(yīng)率:不使用任何模型而隨機(jī)聯(lián)系顧客時(shí)所得的響應(yīng)率，出于隨機(jī)性，它等于總體響應(yīng)率。捕獲響應(yīng)率:聯(lián)系顧客所得的響應(yīng)人數(shù)占響應(yīng)者總?cè)藬?shù)的比例，即基準(zhǔn)捕獲響應(yīng)率:不使用任何模型而隨機(jī)聯(lián)系顧客時(shí)所得的捕獲響應(yīng)率，出于隨機(jī)性，它等于被聯(lián)系人數(shù)占顧客總?cè)藬?shù)的比例。提升值:使用模型所得的響應(yīng)率與基準(zhǔn)響應(yīng)率之比。如果提升值大于1，說明使用模型挑選聯(lián)系人比隨機(jī)挑選效果更好。11更加細(xì)致的評(píng)估響應(yīng)率:被聯(lián)系的人中響應(yīng)的比例，即基準(zhǔn)響應(yīng)12非累積響應(yīng)情況12非累積響應(yīng)情況13累積響應(yīng)情況13累積響應(yīng)情況14響應(yīng)率圖14響應(yīng)率圖15響應(yīng)率圖"ideal'’表示理想情況:之后，當(dāng)非累積被聯(lián)系人都屬于非響應(yīng)者時(shí)，非累積響應(yīng)率變成0，而累積響應(yīng)率等于響應(yīng)者總?cè)藬?shù)與累積被聯(lián)系人數(shù)之比，最后達(dá)到總體響應(yīng)率。任意響應(yīng)者的預(yù)測(cè)響應(yīng)概率都大于所有非響應(yīng)者的預(yù)測(cè)響應(yīng)概率，因此，若按照預(yù)測(cè)響應(yīng)概率從大到小排序，響應(yīng)者都排在非響應(yīng)者的前面。當(dāng)累積被聯(lián)系人數(shù)不超過響應(yīng)者總?cè)藬?shù)時(shí)，不管是非累積還是累積情形，被聯(lián)系的所有人都是響應(yīng)者，所以非累積響應(yīng)率和累積響應(yīng)率都是100%;“model”表示使用模型挑選聯(lián)系人的情況;

“baseline”表示不使用任何模型而隨機(jī)聯(lián)系顧客的基準(zhǔn)情況。實(shí)際的模型當(dāng)然無法達(dá)到理想效果，但模型的效果越接近理想效果越好。15響應(yīng)率圖"ideal'’表示理想情況:之后，當(dāng)非累積被聯(lián)16響應(yīng)率圖非累積捕獲響應(yīng)率圖模型效果越接近理想效果越好。在理想情況下，當(dāng)累積被聯(lián)系人數(shù)不超過響應(yīng)者總?cè)藬?shù)時(shí)，不管是非累積還是累積情形，被聯(lián)系的所有人都是響應(yīng)者，所以非累積捕獲相應(yīng)率和累積捕獲響應(yīng)率都等于相應(yīng)的被聯(lián)系人數(shù)與響應(yīng)者點(diǎn)人數(shù)之比。之后非累積捕獲響應(yīng)率變?yōu)?，而累積捕獲響應(yīng)率變成100%。累積捕獲響應(yīng)率圖16響應(yīng)率圖非累積捕獲響應(yīng)率圖模型效果越接近理想效果越好。在17準(zhǔn)確度比率從累積捕獲響應(yīng)率圖還可以計(jì)算一個(gè)數(shù)值指標(biāo):準(zhǔn)確度比率(AccuracyRatio)。首先計(jì)算模型的累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，它度量了使用模型相比于基準(zhǔn)情況而言增加的預(yù)測(cè)性能;然后計(jì)算理想累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，它度量了理想情況相比于基準(zhǔn)情況而言增加的性能；準(zhǔn)確度比率是這兩個(gè)面積的比值。準(zhǔn)確度比率的取值在0至1之間，取值0表示使用模型的預(yù)測(cè)效果和基準(zhǔn)情況一樣，取值1表示模型的預(yù)測(cè)效果和理想情況一樣;準(zhǔn)確度比率的值越接近于1，模型效果越好。17準(zhǔn)確度比率從累積捕獲響應(yīng)率圖還可以計(jì)算一個(gè)數(shù)值指標(biāo):準(zhǔn)確18準(zhǔn)確度比率數(shù)學(xué)上，準(zhǔn)確度比率被定義為（1）r模型(q)表示聯(lián)系模型預(yù)測(cè)概率的排序處于前面比例q(o≤q≤1)的顧客時(shí)所得的累積捕獲響應(yīng)率，∫01r模型(q)dq表示模型的累積捕獲響應(yīng)率曲線之下的面積。18準(zhǔn)確度比率數(shù)學(xué)上，準(zhǔn)確度比率被定義為（1）r模型(q)19準(zhǔn)確度比率基準(zhǔn)累積捕獲響應(yīng)率r基準(zhǔn)(q)=q，因此基準(zhǔn)累積捕獲響應(yīng)率曲線之下的面積為

。公式中的分子計(jì)算了模型的累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，類似可推出分母計(jì)算了理想累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積。積分的近似:示例中使用十分位數(shù)，積分可用

來近似;在實(shí)際應(yīng)用時(shí)可精確到每一位顧客，積分可用

來近似。19準(zhǔn)確度比率基準(zhǔn)累積捕獲響應(yīng)率r基準(zhǔn)(q)=q，因此基20受試者操作特性曲線受試者操作特性曲線(ReceiverOperatingCharacteristicCurve以下簡(jiǎn)稱ROC曲線)也是衡量模型預(yù)測(cè)能力的一種常用工具，它來源于并經(jīng)常應(yīng)用于醫(yī)學(xué)領(lǐng)域。假設(shè)習(xí)齊模型預(yù)測(cè)響應(yīng)概率大于某個(gè)臨界值C的顧客都預(yù)測(cè)為響應(yīng)者，而將其他顧客都預(yù)測(cè)為非響應(yīng)者。20受試者操作特性曲線受試者操作特性曲線(Receiver21受試者操作特性曲線特異度(specificity)定義為真陰性(truenegative)觀測(cè)數(shù)與陰性總觀測(cè)數(shù)之比。敏感度(sensitivity)定義為真陽性(truepositive)觀測(cè)數(shù)與陽性總觀測(cè)數(shù)之比。真陽性觀測(cè)數(shù)指的是實(shí)際響應(yīng)而模型也預(yù)測(cè)響應(yīng)的顧客數(shù)，陽性總觀測(cè)數(shù)指的是實(shí)際響應(yīng)的顧客數(shù)(很容易推出，此處敏感度等于累積捕獲響應(yīng)率)。真陰性觀測(cè)數(shù)指的是實(shí)際不響應(yīng)而模型也預(yù)測(cè)不響應(yīng)的顧客數(shù)；陰性總觀測(cè)數(shù)指的是實(shí)際不響應(yīng)的顧客數(shù)。21受試者操作特性曲線特異度(specificity)定義為22受試者操作特性曲線C的值從1變化到0時(shí)，特異度和敏感度的值都會(huì)變化，將“1-特異度”作為橫軸、敏感度作為縱軸作圖，這種變化在圖中形成的曲線就被稱為ROC曲線。當(dāng)C=1時(shí)，所有顧客都被預(yù)測(cè)為不會(huì)響應(yīng)，因此特異度=1(1-特異度=0)，敏感度=0;當(dāng)C=0時(shí)，所有顧客都被預(yù)測(cè)為會(huì)響應(yīng)，因此特異度=0(1-特異度=1)，敏感度=1。ROC曲線是連接(0,0)點(diǎn)和(1,1)點(diǎn)的一條曲線。22受試者操作特性曲線C的值從1變化到0時(shí)，特異度和敏感度的23受試者操作特性曲線理想情況下，任意響應(yīng)者的預(yù)測(cè)響應(yīng)概率都大于所有非響應(yīng)者的預(yù)測(cè)響應(yīng)概率。因此，存在C*使得預(yù)測(cè)響應(yīng)概率大于C*的所有顧客都是響應(yīng)者，而其他顧客都是非響應(yīng)者。23受試者操作特性曲線理想情況下，任意響應(yīng)者的預(yù)測(cè)響應(yīng)概率都24受試者操作特性曲線當(dāng)C≥C*時(shí)，所有實(shí)際非響應(yīng)者都被正確地預(yù)測(cè)為不響應(yīng);因?yàn)樘禺惗仁菍?shí)際非響應(yīng)者中被模型預(yù)測(cè)為非響應(yīng)者的比例，所以特異度=1(1-特異度=0)，而敏感度是實(shí)際響應(yīng)者中被模型預(yù)測(cè)為響應(yīng)者的比例;當(dāng)C<C*時(shí)，所有實(shí)際響應(yīng)者都被正確地預(yù)測(cè)為響應(yīng)，因此敏感度=1，當(dāng)C的值從C*變化到0時(shí)，特異度從1變化到0("1-特異度”從0變化到1)。所以理想的ROC曲線由連接(0,0)點(diǎn)和(1,0)點(diǎn)的線段與連接(1,0)點(diǎn)和(1,1)點(diǎn)的線段組成。24受試者操作特性曲線當(dāng)C≥C*時(shí)，所有實(shí)際非響應(yīng)者都被正確25受試者操作特性曲線所以基準(zhǔn)的ROC曲線就是連接(o,o點(diǎn)和(1,1)點(diǎn)的一條對(duì)角直線。在基準(zhǔn)情況下，任意選取一部分顧客，其中響應(yīng)者所占的比例都等于總體響應(yīng)率，非響應(yīng)者所占的比例都等于總體非響應(yīng)率。對(duì)任意C值：特異度都等于預(yù)測(cè)非響應(yīng)者人數(shù)占顧客總?cè)藬?shù)的比例；而敏感度都等于預(yù)測(cè)響應(yīng)者人數(shù)占顧客總?cè)藬?shù)的比例；它們的和總是等于1。25受試者操作特性曲線所以基準(zhǔn)的ROC曲線就是連接(o,o點(diǎn)26受試者操作特性曲線一般而言，模型的ROC曲線落在理想ROC曲線與基準(zhǔn)ROC曲線之間。基準(zhǔn)ROC曲線下的面積為0.5，理想ROC曲線下的面積為1，一般模型ROC曲線下的面積在0.5至1之間，這個(gè)值越接近1，模型效果越好。ROC曲線下的面積也可作為衡量模型效果的一個(gè)數(shù)值指標(biāo)。26受試者操作特性曲線一般而言，模型的ROC曲線落在理想RO27受試者操作特性曲線對(duì)模型的預(yù)測(cè)效果而言，特異度和敏感度都是越大越好，但是這兩者之間需要平衡。有時(shí)在實(shí)際應(yīng)用中，我們希望選擇截?cái)嘀礐以使特異度與敏感度的和達(dá)到最大;這時(shí)可以取45度角直線簇敏感度=α+(1-特異度) 特異度+敏感度=α+1與ROC曲線的切點(diǎn)，選取切點(diǎn)對(duì)應(yīng)的C值。27受試者操作特性曲線對(duì)模型的預(yù)測(cè)效果而言，特異度和敏感度都28盈利評(píng)估除了考察顧客的響應(yīng)情況，還可以考察直郵營(yíng)銷的盈利情況。前面討論過分類利潤(rùn)，涉及顧客的平均購(gòu)買金額，但在實(shí)際中顧客購(gòu)買的金額通常大小不一。評(píng)估模型效果時(shí)使用顧客的實(shí)際購(gòu)買金額評(píng)估將更加細(xì)致。28盈利評(píng)估除了考察顧客的響應(yīng)情況，還可以考察直郵營(yíng)銷的盈利29盈利評(píng)估假設(shè)聯(lián)系顧客的成本為每人1元。29盈利評(píng)估假設(shè)聯(lián)系顧客的成本為每人1元。30盈利評(píng)估30盈利評(píng)估31盈利評(píng)估出于隨機(jī)性，它等于聯(lián)系所有顧客所得利潤(rùn)(累計(jì)利潤(rùn)表最后一行的利潤(rùn)-13,060)與被聯(lián)系人數(shù)占顧客總?cè)藬?shù)的比例的乘積?；鶞?zhǔn)利潤(rùn):不使用任何模型而隨機(jī)聯(lián)系顧客所得的利潤(rùn)。非累積利潤(rùn)圖累積利潤(rùn)圖非累積情形下，基準(zhǔn)利潤(rùn)等于總利潤(rùn)的1/10，即-1,306；累積情形下，基準(zhǔn)利潤(rùn)等于總利潤(rùn)的i/10，即-1.3061i(i=1,…,10)。31盈利評(píng)估出于隨機(jī)性，它等于聯(lián)系所有顧客所得利潤(rùn)(累計(jì)利潤(rùn)32因變量為二分變量的情形在實(shí)際應(yīng)用中，有時(shí)D中類別1和類別0的比例λ1及λ0不同于模型將來要應(yīng)用的數(shù)據(jù)中的比例π1及π0，而又希望根據(jù)D評(píng)估模型對(duì)將來要應(yīng)用的數(shù)據(jù)的預(yù)測(cè)性能。這時(shí)，需要給D中的觀測(cè)賦予不同的權(quán)重wi:屬于類別1的觀測(cè)被賦予權(quán)重wi=π1/λ1屬于類別0的觀測(cè)被賦予權(quán)重wi=π0/λ0在計(jì)算各項(xiàng)評(píng)估指標(biāo)時(shí)，都需要考慮權(quán)重，例如，響應(yīng)率不再簡(jiǎn)單地是響應(yīng)人數(shù)與被聯(lián)系人數(shù)的比例，而是響應(yīng)者的權(quán)重之和與被聯(lián)系者的權(quán)重之和的比例。32因變量為二分變量的情形在實(shí)際應(yīng)用中，有時(shí)D中類別1和類別33因變量為多分變量的情形若因變量有離散的多種取值，可不失一般性地假設(shè)它們?yōu)?,…

,K。我們?cè)诮y(tǒng)計(jì)決策的一般框架下來討論。假設(shè)對(duì)每一位顧客i，可采用的決策di都有M種可能取值:Al,…,AM。設(shè)模型預(yù)測(cè)顧客i屬于各類別的概率為:,…,。分類問題是統(tǒng)計(jì)決策的一種特例，在這種情形下，di有K種可能取值：對(duì)l=1,…,K，決策Al表示將顧客歸入類別l,即令=l。33因變量為多分變量的情形若因變量有離散的多種取值，可不失一34因變量為多分變量的情形可以使用決策利潤(rùn)來進(jìn)行決策。如果對(duì)顧客i采用決策di=Am，那么帶來的期望利潤(rùn)為令P(d│y)表示對(duì)實(shí)際屬于類別y的顧客采用決策d而產(chǎn)生的利潤(rùn)。應(yīng)選取使期望利潤(rùn)最大的決策。34因變量為多分變量的情形可以使用決策利潤(rùn)來進(jìn)行決策。如果對(duì)35因變量為多分變量的情形在分類問題中：若因變量為名義變量，缺省地選取的決策為將顧客i歸入使最大的類別l；若因變量為定序變量，缺省地

，選取的決策為將顧客i歸入使最大的類別l，即使最小的類別l。35因變量為多分變量的情形在分類問題中：若因變量為名義變量，36因變量為多分變量的情形也可以使用決策損失來進(jìn)行決策。令C(d│y)為對(duì)實(shí)際屬于類別y的顧客采用決策d而產(chǎn)生的損失。如果對(duì)顧客i采用決策di=Am，那么帶來的期望損失為應(yīng)選取使期望損失最小的決策。36因變量為多分變量的情形也可以使用決策損失來進(jìn)行決策。令C37因變量為多分變量的情形在分類問題中：若因變量為名義變量，缺省地選取的決策為將顧客i歸入使1-最小即最大的類別l；若因變量為定序變量，缺省地

，選取的決策為將顧客i歸入使最小的類別l?？梢钥闯觯褂脹Q策利潤(rùn)或決策損失進(jìn)行決策是等價(jià)的。37因變量為多分變量的情形在分類問題中：若因變量為名義變量，38因變量為多分變量的情形可以評(píng)估模型的平均利潤(rùn)

或平均損失

。在分類問題中：若因變量為名義變量，還可評(píng)估對(duì)D的總誤分類率為很容易看出，如果決策利潤(rùn)或決策損失取缺省值，那么評(píng)估平均利潤(rùn)或平均損失等價(jià)于評(píng)估誤分類率若因變量為定序變量，還可評(píng)估按序數(shù)距離加權(quán)的誤分類率與因變量是二分變量的情形類似，我們還可以使用混淆矩陣來評(píng)估模型。38因變量為多分變量的情形可以評(píng)估模型的平均利潤(rùn) 或平均39因變量為多分變量的情形要對(duì)模型進(jìn)行更加細(xì)致的評(píng)估，需要更加細(xì)致地考察決策利潤(rùn)或決策損失，這里僅討論使用決策利潤(rùn)的情形。為了繪出響應(yīng)率圖、捕獲響應(yīng)率圖、ROC圖、利潤(rùn)圖等，我們需要能夠按照模型預(yù)測(cè)結(jié)果對(duì)觀測(cè)進(jìn)行排序，并定義誰是(實(shí)際)響應(yīng)者，誰是(實(shí)際)非響應(yīng)者。解決方法如下:模型預(yù)測(cè)的決策di帶來的實(shí)際利潤(rùn)為P(di│yi)，可把實(shí)際利潤(rùn)大于某個(gè)臨界值的顧客定義為響應(yīng)者，而把其他顧客定義為非響應(yīng)者。按照它從大到小的順序可以將顧客進(jìn)行排列。模型預(yù)測(cè)的決策di帶來的期望利潤(rùn)為39因變量為多分變量的情形要對(duì)模型進(jìn)行更加細(xì)致的評(píng)估，需要更40因變量為多分變量的情形在實(shí)際應(yīng)用中，如果D中各類別的比例λ1(l=1,…,K)不同于模型將來要應(yīng)用的數(shù)據(jù)中的比例πl(wèi)，而又希望根據(jù)D評(píng)估模型對(duì)將來要應(yīng)用的數(shù)據(jù)的預(yù)測(cè)性能，就需要給D中的觀測(cè)賦予不同的權(quán)重wi：屬于類別l的顧客被賦予權(quán)重wi=πl(wèi)/λl。40因變量為多分變量的情形在實(shí)際應(yīng)用中，如果D中各類別的比例41因變量為連續(xù)變量的情形若因變量為連續(xù)變量，可計(jì)算下列一些評(píng)估指標(biāo):均方誤差:均方誤差:均方誤差:均方誤差:還可繪出Yi與的散點(diǎn)圖，或者Yi-與的散點(diǎn)圖。41因變量為連續(xù)變量的情形若因變量為連續(xù)變量，可計(jì)算下列一些42因變量為連續(xù)變量的情形實(shí)際應(yīng)用中也可能需要為每位顧客選擇某種決策。假設(shè)聯(lián)系每位顧客的成本為r，那么決策利P(A1│y)=y-r，而P(A2│y)=0。令P(d│y)表示對(duì)實(shí)際購(gòu)買金額為y的顧客采用決策d而產(chǎn)生的利潤(rùn)。仍舉直郵營(yíng)銷為例，如果因變量Yi為顧客i的購(gòu)買金額，可選擇的兩種決策為聯(lián)系(記為A1)或不聯(lián)系(記為A2)。如果對(duì)顧客i采用決策di=A1，預(yù)測(cè)利潤(rùn)為如果對(duì)顧客i采用決策di=A2，預(yù)測(cè)利潤(rùn)為因此，如果

，則選取決策di=Ai，否則選取決策di=A2。42因變量為連續(xù)變量的情形實(shí)際應(yīng)用中也可能需要為每位顧客選擇43因變量為連續(xù)變量的情形為了繪出模型的響應(yīng)率圖、捕獲響應(yīng)率圖、ROC圖、利潤(rùn)圖等，我們同樣需要能夠按照模型預(yù)測(cè)結(jié)果對(duì)觀測(cè)進(jìn)行排序，并定義誰是(實(shí)際)響應(yīng)者，誰是(實(shí)際)非響應(yīng)者。解決方法如下:模型預(yù)測(cè)的決策di帶來的預(yù)測(cè)利潤(rùn)為

，按照它從大到小的順序?qū)㈩櫩瓦M(jìn)行排列。模型預(yù)測(cè)的決策di帶來的實(shí)際利潤(rùn)為P(di│Yi)，可把實(shí)際利潤(rùn)大于某個(gè)臨界值(例如，0)的顧客定義為響應(yīng)者，而把其他顧客定義為非響應(yīng)者。43因變量為連續(xù)變量的情形為了繪出模型的響應(yīng)率圖、捕獲響應(yīng)率44第十三講

模型評(píng)估1第十三講 模型評(píng)估45模型評(píng)估為了得到能有效預(yù)測(cè)因變量的模型，可以建立多個(gè)模型，對(duì)它們進(jìn)行評(píng)估和比較，并從中選擇最優(yōu)的模型。通常根據(jù)對(duì)修正數(shù)據(jù)集的預(yù)測(cè)效果來選擇模型。一般地：令D為評(píng)估數(shù)據(jù)集；ND為其中的觀測(cè)數(shù)；令Yi和分別表示D中觀測(cè)i的因變量的真實(shí)值和模型預(yù)測(cè)值。2模型評(píng)估為了得到能有效預(yù)測(cè)因變量的模型，可以建立多個(gè)模型，46因變量為二分變量的情形若因變量只有兩種取值，可不失一般性地假設(shè)它們?yōu)?和t。設(shè)模型預(yù)測(cè)觀測(cè)i屬于類別0和類別1的概率分別為和

?？墒褂靡韵路椒ǖ玫結(jié)i的預(yù)測(cè)值:如果>0.5，令=1，否則令=0。3因變量為二分變量的情形若因變量只有兩種取值，可不失一般性地47獲取Yi的預(yù)測(cè)值也可定義分類利潤(rùn)，令P(l2│l1)表示將實(shí)際屬于類別l1的觀測(cè)歸入類別l2所產(chǎn)生的利潤(rùn)。缺省地P(0│0)=P(1│1)=1，P(1│0)=P(0│1)=0。在實(shí)際應(yīng)用中，需要根據(jù)實(shí)際情況設(shè)置分類利潤(rùn)的值。例如，在直郵營(yíng)銷中，假設(shè)類別1代表潛在顧客響應(yīng)(即進(jìn)行了購(gòu)買)，類別0代表潛在顧客不響應(yīng)。P(0│0)和P(0│1)對(duì)應(yīng)于不郵寄產(chǎn)品目錄，帶來的利潤(rùn)為0。P(1│0)對(duì)應(yīng)于將實(shí)際不響應(yīng)的顧客錯(cuò)誤判斷為響應(yīng)而郵寄產(chǎn)品目錄，帶來的利潤(rùn)為負(fù)，等于聯(lián)系顧客成本(包括產(chǎn)品目錄制作、郵寄等成本)的負(fù)值。P(1│1)對(duì)應(yīng)于將實(shí)際響應(yīng)的顧客正確判斷為響應(yīng)而郵寄產(chǎn)品目錄，帶來的利潤(rùn)為顧客的購(gòu)買金額減去聯(lián)系成本的差;因?yàn)镻(1│1)只能取一個(gè)值，這里采用的購(gòu)買金額是顧客的平均購(gòu)買金額。4獲取Yi的預(yù)測(cè)值也可定義分類利潤(rùn)，令P(l2│l1)表示將48獲取Yi的預(yù)測(cè)值給

賦值時(shí)需要比較期望利潤(rùn):將觀測(cè)i歸入類別0所帶來的期望利潤(rùn)為P(0│0)+P(0│1)，而將觀測(cè)i歸入類別1所帶來的期望利潤(rùn)為P(1│0)+P(1│1)；如果前者小于后者，即則令=1，否則令=0。5獲取Yi的預(yù)測(cè)值給賦值時(shí)需要比較期望利潤(rùn):將觀測(cè)49獲取Yi的預(yù)測(cè)值也可定義分類損失，令C(l2│l1)表示將實(shí)際屬于類別l1的觀測(cè)歸入類別l2所產(chǎn)生的損失。缺省地C(0│0)=C(1│1)=0，C(1│0)=C(0│1)=0。給賦值時(shí)需要比較期望損失:將觀測(cè)i歸入類別0所帶來的期望損失為C(0│0)+C(0│1)，而將觀測(cè)i歸入類別1所帶來的期望損失為C(1│0)+C(1│1)；如果前者大于后者，即則令=1，否則令=0。6獲取Yi的預(yù)測(cè)值也可定義分類損失，令C(l2│l1)表示將50混淆矩陣最簡(jiǎn)單的模型評(píng)估方法是使用下表所示的混淆矩陣，表中Nl1l2為實(shí)際屬于類別l1而被預(yù)測(cè)屬于類別l2的觀測(cè)數(shù)；顯然，N00+N01+N10+N11=ND。7混淆矩陣最簡(jiǎn)單的模型評(píng)估方法是使用下表所示的混淆矩陣，表中51混淆矩陣實(shí)際屬于類別0的觀測(cè)中被誤分入類別1的比例為N01/(N00+N01)，實(shí)際屬于類別1的觀測(cè)中被誤分入類別0的比例為N10/(N10+N11)，總的誤分類率為(N01+N10)/ND。8混淆矩陣實(shí)際屬于類別0的觀測(cè)中被誤分入類別1的比例為N0152平均利潤(rùn)或平均損失當(dāng)分類利潤(rùn)和分類損失取缺省值時(shí)，評(píng)估模型的平均利潤(rùn)或平均損失等價(jià)于評(píng)估總誤分類率。如果定義了分類利潤(rùn)或分類損失，還可評(píng)估模型的平均利潤(rùn)

或平均損失

。9平均利潤(rùn)或平均損失當(dāng)分類利潤(rùn)和分類損失取缺省值時(shí)，評(píng)估模型53更加細(xì)致的評(píng)估我們可以直接使用模型預(yù)測(cè)概率以對(duì)模型進(jìn)行更加細(xì)致的評(píng)估。設(shè)某個(gè)關(guān)于直郵營(yíng)銷的歷史數(shù)據(jù)集D中有100,000位顧客，總體響應(yīng)率為20%，也就是說，如果把產(chǎn)品目錄郵寄給這100,000位顧客，實(shí)際會(huì)收到20,000份響應(yīng)。將這100,000位顧客按照預(yù)測(cè)概率

從大到小進(jìn)行排列，我們將考慮聯(lián)系其中的某些顧客。為了方便討論起見，按十分位數(shù)將排列好的顧客等分為十組，考慮聯(lián)系第一組的顧客、第二組的顧客，等等；但實(shí)際中可以精確到聯(lián)系多少位顧客。10更加細(xì)致的評(píng)估我們可以直接使用模型預(yù)測(cè)概率以對(duì)模型進(jìn)行更54更加細(xì)致的評(píng)估響應(yīng)率:被聯(lián)系的人中響應(yīng)的比例，即基準(zhǔn)響應(yīng)率:不使用任何模型而隨機(jī)聯(lián)系顧客時(shí)所得的響應(yīng)率，出于隨機(jī)性，它等于總體響應(yīng)率。捕獲響應(yīng)率:聯(lián)系顧客所得的響應(yīng)人數(shù)占響應(yīng)者總?cè)藬?shù)的比例，即基準(zhǔn)捕獲響應(yīng)率:不使用任何模型而隨機(jī)聯(lián)系顧客時(shí)所得的捕獲響應(yīng)率，出于隨機(jī)性，它等于被聯(lián)系人數(shù)占顧客總?cè)藬?shù)的比例。提升值:使用模型所得的響應(yīng)率與基準(zhǔn)響應(yīng)率之比。如果提升值大于1，說明使用模型挑選聯(lián)系人比隨機(jī)挑選效果更好。11更加細(xì)致的評(píng)估響應(yīng)率:被聯(lián)系的人中響應(yīng)的比例，即基準(zhǔn)響應(yīng)55非累積響應(yīng)情況12非累積響應(yīng)情況56累積響應(yīng)情況13累積響應(yīng)情況57響應(yīng)率圖14響應(yīng)率圖58響應(yīng)率圖"ideal'’表示理想情況:之后，當(dāng)非累積被聯(lián)系人都屬于非響應(yīng)者時(shí)，非累積響應(yīng)率變成0，而累積響應(yīng)率等于響應(yīng)者總?cè)藬?shù)與累積被聯(lián)系人數(shù)之比，最后達(dá)到總體響應(yīng)率。任意響應(yīng)者的預(yù)測(cè)響應(yīng)概率都大于所有非響應(yīng)者的預(yù)測(cè)響應(yīng)概率，因此，若按照預(yù)測(cè)響應(yīng)概率從大到小排序，響應(yīng)者都排在非響應(yīng)者的前面。當(dāng)累積被聯(lián)系人數(shù)不超過響應(yīng)者總?cè)藬?shù)時(shí)，不管是非累積還是累積情形，被聯(lián)系的所有人都是響應(yīng)者，所以非累積響應(yīng)率和累積響應(yīng)率都是100%;“model”表示使用模型挑選聯(lián)系人的情況;

“baseline”表示不使用任何模型而隨機(jī)聯(lián)系顧客的基準(zhǔn)情況。實(shí)際的模型當(dāng)然無法達(dá)到理想效果，但模型的效果越接近理想效果越好。15響應(yīng)率圖"ideal'’表示理想情況:之后，當(dāng)非累積被聯(lián)59響應(yīng)率圖非累積捕獲響應(yīng)率圖模型效果越接近理想效果越好。在理想情況下，當(dāng)累積被聯(lián)系人數(shù)不超過響應(yīng)者總?cè)藬?shù)時(shí)，不管是非累積還是累積情形，被聯(lián)系的所有人都是響應(yīng)者，所以非累積捕獲相應(yīng)率和累積捕獲響應(yīng)率都等于相應(yīng)的被聯(lián)系人數(shù)與響應(yīng)者點(diǎn)人數(shù)之比。之后非累積捕獲響應(yīng)率變?yōu)?，而累積捕獲響應(yīng)率變成100%。累積捕獲響應(yīng)率圖16響應(yīng)率圖非累積捕獲響應(yīng)率圖模型效果越接近理想效果越好。在60準(zhǔn)確度比率從累積捕獲響應(yīng)率圖還可以計(jì)算一個(gè)數(shù)值指標(biāo):準(zhǔn)確度比率(AccuracyRatio)。首先計(jì)算模型的累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，它度量了使用模型相比于基準(zhǔn)情況而言增加的預(yù)測(cè)性能;然后計(jì)算理想累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，它度量了理想情況相比于基準(zhǔn)情況而言增加的性能；準(zhǔn)確度比率是這兩個(gè)面積的比值。準(zhǔn)確度比率的取值在0至1之間，取值0表示使用模型的預(yù)測(cè)效果和基準(zhǔn)情況一樣，取值1表示模型的預(yù)測(cè)效果和理想情況一樣;準(zhǔn)確度比率的值越接近于1，模型效果越好。17準(zhǔn)確度比率從累積捕獲響應(yīng)率圖還可以計(jì)算一個(gè)數(shù)值指標(biāo):準(zhǔn)確61準(zhǔn)確度比率數(shù)學(xué)上，準(zhǔn)確度比率被定義為（1）r模型(q)表示聯(lián)系模型預(yù)測(cè)概率的排序處于前面比例q(o≤q≤1)的顧客時(shí)所得的累積捕獲響應(yīng)率，∫01r模型(q)dq表示模型的累積捕獲響應(yīng)率曲線之下的面積。18準(zhǔn)確度比率數(shù)學(xué)上，準(zhǔn)確度比率被定義為（1）r模型(q)62準(zhǔn)確度比率基準(zhǔn)累積捕獲響應(yīng)率r基準(zhǔn)(q)=q，因此基準(zhǔn)累積捕獲響應(yīng)率曲線之下的面積為

。公式中的分子計(jì)算了模型的累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積，類似可推出分母計(jì)算了理想累積捕獲響應(yīng)率曲線與基準(zhǔn)累積捕獲響應(yīng)率曲線之間的面積。積分的近似:示例中使用十分位數(shù)，積分可用

來近似;在實(shí)際應(yīng)用時(shí)可精確到每一位顧客，積分可用

來近似。19準(zhǔn)確度比率基準(zhǔn)累積捕獲響應(yīng)率r基準(zhǔn)(q)=q，因此基63受試者操作特性曲線受試者操作特性曲線(ReceiverOperatingCharacteristicCurve以下簡(jiǎn)稱ROC曲線)也是衡量模型預(yù)測(cè)能力的一種常用工具，它來源于并經(jīng)常應(yīng)用于醫(yī)學(xué)領(lǐng)域。假設(shè)習(xí)齊模型預(yù)測(cè)響應(yīng)概率大于某個(gè)臨界值C的顧客都預(yù)測(cè)為響應(yīng)者，而將其他顧客都預(yù)測(cè)為非響應(yīng)者。20受試者操作特性曲線受試者操作特性曲線(Receiver64受試者操作特性曲線特異度(specificity)定義為真陰性(truenegative)觀測(cè)數(shù)與陰性總觀測(cè)數(shù)之比。敏感度(sensitivity)定義為真陽性(truepositive)觀測(cè)數(shù)與陽性總觀測(cè)數(shù)之比。真陽性觀測(cè)數(shù)指的是實(shí)際響應(yīng)而模型也預(yù)測(cè)響應(yīng)的顧客數(shù)，陽性總觀測(cè)數(shù)指的是實(shí)際響應(yīng)的顧客數(shù)(很容易推出，此處敏感度等于累積捕獲響應(yīng)率)。真陰性觀測(cè)數(shù)指的是實(shí)際不響應(yīng)而模型也預(yù)測(cè)不響應(yīng)的顧客數(shù)；陰性總觀測(cè)數(shù)指的是實(shí)際不響應(yīng)的顧客數(shù)。21受試者操作特性曲線特異度(specificity)定義為65受試者操作特性曲線C的值從1變化到0時(shí)，特異度和敏感度的值都會(huì)變化，將“1-特異度”作為橫軸、敏感度作為縱軸作圖，這種變化在圖中形成的曲線就被稱為ROC曲線。當(dāng)C=1時(shí)，所有顧客都被預(yù)測(cè)為不會(huì)響應(yīng)，因此特異度=1(1-特異度=0)，敏感度=0;當(dāng)C=0時(shí)，所有顧客都被預(yù)測(cè)為會(huì)響應(yīng)，因此特異度=0(1-特異度=1)，敏感度=1。ROC曲線是連接(0,0)點(diǎn)和(1,1)點(diǎn)的一條曲線。22受試者操作特性曲線C的值從1變化到0時(shí)，特異度和敏感度的66受試者操作特性曲線理想情況下，任意響應(yīng)者的預(yù)測(cè)響應(yīng)概率都大于所有非響應(yīng)者的預(yù)測(cè)響應(yīng)概率。因此，存在C*使得預(yù)測(cè)響應(yīng)概率大于C*的所有顧客都是響應(yīng)者，而其他顧客都是非響應(yīng)者。23受試者操作特性曲線理想情況下，任意響應(yīng)者的預(yù)測(cè)響應(yīng)概率都67受試者操作特性曲線當(dāng)C≥C*時(shí)，所有實(shí)際非響應(yīng)者都被正確地預(yù)測(cè)為不響應(yīng);因?yàn)樘禺惗仁菍?shí)際非響應(yīng)者中被模型預(yù)測(cè)為非響應(yīng)者的比例，所以特異度=1(1-特異度=0)，而敏感度是實(shí)際響應(yīng)者中被模型預(yù)測(cè)為響應(yīng)者的比例;當(dāng)C<C*時(shí)，所有實(shí)際響應(yīng)者都被正確地預(yù)測(cè)為響應(yīng)，因此敏感度=1，當(dāng)C的值從C*變化到0時(shí)，特異度從1變化到0("1-特異度”從0變化到1)。所以理想的ROC曲線由連接(0,0)點(diǎn)和(1,0)點(diǎn)的線段與連接(1,0)點(diǎn)和(1,1)點(diǎn)的線段組成。24受試者操作特性曲線當(dāng)C≥C*時(shí)，所有實(shí)際非響應(yīng)者都被正確68受試者操作特性曲線所以基準(zhǔn)的ROC曲線就是連接(o,o點(diǎn)和(1,1)點(diǎn)的一條對(duì)角直線。在基準(zhǔn)情況下，任意選取一部分顧客，其中響應(yīng)者所占的比例都等于總體響應(yīng)率，非響應(yīng)者所占的比例都等于總體非響應(yīng)率。對(duì)任意C值：特異度都等于預(yù)測(cè)非響應(yīng)者人數(shù)占顧客總?cè)藬?shù)的比例；而敏感度都等于預(yù)測(cè)響應(yīng)者人數(shù)占顧客總?cè)藬?shù)的比例；它們的和總是等于1。25受試者操作特性曲線所以基準(zhǔn)的ROC曲線就是連接(o,o點(diǎn)69受試者操作特性曲線一般而言，模型的ROC曲線落在理想ROC曲線與基準(zhǔn)ROC曲線之間?；鶞?zhǔn)ROC曲線下的面積為0.5，理想ROC曲線下的面積為1，一般模型ROC曲線下的面積在0.5至1之間，這個(gè)值越接近1，模型效果越好。ROC曲線下的面積也可作為衡量模型效果的一個(gè)數(shù)值指標(biāo)。26受試者操作特性曲線一般而言，模型的ROC曲線落在理想RO70受試者操作特性曲線對(duì)模型的預(yù)測(cè)效果而言，特異度和敏感度都是越大越好，但是這兩者之間需要平衡。有時(shí)在實(shí)際應(yīng)用中，我們希望選擇截?cái)嘀礐以使特異度與敏感度的和達(dá)到最大;這時(shí)可以取45度角直線簇敏感度=α+(1-特異度) 特異度+敏感度=α+1與ROC曲線的切點(diǎn)，選取切點(diǎn)對(duì)應(yīng)的C值。27受試者操作特性曲線對(duì)模型的預(yù)測(cè)效果而言，特異度和敏感度都71盈利評(píng)估除了考察顧客的響應(yīng)情況，還可以考察直郵營(yíng)銷的盈利情況。前面討論過分類利潤(rùn)，涉及顧客的平均購(gòu)買金額，但在實(shí)際中顧客購(gòu)買的金額通常大小不一。評(píng)估模型效果時(shí)使用顧客的實(shí)際購(gòu)買金額評(píng)估將更加細(xì)致。28盈利評(píng)估除了考察顧客的響應(yīng)情況，還可以考察直郵營(yíng)銷的盈利72盈利評(píng)估假設(shè)聯(lián)系顧客的成本為每人1元。29盈利評(píng)估假設(shè)聯(lián)系顧客的成本為每人1元。73盈利評(píng)估30盈利評(píng)估74盈利評(píng)估出于隨機(jī)性，它等于聯(lián)系所有顧客所得利潤(rùn)(累計(jì)利潤(rùn)表最后一行的利潤(rùn)-13,060)與被聯(lián)系人數(shù)占顧客總?cè)藬?shù)的比例的乘積?；鶞?zhǔn)利潤(rùn):不使用任何模型而隨機(jī)聯(lián)系顧客所得的利潤(rùn)。非累積利潤(rùn)圖累積利潤(rùn)圖非累積情形下，基準(zhǔn)利潤(rùn)等于總利潤(rùn)的1/10，即-1,306；累積情形下，基準(zhǔn)利潤(rùn)等于總利潤(rùn)的i/10，即-1.3061i(i=1,…,10)。31盈利評(píng)估出于隨機(jī)性，它等于聯(lián)系所有顧客所得利潤(rùn)(累計(jì)利潤(rùn)75因變量為二分變量的情形在實(shí)際應(yīng)用中，有時(shí)D中類別1和類別0的比例λ1及λ0不同于模型將來要應(yīng)用的數(shù)據(jù)中的比例π1及π0，而又希望根據(jù)D評(píng)估模型對(duì)將來要應(yīng)用的數(shù)據(jù)的預(yù)測(cè)性能。這時(shí)，需要給D中的觀測(cè)賦予不同的權(quán)重wi:屬于類別1的觀測(cè)被賦予權(quán)重wi=π1/λ1屬于類別0的觀測(cè)被賦予權(quán)重wi=π0/λ0在計(jì)算各項(xiàng)評(píng)估指標(biāo)時(shí)，都需要考慮權(quán)重，例如，響應(yīng)率不再簡(jiǎn)單地是響應(yīng)人數(shù)與被聯(lián)系人數(shù)的比例，而是響應(yīng)者的權(quán)重之和與被聯(lián)系者的權(quán)重之和的比例。32因變量為二分變量的情形在實(shí)際應(yīng)用中，有時(shí)D中類別1和類別76因變量為多分變量的情形若因變量有離散的多種取值，可不失一般性地假設(shè)它們?yōu)?,…

,K。我們?cè)诮y(tǒng)計(jì)決策的一般框架下來討論。假設(shè)對(duì)每一位顧客i，可采用的決策di都有M種可能取值:Al,…,AM。設(shè)模型預(yù)測(cè)顧客i屬于各類別的概率為:,…,。分類問題是統(tǒng)計(jì)決策的一種特例，在這種情形下，di有K種可能取值：對(duì)l=1,…,K，決策Al表示將顧客歸入類別l,即令=l。33因變量為多分變量的情形若因變量有離散的多種取值，可不失一77因變量為多分變量的情形可以使用決策利潤(rùn)來進(jìn)行決策。如果對(duì)顧客i采用決策di=Am，那么帶來的期望利潤(rùn)為令P(d│y)表示對(duì)實(shí)際屬于類別y的顧客采用決策d而產(chǎn)生的利潤(rùn)。應(yīng)選取使期望利潤(rùn)最大的決策。34因變量為多分變量的情形可以使用決策利潤(rùn)來進(jìn)行決策。如果對(duì)78因變量為多分變量的情形在分類問題中：若因變量為名義變量，缺省地選取的決策為將顧客i歸入使最大的類別l；若因變量為定序變量，缺省地

，選取的決策為將顧客i歸入使最大的類別l，即使最小的類別l。35因變量為多分變量的情形在分類問題中：若因變量為名義變量，79因變量為多分變量的情形也可以使用決策損失來進(jìn)行決策。令C(d│y)為對(duì)實(shí)際屬于類別y的顧客采用決策d而產(chǎn)生的損失。如果對(duì)顧客i采用決策di=Am，那么帶來的期望損失