應(yīng)用潛在分類(lèi)泊松回歸模型及EM算法分析陳述偏好數(shù)據(jù)：.doc

統(tǒng)計(jì)計(jì)算案例1，呂曉玲應(yīng)用潛在分類(lèi)泊松回歸模型及EM算法分析陳述偏好數(shù)據(jù)：以網(wǎng)絡(luò)購(gòu)物使用次數(shù)為例1. 問(wèn)題提出隨著網(wǎng)絡(luò)的興起，網(wǎng)上購(gòu)物已經(jīng)在人們的生活中發(fā)揮著越來(lái)越重要的作用。網(wǎng)上購(gòu)物以其方便快捷等特點(diǎn)吸引了很多購(gòu)物者，但是也有一些人質(zhì)疑網(wǎng)上購(gòu)物安全性、不可觸摸性等問(wèn)題。影響人們選擇網(wǎng)上購(gòu)物的因素有很多，不同的人對(duì)網(wǎng)上購(gòu)物也有不同的態(tài)度。大學(xué)生是網(wǎng)絡(luò)購(gòu)物這個(gè)群體的很重要的一部分，什么因素影響大學(xué)生對(duì)網(wǎng)絡(luò)購(gòu)物的選擇？大學(xué)生由于對(duì)網(wǎng)絡(luò)購(gòu)物的態(tài)度取向不同可分為多少潛在的類(lèi)別？本文應(yīng)用陳述偏好方法（stated preference method）收集大學(xué)生網(wǎng)上購(gòu)物的數(shù)據(jù)，并應(yīng)用潛在分類(lèi)泊松回歸模型（latent class Poisson regression model）及EM算法分析數(shù)據(jù)，回答以上兩個(gè)問(wèn)題。2. 數(shù)據(jù)收集源于心理學(xué)的陳述偏好調(diào)查已經(jīng)被市場(chǎng)營(yíng)銷(xiāo)中研究消費(fèi)者行為廣泛應(yīng)用。雖然在進(jìn)行每個(gè)具體研究時(shí)操作不盡相同，總的原則是事先設(shè)定幾個(gè)重要因素，每個(gè)因素有若干水平，然后提出一些假想情景，每個(gè)情景是這些因素不同水平的組合。受訪(fǎng)者按照他們的喜好給不同的情景打分或者排序。研究者應(yīng)用模型分析數(shù)據(jù)，尋找各因素的重要性。為了確定影響網(wǎng)絡(luò)購(gòu)物的重要因素，我們首先開(kāi)展了預(yù)調(diào)查，針對(duì)購(gòu)買(mǎi)商品的種類(lèi)、價(jià)格、郵費(fèi)、賣(mài)家信用度、介紹商品詳細(xì)程度以及網(wǎng)上購(gòu)物節(jié)省時(shí)間和到貨時(shí)間等因素對(duì)大學(xué)生進(jìn)行了調(diào)查，并應(yīng)用簡(jiǎn)單統(tǒng)計(jì)分析得到了對(duì)網(wǎng)上購(gòu)物次數(shù)影響比較顯著的四個(gè)因素，分別是購(gòu)買(mǎi)商品的種類(lèi)、價(jià)格、賣(mài)家信譽(yù)度以及介紹商品的詳細(xì)程度。具體因素和因素水平如下所示：種類(lèi)：服飾，化妝品，文體價(jià)格：50元，100元，150元，200元，250元賣(mài)家或網(wǎng)站的信譽(yù)度：1，2，3，4，5 介紹商品的詳細(xì)程度：1，2，3，4，5 若每一種組合都進(jìn)行調(diào)查則共有組合，在這里運(yùn)用了正交設(shè)計(jì)的方法進(jìn)行試驗(yàn)設(shè)計(jì)，共進(jìn)行75種不同的組合，將這75種組合分成25組，每組中包含3個(gè)場(chǎng)景（分別為3個(gè)不同的種類(lèi)），每一個(gè)被調(diào)查者將被給定3個(gè)不同的場(chǎng)景。每個(gè)被調(diào)查者回答的問(wèn)題是在特定的場(chǎng)景能夠在十次購(gòu)物中選擇網(wǎng)上購(gòu)物的可能次數(shù)。我們總共訪(fǎng)問(wèn)了197名在京大學(xué)生，得到了在588種場(chǎng)景下他們對(duì)網(wǎng)絡(luò)購(gòu)物的使用情況的有效回答。3. 模型介紹市場(chǎng)營(yíng)銷(xiāo)中常用的分析陳述偏好數(shù)據(jù)的方法是聯(lián)合分析（conjoint analysis），我們這里使用泊松回歸模型，因?yàn)椋海?）因變量不是受訪(fǎng)者對(duì)場(chǎng)景的排序，而是使用網(wǎng)絡(luò)購(gòu)物的次數(shù)，它是一個(gè)取值為離散整數(shù)的變量，可以假設(shè)服從泊松分布；（2）可以對(duì)泊松回歸模型進(jìn)一步應(yīng)用潛在分類(lèi)模型分析受訪(fǎng)者的異質(zhì)性。我們首先介紹泊松回歸模型和潛在分類(lèi)模型，然后介紹如何應(yīng)用最大似然法和EM算法估計(jì)參數(shù)。令為第（）個(gè)個(gè)體在面臨第（）種場(chǎng)景時(shí)的選擇，服從參數(shù)為的泊松分布。因?yàn)閺钠骄囊饬x上來(lái)講，取值越大意味著受訪(fǎng)者越傾向于多次使用網(wǎng)絡(luò)購(gòu)物，所以可理解為該場(chǎng)景的效用（utility），它是這個(gè)場(chǎng)景各因素水平和受訪(fǎng)者個(gè)人特征的函數(shù)：，其中：是維協(xié)變量，是參數(shù)，體現(xiàn)了受訪(fǎng)者對(duì)協(xié)變量變化的反映，如果假設(shè)它是常數(shù)，則表明受訪(fǎng)者是同質(zhì)的（Homogeneity），但我們知道，不同受訪(fǎng)者對(duì)不同的協(xié)變量的重要程度看法是不一樣的，也就是說(shuō)人群有異質(zhì)性（Heterogeneity），處理這種問(wèn)題的辦法是假設(shè)為一個(gè)隨機(jī)變量，服從概率分布。這里我們可以假設(shè)為一個(gè)連續(xù)的多元密度函數(shù)，但由于無(wú)法判定哪種形式以及在參數(shù)估計(jì)的時(shí)候很難計(jì)算多維積分，所以一般來(lái)說(shuō)我們不采取這種方式，取而代之的是假設(shè)是一個(gè)離散的多元分布，取值為，相應(yīng)的概率密度是，的大小以及和的取值均由數(shù)據(jù)估計(jì)得到。我們稱(chēng)這種方法為潛在分類(lèi)模型或者離散隨機(jī)系數(shù)模型（discrete random-coefficient model）。在上述模型假定下，我們知道第個(gè)個(gè)體在面臨第種場(chǎng)景時(shí)，給定參數(shù)取值為時(shí)，泊松分布的參數(shù)。則第個(gè)個(gè)體的無(wú)條件概率密度為： （1）如果使用最大似然法估計(jì)參數(shù)，樣本的似然函數(shù)可以寫(xiě)成： （2）4. 估計(jì)方法可以看到似然函數(shù)的形式很復(fù)雜，即使使用數(shù)值算法，也不容易找到全局最優(yōu)的最大似然估計(jì)。這里我們使用EM算法。引入缺失變量： （3）假定，的分布為獨(dú)立同分布，密度函數(shù)是，則，其中，。完全對(duì)數(shù)似然函數(shù)可寫(xiě)成： （4） （5）其中，應(yīng)用EM算法，首先給定初始參數(shù)估計(jì)值。之后的迭代（）過(guò)程中，E步就是在給定觀測(cè)數(shù)據(jù)和參數(shù)估計(jì)的情況下，對(duì)完全對(duì)數(shù)似然函數(shù)以的分布求期望，因?yàn)椋?）中完全對(duì)數(shù)似然函數(shù)是的線(xiàn)性函數(shù)，所以它的期望也是期望的線(xiàn)性函數(shù)。為了求給定觀測(cè)數(shù)據(jù)和參數(shù)估計(jì)的條件期望，我們需要尋找它的條件分布。因?yàn)?，所以。則的條件期望是： （6）所以在E步得到的完全對(duì)數(shù)似然函數(shù)的期望是： （7）M步即是最大化（7）式得到更新的?？梢钥吹剑?）式右側(cè)第一項(xiàng)僅與有關(guān)，并且和式的每一項(xiàng)與一個(gè)s對(duì)應(yīng)，（7）式右側(cè)第二項(xiàng)僅與有關(guān)，可以單獨(dú)優(yōu)化，大大降低了似然函數(shù)的復(fù)雜度。此外，EM算法所得估計(jì)量的均方誤差可以由Louis公式計(jì)算而得。5. 數(shù)據(jù)分析應(yīng)用上述模型分析大學(xué)生網(wǎng)絡(luò)購(gòu)物數(shù)據(jù)，首先把分類(lèi)變量（商品種類(lèi)）轉(zhuǎn)化為0、1變量，即當(dāng)同時(shí)取0時(shí)，表示種類(lèi)為文體。我們使用BIC準(zhǔn)則來(lái)確定S的取值。從S=1開(kāi)始，模型的BIC開(kāi)始下降，并且到某一值時(shí)，開(kāi)始上升。我們就選擇使得BIC取最小值的S。從表1可以看出S=3。表2給出了模型在S=3和S=1（沒(méi)有異質(zhì)性）時(shí)的參數(shù)估計(jì)值。當(dāng)S=1（假設(shè)受訪(fǎng)者沒(méi)有異質(zhì)性時(shí)），受訪(fǎng)者整體表現(xiàn)出更傾向于多次購(gòu)買(mǎi)文體類(lèi)商品，使用次數(shù)隨商品價(jià)格下降，增加賣(mài)家或網(wǎng)站的信譽(yù)以及介紹商品的詳細(xì)程度可以增加受訪(fǎng)者的使用網(wǎng)絡(luò)購(gòu)物的次數(shù)。當(dāng)S=3時(shí)，可以看到受訪(fǎng)者分為三類(lèi)，在網(wǎng)絡(luò)購(gòu)物的使用次數(shù)上，幾個(gè)因素對(duì)這三類(lèi)受訪(fǎng)者有著不同的影響。根據(jù)表2的結(jié)果，第一類(lèi)受訪(fǎng)者（約占18.89%）更傾向于購(gòu)買(mǎi)文體類(lèi)商品，也傾向于購(gòu)買(mǎi)價(jià)格便宜的商品，并重視賣(mài)家或網(wǎng)站的信譽(yù)程度和介紹商品的詳細(xì)情況；第二類(lèi)受訪(fǎng)者（約占48.62%）不在乎商品的種類(lèi)、價(jià)格、以及介紹的詳細(xì)情況，只注重網(wǎng)站的信譽(yù)；第三類(lèi)受訪(fǎng)者（約占32.49%）更傾向于購(gòu)買(mǎi)文體類(lèi)商品，不重視商品的價(jià)格和賣(mài)家或網(wǎng)站的信譽(yù)程度，但較看重介紹商品的詳細(xì)情況。 表1：BIC準(zhǔn)則潛在類(lèi)別估計(jì)參數(shù)的個(gè)數(shù)-Log LikelihoodBIC值161321.6941340.8242131257.9951299.4443201213.4821277.2504271203.6211286.518表2：參數(shù)估計(jì)值泊松回歸模型（潛在類(lèi)別S=3）泊松回歸（S=1）類(lèi)別1的概率p=0.1889類(lèi)別2的概率p=0.4862類(lèi)別3的概率p=0.3249加權(quán)均值截距-0.1139(0.5127)0.1706(0.1898)1.2464*(0.1959)0.4663(0.2529)0.5989*(0.1056)類(lèi)別（服飾）-1.8109*(0.3731)-0.1476(0.1069)-0.2399*(0.09600)-0.4918*(0.1537)-0.3221*(0.05622)類(lèi)別（化妝品）-2.5615*(0.5693)0.01659(0.09781)-1.7587*(0.1894)-1.0472*(0.2166)-0.7061*(0.06369)商品的價(jià)格-0.5378*(0.1724)-0.00466(0.06163)-0.02828(0.06243)-0.1131(0.08282)-0.0801*(0.03469)賣(mài)家或網(wǎng)站的信譽(yù)度0.3798*(0.08954)0.2424*(0.03018)0.05649(0.03384)0.2080*(0.04258)0.1814*(0.01772)介紹商品的詳細(xì)程度0.1784*(0.06997)0.05013(0.02986)0.1142*(0.03644)0.09520*(0.03957)0.09225*(0.01749)注：括號(hào)中是參數(shù)估計(jì)的標(biāo)準(zhǔn)誤差，其中*代表0.05的顯著性水平，*代表0.01的顯著性水平。6. 總結(jié) 本案例應(yīng)用潛在分類(lèi)的泊松回歸模型及EM算法分析了大學(xué)生對(duì)網(wǎng)絡(luò)購(gòu)物的使用情況。最終得到三類(lèi)人群，他們對(duì)商品類(lèi)型、價(jià)格、賣(mài)家或網(wǎng)站的信譽(yù)度、以及介紹商品的詳細(xì)程度有著不同的重視程度，網(wǎng)絡(luò)營(yíng)銷(xiāo)者可以根據(jù)此結(jié)果制定不同的營(yíng)銷(xiāo)策略。此外，我們還可以進(jìn)一步根據(jù)模型估計(jì)結(jié)果得到每個(gè)個(gè)體屬于哪一類(lèi)，從而分析這三類(lèi)人在個(gè)