項(xiàng)目七 挖掘市場(chǎng)調(diào)查資料

項(xiàng)目七

挖掘市場(chǎng)調(diào)查資料學(xué)習(xí)目標(biāo)√了解訓(xùn)練數(shù)據(jù)分析的思維√熟悉數(shù)據(jù)挖掘的流程√掌握掌握各種數(shù)據(jù)挖掘方法的應(yīng)用√掌握分析解讀數(shù)據(jù)挖掘的結(jié)果任務(wù)7.1文本挖掘任務(wù)7.2K-Means聚類挖掘任務(wù)7.3分類問題的數(shù)據(jù)挖掘任務(wù)7.4回歸問題的數(shù)據(jù)挖掘C

ONTENTS文本挖掘/

017.1.1文本挖掘的概念5購(gòu)物平臺(tái)上關(guān)于產(chǎn)品的評(píng)論影視劇的彈幕和評(píng)論知乎或微博上時(shí)事熱點(diǎn)的討論被調(diào)查者觀點(diǎn)和看法的文本文本數(shù)據(jù)挖掘?qū)ο笪谋就诰蛞步形谋拘畔⒌闹R(shí)發(fā)現(xiàn)，即是從大量的文本數(shù)據(jù)中，提取有價(jià)值和意義的關(guān)鍵信息。（“精煉”文字）7.1.1文本挖掘的概念6TF-IDF：用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)，用以評(píng)估一個(gè)字詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度的統(tǒng)計(jì)方法。TF：詞頻；IDF：是逆文本頻率指數(shù)。一個(gè)字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語(yǔ)料庫(kù)中出現(xiàn)的頻率成反比下降。7.1.2文本挖掘的應(yīng)用7文本挖掘作為市場(chǎng)調(diào)研、客戶體驗(yàn)管理的一種補(bǔ)充手段，可以幫助企業(yè)完成諸如“消費(fèi)者情緒識(shí)別”、“售前支持”、“購(gòu)買信號(hào)”、“發(fā)掘意見領(lǐng)袖”等信息的挖掘。網(wǎng)購(gòu)平臺(tái)對(duì)商品的服務(wù)和評(píng)價(jià)企業(yè)網(wǎng)絡(luò)輿情監(jiān)測(cè)與分析調(diào)查問卷開放式問題的分析（3）做一做根據(jù)調(diào)查的美團(tuán)“團(tuán)購(gòu)美食評(píng)論.xlsx”數(shù)據(jù)，分析調(diào)查的消費(fèi)者對(duì)團(tuán)購(gòu)美食的整體評(píng)價(jià)和情感態(tài)度。課堂活動(dòng)8K-Means聚類挖掘/

027.2.1聚類分析概念10根據(jù)研究對(duì)象的某些屬性把研究對(duì)象進(jìn)行分組：組內(nèi)對(duì)象相似，組間對(duì)象不同。事先沒有確定的類數(shù)或類：沒有因變量（沒有事先給定組別）（“無(wú)監(jiān)督”法）。7.2.2K-Means聚類分析原理1115234首先指定類別數(shù)k給出初始聚類中心計(jì)算每一個(gè)樣本到各個(gè)類中心的距離，將每個(gè)樣本分配到離其最近的類中心代表的類別中，形成k個(gè)類別。重新計(jì)算更新k個(gè)類別的類中心重復(fù)3和4兩個(gè)步驟，直至k個(gè)類中心不變或者達(dá)到規(guī)定的更新迭代次數(shù)停止。7.2.3聚類分析的應(yīng)用12幫助企業(yè)完成客戶細(xì)分實(shí)驗(yàn)市場(chǎng)選擇銷售片區(qū)確定抽樣方案設(shè)計(jì)市場(chǎng)機(jī)會(huì)研究做一做利用K-Means聚類挖掘方法對(duì)“某電信行業(yè)客戶數(shù)據(jù).sav”，完成通信客戶類群劃分。課堂活動(dòng)13分類問題的數(shù)據(jù)挖掘/

037.3.1Logistic回歸模型原理151.決策樹模型決策樹算法是一種很好的歸納分類算法,既可以處理類別型輸出變量也可以處理連續(xù)型輸出變量，是一種根據(jù)訓(xùn)練數(shù)據(jù)集。決策樹算法通過(guò)一系列的測(cè)試問題輸出分類結(jié)果進(jìn)行決策的過(guò)程。根結(jié)點(diǎn)條件判斷……葉結(jié)點(diǎn)（決策）條件判斷……葉結(jié)點(diǎn)（決策）7.3.1Logistic回歸模型原理162.隨機(jī)森林模型隨機(jī)森林是專門為決策樹而設(shè)計(jì)的集成學(xué)習(xí)算法。集成學(xué)習(xí)就是利用多個(gè)算法模型（基分類器）進(jìn)行組合建模的一種技術(shù)?；跀?shù)據(jù)建立多個(gè)基分類器，然后對(duì)基分類器輸出的結(jié)果，利用投票（分類型）或是取平均值（連續(xù)型）進(jìn)行集成輸出，從而獲得更加穩(wěn)健的輸出結(jié)果。圖7-1集成學(xué)習(xí)中的隨機(jī)森林決策樹1決策樹2決策樹3集成策略輸出結(jié)果7.3.3人工神經(jīng)網(wǎng)絡(luò)模型原理17人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種模擬人腦思維的計(jì)算機(jī)建模方式。人工神經(jīng)網(wǎng)絡(luò)通過(guò)類似于生物神經(jīng)元的處理單元，以及處理單元之間的有機(jī)連接，解決現(xiàn)實(shí)世界的模式識(shí)別、聯(lián)想記憶、優(yōu)化計(jì)算等問題。圖7-2人工神經(jīng)網(wǎng)絡(luò)單個(gè)處理單元7.3.4分類模型的應(yīng)用18幫助企業(yè)完成消費(fèi)者行為研究客戶風(fēng)險(xiǎn)監(jiān)測(cè)和識(shí)別市場(chǎng)機(jī)會(huì)判斷決策等信息的挖掘做一做基于“銀行信貸客戶違約數(shù)據(jù).sav”，進(jìn)行客戶信用風(fēng)險(xiǎn)評(píng)估，挖掘影響客戶違約的重要風(fēng)險(xiǎn)因素。課堂活動(dòng)19回歸問題的數(shù)據(jù)挖掘/

047.4.1線性回歸原理線性回歸分析是指通過(guò)提供變量間數(shù)學(xué)表達(dá)式來(lái)定量描述變量間相關(guān)關(guān)系的一種統(tǒng)計(jì)分析方法。自變量是影響變量，也稱為解釋變量、預(yù)測(cè)變量，是可以觀測(cè)和控制的。因變量是被影響變量，也稱為被解釋變量，是隨機(jī)變量。線性回歸模型的一般表達(dá)形式如下：217.4.2CART決策樹及神經(jīng)網(wǎng)絡(luò)原理兩種算法主要應(yīng)用于市場(chǎng)調(diào)查研究中涉及分析的輸出特征是連續(xù)型變量的問題。對(duì)于輸入的自變量是類別型數(shù)據(jù)還是連續(xù)型數(shù)據(jù)則沒有要求。227.4.3回歸模型的應(yīng)用回歸算法模型應(yīng)用于解決市場(chǎng)調(diào)查中研究的輸出變量為連續(xù)型的問題。本質(zhì)上回歸算法模型與分類算法模型解決的市場(chǎng)調(diào)查分析問題都是一致的，只是一個(gè)解決影響變量為類別型，一個(gè)解決影響變量類別為連續(xù)型。23分析調(diào)查項(xiàng)目之間的關(guān)聯(lián)性和因果關(guān)系量化研究影響