互聯(lián)網(wǎng)大數(shù)據(jù)ppt第4章 數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則

第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.1什么是數(shù)據(jù)集4.2做好數(shù)據(jù)相關(guān)性分析4.3做好數(shù)據(jù)回歸分析實(shí)戰(zhàn)要領(lǐng)4.1什么是數(shù)據(jù)集4.1.1數(shù)據(jù)集的概念與常見(jiàn)類(lèi)型1.數(shù)據(jù)集的概念數(shù)據(jù)集(Dataset)，又稱(chēng)作資料集、數(shù)據(jù)集合或資料集合，是由數(shù)據(jù)所組成的集合。數(shù)據(jù)集是一個(gè)數(shù)據(jù)的集合，通常是以表格的形式出現(xiàn)，每一列代表一個(gè)特定變量，每一行都對(duì)應(yīng)于某一成員的數(shù)據(jù)集的每一個(gè)變量。2.數(shù)據(jù)集的類(lèi)型1)Iris數(shù)據(jù)集??在模式識(shí)別文獻(xiàn)中，Iris數(shù)據(jù)集是最通用也是最簡(jiǎn)單的數(shù)據(jù)集。要學(xué)習(xí)分類(lèi)技術(shù)，Iris數(shù)據(jù)集絕對(duì)是最方便的途徑。該數(shù)據(jù)集只有4列150行。典型問(wèn)題：在可用屬性基礎(chǔ)上預(yù)測(cè)花的類(lèi)型。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則2)泰坦尼克數(shù)據(jù)集??泰坦尼克數(shù)據(jù)集也是全球數(shù)據(jù)科學(xué)殿堂中出鏡率最高的數(shù)據(jù)集之一。該數(shù)據(jù)集更重視分類(lèi)問(wèn)題，共有12列891行。典型問(wèn)題：預(yù)測(cè)泰坦尼克號(hào)上生還的幸存者人數(shù)。3)貸款預(yù)測(cè)數(shù)據(jù)集??在所有行業(yè)中，保險(xiǎn)業(yè)對(duì)數(shù)據(jù)的倚重最為明顯，預(yù)測(cè)數(shù)據(jù)集可以讓保險(xiǎn)公司更好地面對(duì)各種挑戰(zhàn)和出現(xiàn)的問(wèn)題。該數(shù)據(jù)集共有13列615行。典型問(wèn)題：預(yù)測(cè)貸款申請(qǐng)能否得到批準(zhǔn)或通過(guò)。4)大市場(chǎng)銷(xiāo)售數(shù)據(jù)集在客戶(hù)群體中零售業(yè)對(duì)數(shù)據(jù)分析的使用程度也越來(lái)越大，對(duì)數(shù)據(jù)的需求也是日趨明顯。該數(shù)據(jù)集共有12列8523行。典型問(wèn)題：預(yù)測(cè)銷(xiāo)售情況。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則5)波士頓數(shù)據(jù)集波士頓數(shù)據(jù)集也是模式識(shí)別文獻(xiàn)中的典型數(shù)據(jù)集，該數(shù)據(jù)集得名是因?yàn)椴ㄊ款D的房地產(chǎn)行業(yè)，同時(shí)它也是一個(gè)回歸問(wèn)題。該數(shù)據(jù)集共有14列8506行。典型問(wèn)題：預(yù)測(cè)房屋售價(jià)的中間值。6)進(jìn)階級(jí)別的數(shù)據(jù)集(1)人類(lèi)活動(dòng)識(shí)別數(shù)據(jù)集。該數(shù)據(jù)集是由幾十個(gè)受試人智能手機(jī)內(nèi)置的傳感器收集來(lái)的。在許多機(jī)器學(xué)習(xí)課程中該數(shù)據(jù)集是學(xué)生聯(lián)手的重要助手。該數(shù)據(jù)集屬于多標(biāo)記分類(lèi)問(wèn)題，共有561列10

299行。典型問(wèn)題：預(yù)測(cè)人類(lèi)活動(dòng)的類(lèi)別。(2)“黑五”數(shù)據(jù)集。該數(shù)據(jù)集主要是由零售店的交易記錄組成的，它在數(shù)據(jù)集界資格很老，可以幫助商家了解自己商店每天的購(gòu)物體驗(yàn)?！昂谖濉睌?shù)據(jù)集也是個(gè)回歸問(wèn)題，它共有12列550

069行。典型問(wèn)題：預(yù)測(cè)消費(fèi)者購(gòu)物量。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則(3)文本挖掘數(shù)據(jù)集。該數(shù)據(jù)集包含航空公司飛行數(shù)據(jù)中關(guān)于航空安全問(wèn)題的報(bào)告，屬于多標(biāo)記分類(lèi)的高維問(wèn)題。它共有30

438列21

519行。典型問(wèn)題：根據(jù)標(biāo)簽為文檔分類(lèi)。(4)訪(fǎng)問(wèn)歷史數(shù)據(jù)集。該數(shù)據(jù)集來(lái)源于美國(guó)的一個(gè)單車(chē)分享服務(wù)。該數(shù)據(jù)集2010年第四季度開(kāi)始每季度都會(huì)總結(jié)出一個(gè)新文檔，每個(gè)文檔擁有7列。它屬于典型的分類(lèi)問(wèn)題。

典型問(wèn)題：預(yù)測(cè)用戶(hù)的類(lèi)型。(5)百萬(wàn)歌曲數(shù)據(jù)集。在娛樂(lè)業(yè)中也有用到此項(xiàng)技術(shù)，該數(shù)據(jù)集能幫你完成回歸問(wèn)題。它包括515

345個(gè)觀察值和90個(gè)變量。只不過(guò)，這還只是百萬(wàn)首歌曲數(shù)據(jù)庫(kù)中的一個(gè)小子集。典型問(wèn)題：預(yù)測(cè)發(fā)行歌曲的最佳年份。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則(6)人口收入數(shù)據(jù)集。該數(shù)據(jù)集屬于非平衡數(shù)據(jù)分類(lèi)和機(jī)器學(xué)習(xí)問(wèn)題。眾所周知，機(jī)器學(xué)習(xí)在解決非平衡問(wèn)題上效果顯著，它可以執(zhí)行癌癥和欺詐檢測(cè)等任務(wù)。該數(shù)據(jù)集共有14列48

842行。典型問(wèn)題：預(yù)測(cè)美國(guó)人的收入階層。(7)電影鏡頭數(shù)據(jù)集。利用該數(shù)據(jù)集，你能搭建一個(gè)推薦引擎。同時(shí)，該數(shù)據(jù)集也是數(shù)據(jù)科學(xué)行業(yè)的老兵之一，它可運(yùn)用在許多領(lǐng)域。它的數(shù)據(jù)量相當(dāng)龐大，共有4000部電影和6000多位用戶(hù)發(fā)出的超過(guò)100萬(wàn)個(gè)評(píng)分。典型問(wèn)題：為用戶(hù)推薦新電影。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.1什么是數(shù)據(jù)集4.1.2高效進(jìn)行數(shù)據(jù)度量的實(shí)戰(zhàn)技巧1.創(chuàng)建快速度量(1)在PowerBIDesktop中創(chuàng)建快速度量(2)選擇“新建快速度量值”命令后將顯示“快速度量”對(duì)話(huà)框，隨即可以選擇所需計(jì)算，以及要對(duì)其運(yùn)行計(jì)算的字段。(3)選擇“選擇計(jì)算”字段，查看一長(zhǎng)串的可用快速度量，(4)選擇要用于快速度量的計(jì)算和字段后，單擊“確定”按鈕。新建的快速度量將顯示在“字段”窗格中，而基礎(chǔ)DAX公式顯示在“公式”欄中。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則選擇“新建快速度量值”命令在“快速度量”對(duì)話(huà)框中選擇“選擇計(jì)算”字段4.1什么是數(shù)據(jù)集4.1.2高效進(jìn)行數(shù)據(jù)度量的實(shí)戰(zhàn)技巧2.快速度量的應(yīng)用(1)選擇矩陣視覺(jué)對(duì)象，在“值”框中單擊TotalSales旁邊的下拉箭頭，然后在彈出的下拉列表中選擇“新建快速度量”選項(xiàng)。(2)在“快速度量”對(duì)話(huà)框的“計(jì)算”下拉列表框中，選擇“每個(gè)類(lèi)別的平均值”選項(xiàng)。(3)將AverageUnitPrice從“字段”窗格拖到“基值”字段，將“類(lèi)別”字段保留為Category，然后單擊“確定”按鈕。(4)單擊“確定”按鈕后，可以看到：①矩陣視覺(jué)對(duì)象有一個(gè)新列，其中顯示已計(jì)算的AverageUnitPriceaverageperCategory；②新建的快速度量的DAX公式顯示在公式欄中；③新建的快速度量在“字段”窗格中以選中和高亮顯示狀態(tài)顯示。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.1什么是數(shù)據(jù)集4.1.2高效進(jìn)行數(shù)據(jù)度量的實(shí)戰(zhàn)技巧3.使用快速度量了解DAX快速度量的一個(gè)強(qiáng)大優(yōu)點(diǎn)在于顯示了實(shí)現(xiàn)度量值的DAX公式。選擇“字段”窗格中的快速度量后將顯示公式欄，其中顯示了PowerBI為實(shí)現(xiàn)此度量值而創(chuàng)建的DAX公式。4.快速度量使用限制和注意事項(xiàng)(1)你可以在報(bào)表的任何視覺(jué)對(duì)象中使用添加到“字段”窗格的快速度量。(2)選擇“字段”列表中的度量值，然后查看公式欄中的公式，可以隨時(shí)查看與快速度量相關(guān)聯(lián)的DAX。(3)如果能夠修改模型，快速度量才可使用；如果使用某些實(shí)時(shí)連接，則不適用。(4)在DirectQuery模式下工作時(shí)，無(wú)法創(chuàng)建時(shí)間智能快速度量，這些快速度量中使用的DAX函數(shù)在轉(zhuǎn)換為發(fā)送到數(shù)據(jù)源的T-SQL語(yǔ)句時(shí)會(huì)影響性能。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.1什么是數(shù)據(jù)集4.1.2高效進(jìn)行數(shù)據(jù)度量的實(shí)戰(zhàn)技巧5.時(shí)間智能和快速度量可以將自己的自定義日期表與時(shí)間智能快速度量配合使用。如果使用的是外部表格模型，請(qǐng)確保在生成模型時(shí)，此表中的主日期列被標(biāo)記為“日期”表。如果要導(dǎo)入自己的日期表，請(qǐng)確保將其標(biāo)記為“日期”表。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.2做好數(shù)據(jù)相關(guān)性分析4.2.1進(jìn)行數(shù)據(jù)相關(guān)性分析的作用在我們的工作中，會(huì)有一個(gè)這樣的場(chǎng)景：有若干數(shù)據(jù)羅列在我們的面前，這組數(shù)據(jù)相互之間可能會(huì)存在一些聯(lián)系，可能是此增彼漲，或者是負(fù)相關(guān)，也可能是沒(méi)有關(guān)聯(lián)。因此，進(jìn)行數(shù)據(jù)相關(guān)性分析的作用就是把這種關(guān)聯(lián)性進(jìn)行定量對(duì)數(shù)據(jù)進(jìn)行分析，從而給我們的決策提供支持。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.2做好數(shù)據(jù)相關(guān)性分析4.2.2常用的數(shù)據(jù)相關(guān)分析方法數(shù)據(jù)分析的方法有很多，初級(jí)的方法如正相關(guān)、負(fù)相關(guān)或不相關(guān)；中級(jí)的方法如完全相關(guān)、不完全相關(guān)等；高級(jí)的方法可以將數(shù)據(jù)間的關(guān)系轉(zhuǎn)化為模型，并通過(guò)模型對(duì)未來(lái)的業(yè)務(wù)發(fā)展進(jìn)行預(yù)測(cè)。1.圖表相關(guān)分析(折線(xiàn)圖及散點(diǎn)圖)1)折線(xiàn)圖

第一種相關(guān)分析方法是將數(shù)據(jù)進(jìn)行可視化處理，簡(jiǎn)單地說(shuō)就是繪制圖表。為了更清晰地對(duì)比這兩組數(shù)據(jù)的變化和趨勢(shì)，我們使用雙坐標(biāo)軸折線(xiàn)圖，第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則雙坐標(biāo)軸折線(xiàn)圖2)散點(diǎn)圖散點(diǎn)圖比折線(xiàn)圖更直觀。散點(diǎn)圖去除了時(shí)間維度的影響，只關(guān)注廣告曝光量和費(fèi)用成本這兩組數(shù)據(jù)間的關(guān)系。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則散點(diǎn)圖4.2做好數(shù)據(jù)相關(guān)性分析4.2.2常用的數(shù)據(jù)相關(guān)分析方法2.協(xié)方差及協(xié)方差矩陣第二種相關(guān)分析方法是計(jì)算協(xié)方差。協(xié)方差用來(lái)衡量?jī)蓚€(gè)變量的總體誤差：如果兩個(gè)變量的變化趨勢(shì)一致，協(xié)方差就是正值，說(shuō)明兩個(gè)變量正相關(guān)；如果兩個(gè)變量的變化趨勢(shì)相反，協(xié)方差就是負(fù)值，說(shuō)明兩個(gè)變量負(fù)相關(guān)；如果兩個(gè)變量相互獨(dú)立，那么協(xié)方差就是0，說(shuō)明兩個(gè)變量不相關(guān)。3.相關(guān)系數(shù)第三個(gè)相關(guān)分析方法是相關(guān)系數(shù)。相關(guān)系數(shù)(CorrelationCoefficient)是反映變量之間關(guān)系密切程度的統(tǒng)計(jì)指標(biāo)。相關(guān)系數(shù)的取值區(qū)間在1到-1之間：1表示兩個(gè)變量完全線(xiàn)性相關(guān)，-1表示兩個(gè)變量完全負(fù)相關(guān)，0表示兩個(gè)變量不相關(guān)。數(shù)據(jù)越趨近于0表示相關(guān)關(guān)系越弱。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.2做好數(shù)據(jù)相關(guān)性分析4.2.2常用的數(shù)據(jù)相關(guān)分析方法4.一元回歸及多元回歸回歸分析(RegressionAnalysis)是確定兩組或兩組以上變量間關(guān)系的統(tǒng)計(jì)方法?；貧w分析按照變量的數(shù)量分為一元回歸和多元回歸。兩個(gè)變量使用一元回歸，兩個(gè)以上變量使用多元回歸。進(jìn)行回歸分析之前有兩個(gè)準(zhǔn)備工作：確定變量的數(shù)量；確定自變量和因變量。我們的數(shù)據(jù)中只包含廣告曝光量和費(fèi)用成本兩個(gè)變量，因此使用一元回歸5.信息熵及互信息實(shí)際工作中影響最終效果的因素可能有很多，并且不一定都是數(shù)值形式。度量文本特征值之間相關(guān)關(guān)系的方法就是互信息。通過(guò)這種方法我們可以發(fā)現(xiàn)哪一類(lèi)特征與最終的結(jié)果關(guān)系密切。1)信息熵的計(jì)算2) 條件熵的計(jì)算3)互信息的計(jì)算第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.3做好數(shù)據(jù)回歸分析實(shí)戰(zhàn)要領(lǐng)4.3.1數(shù)據(jù)回歸分析方法概述1.線(xiàn)性回歸線(xiàn)性回歸是最為人熟知的建模技術(shù)之一。線(xiàn)性回歸通常是人們?cè)趯W(xué)習(xí)預(yù)測(cè)模型時(shí)首選的少數(shù)幾種技術(shù)之一。線(xiàn)性回歸的要點(diǎn)如下：(1)自變量與因變量之間必須有線(xiàn)性關(guān)系。(2)多元回歸存在多重共線(xiàn)性、自相關(guān)性和異方差性。(3)線(xiàn)性回歸對(duì)異常值非常敏感。它會(huì)嚴(yán)重影響回歸線(xiàn)，最終影響預(yù)測(cè)值。(4)多重共線(xiàn)性會(huì)增加系數(shù)估計(jì)值的方差，使得估計(jì)值對(duì)于模型的輕微變化異常敏感，結(jié)果就是系數(shù)估計(jì)值不穩(wěn)定。(5)在存在多個(gè)自變量的情況下，我們可以使用向前選擇法、向后剔除法和逐步篩選法來(lái)選擇最重要的自變量。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.3做好數(shù)據(jù)回歸分析實(shí)戰(zhàn)要領(lǐng)4.3.1數(shù)據(jù)回歸分析方法概述2.邏輯回歸邏輯回歸可用于發(fā)現(xiàn)“事件=成功”和“事件=失敗”的概率。邏輯回歸的要點(diǎn)如下：(1)邏輯回歸廣泛用于分類(lèi)問(wèn)題。(2)邏輯回歸不要求自變量和因變量存在線(xiàn)性關(guān)系。(3)為了避免過(guò)擬合和欠擬合，我們應(yīng)該包括所有重要的變量。有一個(gè)很好的方法來(lái)確保這種情況，就是使用逐步篩選方法來(lái)估計(jì)邏輯回歸。(4)邏輯回歸需要較大的樣本量。(5)自變量之間應(yīng)該互不相關(guān)，即不存在多重共線(xiàn)性。(6)如果因變量的值是定序變量，則稱(chēng)它為序邏輯回歸。(7)如果因變量是多類(lèi)的話(huà)，則稱(chēng)它為多元邏輯回歸。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.3做好數(shù)據(jù)回歸分析實(shí)戰(zhàn)要領(lǐng)4.3.1數(shù)據(jù)回歸分析方法概述4.逐步回歸在處理多個(gè)自變量時(shí)，我們可以使用逐步回歸。最常用的逐步回歸方法：(1)標(biāo)準(zhǔn)逐步回歸法。(2)向前選擇法。(3)向后剔除法。5.嶺回歸當(dāng)數(shù)據(jù)之間存在多重共線(xiàn)性(自變量高度相關(guān))時(shí)，就需要使用嶺回歸分析。嶺回歸通過(guò)給回歸估計(jì)值添加一個(gè)偏差值，來(lái)降低標(biāo)準(zhǔn)誤差。嶺回歸和線(xiàn)性回歸方程一樣，也有一個(gè)誤差項(xiàng)。嶺回歸的要點(diǎn)如下：(1)除常數(shù)項(xiàng)以外，嶺回歸的假設(shè)與最小二乘回歸相同；(2)它收縮了相關(guān)系數(shù)的值，但沒(méi)有達(dá)到零，這表明它不具有特征選擇功能；(3)這是一個(gè)正則化方法，并且使用的是L2正則化。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.3做好數(shù)據(jù)回歸分析實(shí)戰(zhàn)要領(lǐng)4.3.1數(shù)據(jù)回歸分析方法概述6.套索回歸套索回歸類(lèi)似于嶺回歸，它也會(huì)懲罰回歸系數(shù)的絕對(duì)值大小。套索回歸與嶺回歸有一點(diǎn)不同，它使用的懲罰函數(shù)是絕對(duì)值，而不是平方。這導(dǎo)致懲罰(或等于約束估計(jì)的絕對(duì)值之和)值使一些參數(shù)估計(jì)結(jié)果等于零。7.ElasticNet回歸ElasticNet回歸是套索回歸和嶺回歸的組合體。嶺回歸一般會(huì)隨機(jī)選擇其中一個(gè)特征，而ElasticNet則會(huì)選擇其中的兩個(gè)。同時(shí)包含嶺回歸和套索回歸的一個(gè)優(yōu)點(diǎn)是，ElasticNet回歸可以在循環(huán)狀態(tài)下繼承嶺回歸的一些穩(wěn)定性。ElasticNet回歸的要點(diǎn)如下：(1)在具有高度相關(guān)變量的情況下，它會(huì)產(chǎn)生群體效應(yīng)；(2)選擇變量的數(shù)目沒(méi)有限制；(3)它可以承受雙重收縮。第4章數(shù)據(jù)相關(guān)性分析與回歸分析的黃金法則4.3做好數(shù)據(jù)回歸分析實(shí)戰(zhàn)要領(lǐng)4.3.2數(shù)據(jù)回