疑讀《大數(shù)據(jù)時代》6--相關(guān)關(guān)系與因果關(guān)系的辯證

1、唐人家居電商相關(guān)關(guān)系與因果關(guān)系的辯證-疑讀大數(shù)據(jù)時代6By唐人大數(shù)據(jù)時代給出的大數(shù)據(jù)時代的第三個特征，是“不是因果關(guān)系，而是 相關(guān)關(guān)系”。無論是因果關(guān)系還是相關(guān)關(guān)系，在書中都是指兩個變量之間的關(guān)系， 是數(shù)據(jù)中最簡單的關(guān)系。因果關(guān)系與相關(guān)關(guān)系有什么關(guān)系？為什么“不是因果關(guān)系而是相關(guān)關(guān)系”？所謂“不是因果關(guān)系而是相關(guān)關(guān)系”有什么問題嗎？相關(guān)關(guān)系之重要性首先談?wù)劄槭裁词窍嚓P(guān)關(guān)系，談?wù)劥髷?shù)據(jù)時代相關(guān)關(guān)系的重要性。邁爾大叔用亞馬遜的圖書推薦系統(tǒng)，引出了相關(guān)關(guān)系的重要性，因為這個相 關(guān)關(guān)系，成為線上商城在向瀏覽網(wǎng)頁的網(wǎng)友推薦有關(guān)商品的基本算法。 我們通常 把這種根據(jù)相關(guān)關(guān)系推薦的商品稱為關(guān)聯(lián)商品。地球人基

2、本上都知道這種相關(guān)關(guān)系：如果購買商品A的消費者中有相當(dāng)部分 也購買了商品B,那就可以認為商品A和B是相關(guān)聯(lián)的，所以當(dāng)再有消費者購買 商品A時，就向他推薦商品B。邁爾大叔對相關(guān)關(guān)系的評價是：“關(guān)聯(lián)物，預(yù)測的關(guān)鍵”。他說：“知道是 什么就夠了，沒必要知道為什么。在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象 背后的原因，而是要讓數(shù)據(jù)自己發(fā)聲?！彪S之又列舉了沃爾瑪將蛋撻與颶風(fēng)用品放在一起銷售的案列。在這個例子 里，蛋撻與颶風(fēng)用品一起購買的關(guān)聯(lián)行為就是“是什么”，邁爾大叔認為沒有必 要探究為什么颶風(fēng)來了美國人民喜歡吃蛋撻。你認為有必要知道“為什么”嗎？我認為， 至少沒有必要說“沒有必要知道 為什么”。另外，在預(yù)測

3、分析中更多應(yīng)用的不是簡單的兩個變量之間的相關(guān)關(guān)系，而是一組變量與某個變量之間的相關(guān)關(guān)系。關(guān)于這一點，邁爾大叔基本上沒有解釋， 只是在某些案列里用十分驚訝的語氣進行了感嘆，如在例舉美國個人消費信用評 估公司“遵從醫(yī)囑評分”時介紹說：它分析一系列的變量來確定這個人是否會按 時吃藥，包括一些看起來有點怪異的變量。比方說，一個人在某地居住了多久， 這個人結(jié)婚了沒有，他多久換一個工作以及他是否有私家車。事實上，美國個人消費信用評估公司使用了多個在邁爾大叔看起來非常奇怪 的變量來預(yù)測一個人是否會按照醫(yī)囑吃藥。 接下來連續(xù)介紹的益佰利的個人收入 評分、Aviva的健康預(yù)測模型、還有塔吉特的懷孕預(yù)測等，都不是

4、簡單的相關(guān)關(guān) 系分析。而是更加復(fù)雜的多元回歸分析。其中最可能使用的分析方法應(yīng)該是一種 被稱為Logistic Regression的分析方法。從邁爾大叔對這些案例以及其他相關(guān)案例的描述來看，他很可能并不太了解這樣的分析方法。為何不是因果關(guān)系？因果關(guān)系就是對相關(guān)關(guān)系問個為什么。 我們來看看為什么邁爾大叔說是 “不 是因果關(guān)系”。首先是沒有必要知道：大數(shù)據(jù)卻顯示，還有另外一個在某些方面更有用的方 法。亞馬遜的推薦系統(tǒng)梳理出了有趣的相關(guān)關(guān)系，但不知道背后的原因。知道是 什么就夠了，沒必要知道為什么。這句話說白了，就是機器分析發(fā)現(xiàn)了兩個變量之間的相關(guān)性， 那就足夠做關(guān) 聯(lián)商品推薦了，你用不著去分析為什

5、么它們是關(guān)聯(lián)的。另一個“不是因果關(guān)系”的原因，則有點難以理解。邁爾大叔說：專家們還會使用一些建立在理論基礎(chǔ)上的假想來指導(dǎo)自己選擇適當(dāng)?shù)年P(guān)聯(lián) 物。這些理論就是一些抽象的觀點，關(guān)于事物是怎樣運作的。然后收集與關(guān)聯(lián)物 相關(guān)的數(shù)據(jù)來進行相關(guān)關(guān)系分析，以證明這個關(guān)聯(lián)物是否真的合適。如果不合適, II唐人家居電商人們通常會固執(zhí)地再次嘗試，因為擔(dān)心可能是數(shù)據(jù)收集的錯誤，而最終卻不得不 承認一幵始的假想甚至假想建立的基礎(chǔ)都是有缺陷和必須修改的。這種對假想的 反復(fù)試驗促進了學(xué)科的發(fā)展。但是這種發(fā)展非常緩慢，因為個人以及團體的偏見 會蒙蔽我們的雙眼，導(dǎo)致我們在設(shè)立假想、應(yīng)用假想和選擇關(guān)聯(lián)物的過程中犯錯 誤。總之，

6、這是一個煩瑣的過程，只適用于小數(shù)據(jù)時代。如果不太能夠理解的話，白話一下：上面邁爾大叔描述了一般社會科學(xué)（如 心理學(xué)、社會學(xué)等）研究的過程，即首先進行科學(xué)的理論假設(shè)，然后通過數(shù)據(jù)的 相關(guān)分析來證明其理論假設(shè)的正確與否。這個理論假設(shè)，就是解決“為什么”的問題?？磥磉~爾大叔把數(shù)據(jù)的關(guān)聯(lián)分析局限于二維的數(shù)據(jù)分析，局限于他描述的社會科學(xué)的研究過程，并且認為傳統(tǒng)的關(guān)聯(lián)分析一定必須回答“為什么”關(guān)聯(lián)。相關(guān)關(guān)系與因果關(guān)系相關(guān)關(guān)系回答了兩個變量之間是否關(guān)聯(lián)，而因果關(guān)系卻要回答這兩個變量為 什么關(guān)聯(lián)。邁爾大叔的第三個有關(guān)大數(shù)據(jù)時代的特征，也是最受爭議的。即使是該書的譯者，也在序中指出該特征總結(jié)的偏差?？赡苓~爾大叔

7、在其著書時也意識到這個問題， 所以也沒有把話說死，保留了 一點余地：因果關(guān)系還是有用的，但是它將不再被看成是意義來源的基礎(chǔ)。在大 數(shù)據(jù)時代，即使很多情況下，我們依然指望用因果關(guān)系來說明我們所發(fā)現(xiàn)的相互 聯(lián)系，但是，我們知道因果關(guān)系只是一種特殊的相關(guān)關(guān)系。可以看到，邁爾大叔是在兩個很狹隘的思想指導(dǎo)下得到大數(shù)據(jù)時代“不是因果關(guān)系，而是相關(guān)關(guān)系”的結(jié)論：一是因果關(guān)系只來自理論假設(shè)和數(shù)據(jù)驗證的學(xué) 術(shù)研究；二是事物間的關(guān)系只是兩個事物間的相互關(guān)系。我們拿在邁爾大叔書中反復(fù)提到卻從來沒有任何說明的預(yù)測分析技術(shù)Logistic Regression來說，這是一個絕對出現(xiàn)在小數(shù)據(jù)時代的分析技術(shù)，而 且在小數(shù)據(jù)時代就被廣泛應(yīng)用。在運用該分析方法建立預(yù)測模型時， 很可能是將 iii唐人家居電商所有能夠獲得的變量放進去分析， 看哪些變量具有預(yù)測的能力。這時分析人員只 是關(guān)注邁爾大叔所謂的相關(guān)關(guān)系（事實是在多維分析中，兩個變量之間的關(guān)系要 比簡單的相關(guān)關(guān)系復(fù)雜得多.）0當(dāng)預(yù)測模型建成后，分析人員會對預(yù)測模型中的 一些變量嘗試進行解釋，即試圖得到因果關(guān)系。又一次，因為知識的局 限以及思維的狹隘，邁爾大叔錯誤地理解了大數(shù)據(jù) 時代的特征。這是疑讀大