數(shù)據(jù)時(shí)代的社會(huì)研究（計(jì)算社會(huì)學(xué)）

第1章簡(jiǎn)介1.1一處墨跡1.3研究設(shè)計(jì)1.4本書的主題1.5本書梗概第2章觀察行為2.1簡(jiǎn)介2.2大數(shù)據(jù)2.3大數(shù)據(jù)的10個(gè)共同特征2.4研究策略2.5結(jié)論第3章提問(wèn)3.1簡(jiǎn)介3.2提問(wèn)與觀察3.4向誰(shuí)提問(wèn)3.5提問(wèn)的新方法3.7結(jié)論第4章開展實(shí)驗(yàn)4.1簡(jiǎn)介4.6建議4.7結(jié)論第5章進(jìn)行大規(guī)模協(xié)作5.1簡(jiǎn)介5.2人本計(jì)算5.3公開征集5.6結(jié)論第6章道德倫理6.1簡(jiǎn)介6.2三個(gè)事例6.4四項(xiàng)原則6.6困難面6.7實(shí)用技巧6.8結(jié)論第7章未來(lái)7.2未來(lái)主題7.3回到開始第1章簡(jiǎn)介1.1一處墨跡成對(duì)財(cái)富與貧困的研究，這個(gè)數(shù)據(jù)庫(kù)中有150萬(wàn)名客戶。布盧門和同事還擁有這150萬(wàn)人的完整通話記錄。他們將這兩部分?jǐn)?shù)據(jù)結(jié)這個(gè)模型評(píng)估數(shù)據(jù)庫(kù)中150萬(wàn)名客戶的財(cái)富狀況，還利用通話記錄150萬(wàn)名客戶的居住位置。最后他們將所有這些信息——估算的財(cái)富狀況以個(gè)街區(qū)(該國(guó)的最小行政單位)中每一個(gè)街區(qū)的財(cái)富狀況。調(diào)查的方法快了差不多10倍，成本為后者的1/50左右。這些明顯更快、更節(jié)省成本的預(yù)測(cè)東西現(xiàn)在變成智能的了。也許你曾經(jīng)用的是帶膠數(shù)據(jù)”。在數(shù)字?jǐn)?shù)據(jù)爆炸式增長(zhǎng)的同時(shí)，有條件使用計(jì)算機(jī)的人的數(shù)量也在不斷增加(圖0普及程度在不斷增加。從20世紀(jì)80年代開始，每10年就會(huì)有一種新型的計(jì)算機(jī)誕生：個(gè)人計(jì)算機(jī)、筆記本電腦、智能手機(jī)以及現(xiàn)在“物聯(lián)網(wǎng)”中的嵌入式處理們的交流途徑也曾有過(guò)其他一些重大的進(jìn)步，例如電報(bào)(Gleick2011),而且自20世紀(jì)60懷疑論者所忽略的是，在某種程度上，多個(gè)相同的東西合起來(lái)會(huì)變成一個(gè)不同的東西所有東西都應(yīng)該被摒棄。正如攝影的原理會(huì)影響拍電影的原理一樣，那展起來(lái)的社會(huì)研究理論也會(huì)對(duì)未來(lái)100年的社會(huì)研究產(chǎn)生影響。1.3研究設(shè)計(jì)究設(shè)計(jì)就是“結(jié)締組織”,它能將問(wèn)題和答案聯(lián)系起來(lái)。而建立正確的聯(lián)系是設(shè)計(jì)出令人信服的研究的關(guān)鍵。本書將重點(diǎn)介紹4種方法1.4本書的主題本書的兩個(gè)主題分別是：(1)將現(xiàn)成品和定制物結(jié)合起來(lái)；(2)道德倫理。意到。第一個(gè)主題可以通過(guò)對(duì)比馬塞爾·杜尚(MarcelDuchamp)和米開朗琪羅(Michelangelo)這兩位偉人來(lái)闡述。杜尚主要是因?yàn)樗默F(xiàn)成品藝術(shù)作品(例如《泉》)品，而是一個(gè)非現(xiàn)成品藝術(shù)作品(圖1.2)。也是最重要的，我希望這本書能告訴你將這兩種數(shù)據(jù)結(jié)合起來(lái)使用的價(jià)值。例如，喬舒成數(shù)據(jù))用于不同的用途，同時(shí)又創(chuàng)建了自己的調(diào)查數(shù)據(jù)(一個(gè)非現(xiàn)成數(shù)據(jù))。在整本書中，現(xiàn)成品藝術(shù)作品非現(xiàn)成品藝術(shù)作品(J?rgBittnerUnna)攝于2008年(來(lái)源：Galleriadell'Accademia,Florence/WikimediaCommons)。研究人員(經(jīng)常與公司和政府合作)對(duì)實(shí)驗(yàn)參與者的生活擁有越來(lái)越強(qiáng)的控制力。我所說(shuō)的能幫助你們發(fā)現(xiàn)新機(jī)會(huì)(需要冒險(xiǎn)的機(jī)會(huì))。最后，同時(shí)也是最重要的，我希望這本書能幫1.5本書梗概本書主要圍繞4種廣泛的研究方法展開：觀這4種方法在50年前就都被以某些形式采用了，我相信，在從現(xiàn)在起的50年里，它們?nèi)詫⒃诘?章(觀察行為)中，我將闡述研究人員通過(guò)觀察人們的行為能了解到什么以及如何通在第3章(提問(wèn))中，我首先將介紹，當(dāng)研究人員不局限于以前的大數(shù)據(jù)時(shí)能夠了解到什么。在第4章(開展實(shí)驗(yàn))中，我首先將介紹，當(dāng)研究人員不局限于觀察行為和提問(wèn)時(shí)能夠了解在第5章(進(jìn)行大規(guī)模協(xié)作)中，我將介紹研究人員怎樣才能進(jìn)行諸如眾包和公眾科學(xué)這樣在第6章(道德倫理)中，我將論述的觀點(diǎn)是：研究人員對(duì)參與者的控制力正在迅速增強(qiáng)，基于原則的方法。也就是說(shuō)，研究人員應(yīng)該根據(jù)現(xiàn)有的規(guī)則條例(如果有的話)以及更普遍最后，在第7章(未來(lái))中，我將回顧貫穿全書的主題，然后通過(guò)它們預(yù)測(cè)未來(lái)重要的主題。第2章觀察行為2.1簡(jiǎn)介在獲取數(shù)據(jù)的過(guò)程中不涉及與人交談(例如第3章的主題——提問(wèn))或改變?nèi)藗兯幁h(huán)境(例如第4章的主題——實(shí)驗(yàn))的數(shù)據(jù)。因此，除了商家和政府所擁有的數(shù)字記錄外，觀察本章包含三個(gè)部分。首先，在2.2節(jié)中，我將更詳細(xì)地介紹大數(shù)據(jù)研究通常采用的數(shù)據(jù)的根本區(qū)別。緊接著，在2.3節(jié)中，我將介紹大數(shù)的新資源。最后，在2.4節(jié)中，我將介紹三個(gè)主要的研究策略：計(jì)數(shù)、預(yù)測(cè)和近似實(shí)驗(yàn)。你2.2大數(shù)據(jù)含了3個(gè)“V”:Volume(大量)、Variety(多樣)、Velocity(高速)。粗略地說(shuō)，大數(shù)語(yǔ)，例如Veracity(真實(shí)性)和Value(價(jià)值),而批評(píng)者則增加了諸如Vague(模糊)和Vacuous(空洞)這樣的詞語(yǔ)。但就社會(huì)研究這一目的來(lái)說(shuō)，我認(rèn)為相比于上述幾個(gè)“V”,么時(shí)間)以及Why(為什么)。事實(shí)上，我認(rèn)為大數(shù)據(jù)資源帶來(lái)的許多挑戰(zhàn)和機(jī)會(huì)都源于最而將其用于研究?；叵胍幌碌?章中的藝術(shù)類比，就像杜尚通過(guò)對(duì)挑戰(zhàn)。就以社交媒體(例如推特)以及傳統(tǒng)的民意調(diào)查(例如綜合社會(huì)調(diào)查)為例。推特的主要目的是通過(guò)為用戶提供某種服務(wù)來(lái)獲取利潤(rùn)，而綜合社會(huì)調(diào)查則主要是為社會(huì)研究(尤其是民意調(diào)查)搜集通用數(shù)據(jù)。盡管這兩種數(shù)據(jù)都可被用來(lái)研究民民在一個(gè)小時(shí)內(nèi)的情緒狀態(tài)(例如GolderandMacy2011),那么推特將是最好的選擇。但如果你想了解美國(guó)民眾態(tài)度兩級(jí)分化的長(zhǎng)期變化(例如DiMaggio,Evans,andBryson1996),那么綜合社會(huì)調(diào)查將是最好的選擇?？偟膩?lái)說(shuō)，這一章將試圖闡明大數(shù)據(jù)資源更適記錄，包括稅收記錄、學(xué)校記錄以及重要的統(tǒng)計(jì)記錄(例如出生和死亡登記)等。政府一直 在更具體地討論大數(shù)據(jù)資源的屬性(2.3節(jié))以及如何在研究中使用這些資源(2.4節(jié))之前，也是本章剩余部分所要探討的。在2.3節(jié)中，我將介紹大數(shù)2.3大數(shù)據(jù)的10個(gè)共同特征有幫助的。因此，我將介紹大數(shù)據(jù)資源的10個(gè)一般性特征，而不是采用一種平臺(tái)化的方法·通常情況下不利于研究的：不完整性、難以獲取、不具代表性、漂移、算法干擾、臟數(shù)2.3.1海量性大數(shù)據(jù)資源最被廣為討論的特征就是其數(shù)據(jù)量是“海量的”。時(shí)是吹噓)其分析了多少數(shù)據(jù)作為開篇。例如在《科學(xué)》(Science)雜志上發(fā)表的一篇研究谷歌圖書(GoogleBooks)語(yǔ)我們的語(yǔ)料庫(kù)包含了超過(guò)5000億個(gè)單詞，有英語(yǔ)(3610億)、法語(yǔ)(450億)、西班牙語(yǔ)(450億)、德語(yǔ)(370億)、漢語(yǔ)(130億)、俄語(yǔ)(350億)以及希伯來(lái)語(yǔ)(20億),最幾十萬(wàn)。到1800年，語(yǔ)料庫(kù)每年的單詞量增加到9800萬(wàn)；到1900年，達(dá)到18億；2000年則達(dá)到110億。語(yǔ)料庫(kù)中的內(nèi)容一個(gè)人是無(wú)法讀完的。就算只閱讀2000年的英語(yǔ)詞條，以每分鐘200個(gè)單詞的合理速度計(jì)算，即便一個(gè)人不吃不睡也將需要和月球之間往返10次。據(jù)。(事實(shí)上，本書末尾的一些“活動(dòng)”就利用了這一數(shù)據(jù)。)但是，每當(dāng)看到類似的數(shù)據(jù)時(shí)，你都應(yīng)該提出這樣的問(wèn)題：這些數(shù)據(jù)真的有用嗎?如果數(shù)據(jù)的長(zhǎng)度只夠從地球到月球往返一次，那么人們還能做同樣的實(shí)驗(yàn)嗎?如果數(shù)據(jù)的長(zhǎng)度只能到達(dá)珠穆朗瑪峰的頂部或者埃會(huì)把大數(shù)據(jù)資源的規(guī)模大小當(dāng)作一種目的，旨在告訴別人“看我能處流動(dòng)的研究(2014)。在過(guò)去，許多研究人員通過(guò)對(duì)比父母和孩子的人生成就來(lái)研究社會(huì)流度也是不同的(HoutandDiPrete2006)。最近，切蒂和同事利用4000萬(wàn)人的繳稅記錄對(duì)個(gè)小孩來(lái)自收入水平最低的家庭(共分為5個(gè)等級(jí)),那么他成為全國(guó)收入水平最高的1/5人口的概率約為13%,而在北卡羅來(lái)納州的夏洛特，這一概率僅為4%。你可能會(huì)有這樣的疑問(wèn)，為什么有些地方的代際流動(dòng)要高于其他地方呢?切蒂和同事也有同樣的疑問(wèn)，而且他們使用的是4萬(wàn)人而不是4000萬(wàn)人的繳稅記錄，就無(wú)法對(duì)區(qū)域異質(zhì)性的水平進(jìn)行估算，也完全這樣細(xì)微的差異可能就不是特別重要了，即便它們具有重要的統(tǒng)計(jì)學(xué)意義(Prenticeand2.3.2持續(xù)性典型研究中的數(shù)據(jù)集布達(dá)克和瓦茨的事后縱向數(shù)據(jù)(2015)前(2012年1月1間(2013年5月28后(2013年8月1日—2013年5月28日日—2013年8月1日)日—2014年1月1日)懷疑論者可能會(huì)指出，即便沒(méi)有不間斷的數(shù)據(jù)采集資源，上述某些評(píng)估(例如長(zhǎng)期內(nèi)的態(tài)度變化)也是可以進(jìn)行的。這一觀點(diǎn)是正確的，盡管搜集30000人的數(shù)據(jù)成本相當(dāng)高昂，但只要有足夠的預(yù)算，這一問(wèn)題便能解決。然而我想不出有什么辦法能讓研究人員穿梭到過(guò)去，直接觀察參與者在過(guò)去的行為。最接近的辦法可能是搜集有關(guān)參與者行為的回顧性報(bào)告，但這些報(bào)告的粒度是有限的，準(zhǔn)確度也不高。表2.1列出了一些利用持續(xù)運(yùn)行的大數(shù)據(jù)系統(tǒng)進(jìn)除了研究突發(fā)事件以外，持續(xù)運(yùn)行的大數(shù)據(jù)系統(tǒng)還能讓研究人員進(jìn)行實(shí)時(shí)評(píng)估。對(duì)政府或各行業(yè)的決策者來(lái)說(shuō)，當(dāng)他們想要依據(jù)態(tài)勢(shì)感知確定應(yīng)對(duì)措施時(shí)，這一點(diǎn)就會(huì)變得很重要。例如，利用社交媒體數(shù)據(jù)指導(dǎo)對(duì)自然災(zāi)害的應(yīng)急響應(yīng)(Castillo2016),利用各種不同的大數(shù)據(jù)資源對(duì)經(jīng)濟(jì)活動(dòng)進(jìn)行實(shí)時(shí)評(píng)估(ChoiandVarian2012)。綜上所述，持續(xù)運(yùn)行的大數(shù)據(jù)系統(tǒng)能讓研究人員對(duì)突發(fā)事件進(jìn)行研究，也能為決策者提供實(shí)時(shí)信息。但如果要追蹤很長(zhǎng)一段時(shí)間內(nèi)的變化，我認(rèn)為這些系統(tǒng)就不適用了。因?yàn)楹芏啻髷?shù)據(jù)系統(tǒng)是不斷變化的，我把這一過(guò)程稱為漂移，并將在后面的2.3.7小節(jié)中具體介紹。土耳其蓋齊公園示威活動(dòng)紐約市警察遭槍擊事件攔截盤查報(bào)告Magdy,Darwish,andWe傳呼機(jī)信息Back,Küfner,andEglo(2010),Pury(2011),Back,2.3.3不反應(yīng)性大數(shù)據(jù)資源中的測(cè)量對(duì)象不太可能改變行為。們會(huì)比在現(xiàn)場(chǎng)研究中表現(xiàn)得更慷慨，因?yàn)樵趯?shí)驗(yàn)室中，他們非常清楚自己正在被觀察 -達(dá)維多維茨(Stephens-Davidowitz)就利用這一點(diǎn)衡量了美國(guó)不同地區(qū)的種族敵意。搜索數(shù)據(jù)的不反應(yīng)性和海量性這兩個(gè)屬性使很多通過(guò)其他方法(例如調(diào)查)難以進(jìn)行的測(cè)量成為問(wèn)的研究中，一位受訪者說(shuō)：“我并不是沒(méi)有問(wèn)題，只是沒(méi)有把它們發(fā)在臉譜網(wǎng)上而已?！辈恢榈那闆r下追蹤其行為的做法，也會(huì)帶來(lái)一些道德倫理2.3.4不完整性力呢?霍華德·加德納(HowardGardner)曾提出，智力實(shí)際上有8種不同的形式。那有沒(méi)有能夠精確測(cè)量這些智力的程序呢?盡管心理學(xué)家在這方面做了大研究結(jié)果構(gòu)念效度的快速且有效的方法。例如，假設(shè)有兩個(gè)旨在證明“越聰明的人掙錢越多”無(wú)論第二個(gè)研究是基于100萬(wàn)條推文，1000萬(wàn)條推文，還是1萬(wàn)億條推文，我們對(duì)其結(jié)果都應(yīng)持懷疑態(tài)度。對(duì)不熟悉構(gòu)念效度的研究人員來(lái)說(shuō)，可以參閱表2.2表2.2使用數(shù)字痕跡測(cè)量理論構(gòu)念的實(shí)例一所大學(xué)的郵件日志(僅元數(shù)據(jù))社會(huì)關(guān)系一個(gè)公司的郵件日志(元數(shù)據(jù)及全文)一個(gè)組織中的文化契合度決方案是實(shí)際搜集自己所需的數(shù)據(jù)，在第3章談到多個(gè)數(shù)據(jù)資源。這一過(guò)程被稱為記錄鏈接。我最喜歡的有關(guān)這一過(guò)程的比喻說(shuō)法出自艾伯但其實(shí)它所記錄的要遠(yuǎn)超過(guò)這些，因此，如果將這些不同的書頁(yè)(即我們的數(shù)字痕跡)整合來(lái)說(shuō)是非常好的資源。但正如我在第6章中將描述的那樣，它也可以被用于各種不道德的用2.3.5難以獲取2014年5月，美國(guó)國(guó)家安全局在猶他州的一個(gè)小鎮(zhèn)開設(shè)了一個(gè)名字很長(zhǎng)的數(shù)據(jù)中心——情報(bào)據(jù)資源是研究人員難以獲取的。更普遍地講，許多有用的大數(shù)據(jù)資源都被政府(例如稅收數(shù)據(jù)和教育數(shù)據(jù))和公司(例如搜索引擎記錄和通話記錄元數(shù)據(jù))控制和限制。因此，盡管這公眾的反應(yīng)會(huì)如何?類似這樣的數(shù)據(jù)外泄，如果嚴(yán)重的話，甚至可能威脅到公司的生存。因的故事。2006年，時(shí)任AOL(美國(guó)在線)研究主管的喬杜里，有意向研究人員公布他認(rèn)為是在本章后面部分介紹，而我現(xiàn)在提及它是因?yàn)樗邆湮以诔晒Φ幕锇樽髯罱K以失敗告終，其原因就是研究人員或其合作對(duì)象(公司或政府)不具備上述某一要素。2.3.6不具代表性一些社會(huì)科學(xué)家習(xí)慣于處理從明確的總體(例如某個(gè)國(guó)家的所有成年人)中抽取的隨機(jī)樣本讓我們通過(guò)一個(gè)經(jīng)典的科學(xué)研究，即約翰·斯諾(JohnSnow)對(duì)1853—1854年倫敦霍亂暴比了由兩家不同的公司——蘭姆博斯(Lambeth)以及薩瑟克-沃克斯霍爾(Southwark&Vauxhall),供水的家庭的霍亂發(fā)病情開始的前幾年，從倫敦的主要污水排放處向上游移動(dòng)了它的進(jìn)水亡率時(shí)發(fā)現(xiàn)，飲用由薩瑟克-沃克斯霍爾提供的被排泄物污染的癌癥方面發(fā)揮了重要的作用。在這項(xiàng)研究中，理查德·多爾(RichardDoll)和布拉德福德·希爾(A.BradfordHill)對(duì)約25000名男性醫(yī)生進(jìn)行了多年的追蹤，并根據(jù)研究開始時(shí)他們吸煙的數(shù)量比較其晚年的健康狀況。多爾和希爾發(fā)現(xiàn)了一個(gè)很強(qiáng)的“暴露-反應(yīng)關(guān)系”:抽煙越多的人，死于肺癌的可能性就越大。當(dāng)然，英國(guó)男性工人、德國(guó)女性工人或其他許多群體所構(gòu)成的樣本中，適用程度如何?這種問(wèn)題很關(guān)在一個(gè)群體中所發(fā)現(xiàn)的規(guī)律到另一個(gè)群體的可移植性的問(wèn)題則基本上不屬于統(tǒng)計(jì)問(wèn)題(PearlandBareinboim2014律具有多大的可移植性呢?這最終還是一個(gè)取決于理論和證據(jù)的科學(xué)問(wèn)題。這些規(guī)律不應(yīng)被本科生能對(duì)人類行為有多少了解的爭(zhēng)論(Sears1986,Henrich,Heine,andNorenzayan黨的推文比例與該政黨在議會(huì)選舉中的得票比例是相匹配的(圖2.2)。換句話說(shuō)，基本免左翼黨，基社盟綜上所述，許多大數(shù)據(jù)資源都不是從明確的總體中抽取的具有代表性的樣本。對(duì)那些需要將研究結(jié)果從樣本泛化到抽取樣本的目標(biāo)總體上的研究來(lái)說(shuō)，這無(wú)疑是一個(gè)嚴(yán)重的問(wèn)題。但對(duì)需要進(jìn)行樣本內(nèi)比較的研究來(lái)說(shuō)，不具代表性的數(shù)據(jù)又可以是非常有效的，只要研究人員清楚他們的樣本特征，并能為其研究結(jié)果的可移植性提供相應(yīng)的理論或?qū)嶒?yàn)證據(jù)即可。事實(shí)上，我希望大數(shù)據(jù)資源能讓研究人員在許多不具代表性的群體中進(jìn)行更多的樣本內(nèi)比較，我的猜測(cè)是，與基于一個(gè)隨機(jī)樣本而得出的單一結(jié)論相比，基于多個(gè)不同群體所得出的多個(gè)結(jié)論更2.3.7漂移用戶漂移、行為漂移以及系統(tǒng)漂移使利用大數(shù)據(jù)資源研究長(zhǎng)期趨勢(shì)變得困難。許多大數(shù)據(jù)資源的一大優(yōu)點(diǎn)是，它們搜集的是一段時(shí)間內(nèi)的數(shù)據(jù)。社會(huì)科學(xué)家把這種一段時(shí)間內(nèi)的數(shù)據(jù)稱為縱向數(shù)據(jù)。這種數(shù)據(jù)對(duì)研究變化當(dāng)然是非常重要的。但是，要想準(zhǔn)確地測(cè)量變化，就必須保證測(cè)量系統(tǒng)的穩(wěn)定性。引用社會(huì)學(xué)家奧蒂斯·達(dá)德利·鄧肯(OtisDudleyDuncan)的話就是：“你如果想測(cè)量變化，就不要改變測(cè)量過(guò)程。”(Fischer2011)移”。具體而言，這些系統(tǒng)主要從三個(gè)方面發(fā)生變化：用戶漂移(使用系統(tǒng)的人的變化)、行為漂移(人們使用系統(tǒng)的方式的變化)以及系統(tǒng)漂移(系統(tǒng)本身的變化)。這三種漂移意2.3.8算法干擾盡管許多大數(shù)據(jù)資源是不反應(yīng)的，因?yàn)橛脩舨恢浪麄兊臄?shù)據(jù)正在被記錄(2.3.3小節(jié)),一個(gè)相對(duì)簡(jiǎn)單的算法干擾的例子是，在臉譜網(wǎng)上，擁有約20個(gè)好友的用戶異常多，正如約翰·烏甘德(JohanUgander)和同事在2行程序中。臉譜網(wǎng)有一項(xiàng)功能是“可能認(rèn)識(shí)的人”,旨在向用戶推薦新的朋友，而決定向你流感趨勢(shì)(GoogleFluTrends)逐漸失靈的原因之一(2.4.2小節(jié)),但這一說(shuō)法很難得到2.3.9臟數(shù)據(jù)我在本章前面章節(jié)中簡(jiǎn)要提及的米蒂亞·巴克(MitjaBack)和同事關(guān)于人們對(duì)2001年9月這使他們能研究更小時(shí)間單位內(nèi)的情緒反應(yīng)。他們根據(jù)與(1)悲傷(例如“哭泣”和“悲痛”),(2)焦慮(例如“擔(dān)憂”和“恐懼”)以及(3)憤怒(例如“憎恨”和“批評(píng)”)的2001年9月11日的情緒時(shí)間表。他們發(fā)現(xiàn)，與悲傷和焦慮相關(guān)詞匯的出現(xiàn)比例全天都在急),【日期和時(shí)間】?！睉嵟榫w就沒(méi)有原來(lái)那么明顯的上漲趨勢(shì)了(圖2.3)。換句話說(shuō)，米蒂亞·巴克、阿爾布每條信息中與憤怒相關(guān)詞匯的數(shù)量每條信息中與憤怒相關(guān)詞匯的數(shù)量★不包括一個(gè)自動(dòng)傳呼機(jī)的重啟信息H06:0008:0010:0012:0014:0016:0018:0020:0022:0000:00(時(shí)間)Pury2011;Back,Kofner,andEgloff2011)上述自動(dòng)傳呼機(jī)所產(chǎn)生的重啟信息并不是有意創(chuàng)建的臟數(shù)據(jù)，就這樣的數(shù)據(jù)而言，比較細(xì)心的研究人員還是可以發(fā)現(xiàn)的。但還有一些在線系統(tǒng)吸引的是有意的垃圾數(shù)據(jù)發(fā)送者。這些人會(huì)積極制造臟數(shù)據(jù)，而且努力保證其臟數(shù)據(jù)的隱蔽性。(通常是在利益的驅(qū)使下。)例如，為了讓某些政治目的看起來(lái)比實(shí)際更受歡迎，推特上的政治活動(dòng)至少會(huì)給用戶推送一些適度的宣傳廣告(Ratkiewiczetal.2011)。不幸的是，要想移除這些有意制造的臟數(shù)據(jù)卻可2.3.10敏感性要研究，但如果將其公之于眾，就可能導(dǎo)致情感傷害(例如尷尬)或經(jīng)濟(jì)傷害(例如失業(yè))。不幸的是，事實(shí)證明，想確定哪些信息屬于敏感信息是非常棘手的(Ohm2015),網(wǎng)飛獎(jiǎng)(NetflixPrize)就是一個(gè)例子。2006年，網(wǎng)飛(Netflix)公開了近50萬(wàn)會(huì)員的一億條了姓名等所有明顯的個(gè)人信息。但僅在數(shù)據(jù)公開兩周后，阿爾溫德·納拉亞南(Arvind息的技巧，這個(gè)技巧我將在第6章進(jìn)行介紹。取向的女同性戀者加入了針對(duì)網(wǎng)飛的集體訴訟。以下是這起訴訟中對(duì)這一問(wèn)題的表述個(gè)人興趣和/或所面臨的各種高度個(gè)人化的困擾(包括性、精神疾病、酗酒康復(fù)),以及亂倫、被認(rèn)為是侵犯隱私一樣，在未經(jīng)當(dāng)事人同意的情況下搜集敏感數(shù)據(jù)(是何其之難)也可能引發(fā)隱私問(wèn)題。我將在第6章再回到這一話題。1.構(gòu)念(Constructs)是對(duì)某一學(xué)科研究領(lǐng)域內(nèi)的模糊(抽象)要素進(jìn)行概括或概念化的途徑，是旨在探究研究對(duì)2.4研究策略考慮到大數(shù)據(jù)資源的上述10個(gè)特征，以及即便是完美的觀測(cè)數(shù)據(jù)也存在的固有局限性，我認(rèn)為以下三個(gè)主要策略能讓我們從大數(shù)據(jù)資源中獲取有用的信息：計(jì)數(shù)、預(yù)測(cè)和近似實(shí)驗(yàn)。這些策略可以被稱作“研究策略”或“研究秘訣”,我將對(duì)每種策略進(jìn)行描述，并通過(guò)舉例來(lái)闡明這些策略。這些策略并不相互矛盾，也并非詳盡全面的。2.4.1計(jì)數(shù)如果你能將好的問(wèn)題和好的數(shù)據(jù)結(jié)合起來(lái)，那么簡(jiǎn)單的計(jì)數(shù)也會(huì)變得有趣。雖然表述社會(huì)研究的語(yǔ)言聽起來(lái)很復(fù)雜，但許多社會(huì)研究實(shí)際上就是計(jì)數(shù)而已。在大數(shù)據(jù)時(shí)代，研究人員所能統(tǒng)計(jì)的數(shù)字要比以往任何時(shí)候都多，但這并不意味著他們就可以隨意計(jì)數(shù)。相反，研究人員應(yīng)該考慮這樣的問(wèn)題：哪些事情是值得計(jì)數(shù)的?這似乎是一個(gè)完全主觀的問(wèn)題，但其實(shí)也有一些規(guī)律?！拔乙獙?duì)別人從未統(tǒng)計(jì)過(guò)其數(shù)量的東西進(jìn)行計(jì)數(shù)”,這經(jīng)常會(huì)成為學(xué)生們進(jìn)行計(jì)數(shù)研究的出發(fā)點(diǎn)。例如，一個(gè)學(xué)生可能會(huì)說(shuō)，許多人研究過(guò)移民，也有許多人研究過(guò)雙胞胎，但沒(méi)有人研究過(guò)雙胞胎移民。我將這種策略稱作由缺位引起的動(dòng)機(jī)。但根據(jù)我的經(jīng)驗(yàn)，這一動(dòng)機(jī)通常相比于將別人未計(jì)數(shù)過(guò)的事情作為研究對(duì)象，我認(rèn)為更好的策略是尋找重要的或有趣的問(wèn)題(或兩者兼?zhèn)涞睦硐肭闆r)進(jìn)行研究。重要和有趣這兩個(gè)術(shù)語(yǔ)都有點(diǎn)難以界定，但判斷研究重要性的一個(gè)方法是看它是否對(duì)決策者的重要決定有顯著影響或是否能為其提供可觀的信息。例如，統(tǒng)計(jì)失業(yè)率就是重要的，因?yàn)樗峭苿?dòng)政策制定的一項(xiàng)重要經(jīng)濟(jì)指標(biāo)。一般來(lái)說(shuō)，我認(rèn)為研究人員對(duì)什么是重要的都有著很好的認(rèn)識(shí)。因此，在本節(jié)剩余部分，我將舉兩個(gè)我認(rèn)為其計(jì)數(shù)符合有趣這一標(biāo)準(zhǔn)的事例。在每個(gè)例子中，研究人員都不是在隨意地進(jìn)行計(jì)數(shù)；相反，他們是在特定的背景下進(jìn)行計(jì)數(shù)的，并且提出了關(guān)于“社會(huì)系統(tǒng)如何運(yùn)作”這種更加普遍的問(wèn)題的重要見解。換句話說(shuō)，這些特定的計(jì)數(shù)研究之所以有趣，在很大程度上是因?yàn)檫@些更加普遍的問(wèn)題，而不是因?yàn)閿?shù)據(jù)本身。其中一個(gè)能體現(xiàn)計(jì)數(shù)作用的事例是亨利·法伯(HenryFarber)在2015年對(duì)紐約市出租車司機(jī)行為的研究。盡管出租車司機(jī)這一群體本身聽起來(lái)可能不是很有趣，但他們是測(cè)試勞動(dòng)經(jīng)濟(jì)學(xué)中的兩個(gè)對(duì)立理論的合適群體。出租車司機(jī)的工作環(huán)境中有兩個(gè)重要的特征有助于實(shí)現(xiàn)法伯的研究目的，它們分別是：(1)出租車司機(jī)的小時(shí)收入每天都會(huì)波動(dòng)，這部分程度上是由于天氣等因素；(2)他們每天工作的小時(shí)數(shù)也會(huì)因其個(gè)人決定而波動(dòng)。這些特征引出了一個(gè)有趣的問(wèn)題，即小時(shí)收入與工作小時(shí)數(shù)之間的關(guān)系問(wèn)題。根據(jù)經(jīng)濟(jì)學(xué)中的新古典主義模型，出租車司機(jī)的小時(shí)收入高時(shí)，其一天的工作小時(shí)數(shù)也會(huì)更高。而根據(jù)行為經(jīng)濟(jì)學(xué)中的模型，則得到恰恰相反的結(jié)論：如果司機(jī)設(shè)定一個(gè)特定的收入目標(biāo)，比如每天100美元，然后達(dá)到目標(biāo)就結(jié)束工作，那么當(dāng)他們的小時(shí)收入較高時(shí)，其一天的工作小時(shí)數(shù)會(huì)相應(yīng)地較低。也就是說(shuō)，如果你是這樣的司機(jī)，那么當(dāng)收入好的時(shí)候(每小時(shí)25美元),你可能一天就工作4個(gè)小時(shí)，而當(dāng)收入不好的時(shí)候(每小時(shí)20美元),你則一天工作5個(gè)小時(shí)。那么,出租車司機(jī)究竟是在小時(shí)收入較高時(shí)工作更長(zhǎng)時(shí)間(符合新古典主義模型),還是在小時(shí)收入較低時(shí)工作更長(zhǎng)時(shí)間(符合行為經(jīng)濟(jì)學(xué)模型)?為了回答這一問(wèn)題，法伯拿到了從2009年到2013年紐約市出租車每趟行程的數(shù)據(jù)，這些數(shù)及小費(fèi)(僅限用信用卡支付的小費(fèi))。根據(jù)這些電子計(jì)量器搜集來(lái)的數(shù)據(jù)，法伯發(fā)現(xiàn)，大多量器搜集的數(shù)據(jù)基本上就是法伯想要的數(shù)據(jù)。(有一個(gè)區(qū)別就是，法伯想要的是包括車費(fèi)和2.4.2預(yù)測(cè)和臨近預(yù)測(cè)此，預(yù)測(cè)并不是目前社會(huì)研究的重要組成部分(盡管它是人口學(xué)、經(jīng)濟(jì)學(xué)、流行病學(xué)和政治學(xué)的一個(gè)小卻重要的組成部分)。但在這里，我想集中介紹的是一種特殊的預(yù)測(cè)——臨近預(yù)測(cè)(nowcasting),這個(gè)術(shù)語(yǔ)來(lái)源于“現(xiàn)在”和“預(yù)測(cè)”的結(jié)合。與預(yù)測(cè)未來(lái)不同的是，臨近預(yù)測(cè)試圖利用預(yù)測(cè)出的觀點(diǎn)了解世界的現(xiàn)狀：它試圖“預(yù)測(cè)現(xiàn)在”(ChoiandVarian病毒。例如，1918年的流感暴發(fā)估計(jì)造成了5000萬(wàn)~1億人死亡(MorensandFauci2007)。美國(guó)疾病控制與預(yù)防中心的職員)想到了一個(gè)重要而聰明的方法現(xiàn)這個(gè)模型的確可以進(jìn)行準(zhǔn)確的、有用的臨近預(yù)測(cè)(圖2.4)。這些結(jié)果被發(fā)表在了《自然》周周周54543一谷歌流感趨勢(shì)的數(shù)據(jù)一美國(guó)疾病控制與預(yù)防中心的數(shù)據(jù)2040424446485052周數(shù)據(jù)進(jìn)行線性外插法的簡(jiǎn)單模型相比，谷歌流感趨勢(shì)的表現(xiàn)并沒(méi)有好很多(Goeletal.2010)。而且在某些時(shí)間段，谷歌流感趨勢(shì)實(shí)際上還不如上述簡(jiǎn)單模型(Lazeretal.2014)。換句話說(shuō)，擁有大量數(shù)據(jù)、機(jī)器學(xué)習(xí)和強(qiáng)大計(jì)算能力的谷歌流感趨勢(shì)，其表現(xiàn)并沒(méi)的表現(xiàn)開始逐漸衰退。而找出這一衰退的原因很困難，因?yàn)楣雀璧乃阉魉惴ㄊ菍Ｓ械?，在的搜索詞(現(xiàn)在不會(huì)了)。作為一個(gè)搜索引擎的運(yùn)營(yíng)商，增加這一功能是完全合理的，但這2.4.3近似實(shí)驗(yàn)有的差別所致呢?這是一個(gè)難題，而且它不驗(yàn)中，研究人員隨機(jī)研究某些人，而不研究其他人。我將用整個(gè)第4章來(lái)介紹實(shí)驗(yàn)，所以在(或幾乎隨機(jī))研究某些人而不研究另一些人的事情。第二個(gè)策略是對(duì)非實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)而不研究另一些人。這樣的情況被稱作自然實(shí)驗(yàn)。最能說(shuō)明自然實(shí)驗(yàn)的例子是1990年喬舒張紙條上，然后每次抽一張來(lái)決定征召這些適齡男性的順序(適齡女性不在征兵范圍內(nèi))。根據(jù)抽簽結(jié)果，9月14日出生的男性為第一批被征召參戰(zhàn)的，4月24日出生的則為第二批，以此類推。最終，在這次抽簽征兵中，有195個(gè)不同的日期被選中了，而其余171個(gè)日期未Administration)的系統(tǒng)，該系統(tǒng)搜集了幾乎所有美國(guó)人的就業(yè)收入信息。通隨機(jī)(或似乎是隨機(jī)的)變化+不間斷運(yùn)行系統(tǒng)的數(shù)據(jù)=自然實(shí)驗(yàn)圖2.51969年12月1日，國(guó)會(huì)議員亞歷山大·皮爾尼(AlexanderPirnie)正在進(jìn)行義務(wù)兵役征兵的第一次抽簽。喬實(shí)質(zhì)性的研究課題自然實(shí)驗(yàn)的來(lái)源不間斷運(yùn)行的數(shù)據(jù)系統(tǒng)同儕效應(yīng)對(duì)生產(chǎn)力水平的影響工作時(shí)間的安排結(jié)賬數(shù)據(jù)友誼的建立颶風(fēng)臉譜網(wǎng)情緒的蔓延下雨臉譜網(wǎng)點(diǎn)對(duì)點(diǎn)貨幣轉(zhuǎn)移地震移動(dòng)支付數(shù)據(jù)個(gè)人消費(fèi)行為美國(guó)政府關(guān)門個(gè)人財(cái)務(wù)數(shù)據(jù)推薦系統(tǒng)的經(jīng)濟(jì)影響多種來(lái)源亞馬遜瀏覽數(shù)據(jù)壓力對(duì)未出生嬰兒的影響2006年以色列對(duì)黎巴嫩真主黨之戰(zhàn)出生記錄實(shí)質(zhì)性的研究課題自然實(shí)驗(yàn)的來(lái)源不間斷運(yùn)行的數(shù)據(jù)系統(tǒng)維基百科上的閱讀行為斯諾登的多次揭秘維基百科的日志同儕效應(yīng)對(duì)運(yùn)動(dòng)鍛煉的影響天氣是每個(gè)被征召的人都會(huì)入伍(有各種各樣的豁免),而且也不是所有服兵役的人都是應(yīng)征入伍的(人們也可以志愿入伍)。因?yàn)楸徽髡俚膶?duì)象是隨機(jī)的，所以研究人員可以評(píng)估被征召其對(duì)“依從者”(被征召時(shí)就會(huì)去服兵役，不被征召就不去的男性)這一特定群體的影響天真的方法，而考慮開展一個(gè)實(shí)地實(shí)驗(yàn)，即在特定的條件的方法的主要訣竅是從易貝上已經(jīng)發(fā)生的事中找到與實(shí)地實(shí)驗(yàn)相似的事情。圖31條拍賣信息彼此略有不同，例如不同的起拍價(jià)、截止日期或運(yùn)費(fèi)。換句話說(shuō)“budgetgolfer”正在為研究人員做實(shí)驗(yàn)一樣。合并在成千上萬(wàn)的匹配集內(nèi)進(jìn)行比較的結(jié)果，埃納維和同事用每個(gè)均成交價(jià))對(duì)其起拍價(jià)和成交價(jià)進(jìn)行了重新表述。例如，如果上述球桿的參考價(jià)是100美元(根據(jù)其售價(jià)),那么10美元的起拍價(jià)就會(huì)被表述為0.1,120美元的成交價(jià)就被表述為 SarthrmvlshraromsAotWiswa國(guó)日目jtatn5onnTAYLORMADEBU附研09DRMER2009.00UFau8NEW105FH1TAYLORMADEBUME09DRMER2009.000FauONEW1051IAYLQFMADEBMER0的9D8MR200900EQueN.IAYLOFMADEBURMNER09DRMEIAYLOFMADEBURNER09DRMR200900Choosemore-TAYLOFMADEBU職09DRMER20090TAYLORMADEBLRNER09DRMER/290471001772=Go_Obshgsh=tem43系是非線性的(圖2.7)。尤其是在0.05~0.85之間的起拍價(jià)，其對(duì)成交價(jià)的影響是很小的，但他們最初的分析完全沒(méi)發(fā)現(xiàn)這一點(diǎn)。此外，與評(píng)估所有產(chǎn)品起拍價(jià)的平均影響不同，埃納維和同事分別評(píng)估了23種不同類別商品(例如寵物用品、電子產(chǎn)品和運(yùn)動(dòng)類紀(jì)念品)起拍價(jià)—10美元--100~1000美元起拍價(jià)對(duì)成交價(jià)的影響起拍價(jià)對(duì)成交價(jià)的影響圖2.8研究人員分別針對(duì)每類商品進(jìn)行的評(píng)估。實(shí)心圓點(diǎn)是將所有類2015)。這些評(píng)估表明，對(duì)于更具特色的商品，例如運(yùn)動(dòng)類紀(jì)念品，其起拍價(jià)對(duì)成交可能性的影響(x軸)較小，對(duì)成交價(jià)的影響(y軸)則較大。改編自Einavetal.(2015),圖8。不同類別的商品匯集在一起而進(jìn)行的簡(jiǎn)單因果推斷，圖2.7和圖2.8讓我們對(duì)易貝有了更豐這4個(gè)特征作為精確匹配的條件。如果商品在上述4個(gè)特征以外存在差異，就會(huì)導(dǎo)致對(duì)比的不公平性。例如，如果“budgetgolfer”在冬季(高爾夫球桿的銷售淡季)降低了球桿的起種不同的匹配。例如，埃納維和同事分別以不同的時(shí)間為條件對(duì)拍賣信息進(jìn)行了匹配(即分別創(chuàng)建了包含一年內(nèi)、一個(gè)月內(nèi)以及同期內(nèi)出售的商品的匹配集),并對(duì)所有匹配集進(jìn)行了例如當(dāng)(1)影響的異質(zhì)性不容忽視；(2)已經(jīng)測(cè)量了匹配所需的重要變量時(shí)，在大量數(shù)據(jù)中進(jìn)行匹配可能比開展少量的實(shí)地實(shí)驗(yàn)要有效。表2.4是一些有關(guān)如何將匹配 (例如匹配)等方法。盡管這些方法在某些情況下會(huì)出現(xiàn)嚴(yán)重的錯(cuò)誤，但只要謹(jǐn)慎運(yùn)用，還是有助于解決一些我將在第4章介紹的實(shí)驗(yàn)方法無(wú)法解決的問(wèn)題的。此外，不間斷運(yùn)行的大表2.4利用匹配從大數(shù)據(jù)資源中找出合適的比較對(duì)象的研究實(shí)例的影響攔截盤查記錄投票記錄和捐贈(zèng)記錄社會(huì)感染溝通和產(chǎn)品使用數(shù)據(jù)2.5結(jié)論今天的大數(shù)據(jù)資源往往具有以下10個(gè)特征，未來(lái)的大數(shù)據(jù)資源也可能通常是(但并不總是)有助于研究的：海量性、持續(xù)性以及不反應(yīng)性。而其余7個(gè)則通常是(但并不總是)不利于研究的：不完整性、難以獲取、不具代表性、漂移、算法干擾、臟數(shù)如何通過(guò)調(diào)整數(shù)據(jù)采集的方法，通過(guò)提問(wèn)(第3章)、開展實(shí)驗(yàn)(第4章),甚至直接選擇一部分人參與研究過(guò)程(第5章)這些與人們更直接的互動(dòng)了解更多不同的東西。今天我們所認(rèn)可的調(diào)查研究起源于20世紀(jì)30年代。在調(diào)查研究的第一個(gè)時(shí)代，研究人員會(huì)隨機(jī)選取地理區(qū)域(如城市街區(qū)),然后前往這些地區(qū)，與隨機(jī)選取的住戶進(jìn)行面對(duì)面的交如，由于各種技術(shù)和社會(huì)原因，多年來(lái)無(wú)回答率(即樣本中未參與調(diào)查的受訪者的比例)一查以及使用大數(shù)據(jù)資源進(jìn)行調(diào)查，將成為調(diào)查研究第三個(gè)時(shí)代的特征(表3.1)。表3.1調(diào)查研究的三個(gè)時(shí)代區(qū)域概率抽樣面對(duì)面調(diào)查單獨(dú)調(diào)查隨機(jī)撥號(hào)概率抽樣電話調(diào)查單獨(dú)調(diào)查非概率抽樣計(jì)算機(jī)管理的調(diào)查使用大數(shù)據(jù)資源進(jìn)行調(diào)查查的價(jià)值(3.2節(jié))。鑒于這一點(diǎn)，我將總結(jié)在調(diào)查研究的前兩個(gè)時(shí)代發(fā)展起來(lái)的調(diào)查誤差總框架(3.3節(jié))。該框架能讓我們了解有關(guān)代表性的新方法，尤其是非概率樣本(3.4節(jié))以及測(cè)量的新方法，特別是向受訪者提問(wèn)的新方法(3.5節(jié))。最后，我將描述兩個(gè)將調(diào)查數(shù)據(jù)和大數(shù)據(jù)資源結(jié)合起來(lái)的研究模板(3.6節(jié))。3.2提問(wèn)與觀察鑒于我們?cè)絹?lái)越多的行為被大數(shù)據(jù)資源(例如政府和企業(yè)搜集的行政數(shù)據(jù))所獲取數(shù)據(jù)的一種方法，主要原因有兩個(gè)。首先，正如我在第莫伊拉·伯克(MoiraBurke)和羅伯特·克勞特(RobertKraut)在2014年的研究可以說(shuō)要把人們通過(guò)臉譜網(wǎng)溝通所產(chǎn)生的影響與通過(guò)其他渠道(例如郵件、電話和面對(duì)面)溝通所3.3調(diào)查誤差總框架估計(jì)值(例如對(duì)一所學(xué)校學(xué)生平均身高的估計(jì)值)與目標(biāo)總體的實(shí)際值(例如該學(xué)校學(xué)生平2010)。雖然這個(gè)框架的創(chuàng)建工作始于20世紀(jì)40年代，但我認(rèn)為它為我們提供了兩個(gè)關(guān)于方差是隨機(jī)誤差。換句話說(shuō)，假設(shè)我們將同一個(gè)抽樣調(diào)查重復(fù)做了1000遍，然后共得出了1000個(gè)估計(jì)值，那么偏差就是這1000個(gè)估計(jì)值的平均值與真實(shí)值之間的差異，而方差就是能接近真實(shí)的評(píng)估(即誤差盡可能小),那么偏差和方差均低的過(guò)程可能要比無(wú)偏差但方差很高的過(guò)程更好(圖3.1)。換句話說(shuō)，調(diào)查誤差總框架表明，在評(píng)估調(diào)查研究過(guò)程時(shí)，偏兩個(gè)來(lái)源分別是：與談話對(duì)象是誰(shuí)相關(guān)的問(wèn)題(代表性)、與你從這些對(duì)話中了解到什么相關(guān)的問(wèn)題(測(cè)量)。例如，你可能想了解在法國(guó)生活的成年人對(duì)網(wǎng)絡(luò)隱私的態(tài)度，這就需要你進(jìn)行兩種不同的推斷。第一，你必須根據(jù)是一個(gè)測(cè)量的問(wèn)題)。第二，你必須根據(jù)推斷出的受訪者的態(tài)度來(lái)推斷目標(biāo)總體的態(tài)度(這是一個(gè)代表性的問(wèn)題)。如果調(diào)查問(wèn)題沒(méi)設(shè)計(jì)好，那么即便抽樣過(guò)程無(wú)可挑剔，你也無(wú)法得高方差我們可以通過(guò)《文學(xué)文摘》一項(xiàng)旨在預(yù)測(cè)1936年美國(guó)總統(tǒng)選舉結(jié)果的民意調(diào)查(簡(jiǎn)稱“民調(diào)”),了解從受訪者到更大的目標(biāo)總體的推斷過(guò)程中，可能出現(xiàn)的誤差。盡管這項(xiàng)民調(diào)距測(cè)了1920年、1924年、1928年以及1932年的選舉獲勝者。1936年正值大蕭條時(shí)期，《文里，400名工作人員熟練地將印刷好的選票(足夠鋪滿40條街區(qū))放入寫好地址的信封里。實(shí)結(jié)果之差距將在1%以內(nèi)。(1936年8月22日)的1000萬(wàn)張選票，竟然返回了240萬(wàn)張，這一反饋率大概是現(xiàn)代民意調(diào)查的1000倍。根據(jù)這240萬(wàn)受訪者的答案，結(jié)論已經(jīng)很明確了：阿爾夫·蘭登(AlfLandon)將打敗現(xiàn)任總統(tǒng)有這么多數(shù)據(jù)，《文學(xué)文摘》怎么會(huì)出錯(cuò)呢?要想清楚地認(rèn)識(shí)抽樣，就需要我們思考4組不同的人群(圖3.2)。第一組是目標(biāo)總體 覆蓋面誤差抽樣誤差無(wú)回答誤差目標(biāo)總體抽樣框總體抽樣總體受訪者圖3.2代表性誤差。3.3.2測(cè)量這是一項(xiàng)實(shí)際調(diào)查實(shí)驗(yàn)中的兩個(gè)問(wèn)題(SchumanandPresser1996),盡管它們看起來(lái)是在測(cè)量同一件事情，卻產(chǎn)生了不同的結(jié)果。如果采用第一種提問(wèn)方式，約60%的受訪者稱應(yīng)歸咎于個(gè)體，但如果采用第二種提問(wèn)方式，則約60%的受訪者稱應(yīng)歸咎于社會(huì)條件(圖3.3)。個(gè)體。改編自SchumannandPresser(1996),表8.1。根據(jù)受訪者給出的答案，相比于“福利”,受訪者更支持“援助窮人”(Smith1987;圖3.4一項(xiàng)調(diào)查實(shí)驗(yàn)的結(jié)果表明，相比于“福利”,受訪認(rèn)為有些提問(wèn)方式是明顯錯(cuò)誤的，但也不存在一個(gè)放之四海皆準(zhǔn)的方法。也就是說(shuō)，使用關(guān)調(diào)查問(wèn)卷設(shè)計(jì)的資料(例如Bradburn,Sudman,andWansink2004),針對(duì)這一話題的內(nèi)管這聽起來(lái)可能像是剽竊，但復(fù)制問(wèn)題在調(diào)查研究中是被鼓勵(lì)的(只要注明引自哪項(xiàng)調(diào)查即可)。如果你從高質(zhì)量的調(diào)查中復(fù)制問(wèn)題，那么就能確保這些問(wèn)題已經(jīng)被測(cè)試過(guò)了，而且你抽樣框總體中選擇一些人來(lái)小規(guī)模地測(cè)試你的問(wèn)題，調(diào)查研究人員稱這一過(guò)程為預(yù)測(cè)試3.3.3成本它也是一個(gè)不容忽視的限制因素。事實(shí)上，成本是整個(gè)調(diào)查研究的基礎(chǔ)性問(wèn)題(Groves2004),它是研究人員只采訪樣本而不采訪整個(gè)目標(biāo)總體的原因。一味地關(guān)注如何減小誤差8倍。而且研究人員對(duì)兩項(xiàng)調(diào)查搜集來(lái)的答案分別進(jìn)行分析，最后得出的評(píng)估結(jié)論基本上也是一致的。該研究項(xiàng)目以及后續(xù)得出相似發(fā)現(xiàn)的重復(fù)研究(Keetere調(diào)查好呢?是一次基本無(wú)瑕疵的調(diào)查好呢，還是十次還算不錯(cuò)的調(diào)查好呢?是一次基本無(wú)瑕疵的調(diào)查好呢，還是一百次還算不錯(cuò)的調(diào)查好呢?在某個(gè)點(diǎn)上，成本們將探討調(diào)查研究第三個(gè)時(shí)代的三個(gè)主要領(lǐng)域：非概率抽樣的新方法(3.4節(jié))、提問(wèn)的新方法(3.5節(jié))以及將調(diào)查和大數(shù)據(jù)資源結(jié)合起來(lái)的新策略(3.6節(jié))。3.4向誰(shuí)提問(wèn)法，合作國(guó)會(huì)選舉研究(CooperativeCongressionalElectionStudy)擁有的參與者人數(shù)下相關(guān)黨派在態(tài)度和行為上的變化。此外，樣本容量的增加也沒(méi)有降低研究的質(zhì)量回答率一直在平穩(wěn)地上升，即使是高質(zhì)量的、昂貴的調(diào)查也存在這一問(wèn)題(圖3.5) 憂，質(zhì)量下降和成本增加這兩個(gè)密切相關(guān)的趨勢(shì)會(huì)威脅到調(diào)查研究的基礎(chǔ)(National概率抽樣方法有多種類型，但它們有一個(gè)共同點(diǎn)，那就是難以 使用在線樣本是特別適合數(shù)字時(shí)代的一種非概率抽樣方法。使用在線樣本的研究人員依賴于一些樣本提供者，通常是一個(gè)公司、政府或大學(xué)去召集愿意回答調(diào)查問(wèn)題的人，創(chuàng)建一個(gè)龐大的、多樣化的樣本群。召集的方法通常是在線橫幅廣告等依實(shí)際需要而定的方法。然后，研究人員可以付費(fèi)給樣本提供者，以獲取那些具備特定特征(例如可以代表整個(gè)國(guó)家的成年人)的受訪者樣本。這些在線樣本屬于非概率樣本，因?yàn)椴皇敲總€(gè)人都有一個(gè)已知的、非零的被抽中的概率。雖然社會(huì)研究人員已經(jīng)開始使用非概率在線樣本了(例如合作國(guó)會(huì)選舉研究),但對(duì)利用這些樣本得出評(píng)估結(jié)論的質(zhì)量，還是存在一些爭(zhēng)議(Callegaroetal.作“非概率抽樣2.0”,因?yàn)檫@些新的方法與過(guò)去容易引發(fā)問(wèn)題的方法有著很大的區(qū)別。其早期，一些最令人感到尷尬的失敗案例就采用了這類樣本。而通過(guò)王偉(WeiWang)、戴的一樣，該樣本偏男性化、年輕化。18~29歲的人在選民中占19%,但在該樣本中占65%;男性在選民中占47%,但在該樣本中占93%(圖3.7)。鑒于上述現(xiàn)象，原始Xbox數(shù)據(jù)很難準(zhǔn)及及事后分層的主要思想是利用關(guān)于目標(biāo)總體的輔助信息，幫助改善源于樣本的評(píng)估結(jié)論。在利用事后分層從他們的非概率樣本中得出評(píng)估結(jié)論的過(guò)程中，王偉和同事將抽樣總體分為不同的小組并評(píng)估每組對(duì)奧巴馬的支持情況，然后利用各組的評(píng)估結(jié)果計(jì)算出加權(quán)平均數(shù)，進(jìn)而得出最終的評(píng)估結(jié)論。例如，他們可以把抽樣總體分為兩組(男性和女性),分別評(píng)估男性和女性對(duì)奧巴馬的支持情況，然后在考慮選民中女性比例為53%、男性比例為47%這一事實(shí)的基礎(chǔ)上，計(jì)算出加權(quán)平均數(shù)，進(jìn)而得出有關(guān)奧巴馬支持情況的最后評(píng)估。粗略地說(shuō)，通過(guò)引入關(guān)于小組規(guī)模的輔助信息，事后分層有助于修正不平衡樣本。因?yàn)樗麄兊恼{(diào)查是通過(guò)計(jì)算機(jī)管理的(我將在3.5節(jié)中進(jìn)一步介紹通過(guò)計(jì)算機(jī)管理的調(diào)查),總體劃分為幾百個(gè)小組，而王偉和同事則按照性別(2類)、種族(4類)、年齡(4類)、教育(4類)、州(51類)、認(rèn)同黨派(3類)、意識(shí)形態(tài)(3類)以及2008年投票支持誰(shuí)(3類)將抽樣總體分為176256個(gè)小組。換句話說(shuō)，低成本的數(shù)據(jù)采集讓他們擁有了龐大的(圖3.8)。事實(shí)上，他們的評(píng)估結(jié)論要比傳統(tǒng)民調(diào)匯總后的結(jié)果更加準(zhǔn)確。因此，在該研究中，統(tǒng)計(jì)調(diào)整，特別是“P先生”,在修正非概率數(shù)據(jù)的偏差方面起到了很大的作用。如Xbox加權(quán)后Pollster網(wǎng)站8從王偉和同事的研究中，我們主要能學(xué)到兩條經(jīng)驗(yàn)：首先，未經(jīng)調(diào)整的非概率樣本可能會(huì)導(dǎo)致糟糕的評(píng)估結(jié)論，這是許多研究人員以前就聽過(guò)的一條經(jīng)驗(yàn)；其次，如果分析得當(dāng)，根據(jù)非概率樣本實(shí)際上也能得出好的評(píng)估結(jié)論，使用非概率樣本不一定會(huì)導(dǎo)致像《文學(xué)文摘》慘敗那樣的結(jié)果。分別是招募受訪者和向他們提問(wèn)。在3.4節(jié)中，我介紹了數(shù)字通過(guò)計(jì)算機(jī)管理，而不是由采訪者管理(例如電話和面對(duì)面訪談?wù){(diào)查)。采訪者不參與數(shù)據(jù)高某類問(wèn)題答案的準(zhǔn)確度以外，采訪者不參與數(shù)據(jù)采研究中最大的成本之一),并且增加了靈活性(受訪者可以按自己的意愿隨時(shí)參與調(diào)查，而不是受制于采訪者的時(shí)間)。就挑戰(zhàn)而言，如果調(diào)查是采訪題特別多的調(diào)查問(wèn)卷(可能會(huì)很乏味),采訪者還可以保證受訪者的完成度(Garbarski,問(wèn)：用來(lái)在更合適的時(shí)間和地點(diǎn)測(cè)量?jī)?nèi)部狀態(tài)的生態(tài)瞬時(shí)評(píng)估法(3.5.1小節(jié))以及結(jié)合了開放式問(wèn)題和封閉式問(wèn)題優(yōu)點(diǎn)的維基調(diào)查(3.5.2小節(jié))。然而，由計(jì)算機(jī)管理的、不受地時(shí)被稱為游戲化(3.5.3小節(jié))。生態(tài)瞬時(shí)評(píng)估法主要有4個(gè)特征：(1)在現(xiàn)實(shí)環(huán)境中搜集數(shù)據(jù)；(2)評(píng)估的是個(gè)體當(dāng)前或最近的狀態(tài)或行為；(3)評(píng)估可能是基于事件的、基于時(shí)間的或隨機(jī)引發(fā)的(取決于研究問(wèn)題);(4)隨著時(shí)間的推移需進(jìn)行多次評(píng)估(StoneandShiffman1994)。一天中人們可裝有各種傳感器，例如GPS(全球定位系統(tǒng))和加速計(jì)，因此研究人員可以通過(guò)用戶的活動(dòng)內(nèi)奧米·杉江(NaomiSugie)的年代以來(lái)，美國(guó)的監(jiān)禁人數(shù)開始急劇上升。截至2005年，每10萬(wàn)美國(guó)人中就有約500人在先，她在上午9點(diǎn)和下午6點(diǎn)之間隨機(jī)選了一個(gè)時(shí)間向參與者發(fā)送“體驗(yàn)抽樣調(diào)查”,詢問(wèn)參與者當(dāng)下的活動(dòng)和感受。然后，在晚上7點(diǎn)，她會(huì)向參與者發(fā)送一個(gè)“每日調(diào)查”,詢問(wèn)重要的異質(zhì)性。杉江在其樣本中發(fā)現(xiàn)了4個(gè)完全不同的群體：“早期退出”(最開始找過(guò)工作，但后來(lái)退出了勞動(dòng)力市場(chǎng))、“持續(xù)尋找”(融入社會(huì)前的大部分時(shí)間都花在找工作上)、“循環(huán)工作”(融入社會(huì)前的大部分時(shí)間都花在工作上)以及“低響應(yīng)”(不會(huì)定期回答調(diào)查問(wèn)題)。其中“早期退出”這一群體最開始找過(guò)工作，但后來(lái)沒(méi)找到就市場(chǎng)。因此，杉江通過(guò)她的調(diào)查還搜集了有關(guān)參與者憂。但杉江預(yù)先就考慮到了這些擔(dān)憂，并在設(shè)計(jì)過(guò)程中采取了應(yīng)對(duì)措施(Sugie2014,2016)。她所在大學(xué)的機(jī)構(gòu)審查委員會(huì)作為第三方審查了她的數(shù)據(jù)采集程序，認(rèn)為該程序符合所有現(xiàn)存規(guī)則。此外，杉江的方法與我在第6章所提倡的基于原據(jù)資源相結(jié)合時(shí)(我認(rèn)為這會(huì)越來(lái)越常見，我將在本章后面部分進(jìn)行論述),就可能引發(fā)額外的道德倫理問(wèn)題。我將在第6章更詳細(xì)地探討研究中的3.5.2維基調(diào)查但這些是全部可能的答案嗎?研究人員將答案限制在這5個(gè)選項(xiàng)中會(huì)不會(huì)遺漏了一些重要的盡管這兩個(gè)問(wèn)題看起來(lái)很相似，但霍華德·舒曼(HowardSchuman)和斯坦利·普雷瑟(StanleyPresser)的一項(xiàng)調(diào)查實(shí)驗(yàn)表明，它們可以產(chǎn)生非常不同的結(jié)果：近方式提問(wèn)而搜集到的答案，都不在研究人員給定的選項(xiàng)中(圖3.9)。開放式問(wèn)題開放式問(wèn)題成就感晉升薪酬安全不知道滿足感其他0盡管開放式問(wèn)題和封閉式問(wèn)題可以產(chǎn)生完全不同的信息，而且兩種形式的問(wèn)題在調(diào)查研究的早期都很受歡迎，現(xiàn)在處于主導(dǎo)地位的卻是封閉式問(wèn)題。這并不是因?yàn)榉忾]式問(wèn)題被證明能產(chǎn)生更好的測(cè)量數(shù)據(jù)，而是因?yàn)榉忾]式問(wèn)題使用起來(lái)要簡(jiǎn)單很多，因?yàn)榉治鲩_放式問(wèn)題的過(guò)些研究人員事先不知道的信息才是最有價(jià)值的信息。辦法。如果我們現(xiàn)在能設(shè)計(jì)出融合了開放式問(wèn)題和封閉式問(wèn)題各自優(yōu)點(diǎn)的調(diào)查問(wèn)題，會(huì)怎么其是維基百科(內(nèi)容主要由用戶生成的動(dòng)態(tài)開放系統(tǒng)的絕佳案例),它讓我們很受啟發(fā)，因此我們稱這個(gè)新型調(diào)查為維基調(diào)查。正如維基百科會(huì)基于參與者的想法逐步發(fā)展，我們也設(shè)想了一個(gè)會(huì)基于參與者想法而逐步發(fā)展的調(diào)查?？▊惡臀艺J(rèn)為，維基調(diào)查應(yīng)滿足三個(gè)特性：貪婪性、協(xié)作性和適應(yīng)性。然后，我們和一組網(wǎng)站開發(fā)人員一起創(chuàng)建了一個(gè)可以開展維基調(diào)外展服務(wù)(例如“要求所有大型建筑都要進(jìn)行一定的能效為學(xué)校課程的一部分”)列出了25個(gè)想法，以此作為這樣一個(gè)問(wèn)題的備選答案：你認(rèn)為哪一項(xiàng)更有利于創(chuàng)建一個(gè)更環(huán)保的、更好的紐約市?然后，計(jì)算機(jī)會(huì)隨機(jī)從備選答案中抽取2個(gè)(例如“開放紐約市所有學(xué)校的操場(chǎng)作為公共體育場(chǎng)”和“增加哮喘發(fā)病率高的社區(qū)的植樹量”),供受訪者選擇(圖3.10)。受訪者做出選擇后，計(jì)算機(jī)會(huì)立即再隨機(jī)抽取2個(gè)想法AA只要受訪者愿意，通過(guò)二選一或選擇“我無(wú)法決定”,受訪者可以一直回答他更偏向于哪種為了搜集居民的反饋信息，市長(zhǎng)辦公室于2010年10月啟動(dòng)了該維基調(diào)查，同時(shí)還開展了一系列的社區(qū)會(huì)談。在大約4個(gè)月的時(shí)間里，1436名受訪者貢獻(xiàn)了31893個(gè)答案以及464個(gè)新想法。至關(guān)重要的是，前10個(gè)最受歡迎的想法中有8個(gè)是受訪者提出來(lái)的，而不是源于市長(zhǎng)系統(tǒng)：我們已經(jīng)主辦了超過(guò)10000項(xiàng)維基調(diào)查，搜集了1500多萬(wàn)份答案。這種創(chuàng)造可以大規(guī)都免費(fèi)使用它基本上不會(huì)再產(chǎn)生成本(當(dāng)然，如果我們采取由人類管理的訪談，就無(wú)法實(shí)現(xiàn)這一點(diǎn))。此外，這樣的規(guī)?？梢允寡芯咳藛T開展不同類型的研究。例如，這1500多萬(wàn)份答案以及大量的參與者為未來(lái)的方法研究提供了一個(gè)寶貴的測(cè)試場(chǎng)。在第4章介紹實(shí)驗(yàn)時(shí)我將進(jìn)一步描述數(shù)字時(shí)代成本結(jié)構(gòu)(尤其是成本不會(huì)隨著所搜集數(shù)據(jù)量的增加而增加)所創(chuàng)造的3.5.3游戲化提問(wèn)，然后再問(wèn)他們的朋友(這樣可以測(cè)得真實(shí)的態(tài)度相似度),也可以讓人們猜其朋友的態(tài)度(這樣可以測(cè)得感知的態(tài)度相似度)。但可惜的是，既采訪受訪者又采訪其朋友，實(shí)施后就該好友的態(tài)度向參與者提問(wèn)(圖3.11)。在回答有關(guān)隨機(jī)選擇的朋友的問(wèn)題時(shí)，該參與圖3.11“朋友感覺(jué)”的界面(Goel,Mason,andWatts2010)。研究人員把標(biāo)準(zhǔn)的態(tài)度調(diào)查變成了一項(xiàng)有趣的、類似游戲的體驗(yàn)。應(yīng)用程序向參與者提的問(wèn)題有嚴(yán)肅的也有輕松的。好友頭像經(jīng)過(guò)了模糊處理。經(jīng)沙拉德·戈埃爾允許轉(zhuǎn)(你的朋友)更同情以色列人是嗎?”以及“(你的朋友)會(huì)為了讓政府能夠提供全民醫(yī)保而繳更多的稅嗎?”除了這些嚴(yán)肅的問(wèn)題以外，研究人員還會(huì)設(shè)置啤酒，(你的朋友)更喜歡葡萄酒是嗎?”以及“(你的朋友)更希望擁有讀心術(shù)而不是會(huì)飛是嗎?”這些更輕松的問(wèn)題會(huì)讓參與者覺(jué)得這個(gè)過(guò)程很有趣，同時(shí)也讓我們能夠進(jìn)行一項(xiàng)是很親密的朋友，也在約30%的問(wèn)題上持不同的觀點(diǎn)；其次，參與者往往高估自己與朋友的3.6與大數(shù)據(jù)資源相結(jié)合的調(diào)查這種現(xiàn)象將會(huì)改變。將調(diào)查數(shù)據(jù)與第2章介不同的方法，我稱它們?yōu)樨S富型提問(wèn)和擴(kuò)充型提問(wèn)(圖3.12)。雖然對(duì)每種方法我都將通過(guò)的視角看待?；叵胍幌碌?章的內(nèi)容，有些人會(huì)把這些研究看作“非現(xiàn)成”調(diào)查數(shù)據(jù)增強(qiáng)豐富型提問(wèn)豐富型提問(wèn)擴(kuò)充型提問(wèn)大數(shù)據(jù)資源大數(shù)據(jù)資源調(diào)查數(shù)據(jù)用于研究大數(shù)據(jù)資源預(yù)測(cè)的用于研究3.6.1豐富型提問(wèn)我在3.2節(jié)中提到的伯克和克勞特針對(duì)臉譜網(wǎng)上的互動(dòng)是否會(huì)增進(jìn)友誼所開展的研究。在該集鏈接起來(lái)(這是一個(gè)被稱為記錄鏈接的過(guò)程)。第二個(gè)難題是，大數(shù)據(jù)資源的質(zhì)量通常很難評(píng)估，因?yàn)閿?shù)據(jù)創(chuàng)建的過(guò)程可能是不對(duì)外公開的，并且大數(shù)據(jù)資源容易受到第2章所描述重要的研究，正如斯蒂芬·安索拉比赫(StephenAnsolabehere)和埃坦·赫什會(huì)記錄每個(gè)公民是否投票。(當(dāng)然，政府沒(méi)有記錄每個(gè)公民把票投給了誰(shuí)。)多年來(lái)，政府(但也不是不可能)獲得全體選民的投票記錄，并將他們?cè)谡{(diào)查中關(guān)于投票所說(shuō)的內(nèi)容和實(shí)公司Catalist(凱利板)合作，以利用其主投票文件幫助他們更好地了解全體選民因?yàn)樗麄兊难芯恳蕾囉谏鲜鲞@家公司(該公司在數(shù)據(jù)采集和匯總方面投入了大量的資源)所像第2章的許多大數(shù)據(jù)資源一樣，安索拉比赫和赫什獲得的主投票文件中也沒(méi)有太多他們所的投票行為和經(jīng)過(guò)驗(yàn)證的投票行為(即Catalist數(shù)據(jù)庫(kù)中的信息)。因此，安索拉比赫和赫他們把搜集來(lái)的數(shù)據(jù)交給了Catalist,Catalist匯總后又將包括經(jīng)驗(yàn)證的投票行為(源于Catalist)、自我報(bào)告的投票行為(源于合作國(guó)會(huì)選舉研究)以及受訪者的人口統(tǒng)計(jì)資料和態(tài)度在內(nèi)的數(shù)據(jù)文件返回給了他們(圖3.13)。換句話說(shuō)，安索拉比赫和赫什的研究只有將投過(guò)票，實(shí)際上他真正投過(guò)票的概率只有80%。其次，過(guò)度報(bào)告并不是隨機(jī)的：過(guò)度報(bào)告在己投過(guò)票的可能性要比沒(méi)有的人高約22%,而其實(shí)際投票的可能性只高出了10%。事實(shí)證明，相比于預(yù)測(cè)誰(shuí)會(huì)真正投票，現(xiàn)有的以數(shù)據(jù)源為基礎(chǔ)的理論在預(yù)測(cè)誰(shuí)會(huì)報(bào)告稱自己投過(guò)票(這也是研究人員過(guò)去所使用的數(shù)據(jù))方面，準(zhǔn)確度會(huì)更高。據(jù)原始投票據(jù)用于鏈接的數(shù)據(jù)郵寄投票很簡(jiǎn)單。但Catalist只能通過(guò)不完美的標(biāo)識(shí)符(在該事例中是指姓名、性別、出生年份以及家庭住址)進(jìn)行鏈接。不但對(duì)于這些結(jié)果我們又能信任多少呢?不要忘了這些結(jié)果依賴于一個(gè)易于出錯(cuò)的鏈接過(guò)程，決于兩個(gè)關(guān)鍵步驟：(1)Catalist將許多完全不同的數(shù)據(jù)資源匯總后，形成一個(gè)精確的主數(shù)據(jù)文件；(2)將調(diào)查數(shù)據(jù)鏈接至上述主數(shù)據(jù)文件。其中每個(gè)步驟都很困難，而且任何一個(gè)過(guò)一系列步驟檢查了上述兩個(gè)步驟的結(jié)果(盡管有些是不對(duì)外開放的),這些檢查對(duì)其他想一般來(lái)說(shuō)，研究人員通過(guò)該研究能學(xué)到什么經(jīng)驗(yàn)?zāi)?首先，資源還是利用大數(shù)據(jù)資源豐富調(diào)查數(shù)據(jù)(我們可以用任何一種方式看待該研究),都有巨大法是，將匯總后的商業(yè)數(shù)據(jù)資源與其他同樣會(huì)有錯(cuò)誤的可用數(shù)據(jù)資告的投票行為)進(jìn)行比較。最后，在某些情況下，研究3.6.2擴(kuò)充型提問(wèn)往成本高、關(guān)注面小(它只包含少量的問(wèn)題),而且不及時(shí)(它按固定的時(shí)間表進(jìn)行，例如每隔10年普查一次)(Kish1979)。與其勉強(qiáng)接受抽樣調(diào)查或是人口普查，研究人員還不2009年間約150萬(wàn)名用戶的匿名記錄。這些記錄含有每次通話和每條短信的相關(guān)信息，例如出的是，獲取數(shù)據(jù)這第一步對(duì)許多研究人員來(lái)說(shuō)可能是基本上是不可能被“匿名化”的，而且?guī)缀跻欢〞?huì)包含參與者認(rèn)為敏感的信息(Mayer,Mutchler,andMitchell2016;Landau2016)。在布盧門斯護(hù)數(shù)據(jù)方面很是謹(jǐn)慎，而且有一個(gè)第三方(即他們的機(jī)構(gòu)審查委員會(huì))負(fù)責(zé)監(jiān)督他們的工作。在第2章中我詳細(xì)介紹過(guò)這一點(diǎn)。但通話記錄很可能包含一些能間接該模型能通過(guò)通話記錄預(yù)測(cè)某個(gè)人在一項(xiàng)調(diào)查中會(huì)如何作答?如果這是可行的，那么布盧門為了創(chuàng)建和訓(xùn)練這樣一個(gè)模型，布盧門斯托克和來(lái)自基加利科學(xué)技術(shù)研究所(KigaliInstituteofScienceandTechnology)的研究助理隨機(jī)抽取了約1000名用戶。研究人員然后向他們提了一系列的問(wèn)題，以衡量其財(cái)富狀況和幸福感，例如“你有收音機(jī)嗎?”以及“你有自行車嗎?”(部分問(wèn)題列表參見圖3.14)。所有參與調(diào)查的人都獲得了經(jīng)濟(jì)報(bào)酬。學(xué)家可能會(huì)稱這些特征為“特征”,而社會(huì)科學(xué)家則可能托克會(huì)計(jì)算出每個(gè)人的總活躍天數(shù)、聯(lián)系過(guò)的人(不同的人)的數(shù)量以及通話費(fèi)等。這一步和國(guó)際電話很重要(我們可能會(huì)認(rèn)為打國(guó)際電話的人更富有),那么這一工作就必須在特征有固定電話有收音機(jī)有冰箱有汽車過(guò)去12個(gè)月里被解雇過(guò)有摩托車室內(nèi)有自來(lái)水有電視有家用電器過(guò)去12個(gè)月里遭受過(guò)洪水或干旱過(guò)去12個(gè)月里曾病得很重有自行車過(guò)去12個(gè)月里有家人去世過(guò)去12個(gè)月里有醫(yī)療開銷精確度圖3.14用通話記錄訓(xùn)練統(tǒng)計(jì)模型的預(yù)測(cè)精度。改編自Blumenstock(2014),表2。該模型對(duì)某些特征的預(yù)測(cè)精度是很高的(圖3.14),例如預(yù)測(cè)某人是否有收音機(jī)的精確度能達(dá)到97.6%。這聽起來(lái)可能很不錯(cuò)，但將一個(gè)復(fù)雜的預(yù)測(cè)模型與一個(gè)答說(shuō)自己有收音機(jī)，那么他的精確度就是97.3%,這與他更復(fù)雜的預(yù)測(cè)模型的表現(xiàn)(97.6%的精確度)竟驚人地相似。換句話說(shuō)，所有復(fù)雜的數(shù)據(jù)和建模工作只是把預(yù)測(cè)精確度從97.3%提高到了97.6%。但對(duì)其他問(wèn)題，例如“你有自行車嗎?”,預(yù)測(cè)精確度就從54.4%提高到了67.6%。更概括地說(shuō)，圖3.15表明，對(duì)某些特征來(lái)說(shuō)，相比于簡(jiǎn)單的基線預(yù)測(cè)(即預(yù)測(cè)每個(gè)人都會(huì)給出最常見的回答),布盧門斯托克的模型并沒(méi)有明顯提高精確度，但對(duì)其他一些特利用通話記錄進(jìn)行預(yù)測(cè)的精度改善利用通話記錄進(jìn)行預(yù)測(cè)的精度改善簡(jiǎn)單的基線預(yù)測(cè)的預(yù)測(cè)精度微調(diào)整。改編自Blumenstock(2014),表2。和羅伯特·翁(RobertOn),就大大改進(jìn)了研究結(jié)果(Blumenstock,Cadamuro,andOn2015),并在《科學(xué)》雜志上發(fā)表了他們的論文。這一改進(jìn)主要有兩個(gè)技術(shù)原因：(1)他們采用了更復(fù)雜的方法(即在特征工程這一步中采用了新的方法，并創(chuàng)用特征預(yù)測(cè)回答);(2)他們不再試圖推斷單個(gè)調(diào)查問(wèn)題(例如，“你有收音機(jī)嗎?”)的測(cè)了150萬(wàn)名用戶的財(cái)富狀況。他們還利用通話記錄中的位置信息(通話記錄中有每次通話時(shí)用戶離得最近的手機(jī)信號(hào)塔的位置)評(píng)估了每個(gè)人大致的居住地(圖3.16)。通過(guò)將這兩粒度(指空間粒度)的。例如，他們能夠估算出盧旺達(dá)2148個(gè)街區(qū)中每一個(gè)街區(qū)的平均財(cái)富那么這些評(píng)估結(jié)論與該地區(qū)的真實(shí)貧困水平的符合程度如何呢?在回答這個(gè)問(wèn)題之前，我想果相當(dāng)參差不齊(圖3.17)。此外，也許更重要的一點(diǎn)是，有手機(jī)的人與沒(méi)有手機(jī)的人可能將這兩種評(píng)估進(jìn)行比較后發(fā)現(xiàn)，它們非常相似(圖3.17)。換句話說(shuō)，通過(guò)將少量調(diào)查數(shù)據(jù)模型調(diào)查數(shù)據(jù)特征工程師通話記錄預(yù)測(cè)人一特征矩陣評(píng)估預(yù)測(cè)的人一特征矩陣居住地地區(qū)層面人口統(tǒng)計(jì)和健康調(diào)查估算出的地區(qū)平均法，布盧門斯托克和同事得出評(píng)估結(jié)論所采用的方法要快10倍，成本降為1/50(以可變成本計(jì)算)。正如我在上文所論述的一樣，研究人員忽視成本問(wèn)題可拿布盧門斯托克和同事的研究為例，相比于每隔幾年開展一次(這是該調(diào)查的一個(gè)標(biāo)準(zhǔn))的廣而薄的大數(shù)據(jù)資源(即該資源包含許多人，但沒(méi)有你需要的關(guān)于每個(gè)人的信息);(2)窄而厚的調(diào)查數(shù)據(jù)(即該數(shù)據(jù)只包含少量人，但其中有你需要的關(guān)于這些人的信息)。然后需Molina2015)、填補(bǔ)法(Rubin2004)以及基于模型的事后分層(該領(lǐng)域與我在“P先生”這一方法緊密相關(guān))。鑒于這些很深的關(guān)聯(lián)性，我預(yù)計(jì)擴(kuò)充型提問(wèn)的許多方法論方法時(shí)，進(jìn)行以下兩項(xiàng)截然不同的評(píng)估是很重要的：(1)該方法在當(dāng)下的效果如何?(2)盡管研究人員接受過(guò)第一類評(píng)估的培訓(xùn)(評(píng)估一項(xiàng)特定研究的好壞),但第二類評(píng)估往往更3.7結(jié)論從模擬時(shí)代到數(shù)字時(shí)代的轉(zhuǎn)變正在為調(diào)查研究人員創(chuàng)造新的機(jī)會(huì)。在本章中，我提出大數(shù)據(jù)資源不會(huì)取代調(diào)查，而且其豐富性還將提升而不是降低調(diào)查的價(jià)值(3.2節(jié))。然后，我總結(jié)了在調(diào)查研究的前兩個(gè)時(shí)代發(fā)展起來(lái)的調(diào)查誤差總框架，該框架有助于研究人員開發(fā)和評(píng)估調(diào)查研究第三個(gè)時(shí)代的方法(3.3節(jié))。我預(yù)計(jì)會(huì)出現(xiàn)令人興奮的機(jī)會(huì)的三個(gè)領(lǐng)域分別是：(1)非概率抽樣(3.4節(jié)),(2)計(jì)算機(jī)管理的調(diào)查(3.5節(jié)),(3)將調(diào)查和大數(shù)據(jù)資源結(jié)合起來(lái)(3.6節(jié))。技術(shù)和社會(huì)方面的變化驅(qū)動(dòng)著調(diào)查研究不斷地向前發(fā)展。我們應(yīng)該擁抱這一發(fā)展趨勢(shì)，并繼續(xù)從之前的時(shí)代汲取智慧。4.1簡(jiǎn)介本書目前為止所介紹的方法——觀察行為(第2章)和提問(wèn)(第3章),都是研究人員在并非有意地、系統(tǒng)地改變世界的情況下搜集數(shù)據(jù)的方法。而本章所要介紹的方法——開展實(shí)驗(yàn)，則是完全不同的。當(dāng)研究人員開展實(shí)驗(yàn)時(shí)，他們會(huì)系統(tǒng)性地干預(yù)世界，以創(chuàng)造出最適合因果關(guān)系問(wèn)題的數(shù)據(jù)。因果關(guān)系問(wèn)題在社會(huì)研究中很常見，例如：增加教師工資會(huì)讓學(xué)生學(xué)到更多東西嗎?最低工資對(duì)就業(yè)率的影響是什么?一個(gè)求職者的種族對(duì)其能否獲得一份工作有何影響?除了這些明確的因果問(wèn)題之外，有時(shí)因果問(wèn)題還會(huì)隱藏于關(guān)于某些性能指標(biāo)最大化的更普遍的問(wèn)題中。例如，在非政府組織的網(wǎng)站上，捐贈(zèng)按鈕應(yīng)該是什么顏色呢?像這種有關(guān)不同按鈕顏色對(duì)捐贈(zèng)的影響的問(wèn)題還有很多。解答因果問(wèn)題的一種方法是從現(xiàn)有數(shù)據(jù)中尋找規(guī)律。例如，回到有關(guān)教師工資對(duì)學(xué)生學(xué)習(xí)的影響的問(wèn)題，經(jīng)過(guò)計(jì)算你可能會(huì)發(fā)現(xiàn)，在教師工資高的學(xué)校，學(xué)生能學(xué)到更多東西。但這一相關(guān)性就能說(shuō)明更高的教師工資會(huì)讓學(xué)生學(xué)到更多東西嗎?當(dāng)然不能。教師工資較高的學(xué)校與其他學(xué)校可能在其他許多方面也存在著不同。例如，教師工資較高的學(xué)校的學(xué)生可能來(lái)自更富裕的家庭。因此，那些看起來(lái)像是因教師才產(chǎn)生的影響，實(shí)際上可能是學(xué)生自身的差異所致。這些未被測(cè)量的學(xué)生之間的差異被稱為混雜因素，一般而言，存在混雜因素的可能性會(huì)嚴(yán)重破壞研究人員通過(guò)現(xiàn)有數(shù)據(jù)尋找規(guī)律來(lái)解答因果問(wèn)題的能力。解決混雜因素的一個(gè)方法，是通過(guò)調(diào)整組間可觀察的差異盡量實(shí)現(xiàn)公平的比較。例如，你或許能通過(guò)多個(gè)政府網(wǎng)站下載財(cái)產(chǎn)稅數(shù)據(jù)，然后找出學(xué)生家庭條件(就住房?jī)r(jià)格而言)相似但教師工資不同的學(xué)校，比較其學(xué)生的表現(xiàn)。你可能仍然會(huì)發(fā)現(xiàn)教師工資較高的學(xué)校的學(xué)生學(xué)到的東西更多。但還是有許多可能的混雜因素，也許這些學(xué)生的父母在受教育程度上有差異，也許這些學(xué)校在離公共圖書館的距離上有差異，也許教師工資高的學(xué)校，其校長(zhǎng)的工資也較高，并且校長(zhǎng)的工資比教師的工資高，也許這些是使學(xué)生學(xué)到更多東西的真正原因?你也可以試著測(cè)量并調(diào)整這些因素，但可能的混雜因素基本上是列舉不完的。因此在很多情況下，你是無(wú)法對(duì)所有可能的混雜因素進(jìn)行測(cè)量和調(diào)整的。為了應(yīng)對(duì)這一挑戰(zhàn)，研究人員提出了許多利用非實(shí)驗(yàn)數(shù)據(jù)進(jìn)行因果推斷的方法，其中一些我在第2章介紹過(guò)，但對(duì)某些類型的問(wèn)題來(lái)說(shuō)，這些方法的作用還是有限的，這時(shí)實(shí)驗(yàn)便是一個(gè)不錯(cuò)的選擇。實(shí)驗(yàn)?zāi)苁寡芯咳藛T不再局限于自然產(chǎn)生的數(shù)據(jù)所呈現(xiàn)出的相關(guān)性，而是以更可靠的方式解答某些因果問(wèn)題。在模擬時(shí)代，實(shí)驗(yàn)往往面臨著組織實(shí)施方面的難題，而且成本也高。現(xiàn)在，在數(shù)字時(shí)代，組織實(shí)施方面的限制正在逐漸消失，我們不僅能更容易地開展與過(guò)去類似的實(shí)驗(yàn)，而且還能開展過(guò)去沒(méi)有的新型實(shí)驗(yàn)。行干預(yù)，并且研究人員是通過(guò)隨機(jī)的方式(例如拋硬幣)來(lái)決定干預(yù)誰(shuí)的。隨機(jī)對(duì)照實(shí)驗(yàn)?zāi)艿贸鲥e(cuò)誤的結(jié)論(我很快就會(huì)講到)。盡管實(shí)驗(yàn)和隨機(jī)對(duì)照實(shí)驗(yàn)之間存在著上述重要的差異，如何在研究中采用隨機(jī)對(duì)照實(shí)驗(yàn)。在4.2節(jié)中，我將以維基驗(yàn)的基本邏輯。然后，在4.3節(jié)中，我將描述實(shí)驗(yàn)室實(shí)驗(yàn)和實(shí)地實(shí)驗(yàn) (嚴(yán)格控制)和模擬實(shí)地實(shí)驗(yàn)(現(xiàn)實(shí)主義)的最佳特征進(jìn)行論述。接下來(lái)，在4.4節(jié)中，我略所涉及的權(quán)衡(4.5節(jié))。在最后結(jié)束部分，我將給出一些關(guān)于如何借助數(shù)字實(shí)驗(yàn)的真正力量進(jìn)行設(shè)計(jì)的建議(4.6.1小節(jié)),并介紹一些隨之而來(lái)的責(zé)任(4.6.2小節(jié))。4.2什么是實(shí)驗(yàn)想了解非正式的同伴獎(jiǎng)勵(lì)對(duì)人們編輯維基百科的影響。具體來(lái)說(shuō)，他們研究了谷倉(cāng)之星 他們的一個(gè)獎(jiǎng)勵(lì)。于是，雷斯蒂沃和范德里杰特給100個(gè)做出杰出貢除了抽取100個(gè)杰出貢獻(xiàn)者并向其發(fā)送谷倉(cāng)之星以外，他們還抽取了另外100個(gè)杰出貢獻(xiàn)者要比對(duì)照組的多60%左右。換句話說(shuō)，兩組貢獻(xiàn)者的貢獻(xiàn)都在減少通過(guò)雷斯蒂沃和范德里杰特的研究，我們了解了隨機(jī)對(duì)照實(shí)驗(yàn)的4個(gè)與者、隨機(jī)分組、實(shí)施處理和測(cè)量結(jié)果。這4個(gè)部分一起就能把谷倉(cāng)之星發(fā)送給任何人，也能很容易地在較長(zhǎng)時(shí)間內(nèi)對(duì)結(jié)果(即編輯次數(shù))進(jìn)行追蹤 (因?yàn)榫S基百科會(huì)自動(dòng)記錄編輯歷史)。這種無(wú)須任何成本就能實(shí)施處理并且測(cè)量結(jié)果的實(shí)甚至是20000個(gè)其實(shí)也是可以的。雷斯蒂沃和范德里杰特沒(méi)有抽取20000個(gè)人來(lái)參與實(shí)驗(yàn)的計(jì)空間有助于大家理解不同方法的優(yōu)缺點(diǎn)，并能突出機(jī)會(huì)最大的領(lǐng)域(圖4.1)。組織實(shí)驗(yàn)的其中一個(gè)維度是實(shí)驗(yàn)室-實(shí)地。社會(huì)科學(xué)的許多實(shí)模擬實(shí)驗(yàn)室實(shí)驗(yàn)實(shí)地實(shí)驗(yàn)圖4.1實(shí)驗(yàn)設(shè)計(jì)空間示意圖。在過(guò)去，實(shí)驗(yàn)的類型集中在實(shí)驗(yàn)室-實(shí)地這一維度?，F(xiàn)在，又出現(xiàn)了許多模擬-數(shù)字這的，內(nèi)容基本相似，只有一點(diǎn)不同，即有些會(huì)暗示該應(yīng)聘者是位母親(如參加了家長(zhǎng)教師協(xié)會(huì)),有些則不會(huì)?？评谞柡屯掳l(fā)現(xiàn)，學(xué)生不太可能推薦是母親的應(yīng)聘者，就算推薦了，他們是否是由于同樣的原因而做出了類似的決定呢?遺憾的是，我們并不知道。研究人員沒(méi)驗(yàn)室-實(shí)地連續(xù)體的兩端，在這兩端之間，還有各種各樣的混合設(shè)計(jì)，例如將不是學(xué)生的參除了過(guò)去的實(shí)驗(yàn)室-實(shí)地維度，數(shù)字時(shí)代意味著研究人員現(xiàn)在有了第二個(gè)設(shè)計(jì)實(shí)驗(yàn)的主要維度：模擬-數(shù)字。正如在第一個(gè)維度上有純實(shí)驗(yàn)室實(shí)驗(yàn)、純實(shí)地實(shí)驗(yàn)和范德里杰特針對(duì)谷倉(cāng)之星和維基百科的研究采用的就是一個(gè)純數(shù)字實(shí)驗(yàn)，因?yàn)樗麄兊倪@4個(gè)步驟都是通過(guò)數(shù)字系統(tǒng)完成的。同樣，純模擬實(shí)驗(yàn)就是這4個(gè)步驟都不會(huì)使用數(shù)字基礎(chǔ)設(shè)結(jié)果。事實(shí)上，正如本章后面將描述的，研究人員在針對(duì)850萬(wàn)戶家庭的能源消耗的實(shí)驗(yàn)中數(shù)字系統(tǒng)為實(shí)驗(yàn)室-實(shí)地連續(xù)體上的所有實(shí)驗(yàn)都帶來(lái)了新的可能4.2)。機(jī)器人MTurk連通了有任務(wù)需要完成的“雇主”濟(jì)報(bào)酬),研究人員也通過(guò)該基礎(chǔ)設(shè)施獲得了一個(gè)隨時(shí)可用的參與者庫(kù)。利用機(jī)器人利用機(jī)器人MTuk上的數(shù)據(jù)發(fā)表的論文20112012201320142015(年)在不間斷運(yùn)行的測(cè)量系統(tǒng)上進(jìn)行的(參見第2章)。例如，同樣是關(guān)于參與者的預(yù)處理信息，S?vje,andSekhon2016)和有針對(duì)性地招募參與者(Eckles,Kizilcec,andBakshy2016),還能讓他們進(jìn)行更有見地的分析，例如評(píng)估處理效應(yīng)的異質(zhì)性(AtheyandImbens2016a)和進(jìn)行協(xié)方差調(diào)整以提高精確度(Bloniarzetal.2016)。結(jié)果進(jìn)行了長(zhǎng)達(dá)90天的測(cè)量(每天都會(huì)測(cè)量),而本章后面將提到的實(shí)驗(yàn)之一(Ferraro,間斷運(yùn)行的測(cè)量系統(tǒng)(更多有關(guān)不間斷運(yùn)行的測(cè)量系統(tǒng)的內(nèi)容可參見第2章)開展實(shí)驗(yàn)，是存在諸如環(huán)境依賴、合規(guī)問(wèn)題和平衡效應(yīng)(BanerjeeandDuflo雜化因素。數(shù)字實(shí)地實(shí)驗(yàn)也放大了由實(shí)地實(shí)驗(yàn)引發(fā)的道德倫理問(wèn)題，我將在本章后面和第64.4超越簡(jiǎn)單實(shí)驗(yàn)“起作用”嗎?例如，一個(gè)志愿者打來(lái)的電話能促使一個(gè)人投票嗎?將網(wǎng)站按鈕從藍(lán)色換成綠色能增加廣告的點(diǎn)擊率嗎?不過(guò)遺憾的是，對(duì)于“起作用”的不嚴(yán)謹(jǐn)?shù)拇朕o掩