新聞傳播學量化研究方法5

1、新聞傳播學量化研究方法 第五講 實驗法2同學報告同學報告老師點評老師點評 Zhu & He的論文中關于 adoption & use的問卷設計2. 請根據(jù)你圍繞著你感興趣的研究選題 設計一份只有10個問題的問卷 但是，要麻雀雖小，五臟俱全 盡可能地操練我們所學習到的各種量表 并且，對問卷的信度與效度進行自我評估3什么叫實驗？什么叫實驗？現(xiàn)實生活現(xiàn)實生活中我們每天都在做實驗/試驗，我們許多技能都是通過實驗習得自然科學自然科學研究中實驗習以為常社會科學社會科學研究中的實驗是我們確定變量之間因果關系最直接、最有效的方法在傳播效果研究中應用最為普遍：說服、電視暴力、priming & framing

2、4實驗的相關概念實驗的相關概念社會科學實驗：社會科學實驗：研究者有目的地通過操縱自變量自變量，控制無關變量控制無關變量，引起因變量因變量的改變自變量自變量：又稱實驗變量、刺激變量（stimulus）、解釋變量 即，被實驗者操縱變換的那個東東控制變量控制變量：那些和實驗目的無關，但是又有可能影響實驗結果的東東 所以必須控制起來，即，在實驗過程中盡量保持不變因變量因變量：實驗者希望通過導入不同的刺激而引起其變化 （有的時候也不會變化）的那個東東。5實驗實驗法能法能一錘定音地一錘定音地證明因果關系證明因果關系必要條件一：時序上，先有因后有果。必要條件一：時序上，先有因后有果。實驗法可以做到：先給與刺

3、激，后觀察結果必要條件二：兩個變量之間具有實證相關性。必要條件二：兩個變量之間具有實證相關性。實驗法可以做到：比較前后之間的差別必要條件三：兩個變量間的實證相關不是因為第三個變量的存在而存在。必要條件三：兩個變量間的實證相關不是因為第三個變量的存在而存在。實驗法可以做到：除了實驗組，還有控制組6課堂討論：課堂討論：如果你要研究媒介暴力對兒童的影響什么是自變量？什么是控制變量？什么是因變量？7實驗法的分類實驗法的分類根據(jù)實驗環(huán)境的不同，分為根據(jù)實驗環(huán)境的不同，分為： 1.實驗室實驗法：一個嚴格可控的環(huán)境內 比如：把實驗對象召集到一個多媒體教室來 請他們看不同版本的耐克廣告，看完才可以走 2.準實

4、驗室實驗法：一個相對自由但又非絕對自然的環(huán)境 比如：在校園行政樓的大屏幕電視上播放不同的廣告 3.現(xiàn)場實驗法：一個完全自然的環(huán)境，發(fā)生在現(xiàn)實生活中 比如：在電視節(jié)目中播放不同的廣告8實驗法的分類實驗法的分類根據(jù)實驗對象的分組，分為：根據(jù)實驗對象的分組，分為： 1.單組實驗法：從頭到尾只有同一個組的人參與實驗 比如，在A、B、C、D四個商場，檢查耐克廣告的促銷效果實驗商場廣告播放前銷售額廣告播放后銷售額變動A20002400+400B13002200+900C26003400+800D59008000+2100思考：思考：單組實驗法的弊端？！上述表格數(shù)據(jù)的不足？9實驗法的分類實驗法的分類根據(jù)實驗

5、對象的分組，分為：根據(jù)實驗對象的分組，分為： 2.對照實驗法：將實驗對象分為實驗組和控制組 僅對實驗組予以刺激（改變自變量） 根據(jù)不同的目的，可以有多個實驗組組別廣告播放前一個月銷量廣告播放后一個月銷量變動量實驗組（ A、B、C）X1=1000Y1=1600600控制組（E、F、W）X2=1000Y2=120020010經(jīng)典的傳播學實驗設計經(jīng)典的傳播學實驗設計實驗組實驗組控制組控制組2.招募志愿者3.進行分組：隨機/配額/匹配分組4.展開前測：問卷/觀察5.給予刺激：接觸媒介內容/信息實驗組實驗組O1控制組控制組O1實驗組實驗組O2控制組控制組O26.展開后測：問卷/觀察7.前后比較，驗證效果

6、1.在文獻綜述的基礎上，進行概念化，提出實驗假設11以王曉華老師來源可信度實驗為例以王曉華老師來源可信度實驗為例1.1.假設的提出：假設的提出：根據(jù)文獻回顧，同樣的信息由不同的媒體發(fā)布 在受眾中獲得的信任度也會不同2.2.招募志愿者：招募志愿者：在某天晚上來到文科樓的6個教室 征得任課老師同意，在課間十分鐘進行實驗3.3.進行分組：進行分組：6個教室中，隨機抽取1個為控制組，另外5個為實驗組4.4.展開前測：展開前測：通過問卷調查，測量參與者對不同媒介的接觸情況 對來源可信度和內容可信度的評價 參見問卷一12以王曉華老師來源可信度實驗為例以王曉華老師來源可信度實驗為例5.5.給予刺激：給予刺激

7、：針對5個實驗組 分別發(fā)放內容相同但來源不同的材料 針對1個控制組 發(fā)放只有內容沒有來源的材料6.6.展開后測：展開后測：通過問卷調查，測量參與者對所看到的材料中 各條新聞和廣告的可信度的評價 參見問卷7.7.利用統(tǒng)計工具，展開前后比較及組間比較利用統(tǒng)計工具，展開前后比較及組間比較請觀看實驗的相關視頻請觀看實驗的相關視頻13課堂討論：課堂討論：這項實驗的各個環(huán)節(jié)設計是否完美？可能存在哪些問題？你覺得可以怎樣彌補？14社會科學實驗可能面臨的巨大風險社會科學實驗可能面臨的巨大風險倫理道德風險：倫理道德風險：實驗對象是“人”！一旦造成破壞，將無法彌補！比如：媒介暴力對兒童的影響對策：實驗后的debr

8、eifing外在無效度：外在無效度：實驗室環(huán)境下的發(fā)現(xiàn) 往往不能推廣到現(xiàn)實世界而且傳播效果研究的實驗往往考察短期效果從長期來看，是否還能有這樣的效果？對策：對策：“自然”實驗法、拉長實驗周期15延長實驗周期給實驗結果帶來的改變延長實驗周期給實驗結果帶來的改變娛樂明星Kate Smith在二戰(zhàn)期間通過廣播節(jié)目18小時內推銷出3900萬戰(zhàn)爭債券霍夫蘭等人研究表明，她的成功是因為“她被視作是值得信賴的人”受此啟發(fā)，他們設計了一項實驗：1.給每個參與者一本小冊子里面有4個主題2.前測：前測：測量他們對4個主題的看法3.刺激：刺激：告訴一部分人消息的來源可信度高 告訴另一部分人消息的來源可信度低4.后測

9、后測1：立即測量他們對4個主題的看法5.后測后測2：4周之后再測量他們的看法16延長實驗周期給實驗結果帶來的改變延長實驗周期給實驗結果帶來的改變02468101112141618202224高可信度低可信度立刻測量4周之后測量實驗發(fā)現(xiàn)：1.即時說服效果：高可信度來源所帶來的態(tài)度改變明顯高于低可信度來源2. 但是，4周之后再測量，發(fā)現(xiàn)兩組之間的差別不大3.睡眠者效果/sleeper effect：低可信度來源所帶來的改變在4周之后會顯著增加因為隨著時間的流逝，人們會忘記消息源，僅記住觀點本身17可能影響實驗內在效度的因素可能影響實驗內在效度的因素1.控制變量沒有被控制起來控制變量沒有被控制起來實

10、驗過程中發(fā)生了重大事件、實驗參與者自身發(fā)生了改變實驗參與者敏感地覺察到研究者的目的，主動迎合或主動抵抗前測對后測產生了影響2.測量工具或測量方法效度不高測量工具或測量方法效度不高無論是使用觀察法還是問卷調查法來測量實驗的結果都有可能存在效度問題以媒介暴力的影響為例，你打算用什么手段做前測？什么手段做后測？它們的效度有保證嗎？18可能影響實驗內在效度的因素可能影響實驗內在效度的因素3.分組的問題分組的問題選擇偏見選擇偏見selection biases:無論是隨機、配對還是配額方法進行分組作為實驗者，我們無法保證實驗組和控制組之間完全可比實驗死亡率實驗死亡率experimental mortal

11、ity：實驗參與者可能中途退出4.實驗進行過程中的問題實驗進行過程中的問題控制組對實驗組的模仿：控制組對實驗組的模仿：使得實驗效果被拉平補償：補償：出于對控制組的“虧欠” 人們不自覺地對他們進行補償，從而干擾實驗效果補償性競爭：補償性競爭：控制組的人發(fā)現(xiàn)實驗組受到特別關照 內心不平，額外努力自暴自棄：自暴自棄：控制組發(fā)現(xiàn)自己被忽視，自感墮落19可能影響實驗內在效度的因素可能影響實驗內在效度的因素5.統(tǒng)計上的問題統(tǒng)計上的問題統(tǒng)計上，存在向平均數(shù)回歸的趨勢向平均數(shù)回歸的趨勢即，已經(jīng)很差的小組，不可能再差了，即便不受到實驗刺激，他們都有可能變得更好同理，已經(jīng)很好的小組，不可能更好了，即便受到實驗刺激

12、，他們都有可能變差或不變在知識溝研究中，如果選取極端組（特別差或特別好）作為實驗對象就很有可能被誤導，得到錯誤的結論當兩類兒童收看當兩類兒童收看芝麻街芝麻街的次數(shù)的次數(shù)都非常多的時候，兩者之間差異會縮小都非常多的時候，兩者之間差異會縮小1601208040最少較少較多最多優(yōu)勢兒童弱勢兒童20霍桑效應霍桑效應&皮格馬利翁效應皮格馬利翁效應霍桑效應：霍桑效應：1930年代，研究者試圖通過實驗發(fā)現(xiàn)工作條件與生產量之間的關系他們先改善車間照明，生產量顯著提高但是，當他們把照明調低之后，生產量還是顯著提高！WHY？皮格馬利翁效應：皮格馬利翁效應：1960年代，研究者到美國西部一所學校，對學生進行了一次測

13、試“Harvard test of inflected acquisition”將成績告訴給老師，并說成績高的同學學習能力強，進步潛力大結果，半年后，這些學生果然突飛猛進事實上，所謂的測試是一個騙局，研究者只是隨機給分！WHY？21為彌補實驗中可能存在的缺陷：所羅門四組實驗設計為彌補實驗中可能存在的缺陷：所羅門四組實驗設計第第1組組 前測 刺激 后測第第2組組 前測 后測第第3組組 刺激 后測第第4組組 后測1234數(shù)值1顯示出自變量的影響，2顯示出控制變量的影響3顯示出考慮到控制變量的影響后自變量的影響3-4顯示出前測對后側的影響22課堂討論：以媒介暴力對兒童的影響為例課堂討論：以媒介暴力對

14、兒童的影響為例 所羅門四組設計的數(shù)據(jù)應該是怎樣的？所羅門四組設計的數(shù)據(jù)應該是怎樣的？ 第第1組組 前測 刺激 后測第第2組組 前測 后測第第3組組 刺激 后測第第4組組 后測4013936125212134812周老師的研究個案互聯(lián)網(wǎng)研究中實驗法的應用初探1.搜索引擎是使人變傻還是變聰明？2.新媒體傳播的謠言有人信嗎？24搜索引擎研究之緣起搜索引擎研究之緣起課堂提問的尷尬場景：課堂提問的尷尬場景：老師，等我搜一下十一歲侄子的上網(wǎng)習慣：十一歲侄子的上網(wǎng)習慣：記不住任何網(wǎng)址，直接百度之2008年，IT評論家尼古拉斯卡爾（Nicholas Carr）在大西洋雜志（The Atlantic）發(fā)表Goo

15、gle讓我們變傻了嗎？互聯(lián)網(wǎng)正在對我們的大腦做什么 25爭鳴爭鳴學界憂心忡忡：學界憂心忡忡：Sven Birkerts（1994）從文化歷史學角度批判了電子閱讀方式，指出它可能導致“短期記憶庫的擴張和相應的長期記憶的萎縮”發(fā)展心理學家Maryanne Wolf（2007）也撰書從科學角度論證了這種可能性 業(yè)界普遍樂觀：業(yè)界普遍樂觀：維基百科的創(chuàng)始人之一Larry Sanger認為個人意志可以決定我們在閱讀和思考時候的認知能力(2008)計算機學家Jaron Lanier則指出科技會朝著它自主選擇的方向獨立發(fā)展（2008） 實證研究剛剛起步：實證研究剛剛起步：互聯(lián)網(wǎng)對年輕一代的大腦（認知：信息的

16、獲取/編碼/儲存/提取/使用）產生什么影響？26從傳播學角度展開研究從傳播學角度展開研究將搜索引擎視作一種媒介將搜索引擎視作一種媒介，而不是信息工具麥克盧漢：媒介即訊息媒介即訊息相對于其他互聯(lián)網(wǎng)服務，人們對搜索引擎的使用更加積極主動、目標明確、需求導向更加積極主動、目標明確、需求導向使用與滿足理論對媒介效果的假設（Rubin, 1994)：需求越強烈的媒介使用，越容易產生媒介效果需求越強烈的媒介使用，越容易產生媒介效果27研究框架研究框架問卷調查法問卷調查法RQ1：大學生群體是如何使用搜索引擎的？RQ2：使用搜索引擎可能給大學生的認知能力帶來哪些方面的影響？控制實驗法控制實驗法H1：使用搜索引

17、擎的小組所獲得的認知效果不如使用書籍的小組。H2：當人們的信息需求強烈的時候，使用搜索引擎和使用書籍所產生的認知效果差異最為顯著。信息需求搜索引擎使用認知影響研究對象：大學生研究對象：大學生在搜索引擎環(huán)境下成長起來的新一代28問卷調查問卷調查The Center for Media & Social Changes在深入訪談基礎上，設計一份在深入訪談基礎上，設計一份大學生搜索引擎使用調查問卷大學生搜索引擎使用調查問卷內容涵蓋大學生的搜索引擎使用歷史、使用習慣、對搜索引擎的評價由16個小問題組成的量表，測量搜索引擎對認知的影響在深圳大學進行調查，回收在深圳大學進行調查，回收203份有效問卷份有效

18、問卷男：女=45%：55%大一、大二、大三、大四同學各占30%、29%、26%、15%專業(yè)分布則涵蓋了文、理、工、商、法等各個學院 29調查發(fā)現(xiàn)調查發(fā)現(xiàn)1The Center for Media & Social Changes100%80%60%40%20%0%搜索引擎陪伴著他們度過了認知能力發(fā)展的關鍵時期有理由相信搜索引擎可能對他們的認知產生深遠影響 30調查發(fā)現(xiàn)調查發(fā)現(xiàn)2The Center for Media & Social Changes搜索引擎成為信息獲取的首選方法：搜索引擎成為信息獲取的首選方法：需要學習信息時：68%的學生將搜索引擎作為首選方法需要生活資訊時：47%的學生將搜

19、索引擎作為首選方法但是大學生未能對搜索來的信息進行充分的消化整理，融會貫通但是大學生未能對搜索來的信息進行充分的消化整理，融會貫通31調查發(fā)現(xiàn)調查發(fā)現(xiàn)3The Center for Media & Social Changes對16個小問題組成的認知影響量表的因子分析顯示，搜素引擎會從五個維度五個維度影響大學生的認知能力：滲透到認知的各個環(huán)節(jié)：從信息獲?。ㄇ笾S度和探索維度求知維度和探索維度）到信息編碼、貯存（記憶維度記憶維度）再到信息提取和應用（思維維度和習慣維度思維維度和習慣維度） 最終，由14項問題組成的影響指標（14-56），平均值39.36（SD=5.83） 求知維度盡管知道書上有相

20、關知識，還是更愿意上網(wǎng)搜而不是翻書找 .513在課堂上被老師提問的時候，恨不得可以上網(wǎng)搜一下 .649無論什么問題，上網(wǎng)一搜準能找到答案 .596既然什么都可以搜到，就不必費神去死記硬背太多東西了 .740探索維度去一個陌生的地方之前，先上網(wǎng)搜一下 .737和朋友討論一個不熟悉的話題之前，先上網(wǎng)搜一下 .648思維維度寫作業(yè)之前，先搜一下 .733寫作業(yè)對個別字句沒有把握的時候，用搜索引擎搜一下 .782用慣了搜索引擎，越來越難寫出自己的觀點 .517 習慣維度電腦的默認主頁是搜索引擎/上網(wǎng)的第一件事是打開搜索引擎 .648掛在網(wǎng)上無所事事的時候，會隨便想個詞條上網(wǎng)搜一搜 .706會用搜索引擎

21、搜一下自己或同學老師的名字 .523記憶維度要上某網(wǎng)站，不是憑記憶輸入網(wǎng)址，而是用搜索引擎搜出來 .789這次用搜索引擎搜來的信息，下次還是記不住，還得再搜 .78332實驗設計實驗設計小樣本的問卷調查小樣本的問卷調查讓我們初步相信搜索引擎會對大學生產生認知效果到底效果如何？可通過控制實驗控制實驗來予以檢驗針對同一年級同一專業(yè)同一課程的針對同一年級同一專業(yè)同一課程的113名學生進行實驗名學生進行實驗2（使用搜索引擎vs使用書籍）2（信息需求強烈vs信息需求不強烈） 布置學習任務并告知半小時后考試考試得分計入計入期末成績布置學習任務并告知半小時后練習練習得分不不計入期末成績使用搜索引擎組使用書籍

22、組閉卷完成考試使用搜索引擎組使用書籍組閉卷完成練習一周前完成前測問卷甲班48人乙班55人33實驗發(fā)現(xiàn)實驗發(fā)現(xiàn)1H1被拒絕被拒絕匯總兩班級數(shù)據(jù)，使用搜索引擎的同學（n=51）的認知效果為7.18（滿分為12分），使用書籍的同學（n=52）的認知效果為7.71兩組之間的認知效果差異為兩組之間的認知效果差異為-0.53，p=.11，不具有統(tǒng)計顯著性，不具有統(tǒng)計顯著性 但但H2獲支持獲支持在信息需求強烈的情況下（考試班），使用搜索引擎的認知效果顯著低于使用書籍的認知效果（差距差距=-1.34，p=.03*）在信息需求不強烈的情況下（練習班），兩組之間無顯著差異34實驗發(fā)現(xiàn)實驗發(fā)現(xiàn)26.737.648.

23、067.2666.577.588.5考試班練習班搜索引擎組書籍組35實驗發(fā)現(xiàn)實驗發(fā)現(xiàn)3信息獲取：學生未能充分深入地使用搜索引擎信息獲?。簩W生未能充分深入地使用搜索引擎實驗中通過抓屏軟件抓屏軟件對搜索引擎小組打開的所有網(wǎng)頁進行了記錄，發(fā)現(xiàn)：大多數(shù)學生只是使用關鍵詞（抽樣、抽樣方法）在百度上搜索一兩次就滿足了，而且，在查看搜索結果的時候，大部分學生只看了排名最靠前的幾個網(wǎng)頁 信息加工影響書籍組的認知效果，但不影響搜索引擎組的認知效果信息加工影響書籍組的認知效果，但不影響搜索引擎組的認知效果書籍組中，做筆記的同學成績比不做筆記的同學成績高1.71，p=.01* 搜索引擎組中，不存在顯著差異面對考試，

24、女生通過搜索引擎獲得認知的能力強于男生面對考試，女生通過搜索引擎獲得認知的能力強于男生信息需求強烈時，男生使用搜索引擎的認知效果比女生低2.48，p=.02*看書組中，男女之間并無顯著差異 36實驗發(fā)現(xiàn)實驗發(fā)現(xiàn)4The Center for Media & Social Changes信息加工對練習班兩組認知差異的影響信息加工對練習班兩組認知差異的影響搜索引擎組（n=25）看書組（看書組（n=23）做筆記（n=12） 不做筆記（n=13） 做筆記（做筆記（n=8）不做筆記（不做筆記（n=15）均值7.587.698.386.67方差1.621.541.192.02組內差異0.11,n.s.1.

25、71*搜索引擎組（搜索引擎組（n=26）看書組（n=29）男（男（n=13)女（女（n=13)男（n=8)女（n=21)均值5.468.007.128.42方差2.502.702.412.11組內差異-2.48*-1.30,n.s.性別對考試班級兩組認知差異的影響性別對考試班級兩組認知差異的影響37結論與討論結論與討論問卷調查揭示了長期趨勢：問卷調查揭示了長期趨勢：搜索引擎的確有可能對大學生產生負面的認知影響五個維度：求知、探索、記憶、思維、習慣控制實驗驗證了短期效果：控制實驗驗證了短期效果：搜索引擎的確弱化了大學生（尤其是男生）的認知能力，而且這種弱化不因大學生的主觀努力而改觀：即便使用搜索

26、引擎的小組具有較強的學習意愿（面臨考試）并運用常見的學習方法（做筆記），最終的認知效果還是比不過使用書籍的小組。 38新媒體傳播的謠言有人相信嗎？新媒體傳播的謠言有人相信嗎？The Center for Media & Social Changes傳統(tǒng)謠言多在熟人之間通過口耳相傳：傳統(tǒng)謠言多在熟人之間通過口耳相傳：可信度高而現(xiàn)在，謠言多在陌生人之間通過而現(xiàn)在，謠言多在陌生人之間通過QQQQ群、手機短信傳播：群、手機短信傳播：可信度是否會受到影響：信源可信度？媒介可信度？媒介可信度？驗證傳播效果的最佳辦法：實驗法驗證傳播效果的最佳辦法：實驗法39實驗設計的之天時、地利、人和實驗設計的之天時、地利

27、、人和地利：做謠言實驗，萬一弄假成真可能獲罪，要利用校園相對封閉的獨特優(yōu)勢地利：做謠言實驗，萬一弄假成真可能獲罪，要利用校園相對封閉的獨特優(yōu)勢我在自己教授的兩個班級內進行了一次謠言的控制實驗控制組（不傳播謠言）在周三上午上課實驗組（傳播謠言）在周四上午上課實驗結束后，立刻進行了解釋天時：要想謠言有效，不能完全憑空而來，要與時事接軌天時：要想謠言有效，不能完全憑空而來，要與時事接軌2008年12月，我們結合當時“四川柑橘生蛆”的新聞捏造了一則深大學生在買到生蛆橘子的謠言人和：實施實驗團隊、內應、能夠匹配分組的參與者人和：實施實驗團隊、內應、能夠匹配分組的參與者團隊：編造謠言、實施實驗、現(xiàn)場錄像內

28、應：兩位知情的班長幫助我們發(fā)送QQ謠言、短信謠言參與者：實驗組控制組同學都來自同一學院同一年級40實驗設計之控制組實驗設計之控制組控制組記錄吃橘記錄吃橘子的數(shù)量子的數(shù)量為何選周三作為控制組（不傳播謠言）？為何選周三作為控制組（不傳播謠言）？周三班級沒有傳謠言，不會影響周四班級的實驗反之，如果周三班級做實驗組（傳播謠言），則周四班級不可能做控制組上課好端端地發(fā)水果，如何讓學生不起疑心？上課好端端地發(fā)水果，如何讓學生不起疑心？先故意發(fā)放問卷A：內容毫不涉及謠言，僅與新媒體使用有關然后，發(fā)放水果表示感謝，順理成章為什么要香蕉橘子一起發(fā)？為什么要香蕉橘子一起發(fā)？問卷A41實驗刺激物實驗刺激物實驗刺激一：手機短信謠言實驗刺激一：手機短信謠言“啊，中招了！昨天在西門外面水果攤買到的橘子竟然有兩條活生生的“蛆蟲”，差點把他們吃掉！不久前聽說深圳的超市里查出“蛆蟲”，自己沒太注意，如今卻發(fā)生在自己身上。涉及安全，事關重大，所以特別向大家提醒。以后吃橘子一定要多注意！”實驗刺激二：實驗刺激二：QQ群謠言群謠言大家看看之前南都的報道：（標題）“掰開橘肉，蟲子在蠕動！” 來源：南方都市報 2008-11-07 09:11:00 本報訊 (記者 葉淑萍)繼上周南山區(qū)羅女士買到生蟲的橘子后,昨日,家住福田區(qū)赤尾村的林小姐致電本報,