完整版問(wèn)卷信度效度檢驗(yàn)2

1、從統(tǒng)計(jì)數(shù)據(jù)質(zhì)量角度談?wù){(diào)查問(wèn)卷的設(shè)計(jì)質(zhì)量一、引言從保證統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的統(tǒng)計(jì)工作過(guò)程看，統(tǒng)計(jì)數(shù)據(jù)質(zhì)量可以被劃分為統(tǒng)計(jì)設(shè)計(jì)質(zhì)量、統(tǒng)計(jì)調(diào)查質(zhì)量、統(tǒng)計(jì)整理質(zhì)量、統(tǒng)計(jì)分析質(zhì)量以及數(shù)據(jù)發(fā)布傳輸質(zhì)量等。統(tǒng)計(jì)設(shè)計(jì)質(zhì)量是保證統(tǒng)計(jì)數(shù)據(jù)質(zhì)量的首要環(huán)節(jié)， 在統(tǒng)計(jì)數(shù)據(jù)質(zhì)量保證體系中起著關(guān)鍵性作用。統(tǒng)計(jì)設(shè)計(jì)質(zhì)量一般包括調(diào)查問(wèn)卷設(shè)計(jì)質(zhì)量與調(diào)查方案設(shè)計(jì)質(zhì)量，其中調(diào)查問(wèn)卷設(shè)計(jì)質(zhì)量指的是：通過(guò)問(wèn)卷測(cè)量得到的，反映調(diào)查對(duì)象客觀現(xiàn)象的統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確性和有效性，即調(diào)查問(wèn)卷設(shè)計(jì)質(zhì)量的好壞，需要通過(guò)問(wèn)卷測(cè)量能力的高低來(lái)檢驗(yàn)。在市場(chǎng)調(diào)查中，為了深入地研究一些本質(zhì)的或理論性的現(xiàn)象，問(wèn)卷調(diào)查法被廣泛運(yùn)用， 除了調(diào)查時(shí)采用的抽樣方法以及所抽取的調(diào)查對(duì)

2、象是否具有代表性之外，調(diào)查者最關(guān)心的就是調(diào)查問(wèn)卷的測(cè)量能力。問(wèn)卷測(cè)量能力包含了兩個(gè)方面的內(nèi)容，即問(wèn)卷測(cè)量結(jié)果的準(zhǔn)確性和有效性。準(zhǔn)確性和有效性是統(tǒng)計(jì)數(shù)據(jù)質(zhì)量蘊(yùn)涵的最主要的兩個(gè)特性，一個(gè)好的調(diào)查問(wèn)卷設(shè)計(jì)不僅可以保證在多次重復(fù)使用下得到可靠的數(shù)據(jù)結(jié)果，即準(zhǔn)確性；也可以保證所得測(cè)量結(jié)果能夠反映它所應(yīng)該反映的客觀現(xiàn)實(shí)，即有效性。所以我們可以通過(guò)對(duì)問(wèn)卷測(cè)量能力的分析來(lái)檢驗(yàn)問(wèn)卷的設(shè)計(jì)質(zhì)量，對(duì)問(wèn)卷設(shè)計(jì)進(jìn)行質(zhì)量控制，進(jìn)而發(fā)現(xiàn)問(wèn)卷設(shè)計(jì)中應(yīng)注意的問(wèn)題。在此基礎(chǔ)上，通過(guò)不斷改進(jìn)問(wèn)卷設(shè)計(jì)， 提高其測(cè)量能力，最終將有助于我們得到高質(zhì)量的調(diào)查數(shù)據(jù)。二、調(diào)查問(wèn)卷的設(shè)計(jì)質(zhì)量檢驗(yàn)信度和效度的概念來(lái)源于心理測(cè)試中關(guān)于測(cè)驗(yàn)的可靠性和

3、有效性研究，當(dāng)建構(gòu)和評(píng)估測(cè)量時(shí)，通常使用信度和效度這兩個(gè)技術(shù)性指標(biāo)。因此我們采用問(wèn)卷的信度和效度分析來(lái)評(píng)估其測(cè)量能力，進(jìn)而實(shí)現(xiàn)對(duì)問(wèn)卷設(shè)計(jì)質(zhì)量的檢驗(yàn)。1.問(wèn)卷設(shè)計(jì)質(zhì)量的信度檢驗(yàn)所謂問(wèn)卷設(shè)計(jì)質(zhì)量的信度檢驗(yàn)， 指的是對(duì)問(wèn)卷測(cè)量結(jié)果準(zhǔn)確性的分析，即對(duì)設(shè)計(jì)的問(wèn)卷在多次重復(fù)使用下得到的數(shù)據(jù)結(jié)果的可靠性的檢驗(yàn)。在實(shí)際應(yīng)用中，信度檢驗(yàn)多以相關(guān)系數(shù)表示，常用的方法有：重測(cè)信度，復(fù)本信度，折半信度，克朗巴哈信度，評(píng)分者信度等。國(guó)內(nèi)外已經(jīng)有很多關(guān)于這些信度分析方法介紹的文獻(xiàn)，在這里，筆者不再一一詳述， 僅列出相關(guān)公式作為參考。(1) 重測(cè)信度，也叫穩(wěn)定系數(shù)，對(duì)同一組調(diào)查對(duì)象采用同一調(diào)查問(wèn)卷進(jìn)行先后兩次調(diào)查，采用檢驗(yàn)

4、公式，其中I血 為兩次調(diào)查結(jié)果的協(xié)方差，監(jiān)I為第一次調(diào)查結(jié)果的協(xié)方差，為第二次調(diào)查結(jié)果的協(xié)方差。系數(shù)值越大說(shuō)明信度越高。(2) 復(fù)本信度，也叫等值系數(shù)，對(duì)同一組調(diào)查對(duì)象進(jìn)行兩種相等或相近的調(diào)查，要求兩份問(wèn)卷的題數(shù)、形式、內(nèi)容及難度和鑒別度等方面都要盡可能的一致。檢驗(yàn)公式同穩(wěn)定系數(shù)公式，系數(shù)越大，說(shuō)明兩份問(wèn)卷的信度越高，具體調(diào)查時(shí)使用哪一份都可以。(3) 折半信度，也叫內(nèi)在一致性系數(shù)，將調(diào)查的項(xiàng)目按前后分成兩等份或按奇偶題號(hào)分成兩部分，通過(guò)計(jì)算這兩部分調(diào)查結(jié)果的相關(guān)系數(shù)來(lái)衡量信度。當(dāng)假定兩部分調(diào)查結(jié)果得分的方差相等時(shí)，檢驗(yàn)用Spearman-Brown公式來(lái)表示：,其中U 表示折半信 +氏度系數(shù)

5、；當(dāng)假定方差不相等時(shí)，采用Flanagan公式：護(hù)，其中分、氏 分別表示兩部分調(diào)查結(jié)果的方差，表示整個(gè)問(wèn)卷調(diào)查結(jié)果的方差。如果折半信度很高，則說(shuō)明這份問(wèn)卷的各項(xiàng)題之間難度相當(dāng)，調(diào)查結(jié)果信度高。(4) 克朗巴哈 信度，是對(duì)折半信度的改進(jìn)，檢驗(yàn)公式是：k + l H ，其中K表示問(wèn)卷中的題目數(shù)，軽I為第i題的調(diào)查結(jié)果方差，為全部調(diào)查結(jié)果的方差。卜鋼信度系數(shù)是目前最常用的信度分析法。(5) 評(píng)分者信度，包括|圧|信度和信度，將問(wèn)卷中的每道題看作是一個(gè)變量，然后通過(guò)調(diào)查的結(jié)果得分對(duì)所有問(wèn)題做因子分析。得到，其中I爲(wèi)是最大特征值，N是問(wèn)題數(shù)，.是因子分析法的第i個(gè)問(wèn)題的共同度。2 問(wèn)卷設(shè)計(jì)質(zhì)量的效度檢驗(yàn)

6、所謂問(wèn)卷設(shè)計(jì)質(zhì)量的效度檢驗(yàn)，指的是問(wèn)卷測(cè)量結(jié)果有效性的分析，即對(duì)設(shè)計(jì)問(wèn)卷的測(cè)量結(jié)果反映它所應(yīng)該反映的客觀現(xiàn)實(shí)的程度的檢驗(yàn)。具體來(lái)說(shuō)，效度檢驗(yàn)必須針對(duì)其特定的目的功能及適用范圍， 從不同的角度收集各方面的資料分別進(jìn)行。常用的效度檢驗(yàn)有內(nèi)容效度、結(jié)構(gòu)效度、難易效度、準(zhǔn)則效度等。有關(guān)效度分析方法的詳細(xì)內(nèi)容，筆者也不在一一贅 述。(1) 內(nèi)容效度，也叫單項(xiàng)和總和的相關(guān)效度分析，指的是調(diào)查問(wèn)卷所采用的題項(xiàng)能否代表所反映的內(nèi)容或主題。 通常是用單個(gè)問(wèn)題的得分與總得分的相關(guān)系數(shù)來(lái)反映，如果相關(guān)系數(shù)不顯著，表示該題的鑒別力低，就不應(yīng)該再將該題納入調(diào)查問(wèn)卷。(2) 難易效度，在調(diào)查反映觀念、態(tài)度的問(wèn)題中采用檢驗(yàn)

7、公式：難易效度=% * ,其中、分別代表高分組和低分組樣本數(shù)，、分別代表高分組和低分組通過(guò)該題的樣本數(shù)。計(jì)算結(jié)果越大，表示該題越容易，反之該題難度較大。Ik(3) 鑒別效度，在對(duì)觀念、態(tài)度問(wèn)卷單個(gè)題的評(píng)價(jià)中采用公式：鑒別效度=,符號(hào)含義同難易效度公式。 一般我們總是希望調(diào)查問(wèn)卷的每道題的鑒別效度高一些，這樣可以很好的反映被調(diào)查者對(duì)問(wèn)題看法的差異性。(4) 準(zhǔn)則效度，又叫獨(dú)立標(biāo)準(zhǔn)效度分析。采用的是先根據(jù)已經(jīng)掌握的理論，選擇一個(gè)與調(diào)查問(wèn)卷直接相關(guān)的獨(dú)立標(biāo)準(zhǔn)，把它當(dāng)作自變量。然后再分析調(diào)查結(jié)果的特性與該自變量的關(guān)系，如果對(duì)于自變量的不同取值，調(diào)查結(jié)果的特性表現(xiàn)出顯著差異與我們掌握的理論有 很強(qiáng)的相關(guān)

8、性，則說(shuō)明調(diào)查問(wèn)卷是有效的。(5) 結(jié)構(gòu)效度，該檢驗(yàn)主要就是將問(wèn)卷中的每道題看作是一個(gè)變量，然后通過(guò)調(diào)查的結(jié)果得分對(duì)所有問(wèn)題做因子分析，提取一些較為顯著的因子，通過(guò)各個(gè)問(wèn)題在每個(gè)因子上的載荷將問(wèn)題分類。其目的就是為了檢驗(yàn)問(wèn)卷中的屬于相同理論概念的不同問(wèn)題是否能落在同一因子上，如果能夠做到符合理論，即屬于相同概念的題都?xì)w為同一因子，貝U說(shuō)明問(wèn)卷有著很好的結(jié)構(gòu)效度。三、問(wèn)卷設(shè)計(jì)質(zhì)量信度、效度檢驗(yàn)間的關(guān)系如果以X表示測(cè)量值，T表示真實(shí)值，E表示隨機(jī)誤差，則他們之間的關(guān)系為X=T+E ,測(cè)量值總方差可分解為，信度可用真實(shí)值的方差占測(cè)量值的總方差來(lái)表示，即信度=。如果將T進(jìn)一步分解為想要測(cè)量的目標(biāo)真值,

9、與測(cè)量目標(biāo)無(wú)關(guān)的系統(tǒng)偏差 ，效度可用想要測(cè)量目標(biāo)真值的方差占測(cè)量值總方差的比重來(lái)表示,即效度=：吮。很明顯bTT，昭大并不一定保證示也大，也就是說(shuō)信度高時(shí)效度不一定高。反過(guò)來(lái)，在”；一定時(shí)，牙 大則保證;也一定大，也即效度高時(shí)信度一定高。所以信度檢驗(yàn)是效度檢驗(yàn)的必要條件，但不是充分條件。效度檢驗(yàn)結(jié)果的好壞直接決定了整個(gè)調(diào)查研究的價(jià)值，如果設(shè)計(jì)的問(wèn)卷不能充分表示所要研究的對(duì)象，那么整個(gè)研究也就失去了意義。高效度一定隱含著高信度，如果問(wèn)卷設(shè)計(jì)是有效的，那么一定是可信的。如果調(diào)查問(wèn)卷有信度而沒(méi)有效度，其測(cè)量結(jié)果則可能并不是理論上想要研究的結(jié)論。四、如何提高調(diào)查問(wèn)卷設(shè)計(jì)質(zhì)量1.問(wèn)卷設(shè)計(jì)信度、效度檢驗(yàn)中

10、的啟示(1) 信度檢驗(yàn)的啟示調(diào)查對(duì)象的范圍與信度的關(guān)系。由于信度檢驗(yàn)采用的是相關(guān)系數(shù)的形式，因此受調(diào)查對(duì)象范圍的影響。如果調(diào)查對(duì)象的特征分布范圍較大，則變異性越大，信度系數(shù)就會(huì)越小；相 反調(diào)查對(duì)象的特征分布較集中，則變異性較小，信度系數(shù)就會(huì)越大。調(diào)查問(wèn)卷設(shè)計(jì)長(zhǎng)度與信度的關(guān)系。通常來(lái)說(shuō)，采用折半信度分析方法時(shí)，由于同一份問(wèn)卷不太容易分為等同的兩部分，所以折半信度分析的效果不如采用整體分析的效果，這可以通過(guò)Spearman-Brown公式觀察出，整體的信度系數(shù)是折半信度系數(shù)的兩倍還多。因此如果 對(duì)于同一目的和同一調(diào)查對(duì)象所設(shè)計(jì)的兩份調(diào)查問(wèn)卷，其中一份是在另一份問(wèn)題的基礎(chǔ)上增加若干道同類型的問(wèn)題，

11、那么問(wèn)題多的問(wèn)卷的信度一定會(huì)較高。同時(shí)，問(wèn)卷的信度會(huì)隨著問(wèn)卷同質(zhì)問(wèn)題的增多而增大。調(diào)查問(wèn)卷的設(shè)計(jì)與信度的關(guān)系。由于信度檢驗(yàn)是在對(duì)調(diào)查問(wèn)題答案編碼打分的基礎(chǔ)上進(jìn)行的，如果調(diào)查問(wèn)卷設(shè)計(jì)過(guò)程中存在偏差，例如正向問(wèn)題偏多或逆向問(wèn)題偏多、備選答案易讓被調(diào)查者打高分或低分的問(wèn)題偏多等都有可能造成認(rèn)為信度分析的偏差。所以問(wèn)卷的設(shè)計(jì)是保證信度的一個(gè)前提條件。影響信度檢驗(yàn)的其他因素： 調(diào)查對(duì)象的持久性、 合作態(tài)度等影響；調(diào)查實(shí)施者是否按規(guī) 定實(shí)施調(diào)查；調(diào)查環(huán)境與條件是否適當(dāng)； 調(diào)查內(nèi)容是否恰當(dāng)、 問(wèn)題數(shù)目是否適中等這些也都 是影響調(diào)查問(wèn)卷設(shè)計(jì)信度檢驗(yàn)的主要因素。(2) 效度檢驗(yàn)的啟示調(diào)查問(wèn)卷的問(wèn)題設(shè)計(jì)與效度的關(guān)

12、系。問(wèn)題是構(gòu)成調(diào)查的要素，調(diào)查問(wèn)題的性能就成為影響調(diào)查問(wèn)卷效度的因素之一。從前面的效度檢驗(yàn)可以看出問(wèn)題的取材、長(zhǎng)度、鑒別力、難度及編排方式都和效度有關(guān)。如果調(diào)查的問(wèn)題設(shè)計(jì)合理，即如果問(wèn)題的取材合理、長(zhǎng)度適中、 有相當(dāng)?shù)蔫b別力且難度分布適當(dāng)、編排也較合理，那么調(diào)查結(jié)果的檢驗(yàn)就會(huì)有很高的效度。調(diào)查的實(shí)施和效度的關(guān)系。問(wèn)卷調(diào)查的效度檢驗(yàn)要得到保證，調(diào)查督導(dǎo)員應(yīng)該適當(dāng)控制調(diào)查情況，而調(diào)查員應(yīng)當(dāng)嚴(yán)格按照訪問(wèn)手冊(cè)的規(guī)定實(shí)施調(diào)查。在調(diào)查過(guò)程中，如果場(chǎng)地的選擇、調(diào)查材料的準(zhǔn)備、調(diào)查方式的說(shuō)明、調(diào)查時(shí)間限制等，如不按照調(diào)查手冊(cè)程序進(jìn)行，則 必然降低問(wèn)卷調(diào)查測(cè)量的效度。被調(diào)查者的態(tài)度和效度的關(guān)系。 被調(diào)查者的興趣

13、、動(dòng)機(jī)、情緒、及是否合作以及合作程 度等都影響到問(wèn)卷結(jié)果的可靠性和正確性。 無(wú)論是什么調(diào)查內(nèi)容，只有借助調(diào)查對(duì)象的真實(shí) 反映，才能了解到真正的調(diào)查情況。關(guān)聯(lián)效度準(zhǔn)則的選取與效度的關(guān)系。適當(dāng)?shù)剡x擇關(guān)聯(lián)準(zhǔn)則是關(guān)聯(lián)效度分析的先決條件，如果選擇的準(zhǔn)則不當(dāng)， 就會(huì)導(dǎo)致效度分析的錯(cuò)誤， 問(wèn)卷調(diào)查的真實(shí)效度就有可能被掩蓋。一個(gè)問(wèn)卷準(zhǔn)則效度分析時(shí)，選擇的準(zhǔn)則不同，其效度分析的結(jié)果會(huì)相差很大。從統(tǒng)計(jì)分析的觀點(diǎn)來(lái)看，一個(gè)準(zhǔn)則關(guān)聯(lián)效度受以下三個(gè)因素的影響作用最大：?jiǎn)柧淼男哦取?zhǔn)則變量的信度、準(zhǔn)則變量和調(diào)查變量之間真正的相關(guān)程度。調(diào)查對(duì)象的選取和效度的關(guān)系。在調(diào)查中，最注重的是選取樣本的代表性。好的樣本代 表性能夠提

14、高問(wèn)卷調(diào)查的效度。一個(gè)調(diào)查應(yīng)用與不同的調(diào)查對(duì)象，由于對(duì)象在性別、年齡、 教育程度、背景上的差異，效度也隨之變異。3改善問(wèn)卷設(shè)計(jì)質(zhì)量，提高調(diào)查數(shù)據(jù)的質(zhì)量通過(guò)以上得到的信度和效度檢驗(yàn)的啟示， 可以很明確的是， 一個(gè)問(wèn)卷調(diào)查測(cè)量能力的好 壞，最關(guān)鍵的還在于整個(gè)調(diào)查問(wèn)卷的設(shè)計(jì)階段。 通過(guò)分析具體調(diào)查指標(biāo)的特性， 正確設(shè)計(jì)有 針對(duì)性的調(diào)查問(wèn)題； 問(wèn)題的措辭恰當(dāng)、 長(zhǎng)度安排合理； 問(wèn)題對(duì)于所要了解的調(diào)查內(nèi)容有相當(dāng) 的鑒別力和適當(dāng)?shù)碾y度； 并分別給予每一個(gè)問(wèn)題適當(dāng)?shù)拇鸢高x項(xiàng)； 問(wèn)題的前后順序編排合理 等這些設(shè)計(jì)要求的滿足， 有助于明顯提高問(wèn)卷的信度和效度， 使得我們能夠用一份完善的調(diào) 查問(wèn)卷去收集所要調(diào)查的數(shù)據(jù)內(nèi)容，從而為得到高質(zhì)量數(shù)據(jù)創(chuàng)造了前提條件。在實(shí)施調(diào)查過(guò)程中，嚴(yán)格的按照調(diào)查方案選擇調(diào)查對(duì)象，確定