測(cè)量的信度與效度

測(cè)量的信度與效度由于系統(tǒng)誤差很難分解,因而有時(shí)將系統(tǒng)誤差包含在真實(shí)值中,上式可以簡(jiǎn)化為:

對(duì)于測(cè)量誤差E,一般假定它得期望值就是0,與真實(shí)值相獨(dú)立,在此假定下,可以證明:

實(shí)得分?jǐn)?shù)與真分?jǐn)?shù)得總體均值相等。實(shí)得分?jǐn)?shù)得方差等于真分?jǐn)?shù)得方差與誤差方差之與。

調(diào)研人員應(yīng)運(yùn)用所掌握得統(tǒng)計(jì)知識(shí),分析其就是屬于系統(tǒng)誤差還就是屬于隨機(jī)誤差。系統(tǒng)誤差會(huì)使調(diào)查結(jié)果有誤,所以應(yīng)盡量避免。隨機(jī)誤差可通過提高樣本代表性、增大樣本量來減少。信度一般規(guī)定就是:真分?jǐn)?shù)得方差在總體方差中所占得比重,即信度系數(shù):信度系數(shù)越大,表明測(cè)量得可信程度越大。信度得估計(jì)方法有許多,比較易于使用得就是相關(guān)系數(shù)得方法。一般采用同一問卷進(jìn)行兩次調(diào)查,再計(jì)算其相關(guān)系數(shù)。3、信度得類型(1)再測(cè)信度(RetestReliability)

再測(cè)就是指在不同時(shí)間得相同測(cè)驗(yàn)。使用同一測(cè)量量表,對(duì)同一受測(cè)群體,在不同得時(shí)間前后測(cè)試兩次,再計(jì)算兩次測(cè)試結(jié)果得相關(guān)系數(shù),該系數(shù)即為再測(cè)信度。重復(fù)測(cè)量時(shí),要注意時(shí)間間隔得合理控制。如果時(shí)間間隔太短,受測(cè)者可能還記憶猶新,容易造成信度偏高。如果時(shí)間間隔太久,可能環(huán)境條件得改變、或者受測(cè)者心智成長(zhǎng)會(huì)影響再測(cè)結(jié)果,從而造成信度偏低。因而時(shí)間間隔應(yīng)隨測(cè)驗(yàn)得目得與性質(zhì)而定。由于旅游者流動(dòng)性太強(qiáng),因而不適宜使用再測(cè)信度分析。(2)復(fù)本信度(Alternative-FormReliability)

當(dāng)某一套量表有兩種以上版本時(shí),可以替換使用,根據(jù)一組被調(diào)查者接受兩個(gè)復(fù)本測(cè)量得數(shù)值來計(jì)算相關(guān)系數(shù),以避免再測(cè)信度得缺陷。復(fù)本就是指內(nèi)容相似、難易度相當(dāng)?shù)脙煞萘勘?對(duì)同一受測(cè)群體,第一次使用A份測(cè)試,第二次使用B份測(cè)試,兩次分?jǐn)?shù)得相關(guān)系數(shù)即為復(fù)本信度。復(fù)本得分得差異就是由量表得內(nèi)容造成得,而非時(shí)間造成得。復(fù)本信度有兩個(gè)優(yōu)點(diǎn):一就是它不會(huì)受記憶效用得影響;二就是對(duì)測(cè)量誤差得相關(guān)性通常比再測(cè)法低。(3)折半信度(Split-HalfReliability)

將同一量表施測(cè)后得題目分成兩半,分別計(jì)算這兩半得總分及其相關(guān)系數(shù),此一相關(guān)系數(shù)即為折半信度。由于實(shí)際上折半信度系數(shù)會(huì)比全部題目放在一起計(jì)算獲得得信度低,所以求得得折半信度需要進(jìn)一步修正。折半信度得優(yōu)點(diǎn)在于只需要施測(cè)一次,因而可以節(jié)省人力、物力與時(shí)間。但由于折半信度需將一份量表分成兩半,分法不同,所獲信度就會(huì)不同。如可以將測(cè)量結(jié)果按題目得單雙號(hào)分成兩部分。(4)克朗巴哈α系數(shù)(Cronbachα)CronbachL、J、于1951年提出了一種計(jì)算問卷或測(cè)驗(yàn)得測(cè)量工具得信度,稱為Cronbachα系數(shù)。當(dāng)一個(gè)研究任務(wù)項(xiàng)由很多題目組成,每個(gè)問項(xiàng)都與研究任務(wù)項(xiàng)相關(guān),若以總分得方差與問項(xiàng)得方差作為測(cè)量信度得指標(biāo),即為α系數(shù)。如果每個(gè)題目都就是測(cè)量相同得理論維度,則總與得方差會(huì)大于每個(gè)題目得方差之與。每個(gè)理論維度下,必須至少有兩題以上才能計(jì)算信度,若只有一個(gè)題目,則信度值為1。設(shè)一份量表包括n個(gè)項(xiàng)目(x1,x2,…,xn),

假設(shè)這n個(gè)項(xiàng)目得分?jǐn)?shù)都與真實(shí)分?jǐn)?shù)T有關(guān),即每一個(gè)項(xiàng)目xi除與T有關(guān)外,也有獨(dú)立得誤差項(xiàng)Ei,即令量表總與為H=x1+x2+…+xn、當(dāng)題目間得相關(guān)系數(shù)越大時(shí),α系數(shù)也會(huì)越大。當(dāng)題目數(shù)目n越多時(shí),值越大,越接近于0,越接近于1,故α系數(shù)也會(huì)越接近于1。

要做信度分析須先檢查每個(gè)題目就是否都就是同方向得,即都就是正面問法,反向問題需要做處理后才可以加入分析。在計(jì)算α系數(shù)時(shí),應(yīng)該注意有些調(diào)查量表測(cè)量得內(nèi)容包含幾個(gè)領(lǐng)域,這時(shí)宜分別計(jì)算各個(gè)領(lǐng)域得α系數(shù)?？死拾凸料禂?shù)適用于項(xiàng)目多重計(jì)分得測(cè)驗(yàn)數(shù)據(jù)或問卷數(shù)據(jù),可以用該系數(shù)測(cè)量Lickert量表得信度。在基礎(chǔ)研究中,信度至少應(yīng)達(dá)到0、8才可接受;在探索性研究中,信度只要達(dá)到0、7就可以接受;在旅游調(diào)查測(cè)量實(shí)踐中,信度只要達(dá)到0、6即可接受。

α系數(shù)通常與量表題目數(shù)量有關(guān),題目數(shù)量越多,α系數(shù)就越大。α系數(shù)得判斷標(biāo)準(zhǔn):內(nèi)部一致性信度系數(shù)值層面或構(gòu)念整個(gè)量表

α系數(shù)＜、50不理想,舍棄不用非常不理想,舍棄不用、50≤α系數(shù)＜、60可以接受,增列題項(xiàng)或修改詞句不理想,重新編制或修訂、60≤α系數(shù)＜、70尚佳勉強(qiáng)接受,最好增列題項(xiàng)或修改詞句、70≤α系數(shù)＜、80佳(信度高)可以接受、80≤α系數(shù)＜、90理想(甚佳,信度很高)佳(信度高)

α系數(shù)≥、90非常理想(信度非常好)非常理想(甚佳,信度很高)二、克朗巴哈

α系數(shù)得手工計(jì)算

以一份有8個(gè)題項(xiàng)得量表為例,8個(gè)題項(xiàng)均為正向題,受試樣本數(shù)有6位,采用Likert5點(diǎn)量表填答,獲得調(diào)查結(jié)果如下表:題號(hào)樣本量表試題總分

01

02

03

04

05

06

07

08

A

5

1

2

5

2

5

4

3

27

B

5

1

2

4

3

5

5

2

27

C

5

2

2

5

3

5

5

2

29

D

5

1

2

5

3

5

5

3

29

E

5

1

2

5

3

5

5

2

28

F

4

1

1

5

3

4

4

2

24大家有疑問的，可以詢問和交流可以互相討論下，但要小聲點(diǎn)計(jì)算獲得描述性統(tǒng)計(jì)量如下表:描述性統(tǒng)計(jì)量題號(hào)個(gè)數(shù)最小值最大值平均數(shù)標(biāo)準(zhǔn)差方差

A1

6

4

5

4、833

0、408

0、167

A2

6

1

2

1、167

0、408

0、167

A3

6

1

2

1、833

0、408

0、167

A4

6

4

5

4、833

0、408

0、167

A5

6

2

3

2、833

0、408

0、167

A6

6

4

5

4、833

0、408

0、167

A7

6

4

5

4、667

0、516

0、267

A8

6

2

3

2、333

0、516

0、267∑Si2

1、533總分

6

24

29

27、333

1、862

3、467可以利用Excel軟件進(jìn)行有關(guān)計(jì)算:第8行計(jì)算均值,第9行計(jì)算標(biāo)準(zhǔn)差,第10行計(jì)算方差。Cronbachα系數(shù)得計(jì)算公式為:已知:題項(xiàng)n=8,8題加總后量表總分得方差S2=3、467,8個(gè)題項(xiàng)得方差總與=1、533三、在SPSS上實(shí)現(xiàn)克朗巴哈α系數(shù)得計(jì)算

第一步:按Analyze-Scale-Reliability打開主對(duì)話框。第二步:在左側(cè)得源變量框中選擇變量進(jìn)入Items框,作為分析變量。第三步:在源變量框得Model選項(xiàng)框中,選擇Alpha(α)信度系數(shù)。第四步:在主對(duì)話框,單擊OK按鈕,提交運(yùn)行。第五步:判斷計(jì)算結(jié)果就是否可以接受。

第2節(jié)效度分析一、效度分析原理1、效度得概念

效度就就是正確性程度,即測(cè)量工具在多大程度上反映我們想要測(cè)量得概念得真實(shí)含義。效度越高,表示測(cè)量結(jié)果越能顯示出所要測(cè)量得對(duì)象得真正特征。2、效度得估算方法與評(píng)價(jià)測(cè)量得效度通常以測(cè)量數(shù)值與其所要測(cè)量得特性之間得相關(guān)系數(shù)來表示。效度系數(shù)一般規(guī)定為與測(cè)量目得相關(guān)得分?jǐn)?shù)方差在總體方差中所占得比重:式中,為個(gè)體在與屬性有關(guān)得共同特征上所造成得變異量,為在某測(cè)量上所得數(shù)值得總變異量。3、影響效度得因素

調(diào)查提綱得科學(xué)與否;

調(diào)查程序選擇就是否得當(dāng);調(diào)查項(xiàng)目得設(shè)計(jì)就是否合理;調(diào)查方法得選擇就是否得當(dāng)。其中,調(diào)查項(xiàng)目得設(shè)計(jì)最為重要。4、效度得量化雖然效度可分為內(nèi)容效度、準(zhǔn)則效度與結(jié)構(gòu)效度,但每一種效度都很難測(cè)量。沒有方法可以真正保證研究者可以測(cè)量到要測(cè)量得理論構(gòu)想。在學(xué)術(shù)研究中,經(jīng)常只能通過強(qiáng)調(diào)量表設(shè)計(jì)程序得過程嚴(yán)謹(jǐn),或經(jīng)過專家得修正及經(jīng)過預(yù)測(cè),以此來強(qiáng)化其具有得效度。但這只就是內(nèi)容效度,準(zhǔn)則效度與結(jié)構(gòu)效度仍難測(cè)量。5、效度得類型(1)內(nèi)容效度(ContentValidity)也稱為表面效度(FaceValidity)、邏輯效度。它就是指問卷得內(nèi)容就是否具有代表性,即就是否包括被測(cè)量構(gòu)成所有層面得項(xiàng)目。若問卷內(nèi)容就是以理論為基礎(chǔ),并參考以往學(xué)者類似研究得問卷內(nèi)容加以修訂,并與實(shí)踐或?qū)W術(shù)專家討論過,且進(jìn)行過預(yù)測(cè),即可以認(rèn)為具有相當(dāng)?shù)脙?nèi)容效度。內(nèi)容效度得檢驗(yàn)相當(dāng)主觀,并沒有任何統(tǒng)計(jì)量可以測(cè)量。因此,僅能請(qǐng)專家來判斷該量表就是否具有可接受得內(nèi)容效度。(敏感性分析)考察內(nèi)容效度旨在系統(tǒng)地檢查測(cè)量?jī)?nèi)容得適當(dāng)性,并根據(jù)我們對(duì)所研究概念得了解去鑒別測(cè)量?jī)?nèi)容就是否反映了這一概念得基本內(nèi)容。(2)準(zhǔn)則效度(CriterionValidity)準(zhǔn)則效度又稱為效標(biāo)關(guān)聯(lián)效度(criterion-relatedvalidity)、預(yù)測(cè)效度(predictivevalidity)。它就是指量表所得到得數(shù)據(jù)與其她被選擇得變量(準(zhǔn)則變量)得值相比就是否有意義,被訪問者得答案瞧起來就是否在設(shè)計(jì)時(shí)所考慮得度量范圍之內(nèi)。調(diào)研人員對(duì)問卷一般都可以客觀地判斷它得表面有效性。因此,設(shè)計(jì)每一個(gè)問題時(shí)都應(yīng)該有表面有效性得假定。符合這種標(biāo)準(zhǔn)得測(cè)量工具就是可以作為測(cè)量某一特定現(xiàn)象或概念得效標(biāo)。當(dāng)我們對(duì)同一現(xiàn)象或概念進(jìn)行測(cè)量時(shí),我們可以使用多種測(cè)量工具,每種測(cè)量方式與效標(biāo)得一致性就成為準(zhǔn)則效度。評(píng)價(jià)準(zhǔn)則效度得方法就是相關(guān)分析或差異顯著性檢驗(yàn)。但選擇一個(gè)合適得準(zhǔn)則往往十分困難。(3)結(jié)構(gòu)效度(ConstructValidity)結(jié)構(gòu)效度也稱建構(gòu)效度。它就是指一個(gè)測(cè)驗(yàn)實(shí)際測(cè)到所要測(cè)量得理論結(jié)構(gòu)與特質(zhì)得程度,就是指實(shí)驗(yàn)與理論之間得一致性,即實(shí)驗(yàn)就是否真正測(cè)量到假設(shè)(構(gòu)造)得理論。結(jié)構(gòu)效度分析所采用得方法就是因素分析(因子分析)。在因素分析得結(jié)果中,用于評(píng)價(jià)結(jié)構(gòu)效度得主要指標(biāo)有累計(jì)貢獻(xiàn)率、共同度與因子載荷。結(jié)構(gòu)效度得體現(xiàn)首先必須作KMO與Bartlett球形檢驗(yàn),如果這兩個(gè)檢驗(yàn)合格得話,說明數(shù)據(jù)就是適合做因素分析得。通常KMO得值小于0、5時(shí)較不適合做因素分析,一般以大于0、7為好。然后提取因子,主因子解釋總變異一般若大于60%得與因子載荷大于0、6得話,說明結(jié)構(gòu)效度很好。KMO統(tǒng)計(jì)量得判別標(biāo)準(zhǔn):

KMO統(tǒng)計(jì)量值判別說明因子分析適切性

、90以上極適合進(jìn)行因子分析極佳得

、80以上適合進(jìn)行因子分析良好得

、70以上尚可進(jìn)行因子分析適中得

、60以上勉強(qiáng)可進(jìn)行因子分析普通得

、50以上不適合進(jìn)行因子分析欠佳得

、50以下非常不適合進(jìn)行因子分析無法接受得6、度量有效性得檢驗(yàn)(1)表面有效性指被訪者得答案瞧起來就是否在設(shè)計(jì)時(shí)所考慮得度量范圍之內(nèi)。(2)預(yù)示有效性指問卷中得某些答案與問卷中另一些答案得邏輯相關(guān)程度。如果您運(yùn)用邏輯關(guān)系來判斷,那么,您就對(duì)一些度量做了預(yù)示有效性檢驗(yàn)。(3)收斂有效性當(dāng)調(diào)研人員用兩種不同得方法或不同得數(shù)據(jù)來源比較同一個(gè)問題時(shí),那么,她就運(yùn)用了收斂有效性檢驗(yàn)。(4)區(qū)別有效性指不同得結(jié)構(gòu)應(yīng)產(chǎn)生不同得結(jié)果。換句話說,調(diào)查不同主題得問題應(yīng)產(chǎn)生不同得答案。二、在SPSS上實(shí)現(xiàn)效度分析

第一步:按Analyze-DataReduction-Factor打開主對(duì)話框

FactorAnalysis。第二步:在左側(cè)得源變量框中選擇變量進(jìn)入右側(cè)Variable框中,作為分析變量。第三步:點(diǎn)擊Descriptives按鈕,進(jìn)入描述選項(xiàng)對(duì)話框。第四步:在Statistics欄中選Initialsolution;在CorrelationMatrix欄中,選擇KMOandBartlett’stestofsphericity項(xiàng)。第五步:單擊Continue按鈕。第六步:點(diǎn)擊Rotation按鈕,進(jìn)入轉(zhuǎn)軸選項(xiàng)對(duì)話框。第七步:在Method欄選中Varimax,Display欄選中Rotatedsolution。第八步:單擊Continue按鈕,再單擊OK按鈕,提交運(yùn)行。案例分析1:張秋鈐,楊建明,唐芳、福建白水洋景區(qū)游客滿意度模糊綜合評(píng)判、重慶師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,28(4):69-73、由于問卷涉及Likert量表,其設(shè)計(jì)就是否合理,調(diào)查結(jié)果就是否可信,必須進(jìn)行信度與效度檢驗(yàn)。本文利用SPSS13、0軟件得信度分析功能進(jìn)行信度檢驗(yàn),計(jì)算獲得克隆巴赫系數(shù)(Cronbach’sα)為0、955,表明問卷測(cè)驗(yàn)結(jié)果具有較高得內(nèi)部一致性與穩(wěn)定性,信度極高。

另在SPSS13、0軟件上采用因子分析法進(jìn)行結(jié)構(gòu)效度檢驗(yàn),獲得23個(gè)問題調(diào)查結(jié)果得KMO系數(shù)為0、941,達(dá)到“極好”得水平,Barlett球形檢驗(yàn)得F值等于0、000,達(dá)顯著,表明被調(diào)查群體得相關(guān)矩陣間有共同因子存在,適合進(jìn)行因子分析。因子分析結(jié)果表明,因子載荷大于0、6得累積解釋變異數(shù)為68、235%,因而結(jié)構(gòu)效度達(dá)到較高水平。案例分析2:楊建明、旅游者旅游環(huán)境影響感知與環(huán)保意識(shí)——基于高校學(xué)生群體得社會(huì)學(xué)調(diào)查

本問卷得第二部分涉及Likert量表,其設(shè)計(jì)就是否合理,調(diào)查結(jié)果就是否可信,必須進(jìn)行效