調(diào)查中的非抽樣誤差

調(diào)查中的非抽樣誤差第一頁(yè)，共四十一頁(yè)，編輯于2023年，星期一本章結(jié)構(gòu)11.1引言11.2抽樣框誤差11.3無(wú)回答誤差（補(bǔ)充敏感問(wèn)題調(diào)查）11.4計(jì)量誤差11.5離群值的檢測(cè)和處理第二頁(yè)，共四十一頁(yè)，編輯于2023年，星期一學(xué)習(xí)目標(biāo)理解調(diào)查中的誤差來(lái)源掌握抽樣框誤差的類型及不完善抽樣框的使用掌握無(wú)回答誤差的來(lái)源、影響及彌補(bǔ)措施掌握敏感性問(wèn)題調(diào)查模型了解計(jì)量誤差的來(lái)源第三頁(yè)，共四十一頁(yè)，編輯于2023年，星期一11.1引言一、概念抽樣誤差（samplingerror）是由于樣本的隨機(jī)性引起的樣本統(tǒng)計(jì)量的數(shù)值與總體目標(biāo)量真值之間的差異。它隨著樣本容量的增大而減小。非抽樣誤差（non-samplingerror）是指除了抽樣誤差之外，由于其他各種原因而引起的誤差，是所有調(diào)查都可能存在的誤差。第四頁(yè)，共四十一頁(yè)，編輯于2023年，星期一非抽樣誤差的特點(diǎn)1、具有普遍性，由于它不是由于樣本的隨機(jī)性帶來(lái)的，因而它不隨樣本容量的增大而減?。?、非抽樣誤差的存在往往造成估計(jì)量的有偏（如：無(wú)回答）；3、具有隱蔽性，難以識(shí)別或測(cè)定；4、產(chǎn)生原因復(fù)雜。第五頁(yè)，共四十一頁(yè)，編輯于2023年，星期一非抽樣誤差的產(chǎn)生1、可能在調(diào)查及抽樣設(shè)計(jì)階段產(chǎn)生，如：?jiǎn)柧碓O(shè)計(jì)不合理造成詞義含糊；抽樣設(shè)計(jì)中抽樣框不完善（這是一個(gè)重要原因）；抽樣設(shè)計(jì)中使用了不準(zhǔn)確的輔助信息等等；2、可能在數(shù)據(jù)采集階段產(chǎn)生，如：無(wú)法找到被調(diào)查者或被調(diào)查者不在家或者不愿意接受調(diào)查（無(wú)回答是數(shù)據(jù)收集階段產(chǎn)生非抽樣誤差的主要原因）；3、可能產(chǎn)生在數(shù)據(jù)處理與分析階段，如：對(duì)數(shù)據(jù)的審核、整理、編碼及錄入引起誤差。第六頁(yè)，共四十一頁(yè)，編輯于2023年，星期一非抽樣誤差的分類按照來(lái)源、性質(zhì)分三類：（1）抽樣框誤差——抽樣框不完善；（2）無(wú)回答誤差——沒(méi)有從調(diào)查單元獲得調(diào)查結(jié)果，造成數(shù)據(jù)的缺失；（3）計(jì)量誤差——所獲得的數(shù)據(jù)與其真值之間不一致。第七頁(yè)，共四十一頁(yè)，編輯于2023年，星期一11.2抽樣框誤差一、概念：1、抽樣框是有關(guān)總體全部單元的名錄或地圖等的框架，是抽取樣本單元的依據(jù)。2、理想的抽樣框(也稱抽樣總體)應(yīng)該同所研究現(xiàn)象的總體(也即目標(biāo)總體)一致，但在實(shí)踐中，抽樣總體與目標(biāo)總體常常不一致，由此產(chǎn)生的誤差就是抽樣框誤差。3、現(xiàn)實(shí)中完善的抽樣框往往難以得到第八頁(yè)，共四十一頁(yè)，編輯于2023年，星期一二、抽樣框誤差的類型及影響（一）類型1、丟失目標(biāo)總體單元（少或漏），這種誤差不易被察覺(jué)，可能造成總量估計(jì)偏低，均值估計(jì)有偏；2、包含非目標(biāo)總體單元（多），容易造成總量估計(jì)偏高，但比較容易察覺(jué)；3、復(fù)合連接（重復(fù)），指抽樣框中的單元與目標(biāo)總體單元不完全一一對(duì)應(yīng)，一個(gè)抽樣框單元與多個(gè)目標(biāo)單元連接或一個(gè)目標(biāo)單元與多個(gè)抽樣框單元連接，如：入戶調(diào)查中常出現(xiàn)的一門多戶或一戶多個(gè)住處等等；4、不正確的輔助信息，有些抽樣如分層臭氧、比率估計(jì)和回歸估計(jì)等等需要輔助信息，若信息不完全或不正確就會(huì)影響抽樣效果。第九頁(yè)，共四十一頁(yè)，編輯于2023年，星期一（二）對(duì)抽樣框的一些基本認(rèn)識(shí)1、建立抽樣框事先要做好充分的研究和資料搜集2、抽樣框的維護(hù)、使用需要不斷總結(jié)與研討3、有些不完善的抽樣框還可以使用，但是需要一定的財(cái)力、人力來(lái)修補(bǔ)、調(diào)整；4、抽樣框誤差有時(shí)會(huì)被解釋成其他形式的誤差第十頁(yè)，共四十一頁(yè)，編輯于2023年，星期一（三）抽樣框誤差的影響只對(duì)丟失目標(biāo)總體單元的抽樣框引起的誤差進(jìn)行分析：1、對(duì)總體總和的估計(jì)（1）總體總和的真值（2）總體總和的樣本估計(jì)值（3）偏倚（4）相對(duì)偏倚第十一頁(yè)，共四十一頁(yè)，編輯于2023年，星期一分析1、總體總和和估計(jì)的相對(duì)偏倚取決于r和W0兩個(gè)因素。2、r=1即丟失單元均值與抽樣框單元均值相等時(shí)，相對(duì)偏倚為-W03、r<1,相對(duì)偏倚的絕對(duì)值也小于W0的絕對(duì)值。第十二頁(yè)，共四十一頁(yè)，編輯于2023年，星期一2、對(duì)均值估計(jì)的影響（1）在抽樣框存在丟失單元時(shí)，均值的估計(jì)為：（2）估計(jì)量的偏倚為：（3）相對(duì)偏倚為：第十三頁(yè)，共四十一頁(yè)，編輯于2023年，星期一分析1、r=1,丟失單元均值和抽樣單元均值相同時(shí)，估計(jì)量是目標(biāo)變量的無(wú)偏估計(jì)；2、偏倚狀況隨著r的變化而變化。r>1估計(jì)偏低，r<1估計(jì)偏高。第十四頁(yè)，共四十一頁(yè)，編輯于2023年，星期一三、不完善抽樣框的使用（一）實(shí)行連接在調(diào)查方案設(shè)計(jì)階段制定一定的規(guī)則，使沒(méi)有包含在抽樣框中的目標(biāo)單元與包含在抽樣框中的單元相連接。如：對(duì)不在抽樣框中的學(xué)生與被抽中的學(xué)生實(shí)行連接（二）惟一連接對(duì)于抽樣框中存在的復(fù)合連接，在方案設(shè)計(jì)中規(guī)定只有唯一的單元被抽中。第十五頁(yè)，共四十一頁(yè)，編輯于2023年，星期一（三）使用多個(gè)抽樣框設(shè)樣本來(lái)自A、B兩個(gè)抽樣框，兩個(gè)抽樣框的單元總數(shù)分別為NA,NB,目標(biāo)總體被分成三個(gè)部分：區(qū)域a、區(qū)域b、區(qū)域ab1、利用抽樣框A的樣本對(duì)區(qū)域a、區(qū)域ab進(jìn)行事后分層的總和估計(jì)為：2、利用抽樣框B的樣本對(duì)區(qū)域b、區(qū)域ab進(jìn)行事后分層的總和估計(jì)為：第十六頁(yè)，共四十一頁(yè)，編輯于2023年，星期一3、目標(biāo)總體的總和估計(jì)為：其中WA,WB為適當(dāng)?shù)臋?quán)數(shù)，且WA+WB=14、估計(jì)量的方差近似表達(dá)為：其中，α、β分別為重疊部分的單元占抽樣框單元的比例：第十七頁(yè)，共四十一頁(yè)，編輯于2023年，星期一5、結(jié)合調(diào)查費(fèi)用來(lái)確定各抽樣框的樣本量na、nb和權(quán)數(shù)WA總費(fèi)用函數(shù)為：在總費(fèi)用給定的條件下使總方差最小的最優(yōu)抽樣比為：權(quán)數(shù)分別為：第十八頁(yè)，共四十一頁(yè)，編輯于2023年，星期一11.3無(wú)回答誤差一、概念1、無(wú)回答誤差是指在調(diào)查中由于各種原因，調(diào)查人員沒(méi)有能夠從入選樣本的單元獲得所需要的信息，由于數(shù)據(jù)缺失而造成的估計(jì)量的偏誤。2、無(wú)回答從內(nèi)容來(lái)看分為單元無(wú)回答和項(xiàng)目無(wú)回答。所謂單元無(wú)回答是指被調(diào)查單元沒(méi)有參與或拒絕接受調(diào)查而造成數(shù)據(jù)缺失；項(xiàng)目無(wú)回答指被調(diào)查者雖然接受了調(diào)查但是有些項(xiàng)目沒(méi)有回答。3、無(wú)回答從性質(zhì)上分為有意無(wú)回答和無(wú)意無(wú)回答。有意無(wú)回答往往是因?yàn)閷?duì)內(nèi)容反感或涉及個(gè)人隱私不愿意回答，它對(duì)數(shù)據(jù)質(zhì)量產(chǎn)生很大的影響；而無(wú)意無(wú)回答往往是被調(diào)查者生病、不在家或很忙無(wú)法接受調(diào)查。第十九頁(yè)，共四十一頁(yè)，編輯于2023年，星期一二、無(wú)回答產(chǎn)生的原因及影響在數(shù)據(jù)收集過(guò)程中都可能產(chǎn)生無(wú)回答誤差：1、查找階段由于地址不詳或已經(jīng)搬遷而無(wú)法找到被調(diào)查者，調(diào)查者不熟悉地址等等；2、接觸階段被調(diào)查者由于客觀原因無(wú)法接受調(diào)查或由于主觀原因不愿意接受調(diào)查；3、采訪階段，被調(diào)查者對(duì)于某些問(wèn)題不愿意提供答案或調(diào)查人員粗心遺漏一些項(xiàng)目或調(diào)查中斷等等。第二十頁(yè)，共四十一頁(yè)，編輯于2023年，星期一將總體分為“回答層”和“無(wú)回答層”1、總體均值為：2、從總體中抽取容量為n的簡(jiǎn)單隨機(jī)樣本，n1來(lái)自“回答層”，n0來(lái)自“無(wú)回答層”，則用來(lái)作為總體均值的估計(jì)的偏倚為：相對(duì)偏倚為：第二十一頁(yè)，共四十一頁(yè)，編輯于2023年，星期一將總體分為“回答層”和“無(wú)回答層”，對(duì)總體總量估計(jì)帶來(lái)的偏倚為：說(shuō)明：1、總量估計(jì)的相對(duì)偏倚與均值估計(jì)的相對(duì)偏倚相等，但絕對(duì)偏倚是均值估計(jì)絕對(duì)偏倚的N倍；2、導(dǎo)致無(wú)回答偏倚的因素有兩個(gè)：“回答層”與“無(wú)回答層”之間數(shù)量的差異及無(wú)回答率R03、如果無(wú)回答單元與回答單元目標(biāo)變量的數(shù)量特征沒(méi)有明顯的差異，則無(wú)回答可以看成是由于隨機(jī)原因所致，不會(huì)造成偏倚，而如果兩者不一致，差異越大偏倚就越大。第二十二頁(yè)，共四十一頁(yè)，編輯于2023年，星期一三、降低無(wú)回答的措施1、問(wèn)卷設(shè)計(jì)合理，激起被調(diào)查者的興趣2、利用調(diào)查組織者的權(quán)威性擴(kuò)大影響、激發(fā)參與意識(shí)3、選擇合適的調(diào)查員，做好調(diào)查前的培訓(xùn)4、對(duì)調(diào)查過(guò)程進(jìn)行監(jiān)控5、采用獎(jiǎng)勵(lì)措施6、再次調(diào)查，一般對(duì)被調(diào)查者要嘗試三次仍不成功才可以將其放棄7、替換被調(diào)查單元，替換原則應(yīng)該是調(diào)查設(shè)計(jì)時(shí)就規(guī)定好的；8、對(duì)敏感性問(wèn)題采用隨機(jī)化回答技術(shù)第二十三頁(yè)，共四十一頁(yè)，編輯于2023年，星期一四、對(duì)存在無(wú)回答數(shù)據(jù)的調(diào)整（了解）（一）在抽樣調(diào)整是指在第一次無(wú)回答的單元中隨機(jī)抽取一個(gè)子樣本，通過(guò)更加細(xì)致、更充分的工作獲得該子樣本的數(shù)據(jù)作為無(wú)回答層的代表值，然后將第一次調(diào)查中的回答層與第二次無(wú)回答層調(diào)查所得數(shù)據(jù)結(jié)合起來(lái)對(duì)總體參數(shù)進(jìn)行估計(jì)的方法。第二十四頁(yè)，共四十一頁(yè)，編輯于2023年，星期一（二）加權(quán)調(diào)整即通過(guò)給每個(gè)回答數(shù)據(jù)賦以不同的權(quán)數(shù)然后進(jìn)行數(shù)據(jù)處理，從而調(diào)整由于無(wú)回答引起的偏差。（三）相關(guān)推估法主要用于項(xiàng)目無(wú)回答時(shí)。思路是尋找與無(wú)回答問(wèn)題變量有關(guān)聯(lián)的其他調(diào)查問(wèn)題變量，利用調(diào)查數(shù)據(jù)建立起變量之間的回歸方程，對(duì)項(xiàng)目無(wú)回答變量值進(jìn)行推估。（四）插補(bǔ)調(diào)整是指在數(shù)據(jù)整理階段利用調(diào)查結(jié)果，采用一定的方式為無(wú)回答的缺失值確定一個(gè)合理的估計(jì)值，插補(bǔ)到原缺失數(shù)據(jù)的位置上。實(shí)際中一般涌均值插補(bǔ)。第二十五頁(yè)，共四十一頁(yè)，編輯于2023年，星期一補(bǔ)充：敏感性問(wèn)題調(diào)查與隨機(jī)化回答技術(shù)1、敏感性問(wèn)題（sensitivequestion）是指所調(diào)查的內(nèi)容涉及私人機(jī)密而不愿意或不便于公開表態(tài)或陳述的問(wèn)題，如：社會(huì)上的賣淫嫖娼、賭博吸毒、偷稅漏稅、婚前性行為等等。2、隨機(jī)化回答（randomizedresponse）的基本特征是被調(diào)查者對(duì)所調(diào)查問(wèn)題采取隨機(jī)回答的方式，避免在沒(méi)有任何保護(hù)的情況下直接回答敏感性問(wèn)題，從而既保護(hù)了被調(diào)查者的隱私和機(jī)密，又取得了真實(shí)的資料。第二十六頁(yè)，共四十一頁(yè)，編輯于2023年，星期一沃納隨機(jī)化回答模型該模型是由沃納（S.L.Warner）首先提出的。被調(diào)查者對(duì)兩個(gè)與敏感性特征有關(guān)的問(wèn)題給出肯定或否定的答案，問(wèn)題經(jīng)常以下面的形式出現(xiàn)：?jiǎn)栴}1：你具有特征A嗎？(如：?jiǎn)栴}1：你在考試中曾作過(guò)弊，對(duì)嗎？)問(wèn)題2：你具有特征嗎？（問(wèn)題2：你在考試中不曾作過(guò)弊，對(duì)嗎？）設(shè)計(jì)一個(gè)隨機(jī)化裝置使兩個(gè)問(wèn)題出現(xiàn)的概率比為P:(1-P);但只有被調(diào)查者才知道自己回答的是哪個(gè)問(wèn)題.第二十七頁(yè)，共四十一頁(yè)，編輯于2023年，星期一具體操作1、在一密閉的容器中放入兩種顏色不同（紅色和白色），但大小、形狀和重量完全相同的球，紅球和白球的比例為P:(1-P)（球的比例事先設(shè)定），抽到紅球如實(shí)回答1，抽到白球如實(shí)回答2。2、如果n個(gè)被調(diào)查者中共有m個(gè)回答“是”，那么，敏感性問(wèn)題1回答“是”的比例π可以按照條件概率得到。第二十八頁(yè)，共四十一頁(yè)，編輯于2023年，星期一沃納模型的估計(jì)量第二十九頁(yè)，共四十一頁(yè)，編輯于2023年，星期一例題某高校教務(wù)處采用沃納隨機(jī)化回答技術(shù)欲調(diào)查某學(xué)期期末考試作弊人數(shù)的真實(shí)比例。設(shè)計(jì)中直接提“你在期末考試中作過(guò)弊，對(duì)嗎？”問(wèn)題的比例為P=3/4,樣本量n=200,調(diào)查結(jié)果回答“是”的人數(shù)為60人，請(qǐng)估計(jì)曾經(jīng)作過(guò)弊的人數(shù)的比例，并給出90%的置信區(qū)間。第三十頁(yè)，共四十一頁(yè)，編輯于2023年，星期一西蒙斯隨機(jī)化回答模型

（無(wú)關(guān)問(wèn)題的隨機(jī)化回答模型）西蒙斯（W.R.Simmons）在沃納模型基礎(chǔ)上進(jìn)行改進(jìn)，將第二個(gè)問(wèn)題改為與所調(diào)查的敏感性問(wèn)題完全無(wú)關(guān)的另外一個(gè)非敏感性問(wèn)題.兩個(gè)問(wèn)題的一般陳述為：?jiǎn)栴}1：你具有特征A嗎？（特征A為敏感性）問(wèn)題2：你具有特征B嗎？（特征B為非敏感性）其中：具有特征的真實(shí)比例為未知的，而特征B的比例是設(shè)計(jì)時(shí)已知的,兩個(gè)問(wèn)題在隨機(jī)化回答中出現(xiàn)的比例假設(shè)仍為p:(1-p),其中p已知。第三十一頁(yè)，共四十一頁(yè)，編輯于2023年，星期一例如：?jiǎn)栴}1：你在期末考試中曾作過(guò)弊，對(duì)嗎？問(wèn)題2：你父親的生肖屬牛，對(duì)嗎？（）在n個(gè)被調(diào)查者中，有m個(gè)人回答“是”，那么：第三十二頁(yè)，共四十一頁(yè)，編輯于2023年，星期一例題[例]某社會(huì)學(xué)研究所欲調(diào)查已婚男子瞞著妻子存私房錢的情況，利用西蒙斯模型對(duì)隨機(jī)抽出的800個(gè)已婚男子進(jìn)行調(diào)查，設(shè)計(jì)的兩個(gè)問(wèn)題是：?jiǎn)栴}Ⅰ：你是否存私房錢？問(wèn)題Ⅱ：你的陽(yáng)歷生日日期是奇數(shù),對(duì)嗎？第三十三頁(yè)，共四十一頁(yè)，編輯于2023年，星期一解：n=800,m=420,p=0.5,第三十四頁(yè)，共四十一頁(yè)，編輯于2023年，星期一采用隨機(jī)化回答技術(shù)應(yīng)注意的問(wèn)題1、要使被調(diào)查者充分理解調(diào)查方法，特別是讓他們明白，他回答的是哪個(gè)問(wèn)題別人并不知曉，事前可以讓他抽取幾次，以便確信盒子中有不同顏色的球。2、所提的問(wèn)題必須簡(jiǎn)單明了，防止不同的理解，在調(diào)查之前就應(yīng)該明確問(wèn)題的含義。如：你的生日在五月，對(duì)嗎？（陰歷和陽(yáng)歷）3、在應(yīng)用西蒙斯模型時(shí)，無(wú)關(guān)問(wèn)題的選擇特別重要，一定要有隱蔽性，即：調(diào)查人員無(wú)從猜測(cè)被調(diào)查者的答案，否則就失去意義。（如：你的身份證號(hào)碼最后一位是奇數(shù)嗎？這個(gè)問(wèn)題就不好）第三十五頁(yè)，共四十一頁(yè)，編輯于2023年，星期一11.4計(jì)量誤差一、概念：計(jì)量誤差是指由于種種原因?qū)е碌恼{(diào)查中的數(shù)據(jù)與其真值不一致。二、原因1、設(shè)計(jì)不周引起的誤差2、被調(diào)查者誤差3、調(diào)查者誤差4、其他誤差（測(cè)量工具、編碼、錄入）第三十六頁(yè)，共四十一頁(yè)，編輯于2023年，星期一其中，被調(diào)查者誤差分為兩類：（1）無(wú)意識(shí)誤差主要表現(xiàn)為回憶誤差，是對(duì)被調(diào)查的內(nèi)容記憶不清而回答失真，無(wú)意識(shí)誤差還包括“傾向性數(shù)字”。（2）有意識(shí)誤差大多是由于問(wèn)題的敏感或其