第十一章數(shù)據(jù)處理ppt課件

1、第十一章 數(shù)據(jù)處置本章要點：本章要點： 了解數(shù)據(jù)處置的概念和普通程序了解數(shù)據(jù)處置的概念和普通程序 了解并掌握前編碼設(shè)計的各種方法了解并掌握前編碼設(shè)計的各種方法 了解審核的準(zhǔn)那么和選擇性審核的方法了解審核的準(zhǔn)那么和選擇性審核的方法 熟習(xí)實際中各種插補(bǔ)方法熟習(xí)實際中各種插補(bǔ)方法開篇案例：某城市外出就餐調(diào)查的有開篇案例：某城市外出就餐調(diào)查的有關(guān)數(shù)據(jù)關(guān)數(shù)據(jù) 在某城市調(diào)查居民當(dāng)月在外就餐的費(fèi)用，向1000戶家庭發(fā)放了調(diào)查詢卷。訊問當(dāng)月該戶在外就餐的費(fèi)用為：1，100元以下；2，100300元；3，300500元；4，5001000元；5，1000元以上?；厥樟?68份問卷。統(tǒng)計結(jié)果如表所示：類類1001

2、0030030050050010001000合合計計頻數(shù)頻數(shù)41224882260768 不呼應(yīng)的有不呼應(yīng)的有232戶。研討呼應(yīng)的戶。研討呼應(yīng)的768戶與不戶與不呼應(yīng)的呼應(yīng)的232戶的居住環(huán)境，兩者相差懸殊，戶的居住環(huán)境，兩者相差懸殊，普通居民住宅與高檔住宅的比例有明顯差普通居民住宅與高檔住宅的比例有明顯差別。在相應(yīng)的別。在相應(yīng)的768戶中，高檔住宅戶僅占戶中，高檔住宅戶僅占1.6%，而不呼應(yīng)的，而不呼應(yīng)的232戶中，高檔住宅占戶中，高檔住宅占到到38%。在調(diào)查到的。在調(diào)查到的12戶高檔住宅戶中有戶高檔住宅戶中有5戶選擇戶選擇3，7戶選擇戶選擇4，根據(jù)這樣的背景，完，根據(jù)這樣的背景，完全可以斷

3、定實踐回收的全可以斷定實踐回收的768戶樣本的構(gòu)造與戶樣本的構(gòu)造與原設(shè)計的原設(shè)計的1000戶的構(gòu)造石油本質(zhì)差別的。戶的構(gòu)造石油本質(zhì)差別的。 那么應(yīng)該如何對待這些數(shù)據(jù)呢？如何運(yùn)用那么應(yīng)該如何對待這些數(shù)據(jù)呢？如何運(yùn)用這些數(shù)據(jù)對總體進(jìn)展推斷呢？這些數(shù)據(jù)對總體進(jìn)展推斷呢？一、數(shù)據(jù)處置及其普通程序一、數(shù)據(jù)處置及其普通程序 數(shù)據(jù)處置，廣義上是指在對數(shù)據(jù)資料進(jìn)展數(shù)據(jù)處置，廣義上是指在對數(shù)據(jù)資料進(jìn)展統(tǒng)計分析之前要做的預(yù)備任務(wù)，包括對定統(tǒng)計分析之前要做的預(yù)備任務(wù)，包括對定性資料的分類、簡化，對定量資料的匯總性資料的分類、簡化，對定量資料的匯總和分組等。和分組等。數(shù)據(jù)處置的普通程序數(shù)據(jù)處置的普通程序初步審核及進(jìn)化

4、數(shù)據(jù)編碼數(shù)據(jù)錄入詳細(xì)審核與插補(bǔ)離群值的檢測處理數(shù)據(jù)存儲1、初步審核及凈化、初步審核及凈化 審核問卷填寫的完好性和數(shù)據(jù)質(zhì)量，目的是確定審核問卷填寫的完好性和數(shù)據(jù)質(zhì)量，目的是確定哪些問卷可以接受，哪些問卷是要被剔除的。哪些問卷可以接受，哪些問卷是要被剔除的。 普通來說，以下情況的問卷是不能接受的：普通來說，以下情況的問卷是不能接受的： 所回收的問卷是明顯不完好的，如缺頁或多頁；所回收的問卷是明顯不完好的，如缺頁或多頁； 問卷從整體上是回答不完全的；問卷從整體上是回答不完全的； 問卷的幾個部分是回答不完好的；問卷的幾個部分是回答不完好的； 回答闡明被訪者沒有弄清楚問題的含義或沒有閱回答闡明被訪者沒有

5、弄清楚問題的含義或沒有閱讀答卷的重要闡明；讀答卷的重要闡明； 被訪者的回答表現(xiàn)出某種系統(tǒng)偏向，如在五級量被訪者的回答表現(xiàn)出某種系統(tǒng)偏向，如在五級量表丈量的一些列問題中總是選擇中性答案；表丈量的一些列問題中總是選擇中性答案； 問卷是由不合要求的被訪者回答的。問卷是由不合要求的被訪者回答的。2、數(shù)據(jù)編碼、數(shù)據(jù)編碼 就是對一個問題的不同回答進(jìn)展分組和確定數(shù)字就是對一個問題的不同回答進(jìn)展分組和確定數(shù)字代碼的過程。代碼的過程。 編碼設(shè)計的詳細(xì)內(nèi)容包括：問卷代碼、變量的定編碼設(shè)計的詳細(xì)內(nèi)容包括：問卷代碼、變量的定義稱號、類型、位數(shù)、對應(yīng)問題等義稱號、類型、位數(shù)、對應(yīng)問題等 問卷代碼主要包括訪員代碼、問卷代

6、碼及與抽樣問卷代碼主要包括訪員代碼、問卷代碼及與抽樣或調(diào)查對象有關(guān)的子總體的代碼等。例如，某問或調(diào)查對象有關(guān)的子總體的代碼等。例如，某問卷的代碼為卷的代碼為“1031102，第一位數(shù)字，第一位數(shù)字1代表上代表上海航空公司，后面海航空公司，后面03代表代表652次航班，再后面兩次航班，再后面兩位數(shù)字位數(shù)字11代表訪員編號，最后兩位數(shù)字代表訪員編號，最后兩位數(shù)字02代表該代表該訪員在此航班勝利完成的第訪員在此航班勝利完成的第2分問卷。分問卷。編碼設(shè)計的分類編碼設(shè)計的分類 根據(jù)問卷構(gòu)造分為構(gòu)造式問卷編碼設(shè)計和根據(jù)問卷構(gòu)造分為構(gòu)造式問卷編碼設(shè)計和非構(gòu)造式問卷編碼設(shè)計非構(gòu)造式問卷編碼設(shè)計 根據(jù)問題類型分

7、為封鎖題、半封鎖題和開根據(jù)問題類型分為封鎖題、半封鎖題和開放題編碼設(shè)計放題編碼設(shè)計 根據(jù)編碼設(shè)計的時間與方法分為前編碼設(shè)根據(jù)編碼設(shè)計的時間與方法分為前編碼設(shè)計和后編碼設(shè)計兩種計和后編碼設(shè)計兩種前編碼設(shè)計前編碼設(shè)計 前編碼設(shè)計要求事先知問題的答案類別，前編碼設(shè)計要求事先知問題的答案類別，主要運(yùn)用于構(gòu)造式問卷中的封鎖題和數(shù)字主要運(yùn)用于構(gòu)造式問卷中的封鎖題和數(shù)字型開放題。型開放題。封鎖式問題的編碼封鎖式問題的編碼 單項選擇的封鎖式問題或量表的編碼單項選擇的封鎖式問題或量表的編碼 例如：請問您乘坐的艙位是：例如：請問您乘坐的艙位是： 1頭等艙頭等艙 2公務(wù)艙公務(wù)艙 3經(jīng)濟(jì)艙經(jīng)濟(jì)艙 對上題編碼，定義變量

8、取值范圍為對上題編碼，定義變量取值范圍為1，2，3，9，分別代表頭等艙，公務(wù)艙，經(jīng)濟(jì)艙和無，分別代表頭等艙，公務(wù)艙，經(jīng)濟(jì)艙和無回答。回答。多項選擇的封鎖式問題或量表的多項選擇的封鎖式問題或量表的編碼編碼 這類多項選擇問題需求運(yùn)用多個變量來表這類多項選擇問題需求運(yùn)用多個變量來表示。根據(jù)設(shè)立的變量個數(shù)及變量取值的不示。根據(jù)設(shè)立的變量個數(shù)及變量取值的不同，通常有兩種編碼方式：同，通常有兩種編碼方式： 方法一：所設(shè)立的變量個數(shù)與問卷提供的方法一：所設(shè)立的變量個數(shù)與問卷提供的選項個數(shù)一樣，即每個選項就是一個變量，選項個數(shù)一樣，即每個選項就是一個變量，每個變量取值都是每個變量取值都是0或或1，假設(shè)被訪者選

9、擇，假設(shè)被訪者選擇該選項，變量取值該選項，變量取值1，否那么為，否那么為0。例如：您選擇本次航班的緣由？可例如：您選擇本次航班的緣由？可以選擇多項以選擇多項 平安有保證平安有保證 航班時辰適當(dāng)航班時辰適當(dāng) 機(jī)型好機(jī)型好 效力好效力好 持常旅客卡持常旅客卡 航班正點航班正點 折扣票折扣票 游覽社安排游覽社安排 無其他航班無其他航班 其他其他對上題的編碼如下表所示，這種編碼方法的優(yōu)點是編對上題的編碼如下表所示，這種編碼方法的優(yōu)點是編碼的結(jié)果不用經(jīng)過轉(zhuǎn)換，可直接分析；缺陷是變量隨碼的結(jié)果不用經(jīng)過轉(zhuǎn)換，可直接分析；缺陷是變量隨選項增多而增多，對于樣本大，錄入任務(wù)量較大。選項增多而增多，對于樣本大，錄入

10、任務(wù)量較大。變量變量序號序號變量變量名名變量類變量類型型變量所變量所占字節(jié)占字節(jié)取值取值范圍范圍取值對應(yīng)含取值對應(yīng)含義義備注備注對應(yīng)問對應(yīng)問題題6V6-1數(shù)值型數(shù)值型10或或1取值為取值為1，表明該選項表明該選項為選擇本次為選擇本次航班的原因，航班的原因，取值為取值為0，則不是則不是全為全為0表表示該題示該題無回答無回答6、您、您選擇本選擇本次航班次航班的原因的原因7V6-2數(shù)值型數(shù)值型10或或18V6-3數(shù)值型數(shù)值型10或或19V6-4數(shù)值型數(shù)值型10或或110V6-5數(shù)值型數(shù)值型10或或111V6-6數(shù)值型數(shù)值型10或或112V6-7數(shù)值型數(shù)值型10或或113V6-8數(shù)值型數(shù)值型10或或1

11、14V6-9數(shù)值型數(shù)值型10或或115V6-10 數(shù)值型數(shù)值型10或或1方法二：方法二： 所設(shè)立的變量個數(shù)為最多可以選擇的選項個數(shù)，變量取值為所選擇答案的選項號，變量陳列順序即為選擇答案的順序。變量變量序號序號變量變量名名變量類變量類型型變量所變量所占字節(jié)占字節(jié)取值取值范圍范圍取值對應(yīng)含義取值對應(yīng)含義備注備注對應(yīng)問對應(yīng)問題題6V6-1數(shù)值型數(shù)值型1010取值為取值為010，表明該選項為表明該選項為選擇本次航班選擇本次航班的原因，取值的原因，取值為為0，表明其余，表明其余選項都不是原選項都不是原因因全為全為0表表示該示該題無題無回答回答6、您、您選擇本選擇本次航班次航班的原因的原因7V6-2數(shù)值

12、型數(shù)值型10108V6-3數(shù)值型數(shù)值型1010數(shù)字型開放式問題的編碼數(shù)字型開放式問題的編碼 對直接回答數(shù)字的問題，變量取值即為該對直接回答數(shù)字的問題，變量取值即為該數(shù)字。設(shè)計編碼時變量的丈量程度應(yīng)盡能數(shù)字。設(shè)計編碼時變量的丈量程度應(yīng)盡能夠高一些。夠高一些。 變量所占字節(jié)數(shù)可以根據(jù)事先估計的數(shù)字變量所占字節(jié)數(shù)可以根據(jù)事先估計的數(shù)字最大值的位數(shù)確定。最大值的位數(shù)確定。后編碼設(shè)計后編碼設(shè)計 市場調(diào)查中有些問題的答案事先無法預(yù)料市場調(diào)查中有些問題的答案事先無法預(yù)料或難以完全羅列出來，但又希望能對答案或難以完全羅列出來，但又希望能對答案進(jìn)展定量分析。進(jìn)展定量分析。步驟：步驟： 1、列出答案、列出答案 2

13、、將一切有意義的答案列成頻數(shù)分布表、將一切有意義的答案列成頻數(shù)分布表 3、確定可以接受的分組數(shù)、確定可以接受的分組數(shù) 4、挑選和合并答案。對頻數(shù)較少的答案盡能夠、挑選和合并答案。對頻數(shù)較少的答案盡能夠歸并成含義詳盡的幾組，對含義相差大的或頻數(shù)歸并成含義詳盡的幾組，對含義相差大的或頻數(shù)不多的，以不多的，以“其他其他概括為一組。概括為一組。 5、對確定的分組選擇正是的描畫詞匯、對確定的分組選擇正是的描畫詞匯 6、根據(jù)分組結(jié)果制定編碼規(guī)那么、根據(jù)分組結(jié)果制定編碼規(guī)那么 7、對全部回收調(diào)查表進(jìn)展編碼、對全部回收調(diào)查表進(jìn)展編碼請問您為何選擇該品牌？請問您為何選擇該品牌？調(diào)查者翻閱一切的回答后，將緣由利益

14、列出，而后歸并成調(diào)查者翻閱一切的回答后，將緣由利益列出，而后歸并成6類，類，并指定號碼。并指定號碼。開放式問題的答案：開放式問題的答案：1、質(zhì)量好、質(zhì)量好 2、外形美觀、外形美觀 3、價錢廉價、價錢廉價 4、明晰明晰 5、顏色豐富、顏色豐富 6、耐用、耐用 7、高科技、高科技 8、體積小、體積小 9、是名牌是名牌 10、大家都買這個牌子、大家都買這個牌子 11、經(jīng)常在廣告中看到、經(jīng)常在廣告中看到 12、我沒想過、我沒想過 13、我不知道、我不知道 14 沒有什么特別的緣由沒有什么特別的緣由分類編碼：回答類別描畫分類編碼：回答類別描畫 回答回答 分類的數(shù)字編碼分類的數(shù)字編碼 質(zhì)量好質(zhì)量好 1、4

15、、6 1 外形美觀外形美觀 2、5 2 價錢廉價價錢廉價 3 3 體積小體積小 6 4 名牌名牌 9、10、11 5 不知道不知道 12、13、14 6計算機(jī)處置的編碼明細(xì)單：計算機(jī)處置的編碼明細(xì)單： 是一份闡明問卷中各個問題答案，是一份闡明問卷中各個問題答案，與計算機(jī)數(shù)據(jù)文件中的字段、數(shù)碼位數(shù)及數(shù)碼之間的一與計算機(jī)數(shù)據(jù)文件中的字段、數(shù)碼位數(shù)及數(shù)碼之間的一一對應(yīng)關(guān)系的文件。一對應(yīng)關(guān)系的文件。須留意的問題：須留意的問題：1、一切的資料都必需轉(zhuǎn)化成數(shù)值、一切的資料都必需轉(zhuǎn)化成數(shù)值 2、每一個數(shù)值碼占據(jù)一列，要為每個變量留出足夠的列數(shù)、每一個數(shù)值碼占據(jù)一列，要為每個變量留出足夠的列數(shù)3、對無信息的答

16、案賦予規(guī)范代碼。例如用、對無信息的答案賦予規(guī)范代碼。例如用“8表示表示“不知不知道、道、“9表示表示“無窮大、無窮大、0“表示不適宜表示不適宜“4、每一條記錄的第一個字段都為被調(diào)查人的序列號，即問、每一條記錄的第一個字段都為被調(diào)查人的序列號，即問卷編號。卷編號。 某先生，我是三峽大學(xué)學(xué)生，我們利用課余時間進(jìn)展實習(xí)，想某先生，我是三峽大學(xué)學(xué)生，我們利用課余時間進(jìn)展實習(xí)，想要打擾您，討教關(guān)于彩電品牌的意見，這是我們送給您的要打擾您，討教關(guān)于彩電品牌的意見，這是我們送給您的一點小禮物。一點小禮物。1、請問府上有沒有彩電？、請問府上有沒有彩電？有有 沒有跳問第十題沒有跳問第十題2、請問府上的彩電是哪一

17、種品牌？、請問府上的彩電是哪一種品牌？長虹長虹 海爾海爾 康佳康佳 樂華樂華 TCL LG 其他其他 3、請問府上的彩電購買有誰提議或引薦的？、請問府上的彩電購買有誰提議或引薦的？ 先生先生 主婦主婦 子女子女 親朋親朋 其他其他編碼明細(xì)單：編碼明細(xì)單：問題字段問題字段 所占數(shù)碼列所占數(shù)碼列 問題摘要問題摘要 碼值涵義碼值涵義 14 問卷編號問卷編號 5 有無彩電有無彩電 1=有、有、2=無無 6 品牌品牌 1=長虹長虹 2=海爾海爾 三、詳細(xì)審核與插補(bǔ)三、詳細(xì)審核與插補(bǔ) 問卷和數(shù)據(jù)的詳細(xì)審核是在數(shù)據(jù)錄入到計問卷和數(shù)據(jù)的詳細(xì)審核是在數(shù)據(jù)錄入到計算機(jī)以后進(jìn)展的。經(jīng)過詳細(xì)審核，將存在算機(jī)以后進(jìn)展的

18、。經(jīng)過詳細(xì)審核，將存在一處或多出錯誤的調(diào)查詢卷跳出，留待進(jìn)一處或多出錯誤的調(diào)查詢卷跳出，留待進(jìn)一步處置。一步處置。 審核主要分為三類：有效性審核、一致性審核主要分為三類：有效性審核、一致性審核與分布審核。審核與分布審核。 插補(bǔ)就是處理在審核過程中區(qū)分出來的數(shù)插補(bǔ)就是處理在審核過程中區(qū)分出來的數(shù)據(jù)缺失、無效與不一致等問題的過程。據(jù)缺失、無效與不一致等問題的過程。 插補(bǔ)分為：確定性插補(bǔ)和隨機(jī)插補(bǔ)。插補(bǔ)分為：確定性插補(bǔ)和隨機(jī)插補(bǔ)。四、離群值的檢測與處置四、離群值的檢測與處置 離群值的檢測可以看做審核的一種類型，離群值的檢測可以看做審核的一種類型，主要是用來發(fā)現(xiàn)和確認(rèn)可疑值或極值，并主要是用來發(fā)現(xiàn)和確

19、認(rèn)可疑值或極值，并思索作進(jìn)一步處置。思索作進(jìn)一步處置。離群值的處置離群值的處置 改動數(shù)值改動數(shù)值 調(diào)整權(quán)數(shù)調(diào)整權(quán)數(shù) 運(yùn)用穩(wěn)健估計運(yùn)用穩(wěn)健估計五、將數(shù)據(jù)儲存在數(shù)據(jù)庫中五、將數(shù)據(jù)儲存在數(shù)據(jù)庫中 校檢后，就可以進(jìn)展數(shù)據(jù)輸入和統(tǒng)計了。將原始校檢后，就可以進(jìn)展數(shù)據(jù)輸入和統(tǒng)計了。將原始數(shù)據(jù)輸入計算機(jī)，目前運(yùn)用最多的是鍵盤輸入，數(shù)據(jù)輸入計算機(jī)，目前運(yùn)用最多的是鍵盤輸入，由于數(shù)量浩大，普通有數(shù)據(jù)輸入一人，校正一人。由于數(shù)量浩大，普通有數(shù)據(jù)輸入一人，校正一人。 目前，在國外有一種用光學(xué)掃描系統(tǒng)直接閱目前，在國外有一種用光學(xué)掃描系統(tǒng)直接閱讀原始數(shù)據(jù)的數(shù)據(jù)輸入方法，比人工鍵盤輸人大讀原始數(shù)據(jù)的數(shù)據(jù)輸入方法，比人工鍵

20、盤輸人大大提高了效率，也降低了人工輸入的錯誤發(fā)生率。大提高了效率，也降低了人工輸入的錯誤發(fā)生率。但是由于運(yùn)用這一設(shè)備的費(fèi)用較高，需求高度規(guī)但是由于運(yùn)用這一設(shè)備的費(fèi)用較高，需求高度規(guī)范化的問卷，及適宜于光學(xué)掃描的特殊紙張等等，范化的問卷，及適宜于光學(xué)掃描的特殊紙張等等，這一技術(shù)在國內(nèi)還未有人運(yùn)用。這一技術(shù)在國內(nèi)還未有人運(yùn)用。四、制表四、制表數(shù)據(jù)輸入計算機(jī)后普通需用表格或圖、線等方式統(tǒng)計并表數(shù)據(jù)輸入計算機(jī)后普通需用表格或圖、線等方式統(tǒng)計并表達(dá)出來，便于研討人員的分析。達(dá)出來，便于研討人員的分析。最簡單也最常見的是單向表，用來統(tǒng)計各組的問卷答案選最簡單也最常見的是單向表，用來統(tǒng)計各組的問卷答案選擇項

21、的出現(xiàn)次數(shù)，普通還需加上百分比和累計百分比兩項。經(jīng)擇項的出現(xiàn)次數(shù)，普通還需加上百分比和累計百分比兩項。經(jīng)常運(yùn)用的還有雙向交叉表。雙向交叉表就是經(jīng)過表格分類來顯常運(yùn)用的還有雙向交叉表。雙向交叉表就是經(jīng)過表格分類來顯示資料數(shù)據(jù)的多種特征，因此勝利地編制交叉表，必需正確選示資料數(shù)據(jù)的多種特征，因此勝利地編制交叉表，必需正確選擇變量，合理分析這些變量之間的關(guān)系。擇變量，合理分析這些變量之間的關(guān)系。 請問您能否想買一部空調(diào)器請問您能否想買一部空調(diào)器? ?A A很想買很想買B B想買想買C C不一定不一定D D不想買不想買E E很不想買很不想買又，請問您覺得空調(diào)器的價錢如何又，請問您覺得空調(diào)器的價錢如何?

22、 ?A A很貴很貴B.B.貴貴C C適中適中E E廉價兩個問題的結(jié)果廉價兩個問題的結(jié)果( (舉例舉例) )為：為：( (見下表見下表) ) 項項 目目很很想想買買想想買買不不一一定定不不想想買買很很不不想想買買合合計計次次數(shù)數(shù)100100100100100500百百分分百百20%20%20%20%20%100%項項目目很很貴貴貴貴適適中中便便宜宜合合計計-次次數(shù)數(shù)125125125125500-百百分分百百25%25%25%25%100%-項項 目目很很想想買買想想買買不不一一定定不不想想買買很很不不想想買買合合計計次次數(shù)數(shù)100100100100100500百百分分百百20%20%20%20%20%100%項項目目很很貴貴貴貴適適中中便便宜宜合合計計-次次數(shù)數(shù)125125125