02數(shù)據(jù)收集73347

1、統(tǒng)計(jì)學(xué),從數(shù)據(jù)到結(jié)論,第二章數(shù)據(jù)的收集,2.1 數(shù)據(jù)是怎樣得到的？,可從報(bào)紙、電視、互聯(lián)網(wǎng)、年鑒等方面看到各種數(shù)據(jù) 并且從這些數(shù)據(jù)可以提取對(duì)自己有用的信息。 這些間接得到的（并非自己收集的）數(shù)據(jù)都是二手?jǐn)?shù)據(jù)。,2.1 數(shù)據(jù)是怎樣得到的？,獲得第一手?jǐn)?shù)據(jù)要困難得多 某方便面企業(yè)每年至少花三四千萬元來收集和分析數(shù)據(jù) 調(diào)查其產(chǎn)品及競(jìng)爭(zhēng)者在市場(chǎng)中的狀況、各種類型消費(fèi)者對(duì)其產(chǎn)品的態(tài)度、收集各地方的經(jīng)濟(jì)交通等信息等等,2.1 數(shù)據(jù)是怎樣得到的？,他們?nèi)缤g諜，收集各種情報(bào) 他們很舍得在這方面花錢。因?yàn)槭袌?chǎng)信息數(shù)據(jù)是企業(yè)生存所必需的，絕不是可有可無的。,2.1 數(shù)據(jù)是怎樣得到的？,在自然的未被控制的條件下觀

2、測(cè)到的數(shù)據(jù)，稱為觀測(cè)數(shù)據(jù)(observational data)。 在人工干預(yù)和操作情況下收集的數(shù)據(jù)就稱為試驗(yàn)數(shù)據(jù)(experimental data)。 同學(xué)們自己可以舉出大量的觀測(cè)數(shù)據(jù)和試驗(yàn)數(shù)據(jù)的例子,2.2 個(gè)體、總體和樣本,需要調(diào)查北京市民對(duì)交通規(guī)則的觀點(diǎn)；對(duì)象是所有市民， 目的是希望知道市民中對(duì)該問題的不同看法各自占有的比例 顯然，不可能去問所有的北京市民，而只能夠問一部分； 并且根據(jù)這一部分的觀點(diǎn)來理解整個(gè)北京市民的總體觀點(diǎn)。,2.2 個(gè)體、總體和樣本,在這個(gè)例子中，單個(gè)北京市民的觀點(diǎn)稱為個(gè)體(element) 所有北京市民對(duì)這個(gè)問題的觀點(diǎn)為一個(gè)總體(population)，總體是

3、包含所有要研究的個(gè)體的集合。,2.2 個(gè)體、總體和樣本,而調(diào)查時(shí)問到的那部分市民的觀點(diǎn)（也就是部分個(gè)體）稱為該總體的一個(gè)樣本(sample)，是總體的一部分。 也有可能試圖調(diào)查所有的人（比如人口普查），那叫做普查(census)。,2.2 個(gè)體、總體和樣本,在抽取樣本時(shí)，如果總體中的每一個(gè)體都有同等機(jī)會(huì)被選到樣本中，這種抽樣稱為簡(jiǎn)單隨機(jī)抽樣（simple random sampling）， 而這樣得到的樣本則稱為隨機(jī)樣本（random sample）。,2.2 個(gè)體、總體和樣本,如果總體是一鍋八寶粥，隨機(jī)樣本則是充分?jǐn)嚢韬蟮陌藢氈嘀械娜我庖簧?該勺中的八寶粥的成分比例應(yīng)該和整個(gè)一鍋粥類似 攪拌

4、越充分，樣本的代表性也越好,2.3 收集數(shù)據(jù)時(shí)的誤差,一勺八寶粥中的成分比例和整鍋不盡相同，可能稍微多些或稍微少些。這是很正常的，因?yàn)闃颖镜奶卣鞑灰欢ê涂傮w完全一樣 這種差異不是錯(cuò)誤，而是必然會(huì)出現(xiàn)的抽樣誤差（sampling error）。,2.3 收集數(shù)據(jù)時(shí)的誤差,抽樣調(diào)查中，人們因?yàn)榉N種原因沒有對(duì)調(diào)查做出反映，這種誤差稱為未響應(yīng)誤差（nonresponse error）。 一些人因?yàn)楦鞣N原因回答時(shí)并沒有真實(shí)反映他們的觀點(diǎn)，這稱為響應(yīng)誤差（response error）。,2.3 收集數(shù)據(jù)時(shí)的誤差,和抽樣誤差不一樣，未響應(yīng)誤差和響應(yīng)誤差都會(huì)影響對(duì)真實(shí)世界的了解 應(yīng)該在設(shè)計(jì)調(diào)查方案時(shí)和進(jìn)行調(diào)

5、查過程中盡量避免,2.4 抽樣調(diào)查時(shí)獲得數(shù)據(jù)的一些常用方法,在抽樣調(diào)查時(shí)，最理想的樣本是隨機(jī)樣本。但是實(shí)踐起來不方便 在大規(guī)模調(diào)查時(shí)一般不用全部隨機(jī)抽樣的方式，而只是在局部采用隨機(jī)抽樣的方法。,2.4 抽樣調(diào)查時(shí)獲得數(shù)據(jù)的一些常用方法,下面介紹的幾種抽樣方法沒有深?yuàn)W的理論；讀者完全可以根據(jù)常識(shí)判斷在什么情況下獲取簡(jiǎn)單的隨機(jī)樣本不方便以及每個(gè)方法有什么好處和缺陷。 實(shí)際上，一般僅有少數(shù)人有機(jī)會(huì)來確定抽樣方案。讀者僅需把這些方法當(dāng)成常識(shí)來了解就可以了（或者跳過這部分）,2.4 抽樣調(diào)查時(shí)獲得數(shù)據(jù)的一些常用方法,分層抽樣（stratified sampling）。這是先把要研究的總體按照某些性質(zhì)分類

6、（stratum），再在各類中分別抽取樣本。 比如，按教育程度把感興趣的人群分成幾類；再在每一類中調(diào)查和該類成比例數(shù)目的人，以確保每一類都有相應(yīng)比例的代表。,2.4 抽樣調(diào)查時(shí)獲得數(shù)據(jù)的一些常用方法,整群抽樣（cluster sampling）先把總體劃分成若干群（cluster），再（通常是隨機(jī)地）從這些群中抽取幾群；然后再在這些抽取的群中對(duì)個(gè)體進(jìn)行簡(jiǎn)單隨機(jī)抽樣。 比如，在某縣進(jìn)行調(diào)查，首先在所有村中選取若干村子，然后只對(duì)這些選中的村子的人進(jìn)行調(diào)查。如果各村情況差異不大，這種抽樣還是方便的。,2.4 抽樣調(diào)查時(shí)獲得數(shù)據(jù)的一些常用方法,多級(jí)抽樣(multistage sampling)。 在群

7、體很大時(shí)，往往在抽取若干群之后，再在其中抽取若干子群，甚至再在子群中抽取子群，等等。最后只對(duì)最后選定的最下面一級(jí)進(jìn)行調(diào)查。 比如在全國調(diào)查時(shí)，先抽取省，再抽取市地，再抽取縣區(qū)，再抽取鄉(xiāng)、村直到戶。每一級(jí)都可能采取各種抽樣方法。也稱為多級(jí)混和型抽樣。,2.4 抽樣調(diào)查時(shí)獲得數(shù)據(jù)的一些常用方法,系統(tǒng)抽樣（systematic sampling）。這是先把總體中的每個(gè)單元編號(hào)，然后隨機(jī)選取其中之一作為抽樣的開始點(diǎn)進(jìn)行抽樣。 在選取開始點(diǎn)之后，通常從開始點(diǎn)開始按照編號(hào)進(jìn)行所謂等距抽樣；也就是說，如果開始點(diǎn)為5號(hào)，“距離”為10，則下面的調(diào)查對(duì)象為15號(hào)、25號(hào)等等。 不難想象，如果編號(hào)是隨機(jī)選取的，則這和簡(jiǎn)單隨機(jī)抽樣是等價(jià)的。,附：隨機(jī)數(shù)的產(chǎn)生,大小為N的總體中產(chǎn)生樣本量為n的隨機(jī)樣本的一個(gè)常用的方法是利用隨機(jī)數(shù)（random number） 利用隨機(jī)數(shù)步驟為：(1) 把總體的所有個(gè)體編號(hào)；(2) 產(chǎn)生n個(gè)在0到N之間的隨機(jī)數(shù)；(3)與如此產(chǎn)生的隨機(jī)數(shù)中的數(shù)目相同的個(gè)體則形成了樣本量為n的簡(jiǎn)單隨機(jī)樣本。,附：隨機(jī)數(shù)的產(chǎn)生,最原始的辦法是擲一種正20面體的均勻材料制成的