小數(shù)據(jù)時(shí)代的隨機(jī)采樣

小數(shù)據(jù)時(shí)代的隨機(jī)采樣從政府到企業(yè)政府一直都試圖通過(guò)收集信息來(lái)管理國(guó)民。小企業(yè)和個(gè)人也可以擁有大規(guī)模收集和分類(lèi)數(shù)據(jù)的能力。人口普查古代埃及曾進(jìn)行過(guò)人口普查，《舊約》和《新約》中對(duì)此都有所提及。1086年英國(guó)皇家委員穿越整個(gè)國(guó)家，對(duì)當(dāng)時(shí)的人口、土地和財(cái)產(chǎn)做了一個(gè)前所未有的全面記載。當(dāng)時(shí)收集的信息也只是一個(gè)大概情況，不可能準(zhǔn)確記錄下每個(gè)人的信息?！叭丝谄詹椤边@個(gè)詞來(lái)源于拉丁語(yǔ)的censere，本意就是推測(cè)、估算。人口普查人口普查具有其復(fù)雜性以及耗時(shí)耗費(fèi)的特點(diǎn)。古羅馬在擁有數(shù)十萬(wàn)人口的時(shí)候每5年普查一次。美國(guó)憲法規(guī)定每10年進(jìn)行一次人口普查。到19世紀(jì)末，即使這樣不頻繁的人口普查依然很困難，因?yàn)閿?shù)據(jù)變化的速度超過(guò)了人口普查局統(tǒng)計(jì)分析的能力。統(tǒng)計(jì)雛形三百多年前，英國(guó)縫紉用品商約翰·格朗特提出一個(gè)方法，來(lái)推算出鼠疫時(shí)期倫敦的人口數(shù)，利用少量有用的樣本信息來(lái)獲取人口的整體情況，這就是后來(lái)的統(tǒng)計(jì)學(xué)。樣本分析法一直都有較大的漏洞，因此，無(wú)論是進(jìn)行人口普查還是其他大數(shù)據(jù)類(lèi)的任務(wù)，人們還是一直使用清點(diǎn)的方法。新中國(guó)的人口普查新中國(guó)建立后，先后于1953年、1964年和1982年舉行過(guò)3次人口普查。根據(jù)《中華人民共和國(guó)統(tǒng)計(jì)法實(shí)施細(xì)則》和國(guó)務(wù)院的決定以及國(guó)務(wù)院2010年頒布的《全國(guó)人口普查條例》規(guī)定，人口普查每10年進(jìn)行一次，尾數(shù)逢0的年份為普查年度。兩次普查之間進(jìn)行一次簡(jiǎn)易人口普查。2O2O年為第七次全國(guó)人口普查時(shí)間。第一次人口普查的標(biāo)準(zhǔn)時(shí)間新中國(guó)第一次人口普查的標(biāo)準(zhǔn)時(shí)間是1953年6月30日24時(shí)。人口普查的標(biāo)準(zhǔn)時(shí)間，就是規(guī)定一個(gè)時(shí)間點(diǎn)，無(wú)論普查員人戶(hù)登記在哪一天進(jìn)行，登記的人口及其各種特征都是反映那個(gè)時(shí)間點(diǎn)上的情況。根據(jù)上述規(guī)定，不管普查員在哪天進(jìn)行人戶(hù)登記，普查對(duì)象所申報(bào)的都應(yīng)該是標(biāo)準(zhǔn)時(shí)間的情況。通過(guò)這個(gè)標(biāo)準(zhǔn)時(shí)間，所有普查員普查登記完成后，經(jīng)過(guò)匯總就可以得到全國(guó)人口的總數(shù)和各種人口狀況的數(shù)據(jù)。1953年11月1日發(fā)布了人口普查的主要數(shù)據(jù)，當(dāng)時(shí)全國(guó)人口總數(shù)為601938035人。第六次人口普查的標(biāo)準(zhǔn)時(shí)間第六次人口普查的標(biāo)準(zhǔn)時(shí)間是2010年11月1日零時(shí)。2011年4月，發(fā)布了第六次全國(guó)人口普查主要數(shù)據(jù)，此次人口普查登記的全國(guó)總?cè)丝跒?339724852人。與2000年第五次人口普查相比，10年增加7390萬(wàn)人，增長(zhǎng)5.84%，年平均增長(zhǎng)0．57%，比1990-2000年年均1.07%的增長(zhǎng)率下降了0．5個(gè)百分點(diǎn)。美國(guó)1880年的人口普查美國(guó)在1880年進(jìn)行的人口普查，耗時(shí)8年才完成數(shù)據(jù)匯總，因此，他們獲得的很多數(shù)據(jù)都是過(guò)時(shí)的。1890年進(jìn)行的人口普查，預(yù)計(jì)要花費(fèi)13年的時(shí)間來(lái)匯總數(shù)據(jù)。稅收分?jǐn)偤蛧?guó)會(huì)代表人數(shù)確定都是建立在人口的基礎(chǔ)上的，必須獲得正確且及時(shí)的數(shù)據(jù)，人們當(dāng)時(shí)已有的數(shù)據(jù)處理工具已經(jīng)難以應(yīng)付了。美國(guó)人口普查局委托發(fā)明家赫爾曼·霍爾瑞斯（被稱(chēng)為現(xiàn)代自動(dòng)計(jì)算之父）用他的穿孔卡片制表機(jī)來(lái)完成1890年的人口普查。霍爾瑞斯普查機(jī)經(jīng)過(guò)大量的工作，霍爾瑞斯成功地在1年時(shí)間內(nèi)完成了人口普查的數(shù)據(jù)匯總工作。這在當(dāng)時(shí)簡(jiǎn)直就是一個(gè)奇跡，它標(biāo)志著自動(dòng)處理數(shù)據(jù)的開(kāi)端，也為后來(lái)IBM公司的成立奠定了基礎(chǔ)。將其作為收集處理大數(shù)據(jù)的方法依然過(guò)于昂貴，每個(gè)美國(guó)人都必須填一張可制成穿孔卡片的表格，然后再進(jìn)行統(tǒng)計(jì)。隨機(jī)采樣被用來(lái)監(jiān)管商品質(zhì)量在商業(yè)領(lǐng)域，隨機(jī)采樣被用來(lái)監(jiān)管商品質(zhì)量。使得監(jiān)管商品質(zhì)量和提升商品品質(zhì)變得更容易，花費(fèi)也更少。隨機(jī)采樣讓大數(shù)據(jù)問(wèn)題變得更加切實(shí)可行。隨機(jī)采樣的利弊隨機(jī)采樣取得了巨大的成功，成為現(xiàn)代社會(huì)、現(xiàn)代測(cè)量領(lǐng)域的主心骨。但這只是一條捷徑，是在不可收集和分析全部數(shù)據(jù)的情況下的選擇，它本身存在許多固有的缺陷。它的成功依賴(lài)于采樣的絕對(duì)隨機(jī)性，但是實(shí)現(xiàn)采樣的隨機(jī)性非常困難。一旦