大數(shù)據(jù)的產(chǎn)生與發(fā)展史

大數(shù)據(jù)的產(chǎn)生、發(fā)展

談起大數(shù)據(jù)，我們的第一反應(yīng)也許是互聯(lián)網(wǎng)、各種關(guān)于數(shù)據(jù)搜集的軟件以及中國政府、專家談及的大數(shù)據(jù)運用。比如，在研究一個社會問題中，關(guān)于數(shù)據(jù)方面，就會說“運用大數(shù)據(jù)技術(shù)，我們很容易得到這個結(jié)果”......

那么什么是大數(shù)據(jù)？大數(shù)據(jù)的運用又是什么？關(guān)于大數(shù)據(jù)的發(fā)展又是怎么樣的？在下面的內(nèi)容里，會將大數(shù)據(jù)的起源，興盛做詳細的講述，希望每個同學(xué)在這個過程中真正的理解數(shù)據(jù)。當(dāng)前1頁，總共31頁。

小數(shù)據(jù)之歷史

數(shù)據(jù)本無大小，但運用數(shù)據(jù)立場卻分出大小，是謂大數(shù)據(jù)。數(shù)據(jù)表示的是過去，但表達的是未來，所以觀察數(shù)據(jù)需要有歷史觀。當(dāng)今美國的數(shù)據(jù)文化滲透在社會各個方面，呈現(xiàn)出高效，簡潔，以及秩序。這一切最早可以追溯到這個國家建立之初的數(shù)據(jù)分析要求，謂之初數(shù)時代。至此，在歷史的長河中一幅波瀾壯闊的宏偉畫卷驚艷了世界......當(dāng)前2頁，總共31頁。當(dāng)前3頁，總共31頁。初數(shù)時代：奠定共和克服民主的劣勢：用數(shù)據(jù)分權(quán)參眾兩院權(quán)利分衡：眾議院按人口比參議院每州兩名第一次人口普查：僅詢問家?guī)兹?、幾男幾女、幾黑幾白、幾大幾小，完全的“點人頭”。但在黑人問題上將

“

3∕5”寫入憲法，承認種族不平等。

當(dāng)前4頁，總共31頁。

第二次人口普查：學(xué)者建議收集“出生率、性別、年齡、婚姻狀況、健康、職業(yè)、壽命”但最終沒通過國會談?wù)摗?830年：統(tǒng)計每個家庭的殘疾人數(shù)。1840年：統(tǒng)計文盲、白癡、精神病患者數(shù)量以及各種牲畜的數(shù)量，農(nóng)作物的產(chǎn)量。1850年：普查對象由家庭細化到個人。1860年：全國工廠、農(nóng)場、學(xué)校、教堂的情況，教師、學(xué)生、雇員的多少都一一列入普查范圍1880年：普查全面改革，擴大為人口、出生死亡率、農(nóng)業(yè)、社會、工業(yè)等五個部分。......美國成為世界上最早定期（10年）開展人口普查的國家，并因此開創(chuàng)了現(xiàn)代意義上的人口普查制度。當(dāng)前5頁，總共31頁。初數(shù)時代：奠定共和

有數(shù)初成：共和反哺數(shù)據(jù)文化

1.人口普查從政治領(lǐng)域不斷擴張，蔓延政策制定，后是社會生活。

1794年，在美國黨政之爭初現(xiàn)端倪時，民間就出現(xiàn)了批判的聲音，主張通過“事實”和“數(shù)據(jù)”來營造共識、消除黨爭。其中當(dāng)時的教育家諾亞·韋伯斯特和耶魯大學(xué)校長德懷特，他們主張：如果事實是制定政策的基礎(chǔ)、知識能夠在決策者之間營造共識，那么系統(tǒng)性收集數(shù)據(jù)的工作，就應(yīng)該由政府親自來完成。

最終在志同道合者的呼吁之下，最終促使人口普查在19世紀(jì)逐漸推進到政策制定領(lǐng)域，在這個過程中，數(shù)據(jù)開始從政治精英走向平民大眾。

當(dāng)前6頁，總共31頁。2.數(shù)學(xué)教育的普及，數(shù)據(jù)意識，數(shù)據(jù)文化逐步形成。

美國的建國者認為，共和國的目標(biāo)不是愚民，而是培養(yǎng)有智識的公民。華盛頓、富蘭克林和杰斐遜便是其中的杰出代表。華盛頓的第一份工作是弗吉尼亞州的土地測量員，深知數(shù)據(jù)對于認識客觀世界的重要性，曾組織了美國的第一次農(nóng)業(yè)調(diào)查。杰斐遜也曾做過土地測量員，除了是一名政治家還研究密碼學(xué)、測量學(xué)和考古學(xué)。在這樣一批建國者的推動下，數(shù)學(xué)教育很快在這個新生的國家普及。

當(dāng)前7頁，總共31頁。3.改革貨幣體系，統(tǒng)一了重量和測量單位。

1831年，法國的史學(xué)家、政治家托克維爾在《論美國的民主》中寫到“美國人已經(jīng)習(xí)慣了精確的計算”，“他們喜歡秩序井然，沒有秩序，事業(yè)就不能發(fā)達。他們特別重視信譽，信譽是生意健康發(fā)展的基礎(chǔ)。他們的大腦已經(jīng)習(xí)慣于精確的計算，按常規(guī)辦事也在他們的頭腦中扎根。同一時期，英國哲學(xué)家托馬斯·漢密爾頓在《美國人及其作風(fēng)》中總結(jié)“我認為，在這群不斷猜測、估算、預(yù)期和計算的美國人當(dāng)中，算數(shù)就像是一種與生俱來的本能。”當(dāng)前8頁，總共31頁。

比如在1825年，費城的一名醫(yī)生統(tǒng)計了7077名新生兒的重量，并制作了一張重量分布表，發(fā)給新生兒的母親，以方便她們對比掌握自己孩子的情況。當(dāng)前9頁，總共31頁。初數(shù)時代：奠定共和

從1787年到19世紀(jì)30年代，這一階段認為是美國數(shù)據(jù)歷史的初數(shù)時代，這是個孕育的時代，可謂是有數(shù)初成。在這個時代，數(shù)據(jù)好比漣漪，靜靜在歷史長河上靜靜地泛起波紋，把千千萬萬普通人卷進它的暈圈，沖刷，洗滌，浸泡，使其成為具有數(shù)據(jù)意識的公民個體。當(dāng)前10頁，總共31頁。內(nèi)戰(zhàn)時期：終結(jié)奴隸制的燈塔用數(shù)據(jù)遠征：謝爾曼將軍的“向大海進軍”主動切斷自己后方補給，帶領(lǐng)全體部隊全力突進、穿越整個佐治亞州。他試圖以數(shù)據(jù)為“航標(biāo)”，根據(jù)農(nóng)場、牲畜、集市、車站等重要資源在各地的分布，精心計算，確定最佳的行軍路線和在各地的停留時間，沿著這條線路，部隊在當(dāng)?shù)赝瓿裳a給，遭遇敵方最少的阻擊。這被后世歷史學(xué)家認為整個南北戰(zhàn)爭中“最為大膽、最為關(guān)鍵的一次行動”，是戰(zhàn)爭后期重要的轉(zhuǎn)折點，也被稱為“毀滅之路”。當(dāng)前11頁，總共31頁。

向大海進軍當(dāng)前12頁，總共31頁。

兵家與“向海洋進軍”

自古中國多良將，也有運用數(shù)據(jù)的經(jīng)典案例。孫臏減灶，破龐涓于馬陵；虞詡疑兵，平羌軍于西涼；林彪臨戰(zhàn)，細查殲敵繳獲......但較之謝爾曼以數(shù)據(jù)行軍千里，決勝沙場，均有不及。這正是因為謝爾曼有數(shù)據(jù)可用，他人給他提供了大量數(shù)據(jù)。這種“有數(shù)據(jù)可用”，源于美國建國之后就開始的、長期的、周期的努力以及強大的制度保障。有沒有這種制度化的數(shù)據(jù)體系，才是近代美國將軍和中國將軍在數(shù)據(jù)使用方面拉開差距的根本原因。數(shù)據(jù)不僅僅應(yīng)該是一種計算、科技符號，更應(yīng)該是文化符號。當(dāng)前13頁，總共31頁。爆發(fā)：鍍金時代的崛起世紀(jì)巔峰：大數(shù)據(jù)驅(qū)動的創(chuàng)新1870美國歷史上出現(xiàn)第一件用于數(shù)據(jù)處理工作的機械設(shè)備——西頓制表機?？梢酝讲殚喐鲝垎柧砩舷鄳?yīng)的數(shù)據(jù)，大大方便了制表工作。1890年，年輕的霍爾瑞斯打開了數(shù)據(jù)自動化處理的大門；在他的基礎(chǔ)上，IBM隨之開啟了一個打孔卡片的新時代；1951年，人口普查產(chǎn)生的大數(shù)據(jù)又促成了第一臺商用計算機的誕生......這些成就，最終引領(lǐng)美國在全世界率先邁入了信息時代。

當(dāng)前14頁，總共31頁。抽樣時代：統(tǒng)計革命的福祉

最初的數(shù)據(jù)調(diào)查主要的目標(biāo)是追求被調(diào)查群體的“大”，當(dāng)時大家都相信，只有更大，才能更準(zhǔn)。但隨著時間推移這種方法的效率較低以及費用大的缺點的暴露，人們開始尋求新的調(diào)查方法。

當(dāng)前15頁，總共31頁。

抽樣時代：統(tǒng)計革命的福祉

1895年，有學(xué)者提出抽樣的觀點，認為只要方法得當(dāng)，就可以從總體當(dāng)中抽出一部分有代表性的個體，通過研究部分個體的特點，從而推斷出整體的屬性，類似中國人所說的“一斑窺豹”、“一葉知秋”。抽樣調(diào)查很快便被證實實際可用性。蓋洛普在1936~2012年19次總統(tǒng)大選預(yù)測中，成功預(yù)測17次轟動全球。當(dāng)前16頁，總共31頁。和《亂世佳人》共舞1936年在《亂世佳人》開拍之前，好萊塢對這本暢銷小說看法不一，甚至一度有流拍的趨勢。原因是在好萊塢出品的以南北戰(zhàn)爭為題材的電影全部虧本，沒有任何一部賺錢。為了知道這部小說在美國民眾的流行程度（雖然他們大概估計已有200~300萬），好萊塢的電話打到了蓋洛普的公司，用數(shù)據(jù)證明《亂世佳人》到底有多流行。一周之后，他告訴對方，此書非常流行，每10個受訪者中，就有8個表示聽說過這本書。1937年1月，蓋洛普非常肯定的告訴制片人《亂世佳人》已經(jīng)成為美國有史以來最流行的小說，有1400萬美國人讀過，其流行程度僅次于《圣經(jīng)》。當(dāng)前17頁，總共31頁。

但在電影時長、是否分為上下兩集、黑色還是彩色，再到演員選取、廣告設(shè)計，制片人、劇組、發(fā)行商吵成一團。特別是制片人選定英國人費雯·麗飾演女主角后，引起了更大的爭議。因為涉及美國獨立，黑奴解放等重大歷史事件，部分南方人認為請外國人有失國格。制片人委托蓋洛普調(diào)查爭議問題的方方面面。通過兩年的調(diào)查，結(jié)果表明，大部分人不反對它分為上下兩集；60%的觀眾想看彩色電影；35%的受訪者對女主角的人選表示滿意，遠遠高于不滿意的比率（16%）。拍攝方在重大問題的決策中幾乎全部聽取了蓋洛普的意見。最后，蓋洛普給片方的結(jié)論是，這部電影將有5650萬觀眾，其人數(shù)之多，將創(chuàng)有史以來的電影之最。但對于這個數(shù)據(jù)卻沒有一個人當(dāng)真。當(dāng)前18頁，總共31頁。

最后，通過4輪上線，《亂世佳人》一共售出了5997萬張電影票，票房毛收入為3400萬美元，而1940年美國的人口普查結(jié)果為1.3億人口，也就是說，全國近一半的人觀看了這部電影。正如正如了蓋洛普預(yù)測的那樣，這部影片成為美國歷史上迄今為止最成功的電影。電影獲得了1940年最佳影片，最佳女主角等十項奧斯卡大獎，這部小說也因為注重史實，獲得1937年的普利策小說獎。當(dāng)前19頁，總共31頁。

蓋洛普成功的法寶就是“科學(xué)抽樣”，他沒有盲目地大面積調(diào)查，而是根據(jù)民眾的人口特點，確定家庭主婦、工人、農(nóng)民、老人、中年人、年輕人等各色人群在樣本中應(yīng)該占有的份額，再確定電話訪問，郵件訪問，街頭訪問等各種調(diào)查方式所占的比例。由于樣本找的準(zhǔn)，所以能以“小”見“大”。當(dāng)前20頁，總共31頁。抽樣時代：統(tǒng)計革命的福祉

通過美國波瀾壯闊的的數(shù)據(jù)文化發(fā)展，我們對傳統(tǒng)的數(shù)據(jù)（小數(shù)據(jù)）有了一定的認識。一個數(shù)據(jù)治國的理念需要幾十年甚至是幾百年的發(fā)展但對數(shù)據(jù)的使用并不如此。中國現(xiàn)在正處于數(shù)據(jù)化浪潮之中，何去何從，關(guān)鍵在于對大數(shù)據(jù)的利用。

大數(shù)據(jù)=傳統(tǒng)的小數(shù)據(jù)+現(xiàn)代的大記錄（源于測量）（源于記錄）當(dāng)前21頁，總共31頁。

大數(shù)據(jù)的崛起

每個國家都在追求一條自己的道路，這條道路，根植于這個國家人民的文化中。開放的經(jīng)濟、開放的社會和開放的政府，是人類社會之所以能夠進步最深厚、最強大的基礎(chǔ)。

——奧巴馬，在聯(lián)合國大會的演講，2014.09當(dāng)前22頁，總共31頁。

開放時代：內(nèi)開放的歷程

內(nèi)開放也就是國家內(nèi)部的“人、財、物、信息”對社會開放。這關(guān)系到公民的自由、權(quán)利，也是政府管理社會、調(diào)控市場、服務(wù)經(jīng)濟的發(fā)展的有效手段。在數(shù)據(jù)的時代里，數(shù)據(jù)將成為重要的生產(chǎn)資料和創(chuàng)新資源，內(nèi)開放的程度，也將決定一個國家的發(fā)展動力，一個社會的創(chuàng)新的活力。當(dāng)前23頁，總共31頁。開放時代：內(nèi)開放的歷程內(nèi)開放1.01960年代信息自由運動數(shù)據(jù)承載知情權(quán)內(nèi)開放2.01980年代環(huán)保運動數(shù)據(jù)制衡企業(yè)，數(shù)據(jù)公開成為政府管理手段內(nèi)開放3.02000時代美國社會經(jīng)歷的內(nèi)開放三部曲數(shù)據(jù)開放運動數(shù)據(jù)服務(wù)經(jīng)濟、創(chuàng)造就業(yè)，推動技術(shù)進步當(dāng)前24頁，總共31頁。LEHD項目：開放數(shù)據(jù)的使用權(quán)LEHD（工作單位和家庭住址的縱向動態(tài)系統(tǒng)）工作職位數(shù)據(jù)個人數(shù)據(jù)工作單位數(shù)據(jù)通過整合，實現(xiàn)了以下目標(biāo)：?首次把個人住址和個人單位地址聯(lián)系在一起?可以查詢同一街區(qū)內(nèi)有多少雇員上班，為科學(xué)估算白日人口打下了基礎(chǔ)?可以追蹤每個公司的雇員數(shù)量幾流動來源于州政府的勞工部門?行業(yè)、類別?公司職工數(shù)量?公司地址來源于州政府的勞工部門?失業(yè)保險?社會保險?報稅記錄主要來源于人口普查局和社會保險局?年齡、性別、種族?個人住址

LEHD項目的數(shù)據(jù)來源和三級政府的數(shù)據(jù)整合框架當(dāng)前25頁，總共31頁。

從2006年起，普查局為LEHD開發(fā)了一個基于地圖的互動式界面——OnTheMap，無償提供給大眾使用。只要有一根網(wǎng)線，無論你在世界的哪一個角落，也無論你是哪國人士，甚至無需注冊，你都可以隨時登陸，查詢這些數(shù)據(jù)。當(dāng)前26頁，總共31頁。LEDH的真正強大之初，還在于