《統(tǒng)計分析軟件：使用R與Python》 課件 第1章 引言

1.1統(tǒng)計分析概述1.2現(xiàn)有統(tǒng)計軟件簡介1.3R下載安裝及使用1.4Python下載安裝及使用第1章引言

引言統(tǒng)計分析軟件簡介Excel、SPSS、SAS、Matlab,S-plusPython、RPython語言簡介下載和安裝PythonAnaconda運行PythonR語言簡介下載和安裝RRstudioMarkdown常用的R包R包和R包合集的安裝R包的使用、更新、遷移數(shù)據(jù)分析的未來要求

1.統(tǒng)計學(xué)、數(shù)學(xué)、計算機等專業(yè)優(yōu)先，有統(tǒng)計學(xué)應(yīng)用基礎(chǔ)；

2.兩年以上移動互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)分析經(jīng)驗，社交類項目經(jīng)驗更優(yōu)；

3.具備產(chǎn)品經(jīng)理經(jīng)驗，理解產(chǎn)品設(shè)計原理與產(chǎn)品邏輯。參與過產(chǎn)品設(shè)計與執(zhí)行；

4.邏輯思維能力強，表達能力強；

5.熟練運用各種內(nèi)外部數(shù)據(jù)統(tǒng)計工具，快速響應(yīng)各個部門的數(shù)據(jù)需求，至少掌握一種統(tǒng)計分析工具，如SAS、SPSS、R等；

6.重視數(shù)據(jù)可視化呈現(xiàn)，報告撰寫能力強；

7.好奇心強，對數(shù)據(jù)執(zhí)著，對問題刨根問底。1.1統(tǒng)計分析概述數(shù)據(jù)分析的未來熱門職位發(fā)展“錢”途良好。統(tǒng)計學(xué)就業(yè)前景統(tǒng)計分析的特點1.模型只能是對客觀世界的一種近似，是現(xiàn)實的簡單化或理想化。

Essentially,allmodelsarewrong,butsomeareuseful.——GeorgeBox.“有用的”模型能抓住并凸顯現(xiàn)象中與分析目的最相關(guān)之主要特征，因此統(tǒng)計分析的成功與對主題領(lǐng)域的了解密切相關(guān)。統(tǒng)計分析的特點2.分析者應(yīng)根據(jù)目的來尋找合適的數(shù)據(jù)和分析方法。數(shù)據(jù)：數(shù)據(jù)的來源；數(shù)據(jù)的真實性；數(shù)據(jù)所含信息；數(shù)據(jù)是否適合分析。方法：同一個問題，可采用多種分析方法，也可能需要多種方法。統(tǒng)計分析的特點3.統(tǒng)計分析是一個學(xué)習(xí)與實踐的過程統(tǒng)計學(xué)：統(tǒng)計學(xué)基礎(chǔ)、多元統(tǒng)計分析、非參數(shù)統(tǒng)計、貝葉斯統(tǒng)計計量經(jīng)濟學(xué)：時間序列、面板數(shù)據(jù)、微觀計量、非參數(shù)時間序列分析：一元、多元、波動分析、非線性專業(yè)領(lǐng)域背景知識有關(guān)軟件：Matlab、R、SPSS、SAS、Python從統(tǒng)計認識過程而言，充分體現(xiàn)著定性分析和定量分析對立統(tǒng)一的關(guān)系。定量分析研究是統(tǒng)計研究的特色所在，但統(tǒng)計的定量分析不是純粹數(shù)量意義的，即不是就數(shù)量論數(shù)量，而是基于所研究事物本身的特點，并且從所研究事物的有關(guān)聯(lián)系或現(xiàn)實背景中，緊緊扣住認識所研究事物內(nèi)在本質(zhì)這一主題來展開的，注重的是定量分析背后的具體含義和意義，這也正是統(tǒng)計學(xué)與數(shù)學(xué)的區(qū)別所在。

統(tǒng)計分析的特點那么統(tǒng)計研究怎樣才能通過數(shù)量來體現(xiàn)其具體含義與現(xiàn)實意義？這就必須結(jié)合定性分析，即以定性分析為起點，并以定性分析為終點。具體來說，統(tǒng)計研究總是按照“初步（感性）的定性認識——客觀科學(xué)的定量認識——高級（理性）的定性認識”這一過程來進行的。統(tǒng)計分析的特點1.2現(xiàn)有統(tǒng)計軟件簡介統(tǒng)計軟件的種類很多。有些功能齊全，有些價格便宜；有些容易操作，有些需要更多的實踐才能掌握。還有些是專門的軟件，只處理某一類統(tǒng)計問題。網(wǎng)上可以獲得的統(tǒng)計或者計量軟件起碼有多達幾百種。面對太多的選擇往往給決策帶來困難。這里介紹最常見的幾種。SPSS、EXCEL、SAS、Eviews、R語言、Matlab、Python,……統(tǒng)計軟件的種類很多。差異較大：

功能是否齊全？

價格是否便宜？是否開源？

是否容易操作？

軟件是否太大？

是否專門性軟件？只處理某一類統(tǒng)計問題。 面對太多的選擇往往給決策帶來困難。這里介紹最常見的幾種。1.2現(xiàn)有統(tǒng)計軟件簡介統(tǒng)計軟件——Excel

嚴格說來并不是統(tǒng)計軟件，但作為數(shù)據(jù)表格軟件，必然有一定統(tǒng)計計算功能。而且凡是有MicrosoftOffice的計算機，基本上都裝有Excel。注意：有時在裝Office時沒有裝數(shù)據(jù)分析的功能，那就必須裝了才行。當然，畫圖功能是都具備的。對于簡單分析，Excel還算方便，但隨著問題的深入，Excel就不那么“傻瓜”，需要使用函數(shù)，甚至根本沒有相應(yīng)的方法了。統(tǒng)計軟件——Excel

SPSS是軟件英文名稱的首字母縮寫，原意為StatisticalPackagefortheSocialSciences，即“社會科學(xué)統(tǒng)計軟件包”。但是隨著SPSS產(chǎn)品服務(wù)領(lǐng)域的擴大和服務(wù)深度的增加，SPSS公司已于2000年正式將英文全稱更改為StatisticalProductandServiceSolutions，意為“統(tǒng)計產(chǎn)品與服務(wù)解決方案”，標志著SPSS的戰(zhàn)略方向正在做出重大調(diào)整。

2009年

IBM

收購了

SPSS

公司統(tǒng)計軟件——SPSS操作簡便：界面非常友好，除了數(shù)據(jù)錄入及部分命令程序等少數(shù)輸入工作需要鍵盤鍵入外，大多數(shù)操作可通過鼠標拖曳、點擊“菜單”、“按鈕”和“對話框”來完成。編程方便：具有第四代語言的特點，告訴系統(tǒng)要做什么，無需告訴怎樣做。只要了解統(tǒng)計分析的原理，不需通曉統(tǒng)計方法的各種算法，即可得到需要的統(tǒng)計分析結(jié)果。功能強大：具有完整的數(shù)據(jù)輸入、編輯、統(tǒng)計分析、報表、圖形制作等功能。自帶11種類型136個函數(shù)。全面的數(shù)據(jù)接口：能夠讀取及輸出多種格式的文件。如*.dbf文件，文本數(shù)據(jù)文件，Excel的*.xls文件等均可轉(zhuǎn)換成可供分析的SPSS數(shù)據(jù)文件。能夠把SPSS的圖形轉(zhuǎn)換為7種圖形文件。結(jié)果可保存為*.txt,word,PPT及html格式的文件。統(tǒng)計軟件——SPSS統(tǒng)計軟件——SPSS統(tǒng)計軟件——SAS

功能非常齊全(不如R齊全)的軟件；盡管價格相當不菲，許多公司，特別是美國制藥公司，還是因為其功能眾多和某些美國政府機構(gòu)(FDA)認可而使用；盡管現(xiàn)在已經(jīng)盡量“傻瓜化”(遠不如SPSS“傻”)，但仍然需要一定的訓(xùn)練才可以進入?？梢詫λ幊?；幫助系統(tǒng)很差，查尋不易；對于基本統(tǒng)計課程則不那么方便。統(tǒng)計軟件——SAS統(tǒng)計軟件——S-plus

這是R出現(xiàn)之前統(tǒng)計學(xué)家最喜愛的軟件；功能齊全；強大的編程功能，使得研究人員可以編制自己的程序來實現(xiàn)自己的理論和方法；目前正在進行“傻瓜化”以爭取顧客。但仍然以編程方便為顧客所青睞。統(tǒng)計軟件——S-plus統(tǒng)計軟件——MATLAB

這也是應(yīng)用于各個領(lǐng)域的以編程為主的軟件，在理工領(lǐng)域應(yīng)用最廣泛。編程類似于S和R。但是統(tǒng)計方法不多。StatisticsToolbox—統(tǒng)計工具箱EconometricsToolbox-計量經(jīng)濟學(xué)工具箱統(tǒng)計軟件——MATLAB統(tǒng)計軟件——Python簡介Python是一種面向?qū)ο?、直譯式計算機程序設(shè)計語言，由荷蘭人GuidovanRossum發(fā)明于1989年，1991年發(fā)行第一個公開發(fā)行版。它常被昵稱為膠水語言，它能夠很輕松的把用其他語言制作的各種模塊（尤其是C/C++）輕松地聯(lián)結(jié)在一起。

之所以選中Python（大蟒蛇的意思）作為程序的名字，是因為他是一個叫MontyPython的喜劇團體的愛好者。Python是一種解釋型、高級和通用的編程語言，支持多種編程范型，包括結(jié)構(gòu)化、過程式、反射式、面向?qū)ο蠛秃瘮?shù)式編程。它擁有動態(tài)類型系統(tǒng)和垃圾回收功能，能夠自動管理內(nèi)存使用，并且其本身擁有一個巨大而廣泛的標準庫。除此之外，Python官方的第三方庫的倉庫PythonPackageIndex(PyPI，/)還包括數(shù)十萬個由第三方團隊或個人開發(fā)的Python庫。統(tǒng)計軟件——Python簡介Python2.0于2000年發(fā)布，Python3.0于2008年發(fā)布。需要注意的是，Python3.x是Python2.x的主要修訂版，兩者并不完全兼容。根據(jù)TIOBE編程語言排行榜最新數(shù)據(jù)，Python是使用率排名第一的編程語言。統(tǒng)計軟件——Python簡介

R免費，永遠正版R資源公開(不是黑匣子)R可以在UNIX,Windows和MacosX上運行R有優(yōu)秀的內(nèi)在幫助系統(tǒng)R有優(yōu)秀的畫圖功能學(xué)生能夠輕松地轉(zhuǎn)到商業(yè)支持的S-Plus程序(如果需要使用商業(yè)軟件)R語言有一個強大的，容易學(xué)習(xí)的語法，有許多內(nèi)在的統(tǒng)計函數(shù)統(tǒng)計軟件——R軟件其它統(tǒng)計軟件

Eviews：用于處理回歸和時間序列的經(jīng)濟類軟件Rats:專門處理時間序列數(shù)據(jù)Amos:結(jié)構(gòu)模型Nlogit:離散選擇模型和受限因變量模型Stata:面板數(shù)據(jù)模型功能很強大Gauss:運算速度最快的計量經(jīng)濟學(xué)軟件。計量經(jīng)濟學(xué)大牛的最愛。FORTRAN：這是應(yīng)用于各個領(lǐng)域的歷史很長的非常優(yōu)秀的數(shù)學(xué)編程軟件，功能強大，也有一定的統(tǒng)計軟件包。計算速度比這里介紹的都快得多。但需要編程和編譯。操作不那么容易。KDnuggets-數(shù)據(jù)分析師的工具軟件Kaggle-統(tǒng)計學(xué)家使用的分析軟件關(guān)于編程語言沒有最好的語言，只有最合適的語言；沒有糟糕的語言，只有糟糕的程序員；沒有一種語言是萬能的，只會一種語言是萬萬不能的；廢除對語言的宗教信仰，建立對語言的哲學(xué)思維；編程就是在人腦和電腦之間尋找最佳平衡點的過程。關(guān)于統(tǒng)計編程語言個人認為統(tǒng)計分析最佳搭配：

R[統(tǒng)計分析]+Python[數(shù)據(jù)預(yù)處理]R語言的由來R語言是從S語言演變而來的。S語言是二十世紀70年代誕生于貝爾實驗室，由RickBecker,JohnChambers,AllanWilks開發(fā)?；赟語言開發(fā)的商業(yè)軟件Splus，可以方便的編寫函數(shù)、建立模型，具有良好的擴展性，取得了巨大成功。1995年由新西蘭Auckland大學(xué)統(tǒng)計系的RobertGentleman和RossIhaka，編寫了一種能執(zhí)行S語言的軟件，并將該軟件的源代碼全部公開，這就是R軟件，其命令統(tǒng)稱為R語言。1.3R下載、安裝及基本操作R軟件簡介R是開源軟件，代碼全部公開，對所有人免費。R可在多種操作系統(tǒng)下運行，如Windows、MacOS、多種Linux和UNIX等。R需要輸入命令，可以編寫函數(shù)和腳本進行批處理運算，語法簡單靈活。目前在R網(wǎng)站上約有20000多個程序包，涵蓋了基礎(chǔ)統(tǒng)計學(xué)、社會學(xué)、經(jīng)濟學(xué)、生態(tài)學(xué)、地理學(xué)、醫(yī)學(xué)統(tǒng)計學(xué)、生物信息學(xué)等諸多方面。通過用戶自編程序，R語言很容易延伸和擴大。它就是這樣成長的。R是計算機編程語言。對于熟練的編程者，可能會覺得該語言比其他語言更容易上手。而對計算機初學(xué)者,學(xué)習(xí)R語言使得學(xué)習(xí)下一步的其他編程不那么困難。那些傻瓜軟件（SAS,SPSS等）語言的語法則完全不同。R的優(yōu)點R的缺點沒有商業(yè)支持（但有網(wǎng)上支持）；需要編程，不夠傻瓜；速度不如C++或FORTRAN下載和安裝RTheComprehensiveR

ArchiveNetwork簡稱CRAN，提供下載安裝程序和相應(yīng)軟件包。R主頁/

Windows版本下載地址之一：/mirrors.html下載完成后，雙擊/CRAN/bin/windows/base/R-3.5.1-win.exe

開始安裝。一直點擊下一步，各選項默認。圖1R軟件首頁/

R登陸界面(Windows版)菜單欄快捷按鈕控制臺命令行R程序包為什么要安裝程序包？特定的分析功能，需要用相應(yīng)的程序包實現(xiàn)。例如：時間序列分析，往往要用到TSA程序包，多元正態(tài)分布mvtnorm包等等。程序包是什么？

R程序包是多個函數(shù)的集合，具有詳細的說明和示例。Window下的R程序包是已經(jīng)編譯好的zip包。每個程序包包含R函數(shù)、數(shù)據(jù)、幫助文件、描述文件等。常用的R包常用R程序包base-R基礎(chǔ)功能包stats-R統(tǒng)計學(xué)包nlme-線性及非線性混合效應(yīng)模型Graphics-繪圖lattice-柵格圖TSA-

時間序列分析mvtnorm-多元正態(tài)分布分析truncnorm-截尾正態(tài)分布cluster-聚類分析TSA包頁面R程序包在CRAN提供了每個包的源代碼和編譯好的MacOS、Window下的程序包以TSA包為例，CRAN提供了：Packagesource:TSA_1.01.tar.gzMacOSXbinary:TSA_1.01.tgzWindowsbinary:TSA_1.01.zip

Referencemanual:TSA.pdf

等Window平臺下程序包為zip文件，安裝時不要解壓。R程序包安裝1連網(wǎng)時，用函數(shù)install.packages()，選擇鏡像后，程序?qū)⒆詣酉螺d并安裝程序包。例如：打開RGui,在控制臺中輸入

install.packages(“TSA")2安裝本地zip包路徑：Packages>installpackagesfromlocalfiles選擇光盤或者本地磁盤上存儲zip包的文件夾。非CRAN-R程序包安裝3.知道源代碼網(wǎng)址用函數(shù)install.packages()，install.packages("http://www.lepem.ufc.br/jaa/colorout_1.1-0.tar.gz",repos=NULL)install.packages("/hadley/devtools/archive/v1.7.0.tar.gz",repos=NULL,method="libcurl")#httpsisbuiltinvialibcurl.4.github安裝包可以用devtools

library(devtools);install_github("author/package")5.bioconductor安裝包可以用BiocManager

BiocManager::install("Biobase")程序包使用在控制臺中輸入如下命令：library(TSA)查看幫助文件如何知道TSA程序包內(nèi)部都有哪些函數(shù)？最常用的方法：1輸入命令??TSA2查看pdf幫助文檔（從程序包下載頁面下載）幫助文件的內(nèi)容以lm函數(shù)為例：?lmCRANtask

Views

是一個由R語言社區(qū)成員提供的按功能分類的R包合集，如貝葉斯、時間序列、生存分析等。RTaskViewsRTaskViews如果你想快速安裝某個類型的R包合集可以用下面的命令（ctv包為必須）：#Toautomaticallyinstalltheseviews,thectvpackageneedstobeinstalled,e.g.,via

install.packages("ctv")library("ctv")#andthentheviewscanbeinstalledviainstall.viewsorupdate.views(whichfirstassesseswhichofthepackagesarealreadyinstalledandup-to-date),e.g.,install.views("Econometrics")#or

update.views("Econometrics")

RstudioRstudio是Rstudio(Posit)公司開發(fā)的R語言集成開發(fā)環(huán)境（IDE），在基于窗口的R編程中別廣泛的使用，相對于R自帶的GUI界面而已具有更加友好的界面、更好的項目管理功能、package管理功能、圖片預(yù)覽功能等。RStudio工具下載：/products/rstudio/download/Rstudio性能：MRO引入“IntelMKLforparallelmathematicalcomputing”發(fā)揮多核處理器的性能，提高了R的運行速度?？芍貜?fù)性：MRO引入了checkpoint包，每天對R包（CRAN）進行鏡像，這樣當用戶設(shè)置時間之后，安裝使用這一天的R包，腳本運行的結(jié)果應(yīng)該是一致的。MicrosoftROpen官網(wǎng)：/open和對應(yīng)版本R完全兼容，更新比官方R發(fā)行版要慢，Mac版更慢MicrosoftROpenMarkdownMarkdown是一種輕量級標記語言，純文本格式編寫文檔，可與HTML混編，可導(dǎo)出HTML、Word、PDF格式的文件，是RStudio內(nèi)置的幫助文件的主要格式。RMarkdown則是通過R語言制作的Markdown格式的文件，其中包含嵌入的R語言代碼。通過RMarkdown編寫的文檔，簡潔、高效、易讀、易寫，所有作業(yè)及作業(yè)要求用：RMarkdown格式MarkdownRMarkdown文檔編輯需要安裝rmarkdown包RMarkdown代碼及編譯結(jié)果在Windows和Mac上安裝和運行Python的方法比較簡單，從Py