數(shù)據(jù)新聞與信息可視化 課件 第五章 數(shù)據(jù)分析之基礎(chǔ)統(tǒng)計(jì)_第1頁(yè)
數(shù)據(jù)新聞與信息可視化 課件 第五章 數(shù)據(jù)分析之基礎(chǔ)統(tǒng)計(jì)_第2頁(yè)
數(shù)據(jù)新聞與信息可視化 課件 第五章 數(shù)據(jù)分析之基礎(chǔ)統(tǒng)計(jì)_第3頁(yè)
數(shù)據(jù)新聞與信息可視化 課件 第五章 數(shù)據(jù)分析之基礎(chǔ)統(tǒng)計(jì)_第4頁(yè)
數(shù)據(jù)新聞與信息可視化 課件 第五章 數(shù)據(jù)分析之基礎(chǔ)統(tǒng)計(jì)_第5頁(yè)
已閱讀5頁(yè),還剩22頁(yè)未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

數(shù)據(jù)新聞與信息可視化數(shù)據(jù)分析之基礎(chǔ)統(tǒng)計(jì)第五章目錄CONTENT01.

新聞中的數(shù)據(jù)應(yīng)用與統(tǒng)計(jì)邏輯02.數(shù)據(jù)分析軟件的種類與設(shè)置03.單變量描述04.多變量分析新聞中的數(shù)據(jù)應(yīng)用與統(tǒng)計(jì)邏輯1.1新聞報(bào)道為何需要數(shù)據(jù)分析1.2數(shù)據(jù)分析的基本邏輯:統(tǒng)計(jì)推論與假設(shè)檢驗(yàn)1.3數(shù)據(jù)分析的注意事項(xiàng)第一節(jié)當(dāng)今新聞傳播的學(xué)生與從業(yè)者都亟需掌握一定的數(shù)據(jù)分析知識(shí)。只有通過系統(tǒng)而科學(xué)的數(shù)據(jù)分析,我們才能夠從海量數(shù)據(jù)中發(fā)掘獨(dú)特的意義與全新的敘事角度,揭示數(shù)據(jù)中隱含的社會(huì)現(xiàn)實(shí),最終形成兼具數(shù)據(jù)邏輯與新聞價(jià)值的報(bào)道。

1.1新聞報(bào)道為何需要數(shù)據(jù)分析數(shù)據(jù)反映了網(wǎng)絡(luò)社會(huì)中普遍的聯(lián)系狀態(tài),通過分析數(shù)據(jù)記者得以理解更復(fù)雜的因果機(jī)制。數(shù)據(jù)可以幫助新聞?dòng)浾哂萌碌囊暯腔蚴址▉黻U述的復(fù)雜問題或經(jīng)典議題。尤其當(dāng)報(bào)道中涉及的議題含有對(duì)普通讀者來說較為抽象的概念時(shí),數(shù)據(jù)可視化呈現(xiàn)可使讀者理解起來更加輕松。數(shù)據(jù)新聞不止于解釋,更可為讀者提供具有現(xiàn)實(shí)意義的幫助和指導(dǎo)。

1.2數(shù)據(jù)分析的基本邏輯:統(tǒng)計(jì)推論與假設(shè)檢驗(yàn)統(tǒng)計(jì)學(xué)的一個(gè)重要目標(biāo),就是通過研究一個(gè)相對(duì)較小體量的“局部數(shù)據(jù)”(即樣本),來了解總體的情況。這時(shí)候,我們需要統(tǒng)計(jì)推論(statistical

inference)幫助我們通過有限的樣本信息,來判斷樣本中觀察到的模式在總體中依然成立的可能性。

我們可以通過平均數(shù)這個(gè)基本的統(tǒng)計(jì)模型來理解統(tǒng)計(jì)推論的邏輯。中心極限定律是一個(gè)經(jīng)典的統(tǒng)計(jì)學(xué)理論,其指出任何從任一分布總體中隨機(jī)抽取出n個(gè)樣本,當(dāng)抽取的樣本數(shù)量n足夠多時(shí),樣本的平均數(shù)分布將趨近正態(tài)分布。

正態(tài)分布的曲線

1.2數(shù)據(jù)分析的基本邏輯:統(tǒng)計(jì)推論與假設(shè)檢驗(yàn)推論所得的范圍稱為置信區(qū)間(confidenceinterval),將95%或99%這個(gè)百分比稱為置信水平(levelofconfidence)。置信區(qū)間為我們推測(cè)真實(shí)統(tǒng)計(jì)值可能出現(xiàn)的范圍。

在量化社會(huì)科學(xué)研究中,研究者通經(jīng)常“假設(shè)驗(yàn)證”方法進(jìn)行推論。當(dāng)研究者獲得樣本后,會(huì)對(duì)其數(shù)據(jù)進(jìn)行分析,得到一些解釋數(shù)據(jù)關(guān)系的統(tǒng)計(jì)值。我們當(dāng)然想知道在樣本中觀察到的關(guān)系在真實(shí)總體中是否成立。這就涉及到假設(shè)驗(yàn)證的方法。

在推論統(tǒng)計(jì)中,我們可以通過比較P值與顯著性水平α,來對(duì)統(tǒng)計(jì)顯著性進(jìn)行判斷。1.2數(shù)據(jù)分析的基本邏輯:統(tǒng)計(jì)推論與假設(shè)檢驗(yàn)關(guān)于p值1.

P值反映了一種統(tǒng)計(jì)分析的顯著性程度。P值間接指向零假設(shè)成立的概率。2.

P值越小,我們就越有把握拒絕零假設(shè),接受研究假設(shè)。較小的P值,意味著更高的統(tǒng)計(jì)顯著性。3.

P值需要與事先設(shè)定的α比對(duì)。當(dāng)P<α的時(shí)候,意味著具有“統(tǒng)計(jì)上顯著性”的結(jié)果。4.

P值所比照的α值并不是客觀標(biāo)準(zhǔn),而是社會(huì)研究者在長(zhǎng)期實(shí)踐中約定俗成的一些標(biāo)準(zhǔn)。

5.

以P值為核心的假設(shè)驗(yàn)證體系存在局限和問題

追問樣本來源明確分析層級(jí)數(shù)據(jù)分析的分組與合并(辛普森悖論)排除干擾變量避免太過復(fù)雜的模型1.3

數(shù)據(jù)分析的注意事項(xiàng)數(shù)據(jù)分析軟件的種類與設(shè)置2.1主要數(shù)據(jù)分析軟件2.2R語(yǔ)言的安裝與基本設(shè)置2.3安裝R語(yǔ)言功能包第二節(jié)在社會(huì)科學(xué)領(lǐng)域,最為常見的專業(yè)數(shù)據(jù)分析軟件有SPSS、STATA、SAS、R語(yǔ)言和Python等等

。近年來,R語(yǔ)言和Python語(yǔ)言為代表的編程語(yǔ)言漸漸成為主流的分析工具。以下是二者的特色對(duì)比。2.1主要數(shù)據(jù)分析軟件面對(duì)多元技術(shù)空間與復(fù)雜的數(shù)據(jù)形態(tài),研究者很難依靠某一種工具或一套固定的技術(shù)方法來應(yīng)對(duì)所有的數(shù)據(jù)分析工作。很多時(shí)候我們需要協(xié)同使用多種工具來完成一個(gè)任務(wù)。在長(zhǎng)期的實(shí)踐中,我們需要發(fā)展出一個(gè)具有個(gè)人特色的工具箱以及一整套工作流程去應(yīng)對(duì)復(fù)雜的數(shù)據(jù)分析任務(wù)。

R語(yǔ)言Python語(yǔ)言運(yùn)行速度較慢較快語(yǔ)法規(guī)則較為簡(jiǎn)潔但一致性低簡(jiǎn)潔、可讀性與一致性高數(shù)據(jù)抓取能力較差較強(qiáng)社會(huì)統(tǒng)計(jì)更強(qiáng)較弱機(jī)器學(xué)習(xí)各有所長(zhǎng)各有所長(zhǎng)可視化能力更強(qiáng)較強(qiáng)應(yīng)用行業(yè)學(xué)術(shù)研究、金融互聯(lián)網(wǎng)研發(fā)、商業(yè)部門主流包/庫(kù)dplyr/ggplot2/data.tableNumpy/Pandas/Matplotlib/Scikit-learn安裝好R和RStudio首先選擇一個(gè)連接速度良好的CRAN鏡像設(shè)置一個(gè)工作目錄

2.2

R語(yǔ)言的安裝與基本設(shè)置R語(yǔ)言為開源程序,可在官方站免費(fèi)下載。CRAN(TheComprehensiveRArchiveNetwork)網(wǎng)站為各種R相關(guān)資源的官方網(wǎng)站,用戶可以在上面找到相關(guān)的下載資源和教程。R語(yǔ)言界面比較簡(jiǎn)單,可以考慮使用IDE。RStudio是一款廣受好評(píng)的R語(yǔ)言開發(fā)環(huán)境。

Rstudio的用戶界面使用R語(yǔ)言進(jìn)行數(shù)據(jù)分析時(shí),我們會(huì)用到很多功能包(Packages)。在R語(yǔ)言中,絕大多數(shù)的分析和功能實(shí)現(xiàn)需要通過函數(shù)來實(shí)現(xiàn)。R的功能包就是一系列特定函數(shù)的集合。換言之,R功能包就是一些實(shí)現(xiàn)相關(guān)功能的工具箱。

安裝ggplot2包

install.packages("ggplot2")啟動(dòng)ggplot2包

library(ggplot2)呼出ggplot2包的介紹

help(ggplot2)呼出geom_bar這個(gè)函數(shù)的使用說明

help(geom_bar)2.3

安裝R語(yǔ)言功能包

每次啟動(dòng)RStudio的時(shí)候會(huì)自動(dòng)加載,如base,datasets,graphics,stats包。

在R用戶中非常受歡迎,例如優(yōu)秀的作圖功能包ggplot2,高效的數(shù)據(jù)處理包dplyr,綜合統(tǒng)計(jì)應(yīng)用包Hmsic,文本分析工具tm等等。

單變量描述3.1數(shù)據(jù)描述的基本知識(shí)3.2數(shù)據(jù)描述的軟件操作3.3通過圖形描述數(shù)據(jù)第三節(jié)頻數(shù)與百分比集中趨勢(shì):平均數(shù)、中位數(shù)、眾數(shù)平均數(shù)計(jì)算離散趨勢(shì):方差與標(biāo)準(zhǔn)差3.1數(shù)據(jù)描述的基本知識(shí)圖

正偏分布(上圖)與負(fù)偏分布(下圖)Excel操作篩選排序利用函數(shù)計(jì)算:頻數(shù)與百分比/集中趨勢(shì)/離散趨勢(shì)數(shù)據(jù)透視表R語(yǔ)言操作載入數(shù)據(jù):read.csv()檢視數(shù)據(jù)篩選數(shù)據(jù):subset()排序:order()3.2數(shù)據(jù)描述的軟件操作

R語(yǔ)言操作統(tǒng)計(jì)頻數(shù)與百分比:table(),prop.table()平均數(shù):mean()中位數(shù):median()標(biāo)準(zhǔn)差:sd()分組數(shù)據(jù)統(tǒng)計(jì)函數(shù):aggregate()3.2數(shù)據(jù)描述的軟件操作

表R語(yǔ)言中常用的操作符號(hào)(operators)ggplot2操作基本語(yǔ)法:ggplot(data=,aes(x=,y=))+geom_xxx()柱狀圖/條形圖:

geom_bar()直方圖:geom_histogram()箱線圖:geom_boxplot()3.3通過圖形描述數(shù)據(jù)圖

樣本來源(城市/農(nóng)村)與擁有小汽車情況的堆積柱狀圖(比例)圖

基于樣本來源和性別進(jìn)行分面的身高直方圖圖

區(qū)分男女性別的身高分布直方圖圖

箱線圖中線條所代表的統(tǒng)計(jì)值多變量分析4.1交叉分析與卡方檢驗(yàn)4.2均值比較:t檢驗(yàn)與方差分析4.3相關(guān)分析4.4回歸分析第四節(jié)交叉分析可用于分析兩個(gè)類別型變量之間的關(guān)系。在數(shù)據(jù)分析時(shí),我們經(jīng)常需要處理類別變量。類別型變量只描述對(duì)象的類型分別,類和類之間并不存在算數(shù)關(guān)系,所以計(jì)算類別變量的平均數(shù)或方差是沒有意義的。因而,分析兩個(gè)類別變量仍然要著眼其頻數(shù)。具體而言,我們需要將變量中的類別組合成不同條件,在統(tǒng)計(jì)落入各種條件的個(gè)案頻數(shù),以此來觀察兩個(gè)變量之間的關(guān)系??ǚ接?jì)算公式:創(chuàng)建交叉表格:table()函數(shù)計(jì)算卡方值:chisq.test()函數(shù)4.1交叉分析與卡方檢驗(yàn)

表不同艙位乘客的幸存情況(括號(hào)中為理論值)當(dāng)分析一個(gè)類別變量與一個(gè)數(shù)值型變量之間的關(guān)系時(shí),則需要使用均值比較的策略。t檢驗(yàn)只適用于含有兩個(gè)類別的分類變量(如性別或城市/農(nóng)村戶籍人口)的均值比較,而方差分析適用于含有兩個(gè)或以上類別的分類變量的均值比較。R語(yǔ)言操作

T檢驗(yàn):t.test()

方差分析:anova()4.2均值比較:t檢驗(yàn)與方差分析

圖比較男女年收入平均數(shù)的t檢驗(yàn)結(jié)果圖方差分析結(jié)果相關(guān)分析(correlation)用以計(jì)算兩個(gè)數(shù)值型變量關(guān)聯(lián)強(qiáng)度的統(tǒng)計(jì)方法。兩個(gè)數(shù)值型變量都可以在區(qū)間內(nèi)連續(xù)波動(dòng),因而我們可以計(jì)算出一個(gè)統(tǒng)計(jì)值來衡量?jī)蓚€(gè)變量協(xié)同變化的程度。這里我們介紹一種最常用的相關(guān)分析方法皮爾遜相關(guān)系數(shù)(Pearson’scorrelationcoefficients)。R語(yǔ)言函數(shù):cor.test()4.3相關(guān)分析表皮爾遜相關(guān)系數(shù)表明的相關(guān)性強(qiáng)度回歸是分析若干自變量如何“影響”另一個(gè)因變量的統(tǒng)計(jì)方法。回歸分析還能夠明確自變量對(duì)因變量的解釋力以及自變量間相對(duì)影響力的大小。包含很多種類型。這里介紹其最常見的形式:多元線性回歸模型(multiplelinearregressionmodel)。首先,介紹回歸的最簡(jiǎn)單形式——簡(jiǎn)單線性回歸(simplelinearregression)。簡(jiǎn)單線性回歸旨在用一個(gè)數(shù)值型自變量去預(yù)測(cè)另一個(gè)數(shù)值型因變量。將一個(gè)變量定為自變量(X),將另一變量定為因變量(Y),自變量X對(duì)因變量Y產(chǎn)生影響?;貧w分析預(yù)測(cè)因變量yY的公式如下:最小二乘法(ordinaryleastsquares)是一種常用的回歸估計(jì)方法,可以找到所產(chǎn)生殘差平方和(sumofsquaredresiduals)最小的一條直線作為回歸線,并計(jì)算出其具體的系數(shù)。R語(yǔ)言函數(shù):lm()4.4

回歸分析

回歸分析結(jié)果返回很多信息:殘差的分布(residuals)回歸系數(shù)(regression

coeffients)回歸系數(shù)對(duì)應(yīng)的標(biāo)準(zhǔn)誤差、t檢驗(yàn)和P值模型擬合指標(biāo)(MultipleR-squared/AdjustedR-squared)模型顯著性指標(biāo)(F-statistic)4.4

回歸分析

圖用身高預(yù)測(cè)體重的簡(jiǎn)單線性回歸結(jié)果多元線性回歸用若干自變量預(yù)測(cè)一個(gè)因變量。這些自變量既可以是數(shù)值型變量,也可以是分類變量。

我們將自變量計(jì)作x1,x2,x3,…,xn,將因變量計(jì)作y,則因變量與自變量滿足如下線性關(guān)系:解析多元回歸根據(jù)回歸分析估計(jì)的參數(shù),寫出回歸方程解讀回歸系數(shù)區(qū)分回歸系數(shù)與標(biāo)準(zhǔn)化回歸系數(shù)解讀回歸中的虛擬變量的系數(shù)解讀回歸分析的模型擬合程度指標(biāo)4.4回歸分析

圖身高、出生年份與體重的三維散點(diǎn)圖回歸分析的注意事項(xiàng)對(duì)多元線性回歸要求因變量為數(shù)值型變量,自變量要存在充分的變化量。要警惕數(shù)據(jù)中的離群值,它

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論