《管理統(tǒng)計學》課件-13 第十三章 大數(shù)據(jù)中的管理統(tǒng)計學

第十三章

大數(shù)據(jù)中的管理統(tǒng)計學案例導入

某企業(yè)的總經(jīng)理每個月都會收到有交易往來的IT供應商的宣傳（PR）雜志，但收件人的頭銜不是“總經(jīng)理”，而是他曾經(jīng)兼任公司CIO時的頭銜“常務董事”。雖然將頭銜搞錯，但還是都能收到，因此并沒有太在意。但當這家IT供應商的總經(jīng)理到公司進行禮節(jié)性拜訪時，該總經(jīng)理就提出了希望改一下頭銜的想法。而這家IT供應商的新的賣點是大數(shù)據(jù)，公司的總經(jīng)理當場表示回去之后馬上修改。起初以為這點事情對于運營大數(shù)據(jù)業(yè)務的IT供應商而言不過是舉手之勞，一定會進行糾正。但等到下一個月他收到PR雜志時，發(fā)現(xiàn)收件人的頭銜仍然是“常務董事”。這位總經(jīng)理通過兩本PR雜志感到仿佛看到了大數(shù)據(jù)的現(xiàn)狀，因此他非常失望地說：“歸根到底IT供應商并沒有維護顧客數(shù)據(jù)庫”。這個大數(shù)據(jù)例子給我們帶來的有益思考：大數(shù)據(jù)具有哪些特征？對傳統(tǒng)統(tǒng)計學產(chǎn)生哪些影響呢？用哪些方法可以進行有效的統(tǒng)計決策呢？這是本章內(nèi)容要解決的問題。學習目標本章要求掌握在大數(shù)據(jù)時代背景下，大數(shù)據(jù)的定義、管理統(tǒng)計學的發(fā)展變革趨勢及其影響，尤其是要了解運用管理統(tǒng)計學在非結構化大數(shù)據(jù)中如何進行信息挖掘與統(tǒng)計決策。13.1大數(shù)據(jù)概述大數(shù)據(jù)（bigdata）至今還沒有統(tǒng)一的定義，從一般意義上來說，是指無法在合理時間內(nèi)用傳統(tǒng)IT技術和軟硬件工具對其進行收集、處理和分析的數(shù)據(jù)集合。Gartner研究機構認為大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。維克托·邁爾·舍恩伯格所著的《大數(shù)據(jù)時代》一書認為，“通過對海量數(shù)據(jù)進行分析，獲得有巨大價值的產(chǎn)品和服務，或深刻的洞見”，這正成為“當今社會所獨有的一種新型能力”。麥肯錫全球研究所認為大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。13.1.1大數(shù)據(jù)的定義13.1大數(shù)據(jù)概述維克托·邁爾-舍恩伯格與肯尼斯·庫克耶認為大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類型和價值密度低等四大特征。IBM指出大數(shù)據(jù)的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）。本教材認為大數(shù)據(jù)主要具有以下七大特征：大量性（Volume）：數(shù)據(jù)量越大意味著數(shù)據(jù)的價值和潛在的信息越多；多樣性（Variety）：數(shù)據(jù)類型的多樣性；高速性（Velocity）：指獲得數(shù)據(jù)的速度很快；真實性（Veracity）：數(shù)據(jù)的可靠度與質(zhì)量很高；價值性（Value）：運用大數(shù)據(jù)進行信息挖掘與決策，以低成本創(chuàng)造更高的價值；復雜性（Complexity）：數(shù)據(jù)量巨大，來源渠道多；動態(tài)性（Dynamic）：即可變性。13.1.2大數(shù)據(jù)的特征13.2大數(shù)據(jù)時代對管理統(tǒng)計學的影響數(shù)據(jù)按照存儲的規(guī)律性分為結構化數(shù)據(jù)與非結構化數(shù)據(jù)。結構化數(shù)據(jù)是指一種存儲很規(guī)律的行數(shù)據(jù)，存儲在數(shù)據(jù)庫里可以用二維表結構來邏輯表達實現(xiàn)的數(shù)據(jù)；非結構化數(shù)據(jù)是指不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等。大數(shù)據(jù)時代對管理統(tǒng)計學產(chǎn)生的影響：推斷統(tǒng)計與回歸分析法的淘汰、大數(shù)據(jù)挖掘方法的興起、從注重因果分析到相關分析、非結構化數(shù)據(jù)的統(tǒng)計決策方法等。13.2大數(shù)據(jù)時代對管理統(tǒng)計學的影響統(tǒng)計學剛建立的初衷就是從小樣本去推斷總體，樣本越多，推斷結果相對就越準確。而在大數(shù)據(jù)時代有個論點：樣本=總體，就是說在互聯(lián)網(wǎng)時代，由于數(shù)據(jù)產(chǎn)生的便捷性和獲取成本低，應該以考慮總體的大樣本，而不是傳統(tǒng)統(tǒng)計學的小樣本。因為大數(shù)據(jù)時代沒有了樣本概念，都是對全總體進行分析，故用樣本統(tǒng)計量來推斷總體參數(shù)的推斷統(tǒng)計學將被淘汰?；貧w分析的目的也是用樣本來估計總體，然后進行預測分析。然而大數(shù)據(jù)中不存在所謂的樣本，比如回歸分析中的哈密爾頓問題，用父親的身高來預測兒子的身高，但大數(shù)據(jù)包含了所有父親和兒子的身高數(shù)據(jù)，只要計算給定的父親身高下所有兒子的平均身高就可預測其兒子身高了。模型不再重要，當年統(tǒng)計學最得意的回歸分析預測方法將被淘汰。13.2.1推斷統(tǒng)計與回歸分析法的淘汰13.2大數(shù)據(jù)時代對管理統(tǒng)計學的影響在大數(shù)據(jù)時代，數(shù)據(jù)挖掘是最關鍵的工作。大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。其主要基于人工智能，機器學習，模式學習，統(tǒng)計學等。通過對大數(shù)據(jù)高度自動化分析，做出歸納推理，從中挖掘出潛在的模式，可以幫助政府、企業(yè)、商家、用戶調(diào)整市場政策等做出正確的決策。大數(shù)據(jù)的挖掘方法有很多種，常用的方法包括：分類分析、聚類分析、相關分析、關聯(lián)規(guī)則、神經(jīng)網(wǎng)絡、Web數(shù)據(jù)挖掘等。13.2.2數(shù)據(jù)挖掘方法的興起13.2大數(shù)據(jù)時代對管理統(tǒng)計學的影響隨著大數(shù)據(jù)時代的到來，在經(jīng)濟管理中，對于數(shù)據(jù)的分析發(fā)生了很大變化，從原來的注重因果分析轉變到如今看重相關分析。人們不再過多地關注“為什么”，而更多想知道“是什么”。這導致人們生活在大數(shù)據(jù)時代，思維方式發(fā)生了很大變化。大數(shù)據(jù)時代使得相關分析需要達到的要求更高，針對傳統(tǒng)統(tǒng)計學的相關分析法存在的缺陷，相關分析的結果只與變量之間聯(lián)動性的緊密程度有關，而不受變量間相關形式的影響。但針對大數(shù)據(jù)的相關分析不同于傳統(tǒng)的相關分析，傳統(tǒng)的相關分析基本上都是線性相關分析，而大數(shù)據(jù)研究的相關關系分析不僅是線性相關，更多的是非線性相關以及不明確函數(shù)形式的線性相關等。13.2.3從注重因果分析到相關分析13.2大數(shù)據(jù)時代對管理統(tǒng)計學的影響統(tǒng)計決策是利用數(shù)據(jù)信息對可選方案進行選擇的行為。傳統(tǒng)的統(tǒng)計決策方法更多的是結構化數(shù)據(jù)決策，常用的方法有貝葉斯決策、決策樹等，決策方法具有規(guī)律可循與模型可依。決策的結果一般是根據(jù)規(guī)律與模型推導出來的決策結果。而進入大數(shù)據(jù)時代，大數(shù)據(jù)往往都是非結構化數(shù)據(jù)，故人們已經(jīng)從結構化數(shù)據(jù)決策向非結構化數(shù)據(jù)決策發(fā)展了。大數(shù)據(jù)決策就是一種非結構化數(shù)據(jù)決策，是指那些面臨復雜的大數(shù)據(jù)，其決策過程、決策方法和大數(shù)據(jù)結構沒有固定的規(guī)律可以遵循，沒有固定的決策規(guī)則和模型可依，僅憑決策者的主觀行為（學識、經(jīng)驗、直覺、判斷力、洞察力、個人偏好、決策風格和大數(shù)據(jù)相關關系匹配等）對統(tǒng)計結果進行判斷。決策結果往往是決策者根據(jù)經(jīng)驗目標和大數(shù)據(jù)相關分析挖掘情況臨時決定的。13.2.4從結構化數(shù)據(jù)決策到非結構化數(shù)據(jù)決策13.2大數(shù)據(jù)時代對管理統(tǒng)計學的影響13.2.4從結構化數(shù)據(jù)決策到非結構化數(shù)據(jù)決策圖13-1非結構化數(shù)據(jù)決策的大體思路本章小