大學計算機-計算思維視角 課件 5.6 大數(shù)據(jù)的概念及影響

大數(shù)據(jù)的概念及影響數(shù)據(jù)庫與大數(shù)據(jù)章名：節(jié)名：大數(shù)據(jù)的概念大數(shù)據(jù)的影響12大數(shù)據(jù)的特性？大數(shù)據(jù)的概念4V大量化VOLUME快速化VELOCITY多樣化VARIETY價值密度低VALUE大數(shù)據(jù)的概念數(shù)據(jù)量大(大量化)根據(jù)國際機構(gòu)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍。（大數(shù)據(jù)摩爾定律）人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。預(yù)計到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量，相較于2010年，數(shù)據(jù)量將增長近30倍。1ZB≈103EB≈106PB≈109TB大數(shù)據(jù)的概念2.數(shù)據(jù)類型多樣化大數(shù)據(jù)的數(shù)據(jù)類型繁多，由結(jié)構(gòu)化和非結(jié)構(gòu)化

數(shù)據(jù)組成的。10%的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系數(shù)據(jù)庫中有規(guī)律

的數(shù)據(jù)。90%的非結(jié)構(gòu)化數(shù)據(jù)，它們與人類信息密切相關(guān)。大數(shù)據(jù)的概念2.數(shù)據(jù)類型多樣化企業(yè)應(yīng)用Email文檔、文件應(yīng)用日志交易記錄Web2.0數(shù)據(jù)查詢?nèi)罩?點擊流Twitter(推特)Blog(博客)SNS(社交網(wǎng)絡(luò)服務(wù))Wiki(超文本系統(tǒng))科學研究基因組LHC(粒子)加速器地球與空間探測Web1.0數(shù)據(jù)文本、圖像、視頻3.處理速度非常快大數(shù)據(jù)的概念秒級服務(wù)以前：把大量數(shù)據(jù)拿出來進行分析，后拿出

一個報告，服務(wù)企業(yè)決策?，F(xiàn)在：企業(yè)級應(yīng)用都需要秒級決策。從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于生成決策的時間非常少。1秒定律：這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。大數(shù)據(jù)概念實例：谷歌公司開發(fā)一款Dremel產(chǎn)品，做交互式查詢。這樣一個

產(chǎn)品可達到一個什么樣的查詢實時程度呢？結(jié)論：把成百上千臺服務(wù)器同時調(diào)動起來做集群運算，1秒鐘左右

可實現(xiàn)1PB數(shù)據(jù)量的交互式查詢。4.價值密度低大數(shù)據(jù)的概念1、社會發(fā)展方面2、就業(yè)市場方面3、人才培養(yǎng)方面4、科學研究方面5、思維方式方面大數(shù)據(jù)的影響1、社會發(fā)展方面大數(shù)據(jù)決策逐漸成為一種新的決策方式，大數(shù)據(jù)應(yīng)用有力促進了信息技術(shù)與各行業(yè)的深度融合，大數(shù)據(jù)開發(fā)大大推動了新技術(shù)和新應(yīng)用的不斷涌現(xiàn)。2、就業(yè)市場方面大數(shù)據(jù)的興起使得數(shù)據(jù)科學家成為熱門職業(yè)。大數(shù)據(jù)的影響3、人才培養(yǎng)方面大數(shù)據(jù)的興起，將在很大程度上改變中國高校信息技術(shù)相關(guān)專業(yè)的現(xiàn)有教學和科研體制。4、科學研究方面大數(shù)據(jù)的影響JimGray博士數(shù)據(jù)庫專家圖靈獎獲得者(提出了事務(wù)理論)4、科學研究方面大數(shù)據(jù)的影響大數(shù)據(jù)的到來使科學研究出現(xiàn)了第四種范式。實驗(伽利略比薩斜塔)理論(牛頓第三定律)計算(計算時代，1940年后)數(shù)據(jù)(以大數(shù)據(jù)為驅(qū)動全新的科學研究時代，2010年后)大數(shù)據(jù)的影響大數(shù)據(jù)的影響維克托·邁爾-舍恩伯格(著)在思維方式方面，大數(shù)據(jù)完全顛覆了傳統(tǒng)的思維方式：全樣而非抽樣效率而非精確相關(guān)而非因果5、思維方式方面全面而非抽樣大數(shù)據(jù)的影響數(shù)據(jù)太多，無法存儲、計算和分析，統(tǒng)計學采用抽樣。大數(shù)據(jù)時代足夠的空間進行存儲利用眾多CPU的服務(wù)器集群進行計算全樣數(shù)據(jù)分析效率而非精確大數(shù)據(jù)的影響全面而非抽樣抽樣分析的結(jié)果：注重精確度，否則，數(shù)據(jù)放大到全樣誤差會放大。大數(shù)據(jù)分析的結(jié)果：使用的是全部數(shù)據(jù)，精確度是固定的，不會放大。數(shù)據(jù)分析的時效性非常重要，數(shù)據(jù)在瞬間就要得出結(jié)果，否則價值將會消失。效率比精確度更重要相關(guān)而非因果大數(shù)據(jù)的影響效率而非精確全面而非抽樣