大數(shù)據(jù)技術(shù) 課件 項(xiàng)目三 大數(shù)據(jù)思維

項(xiàng)目三

大數(shù)據(jù)思維人類(lèi)社會(huì)的進(jìn)步得益于哲學(xué)思想中的方法論，但是到了信息時(shí)代，隨著人類(lèi)對(duì)世界認(rèn)識(shí)的越來(lái)越數(shù)據(jù)化，人們感受到的世界不確定性越來(lái)越顯著，以至于我們按照傳統(tǒng)的機(jī)械思維模式，已很難做出準(zhǔn)確的因果關(guān)系預(yù)測(cè)。當(dāng)人們意識(shí)到影響世界的變量非常多，已經(jīng)無(wú)法通過(guò)簡(jiǎn)單的方法或者公式得出結(jié)論時(shí)，人們嘗試采用一些針對(duì)隨機(jī)事件的方法來(lái)處理問(wèn)題，用不確定性的眼光看待世界。大數(shù)據(jù)思維大數(shù)據(jù)思維在大數(shù)據(jù)時(shí)代，人們不得不轉(zhuǎn)變思維方式，努力把身邊的事物量化，再?gòu)臄?shù)據(jù)的角度加以分析后獲得人與物、物與物之間相互聯(lián)系的規(guī)律，人們根據(jù)這些規(guī)律可以預(yù)見(jiàn)事物間的相關(guān)性，這就是大數(shù)據(jù)的思維方式。在方法論的層面，大數(shù)據(jù)是一種全新的思維方式，按照大數(shù)據(jù)的思維方式，人們的思維模式從抽樣統(tǒng)計(jì)思維轉(zhuǎn)向宏觀整體思維、由精確的數(shù)值計(jì)算轉(zhuǎn)向有偏差的數(shù)據(jù)分析、用定量的計(jì)算思維替代定性的理性思維。大數(shù)據(jù)的思維特點(diǎn)從理論上說(shuō)，自然界和人類(lèi)社會(huì)存在的數(shù)據(jù)是無(wú)限的，而人類(lèi)采集、存儲(chǔ)數(shù)據(jù)、分析數(shù)據(jù)的能力卻是有限的，人們?nèi)绾卧跓o(wú)限的數(shù)據(jù)中找到所需的數(shù)據(jù)，就需要一種全新的大數(shù)據(jù)思維模式，這類(lèi)似于經(jīng)典力學(xué)和相對(duì)論的誕生，改變了人們?cè)械乃季S模式。大數(shù)據(jù)的思維特點(diǎn)大數(shù)據(jù)的總體思維大數(shù)據(jù)技術(shù)的核心就是海量數(shù)據(jù)的實(shí)時(shí)采集、存儲(chǔ)和處理，如感應(yīng)器、手機(jī)導(dǎo)航、網(wǎng)站等應(yīng)用技術(shù)都能夠收集大量實(shí)時(shí)數(shù)據(jù)，同時(shí)分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)技術(shù)在理論上提供了近乎無(wú)限的數(shù)據(jù)存儲(chǔ)能力，而分布式并行編程框架MapReduce提供了強(qiáng)大的海量數(shù)據(jù)并行處理能力。2.1.1大數(shù)據(jù)的思維特點(diǎn)2.1大數(shù)據(jù)是在數(shù)據(jù)的復(fù)雜性和完整性的基礎(chǔ)上進(jìn)一步揭示事物的相關(guān)性，在大數(shù)據(jù)的情形下，除了數(shù)據(jù)驗(yàn)證已有結(jié)論外，我們還可以從數(shù)據(jù)出發(fā)，看數(shù)據(jù)本身能夠給出什么新的結(jié)論。數(shù)據(jù)分析完全可以直接針對(duì)全集數(shù)據(jù)而不是抽樣數(shù)據(jù)，使“樣本=總體”變?yōu)楝F(xiàn)實(shí)，不再受采樣方法的限制，并且可以在短時(shí)間內(nèi)迅速得到分析結(jié)果。大數(shù)據(jù)的總體思維大數(shù)據(jù)的思維特點(diǎn)2.1人們?cè)诓捎贸闃臃治鰰r(shí)，必須追求分析方法的精確性，因?yàn)獒槍?duì)部分樣本的抽樣分析所得到的結(jié)果應(yīng)用到全集數(shù)據(jù)后，誤差會(huì)被放大。也就是說(shuō)，抽樣分析中的微小誤差被放大到全集數(shù)據(jù)后，就可能會(huì)變成一個(gè)很大的誤差。1.2大數(shù)據(jù)的非精確思維大數(shù)據(jù)的思維特點(diǎn)2.1解釋事物背后的發(fā)展機(jī)理預(yù)測(cè)未來(lái)可能發(fā)生的事件大數(shù)據(jù)的非因果性思維大數(shù)據(jù)的思維特點(diǎn)2.1傳統(tǒng)的統(tǒng)計(jì)學(xué)主要通過(guò)模型來(lái)探究變量之間的因果關(guān)系，根據(jù)模型預(yù)測(cè)變量的因變量，即首先假設(shè)事物之間存在某種因果關(guān)系，然后根據(jù)這個(gè)假設(shè)建立模型并驗(yàn)證假設(shè)的因果關(guān)系。但是，現(xiàn)實(shí)世界的事物是普遍聯(lián)系的，因果關(guān)系只是事物之間相關(guān)關(guān)系的一種，認(rèn)識(shí)事物之間的相關(guān)關(guān)系才是人們進(jìn)一步了解事物的本質(zhì)內(nèi)涵的高層次認(rèn)知需求。傳統(tǒng)的統(tǒng)計(jì)學(xué)主要通過(guò)模型來(lái)探究變量之間的因果關(guān)系，根據(jù)模型預(yù)測(cè)變量的因變量，即首先假設(shè)事物之間存在某種因果關(guān)系，然后根據(jù)這個(gè)假設(shè)建立模型并驗(yàn)證假設(shè)的因果關(guān)系。但是，現(xiàn)實(shí)世界的事物是普遍聯(lián)系的，因果關(guān)系只是事物之間相關(guān)關(guān)系的一種，認(rèn)識(shí)事物之間的相關(guān)關(guān)系才是人們進(jìn)一步了解事物的本質(zhì)內(nèi)涵的高層次認(rèn)知需求。大數(shù)據(jù)的非因果性思維大數(shù)據(jù)的思維特點(diǎn)2.1數(shù)據(jù)無(wú)法確定因果關(guān)系，但數(shù)據(jù)依然為人們提供了解決問(wèn)題的新方法。因?yàn)閿?shù)據(jù)中包含的信息可以幫助人們消除不確定性，分析數(shù)據(jù)的相關(guān)性就可以幫助人們得到想要的答案，這就是大數(shù)據(jù)思維的核心。1.2大數(shù)據(jù)的非因果性思維大數(shù)據(jù)的思維特點(diǎn)2.1在科學(xué)研究領(lǐng)域中的很長(zhǎng)一段時(shí)期內(nèi)，研究方法分成傳統(tǒng)人工智能方法與數(shù)據(jù)驅(qū)動(dòng)方法。對(duì)機(jī)器翻譯的研究，學(xué)者較多采用人工智能的方法，在實(shí)踐中，機(jī)器翻譯研究人員逐漸意識(shí)到了一個(gè)新問(wèn)題：機(jī)器翻譯不能只是讓計(jì)算機(jī)熟悉常用規(guī)則，還必須教會(huì)計(jì)算機(jī)處理特殊的語(yǔ)言情況，但是教會(huì)計(jì)算機(jī)學(xué)會(huì)選詞是非常困難的。1.2以數(shù)據(jù)為中心大數(shù)據(jù)的思維特點(diǎn)2.1讓計(jì)算機(jī)去估算一個(gè)詞或一個(gè)詞組適合于用來(lái)翻譯另一種語(yǔ)言中的一個(gè)詞和詞組的可能性，然后再?zèng)Q定某個(gè)詞和詞組在另一種語(yǔ)言中的對(duì)等詞和詞組，但前提是需要足夠的數(shù)據(jù)量。1.32.1.4以數(shù)據(jù)為中心大數(shù)據(jù)的思維特點(diǎn)2.1在大數(shù)據(jù)時(shí)代，人們分析問(wèn)題時(shí)可以盡可能地從多維度收集數(shù)據(jù)，人們以往的數(shù)據(jù)運(yùn)用思維已不能適應(yīng)新問(wèn)題的解決方式。例如，如何從大量數(shù)據(jù)中收集有用的數(shù)據(jù)、如何確定數(shù)據(jù)的存儲(chǔ)方式、如何利用大數(shù)據(jù)幫助解決困境等問(wèn)題。面對(duì)大數(shù)據(jù)產(chǎn)生的新問(wèn)題，需要運(yùn)用大數(shù)據(jù)的運(yùn)營(yíng)思維，用數(shù)據(jù)中的隱藏價(jià)值來(lái)解決生產(chǎn)、生活中的現(xiàn)實(shí)問(wèn)題。1.3大數(shù)據(jù)的運(yùn)營(yíng)思維大數(shù)據(jù)的思維特點(diǎn)2.1數(shù)據(jù)收集取決于辨別數(shù)據(jù)價(jià)值的能力，取決于能否在大量數(shù)據(jù)中找出核心數(shù)據(jù)和頻繁使用的數(shù)據(jù)。如果只收集數(shù)據(jù)而不對(duì)數(shù)據(jù)進(jìn)行分析，那么數(shù)據(jù)背后的價(jià)值就無(wú)法體現(xiàn)。因此，大數(shù)據(jù)的價(jià)值就是使數(shù)據(jù)處于“收集—應(yīng)用”的良性循環(huán)中，并帶動(dòng)更多的數(shù)據(jù)進(jìn)入此循環(huán)中（見(jiàn)圖2-1）。在此循環(huán)過(guò)程中，主動(dòng)收集和靈活使用是關(guān)鍵。1.3數(shù)據(jù)的收集大數(shù)據(jù)的思維特點(diǎn)2.1在運(yùn)用大數(shù)據(jù)分析服務(wù)時(shí)，必須對(duì)所收集的海量數(shù)據(jù)進(jìn)行有效的管理。數(shù)據(jù)管理主要包括：數(shù)據(jù)的來(lái)源、數(shù)據(jù)的完整性、數(shù)據(jù)的安全性、數(shù)據(jù)的準(zhǔn)確性和穩(wěn)定性等。數(shù)據(jù)管理因在不同的應(yīng)用背景而有所不同。1.3數(shù)據(jù)的分類(lèi)大數(shù)據(jù)的思維特點(diǎn)2.1從4個(gè)維度進(jìn)行數(shù)據(jù)分類(lèi)的方法