4.4 初識(shí)大數(shù)據(jù)-【中職專用】高一信息技術(shù)同步課堂（高教版2021·基礎(chǔ)模塊下冊(cè)）

4.4初識(shí)大數(shù)據(jù)高教版《信息技術(shù)》基礎(chǔ)模塊（下冊(cè)）了解大數(shù)據(jù)隨著智能手機(jī)的普及，“低頭族”的群體不斷壯大。很多人會(huì)在閑暇時(shí)間“刷手機(jī)”，而且一刷就停不下來(lái)。為什么這些APP里的內(nèi)容都是我們愛(ài)看的？它們?cè)趺淳瓦@么“懂”我們的喜好呢？了解大數(shù)據(jù)1大數(shù)據(jù)的基礎(chǔ)知識(shí)從技術(shù)的角度看，大數(shù)據(jù)指的是傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理的大或復(fù)雜的數(shù)據(jù)集。從資源的角度看，大數(shù)據(jù)指的是海量、高速增長(zhǎng)和多樣化的信息資產(chǎn)。體量大產(chǎn)生速度快類型多價(jià)值密度低了解大數(shù)據(jù)2大數(shù)據(jù)采集與分析的相關(guān)技術(shù)大數(shù)據(jù)處理主要是指從海量數(shù)據(jù)中獲取需要的信息并進(jìn)行加工分析得到有用的知識(shí)，通常在大數(shù)據(jù)管理平臺(tái)上進(jìn)行。數(shù)據(jù)存儲(chǔ)與預(yù)處理數(shù)據(jù)采集數(shù)據(jù)挖掘數(shù)據(jù)呈現(xiàn)大量的數(shù)據(jù)有用的信息數(shù)據(jù)了解大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)與預(yù)處理數(shù)據(jù)采集數(shù)據(jù)挖掘數(shù)據(jù)呈現(xiàn)數(shù)據(jù)存儲(chǔ)與預(yù)處理數(shù)據(jù)采集，指從傳感器或其他采集設(shè)備中獲取數(shù)據(jù)。采集的數(shù)據(jù)包括實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)。采集的數(shù)據(jù)維度越多、越密集，大數(shù)據(jù)潛在的價(jià)值越大。數(shù)據(jù)預(yù)處理主要指數(shù)據(jù)清洗，即消除在數(shù)據(jù)采集的過(guò)程中由于人為疏忽、設(shè)備異?；虿蓸臃椒ú缓侠淼纫蛩卦斐傻臄?shù)據(jù)誤差、數(shù)據(jù)遺失、數(shù)據(jù)重復(fù)等不同類型的問(wèn)題數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量和完整性。了解大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)與預(yù)處理數(shù)據(jù)采集數(shù)據(jù)挖掘數(shù)據(jù)呈現(xiàn)大數(shù)據(jù)的存儲(chǔ)需要分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)的支持。傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)不能有效地滿足大數(shù)據(jù)中半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與索引處理。NoSQL(NotOnlySQL)泛指非關(guān)系型數(shù)據(jù)庫(kù)，是大數(shù)據(jù)存儲(chǔ)中常用的數(shù)據(jù)庫(kù)。非結(jié)構(gòu)化數(shù)據(jù)是指數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒(méi)有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫(kù)二維邏輯表來(lái)表現(xiàn)的數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、HTML、各類報(bào)表、圖像和音頻/視頻信息等等。什么叫非結(jié)構(gòu)化數(shù)據(jù)？了解大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)與預(yù)處理數(shù)據(jù)采集數(shù)據(jù)挖掘數(shù)據(jù)呈現(xiàn)旨在發(fā)現(xiàn)哪些行為或現(xiàn)象總是一起發(fā)生。其典型例子是購(gòu)物籃分析從中發(fā)現(xiàn)交易數(shù)據(jù)庫(kù)中不同商品之間的關(guān)系，找出顧客購(gòu)買(mǎi)行為模式，分析結(jié)果可以應(yīng)用于商品貨架布局、存貨安排等。分類預(yù)測(cè)聚類關(guān)聯(lián)規(guī)則指通過(guò)觀察大量數(shù)據(jù)后得出規(guī)則以建立類別模式，將數(shù)據(jù)中各屬性分門(mén)別類地加以定義。例如，智能手機(jī)中的相冊(cè)自動(dòng)分類。是利用歷史數(shù)據(jù)來(lái)預(yù)測(cè)未來(lái)可能發(fā)生的行為或現(xiàn)象。例如，根據(jù)以往的氣象數(shù)據(jù)預(yù)測(cè)天氣、利用用戶搜索歷史預(yù)測(cè)旅游景點(diǎn)的訪客人數(shù)等。是根據(jù)相似度將數(shù)據(jù)區(qū)分為不同聚類，使同一聚類內(nèi)的個(gè)體距離較近或變異較小，不同聚類間的個(gè)體距離較遠(yuǎn)或變異較大。例如，根據(jù)客戶的網(wǎng)絡(luò)瀏覽習(xí)慣推送個(gè)性化內(nèi)容。了解大數(shù)據(jù)數(shù)據(jù)存儲(chǔ)與預(yù)處理數(shù)據(jù)采集數(shù)據(jù)挖掘數(shù)據(jù)呈現(xiàn)大數(shù)據(jù)的可視化技術(shù)，能夠幫助人們有效理解數(shù)據(jù)，最終真正利用好大數(shù)據(jù)。從數(shù)據(jù)展示的角度來(lái)看，可視化技術(shù)可以分為數(shù)據(jù)的結(jié)構(gòu)可視化、功能可視化、關(guān)聯(lián)關(guān)系可視化和發(fā)展趨勢(shì)可視化。了解大數(shù)據(jù)3大數(shù)據(jù)與物聯(lián)網(wǎng)的關(guān)系物聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)，大數(shù)據(jù)助力物聯(lián)網(wǎng)。物聯(lián)網(wǎng)數(shù)據(jù)本身就是一種大數(shù)據(jù)，是通過(guò)大量傳感器收集的。數(shù)據(jù)的分析、處理必須跟上物聯(lián)網(wǎng)的節(jié)奏，所以，物聯(lián)網(wǎng)推動(dòng)了大數(shù)據(jù)的發(fā)展。了解大數(shù)據(jù)4大數(shù)據(jù)應(yīng)用場(chǎng)景在金融服務(wù)領(lǐng)域可以用于風(fēng)險(xiǎn)分析和管理、客戶忠誠(chéng)度分析、交易監(jiān)管等；在公共領(lǐng)域可以用于網(wǎng)絡(luò)安全、能耗管理等；在醫(yī)療健康領(lǐng)域可以用于藥品發(fā)現(xiàn)和開(kāi)發(fā)分析、患者護(hù)理質(zhì)量分析、健康保險(xiǎn)、醫(yī)療設(shè)備供應(yīng)鏈管理等；在零售領(lǐng)域可以用于市場(chǎng)和用戶分析、預(yù)測(cè)銷售等；在環(huán)保領(lǐng)域可以用于空氣質(zhì)量監(jiān)測(cè)、排污管理等。生活中與大數(shù)據(jù)相關(guān)的