知識(shí)點(diǎn)數(shù)據(jù)可視化概述拓展

第1章數(shù)據(jù)可視化拓展主要內(nèi)容數(shù)據(jù)可視化的基本流程數(shù)據(jù)可視化身邊案例優(yōu)秀案例展示一、數(shù)據(jù)可視化的基本流程1、數(shù)據(jù)采集2、數(shù)據(jù)處理和變換3、可視化映射4、人機(jī)交互5、用戶感知1、數(shù)據(jù)采集數(shù)據(jù)采集是數(shù)據(jù)分析和可視化的第一步，俗話說“巧婦難為無米之炊”，數(shù)據(jù)采集的方法和質(zhì)量，很大程度上就決定了數(shù)據(jù)可視化的最終效果。數(shù)據(jù)采集的分類方法有很多，從數(shù)據(jù)的來源來看，可以分為內(nèi)部數(shù)據(jù)采集和外部數(shù)據(jù)采集。1、數(shù)據(jù)采集（1）內(nèi)部數(shù)據(jù)采集：指的是采集企業(yè)內(nèi)部經(jīng)營活動(dòng)的數(shù)據(jù)，通常數(shù)據(jù)來源于業(yè)務(wù)數(shù)據(jù)庫，如訂單的交易情況。如果要分析用戶的行為數(shù)據(jù)、APP的使用情況，還需要一部分行為日志數(shù)據(jù)，這個(gè)時(shí)候就需要用「埋點(diǎn)」這種方法來進(jìn)行APP或Web的數(shù)據(jù)采集。（2）外部數(shù)據(jù)采集：指的數(shù)通過一些方法獲取企業(yè)外部的一些數(shù)據(jù)，具體目的包括，獲取競(jìng)品的數(shù)據(jù)、獲取官方機(jī)構(gòu)官網(wǎng)公布的一些行業(yè)數(shù)據(jù)等。獲取外部數(shù)據(jù)，通常采用的數(shù)據(jù)采集方法為「網(wǎng)絡(luò)爬蟲」。1、數(shù)據(jù)采集以上的兩類數(shù)據(jù)采集方法得來的數(shù)據(jù)，都是二手?jǐn)?shù)據(jù)。而在市場(chǎng)調(diào)研和科學(xué)研究中，常常需要一手?jǐn)?shù)據(jù)，需要通過調(diào)查和實(shí)驗(yàn)來采集數(shù)據(jù)。2、數(shù)據(jù)處理和變換數(shù)據(jù)處理和數(shù)據(jù)變換，是進(jìn)行數(shù)據(jù)可視化的前提條件，包括數(shù)據(jù)預(yù)處理和數(shù)據(jù)挖掘兩個(gè)過程。一方面，通過前期的數(shù)據(jù)采集得到的數(shù)據(jù)，不可避免的含有噪聲和誤差，數(shù)據(jù)質(zhì)量較低；另一方面，數(shù)據(jù)的特征、模式往往隱藏在海量的數(shù)據(jù)中，需要進(jìn)一步的數(shù)據(jù)挖掘才能提取出來。2、數(shù)據(jù)的處理和變換常見的數(shù)據(jù)質(zhì)量問題包括：（1）數(shù)據(jù)收集錯(cuò)誤，遺漏了數(shù)據(jù)對(duì)象，或者包含了本不應(yīng)包含的其他數(shù)據(jù)對(duì)象。（2）數(shù)據(jù)中的離群點(diǎn)，即不同于數(shù)據(jù)集中其他大部分?jǐn)?shù)據(jù)對(duì)象特征的數(shù)據(jù)對(duì)象。（3）存在遺漏值，數(shù)據(jù)對(duì)象的一個(gè)或多個(gè)屬性值缺失，導(dǎo)致數(shù)據(jù)收集不全。（4）數(shù)據(jù)不一致，收集到的數(shù)據(jù)明顯不合常理，或者多個(gè)屬性值之間互相矛盾。例如，體重是負(fù)數(shù)，或者所填的郵政編碼和城市之間并沒有對(duì)應(yīng)關(guān)系。（5）重復(fù)值的存在，數(shù)據(jù)集中包含完全重復(fù)或幾乎重復(fù)的數(shù)據(jù)。2、數(shù)據(jù)的處理和變換正是因?yàn)橛幸陨蠁栴}的存在，直接拿采集的數(shù)據(jù)進(jìn)行分析or可視化，得出的結(jié)論往往會(huì)誤導(dǎo)用戶做出錯(cuò)誤的決策。因此，對(duì)采集到的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和規(guī)范化，是數(shù)據(jù)可視化流程中不可缺少的在大數(shù)據(jù)時(shí)代，我們所采集到的數(shù)據(jù)通常具有4V特性：Volume（大量）、Variety（多樣）、Velocity（高速）、Value（價(jià)值）。如何從高維、海量、多樣化的數(shù)據(jù)中，挖掘有價(jià)值的信息來支持決策，除了需要對(duì)數(shù)據(jù)進(jìn)行清洗、去除噪聲之外，還需要依據(jù)業(yè)務(wù)目的對(duì)數(shù)據(jù)進(jìn)行二次處理。常用的數(shù)據(jù)處理方法包括：降維、數(shù)據(jù)聚類和切分、抽樣等統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中的方法。一環(huán)。3、可視化映射對(duì)數(shù)據(jù)進(jìn)行清洗、去噪，并按照業(yè)務(wù)目的進(jìn)行數(shù)據(jù)處理之后，接下來就到了可視化映射環(huán)節(jié)?？梢暬成涫钦麄€(gè)數(shù)據(jù)可視化流程的核心，是指將處理后的數(shù)據(jù)信息映射成可視化元素的過程?？梢暬赜?部分組成：可視化空間+標(biāo)記+視覺通道3、可視化映射-可視化空間數(shù)據(jù)可視化的顯示空間，通常是二維。三維物體的可視化，通過圖形繪制技術(shù)，解決了在二維平面顯示的問題，如3D環(huán)形圖、3D地圖等。標(biāo)記，是數(shù)據(jù)屬性到可視化幾何圖形元素的映射，用來代表數(shù)據(jù)屬性的歸類。根據(jù)空間自由度的差別，標(biāo)記可以分為點(diǎn)、線、面、體，分別具有零自由度、一維、二維、三維自由度。如我們常見的散點(diǎn)圖、折線圖、矩形樹圖、三維柱狀圖，分別采用了點(diǎn)、線、面、體這四種不同類型的標(biāo)記。3、可視化映射-標(biāo)記數(shù)據(jù)屬性的值到標(biāo)記的視覺呈現(xiàn)參數(shù)的映射，叫做視覺通道，通常用于展示數(shù)據(jù)屬性的定量信息。常用的視覺通道包括：標(biāo)記的位置、大?。ㄩL(zhǎng)度、面積、體積...）、形狀（三角形、圓、立方體...）、方向、顏色（色調(diào)、飽和度、亮度、透明度...）等?！笜?biāo)記」、「視覺通道」是可視化編碼元素的兩個(gè)方面，兩者的結(jié)合，可以完整的將數(shù)據(jù)信息進(jìn)行可視化表達(dá)，從而完成可視化映射這一過程。3、可視化映射-視覺通道4、人機(jī)交互可視化的目的，是為了反映數(shù)據(jù)的數(shù)值、特征和模式，以更加直觀、易于理解的方式，將數(shù)據(jù)背后的信息呈現(xiàn)給目標(biāo)用戶，輔助其作出正確的決策。但是通常，我們面對(duì)的數(shù)據(jù)是復(fù)雜的，數(shù)據(jù)所蘊(yùn)含的信息是豐富的。如果在可視化圖形中，將所有的信息不經(jīng)過組織和篩選，全部機(jī)械的擺放出來，不僅會(huì)讓整個(gè)頁面顯得特別臃腫和混亂，缺乏美感；而且模糊了重點(diǎn)，分散用戶的注意力，降低用戶單位時(shí)間獲取信息的能力。常見的交互方式包括：（1）滾動(dòng)和縮放：當(dāng)數(shù)據(jù)在當(dāng)前分辨率的設(shè)備上無法完整展示時(shí)，滾動(dòng)和縮放是一種非常有效的交互方式，比如地圖、折線圖的信息細(xì)節(jié)等。但是，滾動(dòng)與縮放的具體效果，除了與頁面布局有關(guān)系外，還與具體的顯示設(shè)備有關(guān)。（2）顏色映射的控制：一些可視化的開源工具，會(huì)提供調(diào)色板，如D3。用戶可以根據(jù)自己的喜好，去進(jìn)行可視化圖形顏色的配置。這個(gè)在自助分析等平臺(tái)型工具中，會(huì)相對(duì)多一點(diǎn)，但是對(duì)一些自研的可視化產(chǎn)品中，一般有專業(yè)的設(shè)計(jì)師來負(fù)責(zé)這項(xiàng)工作，從而使可視化的視覺傳達(dá)具有美感。4、人機(jī)交互（3）數(shù)據(jù)映射方式的控制：這個(gè)是指用戶對(duì)數(shù)據(jù)可視化映射元素的選擇，一般一個(gè)數(shù)據(jù)集，是具有多組特征的，提供靈活的數(shù)據(jù)映射方式給用戶，可以方便用戶按照自己感興趣的維度去探索數(shù)據(jù)背后的信息。這個(gè)在常用的可視化分析工具中都有提供，如tableau、PowerBI等。（4）數(shù)據(jù)細(xì)節(jié)層次控制：比如隱藏?cái)?shù)據(jù)細(xì)節(jié)，hover或點(diǎn)擊才出現(xiàn)。4、人機(jī)交互5、用戶感知可視化的結(jié)果，只有被用戶感知之后，才可以轉(zhuǎn)化為知識(shí)和靈感。用戶在感知過程，除了被動(dòng)接受可視化的圖形之外，還通過與可視化各模塊之間的交互，主動(dòng)獲取信息。如何讓用戶更好的感知可視化的結(jié)果，將結(jié)果轉(zhuǎn)化為有價(jià)值的信息用來指導(dǎo)決策，這個(gè)里面涉及到的影響因素太多了，心理學(xué)、統(tǒng)計(jì)學(xué)、人機(jī)交互等多個(gè)學(xué)科的知識(shí)。二、數(shù)據(jù)可視化案例分析數(shù)據(jù)可視化聽起來距離我們很遙遠(yuǎn)，但是其實(shí)經(jīng)過上面的介紹，我們能夠發(fā)現(xiàn)，數(shù)據(jù)可視化其實(shí)就在我們身邊。二、數(shù)據(jù)可視化案例分析——身邊的案例籃球賽的投籃點(diǎn)統(tǒng)計(jì)：實(shí)驗(yàn)的數(shù)據(jù)處理：Origin，matlab等軟件作圖二、數(shù)據(jù)可視化案例分析——身邊的案例約翰霍普金斯大學(xué)的新冠疫情可視化統(tǒng)計(jì)：二、數(shù)據(jù)可視化案例分析——身邊的案例三、案例展示——優(yōu)秀案例按年齡組劃分的美國人口百分比這是如何以令人信服的方式呈現(xiàn)單個(gè)數(shù)據(jù)集的好例子。PewResearch創(chuàng)建了這個(gè)動(dòng)畫，以顯示人口統(tǒng)計(jì)數(shù)據(jù)隨時(shí)間的變化。這種類型的微內(nèi)容很容易在社交上分享或嵌入到博客中，從而擴(kuò)展了內(nèi)容的傳播范圍。美國風(fēng)圖：它實(shí)時(shí)顯示了美國所有當(dāng)前的風(fēng)速和方向。這是直觀設(shè)計(jì)的一個(gè)很好的例子：速度由緩慢或快速移動(dòng)的線條表示，方向由線條移動(dòng)的方向表示。三、案例展示——優(yōu)秀案例谷歌感恩節(jié)航班：這是一種在給定時(shí)間內(nèi)，將太空中移動(dòng)的東西進(jìn)行可視化的好方法。這個(gè)由Google趨勢(shì)提供支持，該趨勢(shì)跟蹤了感恩節(jié)前一天飛往美國的航班。從第一天開始，隨著時(shí)間的推移像電影一樣播放，顯示在全國各地移動(dòng)的航班。在沒有顯示任何數(shù)字的情況下，觀眾可以看到一天中哪些時(shí)段更適合國際航班，國內(nèi)航班以及往返全國不同樞紐的航班。三、案例展示——優(yōu)秀案例U.S.GunDeaths：在這個(gè)案例中，每一條線的灰色代表是一個(gè)人原來可以活到多少歲，但因?yàn)闃屩s提前死亡了，死之前用桔色表現(xiàn)。一開始只是一兩條線來讓用戶說明線條的含義，然后突然加快速度若干線線條一起出現(xiàn)，每條線條的顏色匯集在一起，從而直觀的表現(xiàn)出因?yàn)闃屩劳龅氖侵星嗄?。三、案例展示——?yōu)秀案例“ListentoWikipedia”是對(duì)維基百科最近更新數(shù)據(jù)的視覺和聲音展示網(wǎng)站。用聲音表示增加或刪除詞，不同的音調(diào)代表不同的編輯量。綠色圓圈表示未注冊(cè)的貢獻(xiàn)者在編輯，紫色圓圈表示自動(dòng)機(jī)器人在編輯。所有的用戶都會(huì)產(chǎn)生一些小噪音，而每個(gè)編輯者會(huì)有一個(gè)特別的聲音。三、案例展示——優(yōu)秀案例“TheRefugeeProject”是闡