大數(shù)據(jù)技術與應用 第2版 習題及答案 第5-7章

第5章（1）請闡述什么是大數(shù)據(jù)分析。大數(shù)據(jù)分析的主要任務主要有：第一類是預測任務，目標是根據(jù)某些屬性的值，預測另外一些特定屬性的值。被預測的屬性一般稱為目標變量或因變量，被用來做預測的屬性稱為解釋變量和自變量；第二類是描述任務，目標是導出概括數(shù)據(jù)中潛在聯(lián)系的模式，包括相關、趨勢、聚類、軌跡和異常等。描述性任務通常是探查性的，常常需要后處理技術來驗證和解釋結果。具體可分為分類、回歸、關聯(lián)分析、聚類分析、推薦系統(tǒng)、異常檢測、鏈接分析等幾種。（2）大數(shù)據(jù)分析的類型有哪些？大數(shù)據(jù)分析主要有描述性統(tǒng)計分析、探索性數(shù)據(jù)分析以及驗證性數(shù)據(jù)分析等。（3）舉例兩種數(shù)據(jù)挖掘的應用場景？（1）電子郵件系統(tǒng)中垃圾郵件的判斷電子郵件系統(tǒng)判斷一封Email是否屬于垃圾郵件。這應該屬于文本挖掘的范疇，通常會采用樸素貝葉斯的方法進行判別。它的主要原理就是，根據(jù)電子郵件中的詞匯，是否經(jīng)常出現(xiàn)在垃圾郵件中進行判斷。例如，如果一份電子郵件的正文中包含“推廣”、“廣告”、“促銷”等詞匯時，該郵件被判定為垃圾郵件的概率將會比較大。（2）金融領域中金融產(chǎn)品的推廣營銷針對商業(yè)銀行中的零售客戶進行細分，基于零售客戶的特征變量（人口特征、資產(chǎn)特征、負債特征、結算特征），計算客戶之間的距離。然后，按照距離的遠近，把相似的客戶聚集為一類，從而有效地細分客戶。將全體客戶劃分為諸如：理財偏好者、基金偏好者、活期偏好者、國債偏好者等。其目的在于識別不同的客戶群體，然后針對不同的客戶群體，精準地進行產(chǎn)品設計和推送，從而節(jié)約營銷成本，提高營銷效率。（4）簡述數(shù)據(jù)挖掘的分類算法及應用。K-Means算法也叫作k均值聚類算法，它是最著名的劃分聚類算法，由于簡潔和效率使得它成為所有聚類算法中最廣泛使用的。決策樹算法是一種能解決分類或回歸問題的機器學習算法，它是一種典型的分類方法，最早產(chǎn)生于上世紀60年代。決策樹算法首先對數(shù)據(jù)進行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對新數(shù)據(jù)進行分析，因此在本質(zhì)上決策樹是通過一系列規(guī)則對數(shù)據(jù)進行分類的過程。KNN算法也叫作K最近鄰算法，是數(shù)據(jù)挖掘分類技術中最簡單的方法之一。所謂K最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用它最接近的k個鄰居來代表。遺傳算法模擬了自然選擇和遺傳中發(fā)生的繁殖、交配和基因突變現(xiàn)象，是一種采用遺傳結合、遺傳交叉變異及自然選擇等操作來生成實現(xiàn)規(guī)則的、基于進化理論的機器學習方法。神經(jīng)網(wǎng)絡可以指向兩種，一個是生物神經(jīng)網(wǎng)絡，一個是人工神經(jīng)網(wǎng)絡。在這里專指人工神經(jīng)網(wǎng)絡。它是一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。第6章1）請闡述什么是數(shù)據(jù)可視化？數(shù)據(jù)可視化，是關于數(shù)據(jù)視覺表現(xiàn)形式的科學技術研究，它為大數(shù)據(jù)分析提供了一種更加直觀的挖掘、分析與展示當代手段，從而讓大數(shù)據(jù)更有意義。因此，大數(shù)據(jù)可視化是將各種數(shù)據(jù)用圖形化的方式展示給人們，是人們理解數(shù)據(jù)，詮釋數(shù)據(jù)的重要手段和途徑。從本質(zhì)上講，數(shù)據(jù)可視化是為了幫助用戶通過認知數(shù)據(jù)，進而發(fā)現(xiàn)這些數(shù)據(jù)所反映的實質(zhì)。2）數(shù)據(jù)可視化的流程是什么？數(shù)據(jù)可視化是一個系統(tǒng)的流程，該流程以數(shù)據(jù)為基礎，以數(shù)據(jù)流為導向，還包括了數(shù)據(jù)采集、數(shù)據(jù)處理、可視化映射和用戶感知等環(huán)節(jié)。具體的可視化實現(xiàn)流程有很多3）數(shù)據(jù)可視化有哪些實現(xiàn)圖表？在統(tǒng)計圖表中每一種類型的圖表中都可包含不同的數(shù)據(jù)可視化圖形，如柱狀圖、餅圖、氣泡圖、熱力圖、趨勢圖、直方圖、雷達圖、色塊圖、漏斗圖、和弦圖、儀表盤、面積圖、折線圖、密度圖以及K線圖等。4）數(shù)據(jù)可視化的方法有哪些？文本可視化、網(wǎng)絡可視化與空間信息可視化5）數(shù)據(jù)可視化有哪些應用？金融行業(yè)面臨諸多挑戰(zhàn)。通過引入數(shù)據(jù)可視化可以對企業(yè)各地日常業(yè)務動態(tài)實時掌控，客戶數(shù)量和借貸金額等數(shù)據(jù)進行有效監(jiān)管，幫助企業(yè)實現(xiàn)數(shù)據(jù)實時監(jiān)控，加強對市場的監(jiān)督和管理；通過對核心數(shù)據(jù)多維度的分析和對比，指導公司科學調(diào)整運營策略，制定發(fā)展方向，不斷提高公司風控管理能力和競爭力。

數(shù)據(jù)可視化在工業(yè)生產(chǎn)中有著重要的應用，如可視化智能硬件的生產(chǎn)與使用?？梢暬悄苡布ㄟ^軟硬件結合的方式，讓設備擁有智能化的功能，并對硬件采集上來的數(shù)據(jù)進行可視化的呈現(xiàn)。因此在智能化之后，硬件就具備了大數(shù)據(jù)等附加價值。隨著可視化技術的不斷發(fā)展，今后智能硬件從可穿戴設備延伸到智能電視、智能家居、智能汽車、醫(yī)療健康、智能玩具、智能機器人、智能交通、智能教育等各個不同的領域。等習題71）請闡述什么是數(shù)據(jù)治理。數(shù)據(jù)治理是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一數(shù)據(jù)、從具有很少或沒有組織流程到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)管控、從數(shù)據(jù)混亂狀況到數(shù)據(jù)井井有條的一個過程。數(shù)據(jù)治理強調(diào)的是一個過程，是一個從混亂到有序的過程。2）請闡述什么是元數(shù)據(jù)。一般來講，元數(shù)據(jù)主要用來描述數(shù)據(jù)屬性的信息，例如記錄數(shù)據(jù)倉庫中模型的定義、各層級間的映射關系、監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)及ETL的任務運行狀態(tài)等。因此，元數(shù)據(jù)是對數(shù)據(jù)本身進行描述的數(shù)據(jù)，或者說，它不是對象本身，它只描述對象的屬性，就是一個對數(shù)據(jù)自身進行描繪的數(shù)據(jù)。3）請闡述什么是主數(shù)據(jù)。主數(shù)據(jù)是用來描述企業(yè)核心業(yè)務實體的數(shù)據(jù)，它是具有高業(yè)務價值的、可以在企業(yè)內(nèi)跨越各個業(yè)務部門被重復使用的數(shù)據(jù)，并且存在于多個異構的應用系統(tǒng)中。4）請闡述在數(shù)據(jù)治理項目實施中包含哪些主要流程。（1）組織架構（2）流程（3）數(shù)據(jù)標準（4）工具（