學習單元5大數據

學習單元五

大數據5.1初識大數據線上課前導學課前自測推課前學習資源包頭腦風暴任務調研現在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。未來的時代將不是IT時代，而是DT的時代，DT就是DataTechnology數據科技，大數據技術的戰(zhàn)略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進行專業(yè)化處理。

換而言之，如果把大數據比作一種產業(yè)，那么這種產業(yè)實現盈利的關鍵，在于提高對數據的“加工能力”，通過“加工”實現數據的“增值”。小思考

在大數據時代，企業(yè)如何通過數據的“加工能力”來實現數據的“增值”？線上課前導學頭腦風暴任務調研課前自測參考網站：慕課網（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權威指南》《Spark大數據處理》《NoSQL數據庫原理及應用》《大數據時代》《Python大數據處理與分析》線上課前導學任務調研課前自測頭腦風暴1大數據是什么？2列舉一些大數據工具和技術，簡要介紹它們的應用場景。3大數據分析與機器學習的結合有哪些應用場景？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結經過線上課前預習，我們應該了解到，大數據已經成為當今社會不可忽視的重要課題，對于企業(yè)和社會發(fā)展都有著重要的意義。學習大數據技術，需要先了解大數據的基礎知識，包括大數據的定義、大數據的應用場景、大數據的處理方式、大數據的基礎架構、大數據的工具和技術等。在學習大數據技術的過程中，我們還需要關注大數據的安全問題，學習大數據安全的基本概念和防護措施，了解大數據隱私保護的方法和標準。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.認識大數據的基本概念；2.熟悉大數據的典型特點；3.了解大數據的應用場景。大數據，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業(yè)經營決策更積極目的的資訊。大數據也可以定義為來自各種來源的大量非結構化或結構化數據。從學術角度而言，大數據的出現促成廣泛主題的新穎研究。大數據一詞自1990年代開始使用。大數據“大小”是一個不斷移動的目標，如2012的范圍從幾十兆兆字節(jié)到許多澤字節(jié)的數據。大數據需要一套具有新的集成形式的技術和技術，以揭示來自多樣化，復雜且大規(guī)模的數據集的見解。

它的特色在于對海量數據進行分布式數據挖掘，但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1大數據的基本概念線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.規(guī)模性數據的特征首先就體現為“數量大”，存儲單位從過去的GB到TB，直至PB、EB。隨著信息技術的高速發(fā)展，數據開始爆發(fā)性增長。2.多樣性廣泛的數據來源，決定了大數據形式的多樣性。大數據大體可分為三類：一是結構化數據，如財務系統數據、信息管理系統數據、醫(yī)療系統數據等，其特點是數據間因果關系強；二是非結構化的數據，如視頻、圖片、音頻等，其特點是數據間沒有因果關系；三是半結構化數據，如HTML文檔、郵件、網頁等，其特點是數據間的因果關系弱。典型工作環(huán)節(jié)2大數據的典型特點線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結3.高速性大數據時代的數據產生速度非常迅速。在Web2.0應用領域，在1min內，新浪可以產生2萬條微博，Twitter可以產生10萬條推文，蘋果可以下載4.7萬次應用，淘寶可以賣出6萬件商品，人人網可以產生30萬次訪問，百度可以產生90萬次搜索查詢，Facebook可以產生600萬次瀏覽量。4.價值性這也是大數據的核心特征?，F實世界所產生的數據中，有價值的數據所占比例很小。相比于傳統的小數據，大數據最大的價值在于通過從大量不相關的各種類型的數據中，挖掘出對未來趨勢與模式預測分析有價值的數據，并通過機器學習方法、人工智能方法或數據挖掘方法深度分析，發(fā)現新規(guī)律和新知識，并運用于農業(yè)、金融、醫(yī)療等各個領域，從而最終達到改善社會治理、提高生產效率、推進科學研究的效果。典型工作環(huán)節(jié)2大數據的典型特點線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結未來,大數據將繼續(xù)成為企業(yè)數字轉型和智能發(fā)展的重要支撐。更多企業(yè)將大數據融入到戰(zhàn)略規(guī)劃和日常運營中。政府也將大力推進“數字政府”建設,利用大數據提升政府服務能力和治理效能。大數據技術將進一步成熟，分析能力和應用場景將更加豐富。人工智能和大數據的融合也將打開更多機遇,助力企業(yè)和政府實現更高級別的智能化。1.數據的資源化何為資源化，是指大數據成為企業(yè)和社會關注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數據營銷戰(zhàn)略計劃，搶占市場先機。典型工作環(huán)節(jié)3大數據的發(fā)展趨勢線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結2.與云計算的深度結合大數據離不開云處理，云處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平臺之一。自2013年開始，大數據技術已開始和云計算技術緊密結合，預計未來兩者關系將更為密切。

除此之外，物聯網、移動互聯網等新興計算形態(tài)，也將一齊助力大數據革命，讓大數據營銷發(fā)揮出更大的影響力。3.科學理論的突破隨著大數據的快速發(fā)展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智能等相關技術，可能會改變數據世界里的很多算法和基礎理論，實現科學技術上的突破。典型工作環(huán)節(jié)3大數據的發(fā)展趨勢線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結4.數據科學和數據聯盟的成立未來，數據科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設立專門的數據科學類專業(yè)，也會催生一批與之相關的新的就業(yè)崗位。

與此同時，基于數據這個基礎平臺，也將建立起跨領域的數據共享平臺，之后，數據共享將擴展到企業(yè)層面，并且成為未來產業(yè)的核心一環(huán)。5.數據泄露泛濫未來幾年數據泄露事件的增長率也許會達到100%，除非數據在其源頭就能夠得到安全保障。

可以說，在未來，每個財富500強企業(yè)都會面臨數據攻擊，無論他們是否已經做好安全防范。

而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。典型工作環(huán)節(jié)3大數據的發(fā)展趨勢線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結6.數據管理成為核心競爭力數據管理成為核心競爭力，直接影響財務表現。當“數據資產是企業(yè)核心資產”的概念深入人心之后，企業(yè)對于數據管理便有了更清晰的界定，將數據管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運用數據資產，成為企業(yè)數據管理的核心。7.數據質量是BI成功的關鍵采用自助式商業(yè)智能工具進行大數據處理的企業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數據源會帶來大量低質量數據。

想要成功，企業(yè)需要理解原始數據與數據分析之間的差距，從而消除低質量數據并通過BI獲得更佳決策。典型工作環(huán)節(jié)3大數據的發(fā)展趨勢線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結8.數據生態(tài)系統復合化程度加強大數據的世界不只是一個單一的、巨大的計算機網絡，而是一個由大量活動構件與多元參與者元素所構成的生態(tài)系統，終端設備提供商、基礎設施提供商、網絡服務提供商、網絡接入服務提供商、數據服務使能者、數據服務提供商、觸點服務、數據服務零售商等等一系列的參與者共同構建的生態(tài)系統。

而今，這樣一套數據生態(tài)系統的基本雛形已然形成，接下來的發(fā)展將趨向于系統內部角色的細分，也就是市場的細分；系統機制的調整，也就是商業(yè)模式的創(chuàng)新；系統結構的調整，也就是競爭環(huán)境的調整等等，從而使得數據生態(tài)系統復合化程度逐漸增強。典型工作環(huán)節(jié)3大數據的發(fā)展趨勢線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結

1.電商領域相信大數據在電商領域的應用，大家已經屢見不鮮了，淘寶、京東等電商平臺利用大數據技術，對用戶信息進行分析，從而為用戶推送用戶感興趣的產品，從而刺激消費。2.醫(yī)療領域

大數據在醫(yī)療保健行業(yè)中的應用越來越廣泛，可以從疾病預測和預防、臨床決策支持、醫(yī)療資源管理和個性化醫(yī)療等方面進行應用。典型工作環(huán)節(jié)4大數據的應用線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結

3.政府領域“智慧城市”已經在多地嘗試運營，通過大數據，政府部門得以感知社會的發(fā)展變化需求，從而更加科學化、精準化、合理化的為市民提供相應的公共服務以及資源配置。4.傳媒領域傳媒相關企業(yè)通過收集各式各樣的信息，進行分類篩選、清洗、深度加工，實現對讀者和受眾葛新華需求的準確定位和把握，并追蹤用戶的瀏覽習慣，不斷進行信息優(yōu)化。典型工作環(huán)節(jié)4大數據的應用線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結

5.金融領域大數據在金融行業(yè)應用范圍是比較廣的，它更多應用于交易，現在很多股權的交易都是利用大數據算法進行，這些算法現在越來越多的考慮了社交媒體和網站新聞來決定在未來幾秒內是買出還是賣出。

金融機構可以利用大數據分析技術來進行風險評估、投資分析、信用評估和欺詐檢測等方面的工作。6.教育領域通過大數據進行學習分析，能夠為每位學生創(chuàng)設一個量身定做的個性化課程，為學生的多年學習提供一個富有挑戰(zhàn)性而非逐漸厭倦的學習計劃。典型工作環(huán)節(jié)4大數據的應用線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結7.交通領域大數據技術可以預測未來交通情況，為改善交通狀況提供優(yōu)化方案，有助于交通部門提高對道路交通的把控能力，防止和緩解交通擁堵，提供更加人性化的服務。此外，大數據技術還可以實現智能交通管控和管理，包括交通信號控制、車輛跟蹤監(jiān)控、違法行為識別等方面，提高交通違法處罰的準確性和實效性。通過對歷史數據和實時數據的分析和比對，大數據技術可以預測未來交通擁堵情況和運輸需求，從而提前做出合理的交通規(guī)劃和調度安排。典型工作環(huán)節(jié)4大數據的應用線下課中演練前情回顧任務驅動演示講解鞏固小結1選擇題（1）大數據的4V包括以下哪些？A.歷史性B.速度C.體積D.多樣性E.準確性（2）大數據安全是企業(yè)面臨的主要問題之一，下列哪項是大數據安全面臨的挑戰(zhàn)？A.數據收集難度B.數據處理速度C.數據存儲成本D.數據泄露風險2簡答題請簡述大數據安全中隱私保護的方法和標準。學習單元五大數據5.2了解大數據安全防護線上課前導學課前自測推課前學習資源包頭腦風暴任務調研大數據時代的來臨帶來無數的機遇，但是與此同時個人或機構的隱私權也極有可能受到沖擊，大數據包含各種個人信息數據，現有的隱私保護法律或政策無力解決這些新出現的問題。

大數據安全一直是企業(yè)關注的問題，因為一次攻擊可能會使大數據部署容易遭受攻擊。小思考

在大數據時代，數據安全問題變得尤為重要，企業(yè)應該采取哪些措施來保護自己的數據安全？線上課前導學頭腦風暴任務調研課前自測參考網站：慕課網（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權威指南》《Spark大數據處理》《NoSQL數據庫原理及應用》《大數據時代》《Python大數據處理與分析》線上課前導學任務調研課前自測頭腦風暴1大數據的4V是指什么？2為什么大數據安全是企業(yè)關注的問題？3大數據應用的范圍有哪些行業(yè)和領域？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結經過線上課前預習，我們應該了解到，了解大數據安全防護已經成為當今社會不可忽視的重要課題，對于企業(yè)和個人都有著重要的意義。學習大數據安全防護，需要先了解大數據的基本概念和基礎知識，包括大數據的定義、大數據的特點、大數據的存儲和處理方式等。在學習大數據安全防護的過程中，我們還需要關注大數據的安全問題，學習大數據安全的基本概念和防護措施，了解大數據隱私保護的方法和標準。

同時，了解大數據攻擊的方式和手段，提高安全防范意識，掌握基本的安全防護技能。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.大數據應用中面臨的安全問題及風險；2.大數據安全防護的基本方法；3.大數據安全防護建議。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結大數據應用涉及到大量的個人信息和敏感數據,這些數據如果被非法獲取或泄露會帶來極大的安全風險。

大數據系統本身也面臨被黑客攻擊、DDoS攻擊、SQL注入攻擊等技術攻擊的威脅。

同時,大數據分析結果和建議也可能被惡意利用,導致社會影響。所以,保障大數據安全性和隱私性是當前大數據應用的重要課題。

需要采取技術手段和管理手段來防止各種安全風險,確保大數據的安全和可靠運用。典型工作環(huán)節(jié)1大數據應用中面臨的安全問題及風險線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結大數據面臨的主要風險有:1.信息泄露風險大數據通常存儲大量個人信息和敏感數據,如果這些數據被非法獲取或泄露會帶來嚴重的安全風險。2.技術攻擊風險大數據系統本身面臨黑客攻擊、DDoS攻擊、SQL注入攻擊、XSS攻擊等技術攻擊威脅。

這些攻擊可以破壞大數據系統,盜取敏感數據。技術攻擊的頻率和技巧正不斷提高,任何大數據系統都面臨被攻破的風險。典型工作環(huán)節(jié)1大數據應用中面臨的安全問題及風險線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結3.惡意利用風險大數據分析結果和建議可能被惡意利用,導致社會影響和商業(yè)損失。例如惡意廣告、欺詐行為、信息操縱等。

如果大數據分析結果被用作惡意目的,可能對社會公眾產生負面影響,損害企業(yè)商譽和利潤。

惡意利用的影響也可能持續(xù)很長時間,難以彌補。4.隱私泄露風險如果大數據分析和建議沒有妥善保護個人隱私,可能導致用戶隱私信息被公開或被用作其他非法用途。

任何隱私信息被泄露都將嚴重侵犯用戶權益,甚至可能導致身份泄露和詐騙,給個人和社會帶來無法挽回的損失。典型工作環(huán)節(jié)1大數據應用中面臨的安全問題及風險線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結大數據安全防護要“以數據為中心”、“以技術為支撐”、“以管理為手段”,聚焦數據體系和生態(tài)環(huán)境,明確數據來源、組織形態(tài)、路徑管理、應用場景等,圍繞大數據采集、傳輸、存儲、應用、共享、銷毀等全過程,構建由組織管理、制度規(guī)程、技術手段組成的安全防護體系,實現大數據安全防護的閉環(huán)管理。(1)大數據采集安全通過數據安全管理、數據類型和安全等級打標,將相應功能內嵌入后臺的數據管理系統,或與其無縫對接,從而保證網絡安全責任制、安全等級保護、數據分級分類管理等各類數據安全制度有效的落地實施。典型工作環(huán)節(jié)2大數據安全防護的基本方法線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結(2)大數據存儲及傳輸安全通過密碼技術保障數據的機密性和完整性。在數據傳輸環(huán)節(jié),建立不同安全域間的加密傳輸鏈路,也可直接對數據進行加密,以密文形式傳輸,保障傳輸過程安全。數據存儲過程中,可采取數據加密、磁盤加密、HDFS加密等技術保障存儲安全。(3)大數據應用安全除了防火墻、入侵監(jiān)測、防病毒、防DDos、漏洞掃描等安全防護措施外,還應對賬號統一管理,加強數據安全域管理,使原始數據不離開數據安全域,可有效防范內部人員盜取數據的風險。典型工作環(huán)節(jié)2大數據安全防護的基本方法線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結(4)大數據共享及銷毀在數據共享時,除了應遵循相關管理制度,還應與安全域結合起來,在滿足業(yè)務需求的同時,有效管理數據共享行為。在數據銷毀過程中,可通過軟件或物理方式操作,保證磁盤中存儲的數據永久刪除、不可恢復。典型工作環(huán)節(jié)2大數據安全防護的基本方法線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結大數據的安全防護是保障大數據系統運行和數據安全的重要手段。以下是幾個基本的大數據安全防護法規(guī)：(1).《網絡安全法》

(2).《信息安全技術個人信息安全規(guī)范》

(3).《數據安全管理辦法》

(4).《中華人民共和國網絡安全法實施條例》(5).《信息安全技術基本要求》在進行大數據系統的安全防護時，需要遵守上述法規(guī)，并根據實際情況采取必要的技術措施和管理措施，包括數據加密、訪問控制、安全審計、風險評估等措施，確保大數據系統的安全運行。典型工作環(huán)節(jié)3大數據安全防護基本法規(guī)線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結隨著大數據在企業(yè)數字化轉型的逐步應用,大數據安全問題已成為企業(yè)必須面對的重點問題。企業(yè)要站在戰(zhàn)略角度高度關注大數據安全,提高風險防范能力,從組織機構、管理措施、技術措施等方面做好安全防護工作。(1)建立安全組織機構,明確安全管理要求(2)制定安全管理措施,提升數據管控能力(3)著力加強技術防護,提高安全應急能力典型工作環(huán)節(jié)4大數據安全防護建議線下課中演練前情回顧任務驅動演示講解鞏固小結1選擇題（1）大數據安全防護措施中，下列哪項措施是對外暴露的大數據進行安全控制的方法？A.數據加密B.訪問控制C.安全審計D.數據備份（2）下列哪項不是大數據安全防護的主要挑戰(zhàn)？A.數據質量B.安全性C.處理速度D.處理容量2簡答題請簡要說明大數據安全防護中常見的措施。學習單元五大數據5.3熟悉大數據的相關技術線上課前導學課前自測推課前學習資源包頭腦風暴任務調研今天，各種大數據工具和技術如Hadoop、Spark、NoSQL等不斷涌現，為企業(yè)提供了更多的選擇。不僅如此，大數據分析也被越來越多的企業(yè)采用，以支持數據驅動的決策和提高業(yè)務效率。

例如，通過對客戶行為的大數據分析，一些網絡安全公司可以更好地了解客戶需求，提供更精準的客戶服務。大數據相關技術是一系列為解決大規(guī)模數據處理和管理問題而涌現的技術，包括體系架構和數據分析兩方面。在體系架構方面，包括分布式文件系統、分布式計算框架、數據庫技術等；在數據分析方面，包括機器學習技術。小思考

請談談你認為大數據技術在未來發(fā)展中可能面臨的一些安全和隱私問題，并提出你的看法和建議。線上課前導學頭腦風暴任務調研課前自測參考網站：慕課網（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權威指南》《Spark大數據處理》《NoSQL數據庫原理及應用》《大數據時代》《Python大數據處理與分析》線上課前導學任務調研課前自測頭腦風暴1大數據相關技術包括哪兩個方面？2大數據技術如何幫助實現智能城市、物聯網、金融風險控制等應用？3你了解哪些大數據技術工具和技術平臺？它們有什么特點和優(yōu)勢？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結熟悉大數據的相關技術是當今不可忽視的重要課題，對于企業(yè)和社會發(fā)展都具有重要意義。學習大數據技術需要掌握大數據的相關技術，包括大數據處理和管理的基礎架構、分布式文件系統、分布式計算框架、數據庫技術等，以及機器學習技術和數據分析技術等。

在學習大數據技術的同時，需要了解大數據安全的基本概念和防護措施，以及大數據隱私保護的方法和標準。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.了解數據分析與挖掘；2.熟悉大數據體系架構。1.數據分析和數據挖掘的概念數據分析和數據挖掘的目的是通過對數據進行深入研究來發(fā)現新的見解、識別趨勢、提高效率和減少成本。2.數據分析的優(yōu)勢根據研究機構AlliedMarketResearch公司發(fā)布的一份調查報告，到2027年，全球大數據和商業(yè)分析市場規(guī)模預計將達到4209.8億美元，從2020年到2027年的復合年增長率為10.9%。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1數據分析與挖掘3.數據分析和挖掘的工作流程大數據分析主要利用了4個關鍵流程。這些工作包括數據的收集、處理、清理和分析。以下了解這些關鍵流程。(1)收集數據移動記錄、客戶反饋表、從客戶那里收到的郵件、調查報告、社交媒體平臺和移動應用程序是數據分析師可以收集特定信息的來源(2)處理數據在收集數據之后，下一步要使用它將數據存儲在數據池或數據倉庫中，將允許分析師組織、配置和分組大數據，以便為每個請求繪制清晰的圖表，這對于最終結果也將更加準確。(3)清理數據為確保處理過的數據分析師的工作是完整和可行的，它必須清除重復數據、不真實輸入、系統錯誤和其他類型的偏差。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1數據分析與挖掘(4)分析數據這是最后一個步驟，可以分析收集、處理和清理的原始數據，并有可能提取急需的結果。在這里可以使用：1)數據挖掘2)人工智能3)文本挖掘4)機器學習5)預測分析6)深度學習線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1數據分析與挖掘大數據架構設計用來處理對傳統數據庫系統而言太大或太復雜的數據的引入、處理和分析。組織進入大數據領域的門檻各不相同，具體取決于用戶的權限及其工具的功能。1.Hadoop體系架構Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，如圖所示。為用戶提供了系統底層細節(jié)透明的分布式基礎架構。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2大數據體系架構2.

Lambda體系架構隨著大數據應用的發(fā)展，人們逐漸對系統的實時性提出了要求，為了計算一些實時指標，就在原來離線數倉的基礎上增加了一個實時計算的鏈路，并對數據源做流式改造（即把數據發(fā)送到消息隊列），實時計算去訂閱消息隊列，直接完成指標增量的計算，推送到下游的數據服務中去，由數據服務層完成離線與實時結果的合并。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2大數據體系架構3.Kappa體系架構Lambda架構雖然滿足了實時的需求，但帶來了更多的開發(fā)與運維工作，其架構背景是流處理引擎還不完善，流處理的結果只作為臨時的、近似的值提供參考。后來隨著Flink

等流處理引擎的出現，流處理技術很成熟了，這時為了解決兩套代碼的問題，LickedIn

的JayKreps提出了Kappa架構。Kappa架構在Lambda的基礎上進行了優(yōu)化，將實時和流部分進行了合并，將數據通道以消息隊列進行替代。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2大數據體系架構4.Unifield體系架構以上的種種架構都圍繞海量數據處理為主，Unifield架構則更激進，將機器學習和數據處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對其進行了改造，在流處理層新增了機器學習層。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2大數據體系架構線下課中演練前情回顧任務驅動演示講解鞏固小結1選擇題（1）大數據相關技術主要包括以下兩方面：A.數據庫技術和數據可視化技術B.數據處理和數據存儲C.網絡安全和系統管理D.人工智能和機器學習（2）大數據的處理方式包括以下哪些技術？A.分布式文件系統B.數據挖掘技術C.數據庫技術D.手工處理數據2簡答題請簡要介紹一下大數據的基礎架構。學習單元五大數據5.4大數據可視化線上課前導學課前自測推課前學習資源包頭腦風暴任務調研大數據可視化是一種使用圖形化方式來呈現大規(guī)模數據集合的信息和趨勢的技術。

通過大數據可視化，用戶可以更加直觀地理解和分析海量的數據，挖掘數據背后的規(guī)律和趨勢，并從中獲取有價值的信息和洞察力。

大數據可視化的特點包括對海量數據的處理能力、對多維數據的支持、對實時數據的處理能力、對用戶交互的支持、以及對多種圖表類型的支持。大數據可視化已經被廣泛應用于各個領域，如金融、醫(yī)療、智能城市等，幫助用戶更好地理解和管理大數據集合。小思考

大數據可視化在不同領域中的應用場景有哪些？請列舉并解釋其中一種場景的應用舉例。線上課前導學頭腦風暴任務調研課前自測參考網站：慕課網（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權威指南》《Spark大數據處理》《NoSQL數據庫原理及應用》《大數據時代》《Python大數據處理與分析》線上課前導學任務調研課前自測頭腦風暴1什么是大數據可視化？有哪些特點和應用場景？2大數據可視化中，對于海量數據的處理能力和多維數據的支持分別指什么？如何實現？3大數據可視化的作用是什么？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結學習大數據可視化需要掌握大數據的相關技術，通過圖形化呈現大規(guī)模數據集合的信息和趨勢。大數據可視化的特點包括對海量數據的處理能力、對多維數據的支持、對實時數據的處理能力、對用戶交互的支持、以及對多種圖表類型的支持。大數據可視化已經被廣泛應用于各個領域，如金融、醫(yī)療、智能城市等，幫助用戶更好地理解和管理大數據集合。同時，也需要注意大數據可視化的安全問題。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.了解大數據可視化工具；2.熟悉大數據可視化工具的使用方法。作為一款商業(yè)數據分析可視化工具，Tableau已連續(xù)7年穩(wěn)居“Gartner商業(yè)智能和分析平臺魔力象限”領導者！2019年6月10日，Salesforce以天價157億美元收購Tableau，創(chuàng)云營銷平臺歷史上最大收購事件。簡單的來說，Tableau是一款可以幫助人們快速分析、可視化并分享數據信息的工具。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1Tableau數據可視化支持多種類型數據Tableau支持連接到存儲在各個地方的各種數據?？梢允谴鎯υ谟嬎銠C上的電子表格或文本文件中，或存儲在企業(yè)內服務器上的大數據、關系或多維數據集（多維度）數據庫中，也可以連接到Web上提供的公共域數據，如美國人口普查局信息，或連接到云數據庫源線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1Tableau數據可視化連接方式支持實時連接和數據提取，如圖所示。實時連接每次打開視圖都會去服務器撈取數據，適合數據量小，即席查詢速度快的數據源；而數據提取是將數據拉取到本地或者TableauServer服務器中，這樣每次打開視圖就會從本地或者TableauServer服務器中去撈取數據，對原始的數據服務器不會產生壓力。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1Tableau數據可視化交互式儀表板Tableau通過拖拽和拖放的方式，快速建立交互式儀表板，如圖所示。并以圖表、地圖、故事等形式呈現數據，用戶可以通過對數據的篩選、分組、排序等操作，實時地獲得對數據的洞察。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1Tableau數據可視化PowerBI是由微軟開發(fā)的商業(yè)分析工具，它可以將數據從多種來源中收集、轉換和可視化，幫助用戶快速創(chuàng)建交互式的數據儀表盤和報告。

PowerBI擁有豐富的數據可視化選項，包括圖表、表格、地圖等等，還支持自定義計算和指標的創(chuàng)建。此外，PowerBI可以與其他微軟的產品和服務無縫集成，從而方便用戶在不同平臺上共享和訪問數據分析結果。

PowerBI有兩個版本，分別是PowerBIDesktop和PowerBI服務。其中，PowerBIDesktop是用于本地開發(fā)和設計數據模型的桌面應用程序，而PowerBI服務是一個云端應用程序，可用于共享和協作。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2powerbi數據可視化1.PowerBIDesktopPowerBIDesktop是一款可在本地計算機上安裝的免費應用程序，可用于連接到數據、轉換數據并實現數據的可視化效果。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2powerbi數據可視化2.PowerBI服務PowerBI是一個包含軟件服務、應用和連接器的集合，它們相輔相成，幫助業(yè)務且最有效的方式來創(chuàng)建、共享和使用業(yè)務見解。3.比較PowerBIDesktop和PowerBI服務PowerBIDesktop是一個應用程序，可以在本地計算機上免費下載和安裝它。PowerBI服務是基于云的服務，或軟件即服務(SaaS)。它支持團隊和組織的報表編輯和協作。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2powerbi數據可視化線下課中演練前情回顧任務驅動演示講解鞏固小結1選擇題（1）Tableau的主要功能是什么？A.數據存儲和管理B.數據分析和可視化C.數據加密和安全D.數據傳輸和備份（2）PowerBI主要用于以下哪項工作？A.數據存儲和管理B.數據分析和可視化C.數據加密和安全D.數據傳輸和備份2簡答題請簡要介紹PowerBIDesktop和PowerBI服務的區(qū)別。學習單元五

大數據5.5搭建大數據環(huán)境線上課前導學課前自測推課前學習資源包頭腦風暴任務調研Hadoop是一個開源的、分布式的數據處理框架，旨在解決海量數據的存儲和處理問題。它最初由Apache開發(fā)，目前已成為最流行的分布式數據處理平臺之一。Hadoop包括兩個核心組件：HadoopDistributedFileSystem（HDFS）和HadoopMapReduce。HDFS是一個分布式文件系統，能夠存儲海量數據，并在不同的計算機節(jié)點之間進行數據分發(fā)和備份。

MapReduce則是一種分布式數據處理模型，能夠對海量數據進行分布式計算。Hadoop支持Java、Python、Scala等多種編程語言，同時也提供了眾多工具和生態(tài)系統，包括Hive、Pig、Spark等，使得數據處理和分析更加高效和靈活。小思考

Hadoop為什么能夠成為最流行的分布式數據處理平臺之一？它有哪些優(yōu)勢和特點？線上課前導學頭腦風暴任務調研課前自測參考網站：極客時間：/開源中國：/大數據文摘：/參考書籍：《Hadoop權威指南》《Spark快速大數據分析》《大數據架構模式》《數據倉庫工具包》《大數據平臺架構：原理、方法與案例》線上課前導學任務調研課前自測頭腦風暴1Hadoop是什么？2Hadoop有哪兩個核心組件？3Hadoop支持哪些編程語言？線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結經過線上課前預習，我們應該了解到，搭建大數據環(huán)境是實現大數據技術的重要一環(huán)，對于企業(yè)和社會的數據處理和分析都有著重要的意義。

學習如何搭建大數據環(huán)境，需要先了解大數據的基本架構和技術原理，包括分布式文件系統、分布式計算模型、數據存儲和管理、數據處理和分析等。

在搭建大數據環(huán)境的過程中，我們還需要關注大數據的安全問題，學習大數據安全的基本概念和防護措施，了解大數據隱私保護的方法和標準。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結1.了解Hadoop安裝部署模式；2.

Hadoop搭建前的環(huán)境準備；3.

Hadoop偽分布搭建與應用。目前來說，Hadoop的安裝部署的模式一共有三種，單機模式、偽分布模式、全分布模式。考慮到硬件條件限制，我們將安裝第二種偽分布模式并將Namenode、Datanode和、SecondaryNamenode配置到同一節(jié)點。單機模式單機模式所需要的系統資源是最少的，也是默認的安裝模式。偽分布模式偽分布也就是單節(jié)點集成模式，其所有守護進程都運行在同一臺機器上Namenode是整個文件系統的管理節(jié)點。全分布模式完全分布模式是比本地模式與偽分布模式更加復雜的模式，真正利用多臺Linux主機來進行部署Hadoop，對集群進行規(guī)劃，使得Hadoop各個模塊分別部署在不同的多臺機器上。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)1Hadoop安裝部署我們選擇CentOS7作為安裝對象，通過Vmwareworkstation虛擬機運行系統。本教程默認已經完成系統安裝。1.設置服務器的主機名稱線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備重啟服務器或注銷root重新登錄后生效。2.關閉防火墻并查看防火墻狀態(tài)[root@localhost~]#hostnamectlset-hostnamemaster[root@master~]#cat/etc/hostnamemaster[root@master~]#systemctlstopfirewalld[root@master~]#systemctlstatusfirewalld●firewalld.service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.service;enabled;vendorpreset:enabled)Active:inactive(dead)since三2022-08-3122:29:41CST;12sagoDocs:man:firewalld(1)Process:826ExecStart=/usr/sbin/firewalld--nofork--nopid$FIREWALLD_ARGS(code=exited,status=0/SUCCESS)MainPID:826(code=exited,status=0/SUCCESS)線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備4.安裝java環(huán)境(1)創(chuàng)建文件夾/opt/software，用于存放安裝軟件包。3.創(chuàng)建Hadoop用戶使用root安裝Hadoop的運行環(huán)境，hadoop用戶運行Hadoop，添加hadoop用戶，并為該用戶設置密碼為：hadoop(2)創(chuàng)建/usr/local/src目錄，作為軟件安裝目錄。[root@master~]#useraddhadoop[root@master~]#passwdhadoop更改用戶hadoop的密碼。新的密碼：重新輸入新的密碼：passwd：所有的身份驗證令牌已經成功更新。[root@master~]#mkdir/opt/software[root@master~]#mkdir-p/usr/local/src線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(3)查詢兩個目錄的屬性，目錄所有者為root用戶。[root@master~]#ll/opt/總用量0drwxr-xr-x.2rootroot610月312018rhdrwxr-xr-x.2rootroot68月3122:46software[root@master~]#ll/usr/local/總用量0drwxr-xr-x.2rootroot64月112018bindrwxr-xr-x.2rootroot64月112018etcdrwxr-xr-x.2rootroot64月112018gamesdrwxr-xr-x.2rootroot64月112018includedrwxr-xr-x.2rootroot64月112018libdrwxr-xr-x.2rootroot64月112018lib64drwxr-xr-x.2rootroot64月112018libexecdrwxr-xr-x.2rootroot64月112018sbindrwxr-xr-x.5rootroot497月520:28sharedrwxr-xr-x.2rootroot64月112018src[root@master~]#線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(4)上傳jdk安裝包將jdk安裝包，Hadoop安裝包上傳至linux服務器。安裝包下載地址：/s/17OlEl73envfKt6ch9tmMcg?pwd=chpi提取碼chpi。這里默認已經上傳完成。(5)卸載自帶的OpenJDK查詢：[root@mastersoftware]#lshadoop-2.7.1.tar.gzjdk-8u231-linux-x64.tar.gz[root@mastersoftware]#rpm-qa|grepjavajava-1.7.0-openjdk-headless-61-.el7_8.x86_64python-javapackages-3.4.1-11.el7.noarchtzdata-java-2020a-1.el7.noarchjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64java-1.8.0-openjdk-62.b10-1.el7.x86_64javapackages-tools-3.4.1-11.el7.noarchjava-1.7.0-openjdk-61-.el7_8.x86_64線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備刪除文件：(6)安裝jdk至服務器軟件安裝目錄/usr/local/src[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.7.0-openjdk-headless-61-.el7_8.x86_64[root@mastersoftware]#rpm-e–nodepsjava-1.7.0-openjdk-61-.el7_8.x86_64[root@mastersoftware]#tar-zxvfjdk-8u231-linux-x64.tar.gz-C/usr/local/src/線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(7)設置java環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：使設置生效：檢查java是否可用：[root@master~]#vim/etc/profileexportJAVA_HOME=/usr/local/src/jdk1.8.0_231#JAVA_HOME指向JAVA安裝目錄exportPATH=$PATH:$JAVA_HOME/bin#將JAVA安裝目錄加入PATH路徑[root@master~]#source/etc/profile[root@master~]#echo$JAVA_HOME/usr/local/src/jdk1.8.0_231線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備5.安裝Hadoop(1)將Hadoop安裝到/usr/local/src(2)配置環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：(3)使設置生效并檢查[root@mastersoftware]#tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/src/[root@mastersoftware]#vim/etc/profileexportHADOOP_HOME=/usr/local/src/hadoop-2.7.1/exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@mastersoftware]#source/etc/profile[root@mastersoftware]#hadoop線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(4)修改目錄所有者和所屬組[root@mastersoftware]#chown-Rhadoop:hadoop/usr/local/src/[root@mastersoftware]#ll/usr/local/src/總用量0drwxr-xr-x.9hadoophadoop1496月292015hadoop-2.7.1drwxr-xr-x.7hadoophadoop24510月52019jdk1.8.0_231線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備6.SSH免密碼登入(1)在master主機上生成密鑰對(2)Hadoop用戶在master節(jié)點免密登錄本機[hadoop@mastersoftware]$ssh-keygen-trsa-P''Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa):Createddirectory'/home/hadoop/.ssh'.Youridentificationhasbeensavedin/home/hadoop/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/id_rsa.pub.Thekeyfingerprintis:SHA256:6eh4jjG8/oZTeZQnva1xsEyxrfTBbde/eX+IGL2llI4hadoop@masterThekey'srandomartimageis:+---[RSA2048]----+|||.||o=..|[hadoop@mastersoftware]$ssh-copy-idhadoop@master1.偽分布系統設置(1)基礎環(huán)境配置偽分布式環(huán)境是指：在一臺服務器上模擬Hadoop集群工作的一種模式。這里，我們在master節(jié)點進行偽分布式系統的配置。

基礎配置包括：安裝JAVA，安裝Hadoop，配置JAVA,HADOOP環(huán)境變量，修改Hadoop配置文件，設置SSH免密碼登錄等，我們已經在前面的操作中完成，下面直接進行偽分布式集群配置。線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(2)進入Hadoop配置文件目錄線下課中演練前情回顧任務驅動演示講解鞏固小結鞏固小結典型工作環(huán)節(jié)3Hadoop偽分布搭建與應用(3)修改core-site.xml配置文件fs.defaultFS設置的是HDFS的地址，設置運行在本地的9000端口上。[hadoop@mastersoftware]$cd/usr/local