學習單元5大數(shù)據(jù)

學習單元五

大數(shù)據(jù)5.1初識大數(shù)據(jù)線上課前導學課前自測推課前學習資源包頭腦風暴任務(wù)調(diào)研現(xiàn)在的社會是一個高速發(fā)展的社會，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。未來的時代將不是IT時代，而是DT的時代，DT就是DataTechnology數(shù)據(jù)科技，大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。

換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。小思考

在大數(shù)據(jù)時代，企業(yè)如何通過數(shù)據(jù)的“加工能力”來實現(xiàn)數(shù)據(jù)的“增值”？線上課前導學頭腦風暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時代》《Python大數(shù)據(jù)處理與分析》線上課前導學任務(wù)調(diào)研課前自測頭腦風暴1大數(shù)據(jù)是什么？2列舉一些大數(shù)據(jù)工具和技術(shù)，簡要介紹它們的應(yīng)用場景。3大數(shù)據(jù)分析與機器學習的結(jié)合有哪些應(yīng)用場景？線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過線上課前預(yù)習，我們應(yīng)該了解到，大數(shù)據(jù)已經(jīng)成為當今社會不可忽視的重要課題，對于企業(yè)和社會發(fā)展都有著重要的意義。學習大數(shù)據(jù)技術(shù)，需要先了解大數(shù)據(jù)的基礎(chǔ)知識，包括大數(shù)據(jù)的定義、大數(shù)據(jù)的應(yīng)用場景、大數(shù)據(jù)的處理方式、大數(shù)據(jù)的基礎(chǔ)架構(gòu)、大數(shù)據(jù)的工具和技術(shù)等。在學習大數(shù)據(jù)技術(shù)的過程中，我們還需要關(guān)注大數(shù)據(jù)的安全問題，學習大數(shù)據(jù)安全的基本概念和防護措施，了解大數(shù)據(jù)隱私保護的方法和標準。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.認識大數(shù)據(jù)的基本概念；2.熟悉大數(shù)據(jù)的典型特點；3.了解大數(shù)據(jù)的應(yīng)用場景。大數(shù)據(jù)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)也可以定義為來自各種來源的大量非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)。從學術(shù)角度而言，大數(shù)據(jù)的出現(xiàn)促成廣泛主題的新穎研究。大數(shù)據(jù)一詞自1990年代開始使用。大數(shù)據(jù)“大小”是一個不斷移動的目標，如2012的范圍從幾十兆兆字節(jié)到許多澤字節(jié)的數(shù)據(jù)。大數(shù)據(jù)需要一套具有新的集成形式的技術(shù)和技術(shù)，以揭示來自多樣化，復雜且大規(guī)模的數(shù)據(jù)集的見解。

它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1大數(shù)據(jù)的基本概念線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.規(guī)模性數(shù)據(jù)的特征首先就體現(xiàn)為“數(shù)量大”，存儲單位從過去的GB到TB，直至PB、EB。隨著信息技術(shù)的高速發(fā)展，數(shù)據(jù)開始爆發(fā)性增長。2.多樣性廣泛的數(shù)據(jù)來源，決定了大數(shù)據(jù)形式的多樣性。大數(shù)據(jù)大體可分為三類：一是結(jié)構(gòu)化數(shù)據(jù)，如財務(wù)系統(tǒng)數(shù)據(jù)、信息管理系統(tǒng)數(shù)據(jù)、醫(yī)療系統(tǒng)數(shù)據(jù)等，其特點是數(shù)據(jù)間因果關(guān)系強；二是非結(jié)構(gòu)化的數(shù)據(jù)，如視頻、圖片、音頻等，其特點是數(shù)據(jù)間沒有因果關(guān)系；三是半結(jié)構(gòu)化數(shù)據(jù)，如HTML文檔、郵件、網(wǎng)頁等，其特點是數(shù)據(jù)間的因果關(guān)系弱。典型工作環(huán)節(jié)2大數(shù)據(jù)的典型特點線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)3.高速性大數(shù)據(jù)時代的數(shù)據(jù)產(chǎn)生速度非常迅速。在Web2.0應(yīng)用領(lǐng)域，在1min內(nèi)，新浪可以產(chǎn)生2萬條微博，Twitter可以產(chǎn)生10萬條推文，蘋果可以下載4.7萬次應(yīng)用，淘寶可以賣出6萬件商品，人人網(wǎng)可以產(chǎn)生30萬次訪問，百度可以產(chǎn)生90萬次搜索查詢，F(xiàn)acebook可以產(chǎn)生600萬次瀏覽量。4.價值性這也是大數(shù)據(jù)的核心特征?，F(xiàn)實世界所產(chǎn)生的數(shù)據(jù)中，有價值的數(shù)據(jù)所占比例很小。相比于傳統(tǒng)的小數(shù)據(jù)，大數(shù)據(jù)最大的價值在于通過從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對未來趨勢與模式預(yù)測分析有價值的數(shù)據(jù)，并通過機器學習方法、人工智能方法或數(shù)據(jù)挖掘方法深度分析，發(fā)現(xiàn)新規(guī)律和新知識，并運用于農(nóng)業(yè)、金融、醫(yī)療等各個領(lǐng)域，從而最終達到改善社會治理、提高生產(chǎn)效率、推進科學研究的效果。典型工作環(huán)節(jié)2大數(shù)據(jù)的典型特點線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)未來,大數(shù)據(jù)將繼續(xù)成為企業(yè)數(shù)字轉(zhuǎn)型和智能發(fā)展的重要支撐。更多企業(yè)將大數(shù)據(jù)融入到戰(zhàn)略規(guī)劃和日常運營中。政府也將大力推進“數(shù)字政府”建設(shè),利用大數(shù)據(jù)提升政府服務(wù)能力和治理效能。大數(shù)據(jù)技術(shù)將進一步成熟，分析能力和應(yīng)用場景將更加豐富。人工智能和大數(shù)據(jù)的融合也將打開更多機遇,助力企業(yè)和政府實現(xiàn)更高級別的智能化。1.數(shù)據(jù)的資源化何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃，搶占市場先機。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)2.與云計算的深度結(jié)合大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計算技術(shù)緊密結(jié)合，預(yù)計未來兩者關(guān)系將更為密切。

除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。3.科學理論的突破隨著大數(shù)據(jù)的快速發(fā)展，就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機器學習和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實現(xiàn)科學技術(shù)上的突破。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)4.數(shù)據(jù)科學和數(shù)據(jù)聯(lián)盟的成立未來，數(shù)據(jù)科學將成為一門專門的學科，被越來越多的人所認知。各大高校將設(shè)立專門的數(shù)據(jù)科學類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。

與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。5.數(shù)據(jù)泄露泛濫未來幾年數(shù)據(jù)泄露事件的增長率也許會達到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障。

可以說，在未來，每個財富500強企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。

而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)6.數(shù)據(jù)管理成為核心競爭力數(shù)據(jù)管理成為核心競爭力，直接影響財務(wù)表現(xiàn)。當“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。7.數(shù)據(jù)質(zhì)量是BI成功的關(guān)鍵采用自助式商業(yè)智能工具進行大數(shù)據(jù)處理的企業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數(shù)據(jù)源會帶來大量低質(zhì)量數(shù)據(jù)。

想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)8.數(shù)據(jù)生態(tài)系統(tǒng)復合化程度加強大數(shù)據(jù)的世界不只是一個單一的、巨大的計算機網(wǎng)絡(luò)，而是一個由大量活動構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。

而今，這樣一套數(shù)據(jù)生態(tài)系統(tǒng)的基本雛形已然形成，接下來的發(fā)展將趨向于系統(tǒng)內(nèi)部角色的細分，也就是市場的細分；系統(tǒng)機制的調(diào)整，也就是商業(yè)模式的創(chuàng)新；系統(tǒng)結(jié)構(gòu)的調(diào)整，也就是競爭環(huán)境的調(diào)整等等，從而使得數(shù)據(jù)生態(tài)系統(tǒng)復合化程度逐漸增強。典型工作環(huán)節(jié)3大數(shù)據(jù)的發(fā)展趨勢線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)

1.電商領(lǐng)域相信大數(shù)據(jù)在電商領(lǐng)域的應(yīng)用，大家已經(jīng)屢見不鮮了，淘寶、京東等電商平臺利用大數(shù)據(jù)技術(shù)，對用戶信息進行分析，從而為用戶推送用戶感興趣的產(chǎn)品，從而刺激消費。2.醫(yī)療領(lǐng)域

大數(shù)據(jù)在醫(yī)療保健行業(yè)中的應(yīng)用越來越廣泛，可以從疾病預(yù)測和預(yù)防、臨床決策支持、醫(yī)療資源管理和個性化醫(yī)療等方面進行應(yīng)用。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)

3.政府領(lǐng)域“智慧城市”已經(jīng)在多地嘗試運營，通過大數(shù)據(jù)，政府部門得以感知社會的發(fā)展變化需求，從而更加科學化、精準化、合理化的為市民提供相應(yīng)的公共服務(wù)以及資源配置。4.傳媒領(lǐng)域傳媒相關(guān)企業(yè)通過收集各式各樣的信息，進行分類篩選、清洗、深度加工，實現(xiàn)對讀者和受眾葛新華需求的準確定位和把握，并追蹤用戶的瀏覽習慣，不斷進行信息優(yōu)化。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)

5.金融領(lǐng)域大數(shù)據(jù)在金融行業(yè)應(yīng)用范圍是比較廣的，它更多應(yīng)用于交易，現(xiàn)在很多股權(quán)的交易都是利用大數(shù)據(jù)算法進行，這些算法現(xiàn)在越來越多的考慮了社交媒體和網(wǎng)站新聞來決定在未來幾秒內(nèi)是買出還是賣出。

金融機構(gòu)可以利用大數(shù)據(jù)分析技術(shù)來進行風險評估、投資分析、信用評估和欺詐檢測等方面的工作。6.教育領(lǐng)域通過大數(shù)據(jù)進行學習分析，能夠為每位學生創(chuàng)設(shè)一個量身定做的個性化課程，為學生的多年學習提供一個富有挑戰(zhàn)性而非逐漸厭倦的學習計劃。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)7.交通領(lǐng)域大數(shù)據(jù)技術(shù)可以預(yù)測未來交通情況，為改善交通狀況提供優(yōu)化方案，有助于交通部門提高對道路交通的把控能力，防止和緩解交通擁堵，提供更加人性化的服務(wù)。此外，大數(shù)據(jù)技術(shù)還可以實現(xiàn)智能交通管控和管理，包括交通信號控制、車輛跟蹤監(jiān)控、違法行為識別等方面，提高交通違法處罰的準確性和實效性。通過對歷史數(shù)據(jù)和實時數(shù)據(jù)的分析和比對，大數(shù)據(jù)技術(shù)可以預(yù)測未來交通擁堵情況和運輸需求，從而提前做出合理的交通規(guī)劃和調(diào)度安排。典型工作環(huán)節(jié)4大數(shù)據(jù)的應(yīng)用線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)的4V包括以下哪些？A.歷史性B.速度C.體積D.多樣性E.準確性（2）大數(shù)據(jù)安全是企業(yè)面臨的主要問題之一，下列哪項是大數(shù)據(jù)安全面臨的挑戰(zhàn)？A.數(shù)據(jù)收集難度B.數(shù)據(jù)處理速度C.數(shù)據(jù)存儲成本D.數(shù)據(jù)泄露風險2簡答題請簡述大數(shù)據(jù)安全中隱私保護的方法和標準。學習單元五大數(shù)據(jù)5.2了解大數(shù)據(jù)安全防護線上課前導學課前自測推課前學習資源包頭腦風暴任務(wù)調(diào)研大數(shù)據(jù)時代的來臨帶來無數(shù)的機遇，但是與此同時個人或機構(gòu)的隱私權(quán)也極有可能受到?jīng)_擊，大數(shù)據(jù)包含各種個人信息數(shù)據(jù)，現(xiàn)有的隱私保護法律或政策無力解決這些新出現(xiàn)的問題。

大數(shù)據(jù)安全一直是企業(yè)關(guān)注的問題，因為一次攻擊可能會使大數(shù)據(jù)部署容易遭受攻擊。小思考

在大數(shù)據(jù)時代，數(shù)據(jù)安全問題變得尤為重要，企業(yè)應(yīng)該采取哪些措施來保護自己的數(shù)據(jù)安全？線上課前導學頭腦風暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時代》《Python大數(shù)據(jù)處理與分析》線上課前導學任務(wù)調(diào)研課前自測頭腦風暴1大數(shù)據(jù)的4V是指什么？2為什么大數(shù)據(jù)安全是企業(yè)關(guān)注的問題？3大數(shù)據(jù)應(yīng)用的范圍有哪些行業(yè)和領(lǐng)域？線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過線上課前預(yù)習，我們應(yīng)該了解到，了解大數(shù)據(jù)安全防護已經(jīng)成為當今社會不可忽視的重要課題，對于企業(yè)和個人都有著重要的意義。學習大數(shù)據(jù)安全防護，需要先了解大數(shù)據(jù)的基本概念和基礎(chǔ)知識，包括大數(shù)據(jù)的定義、大數(shù)據(jù)的特點、大數(shù)據(jù)的存儲和處理方式等。在學習大數(shù)據(jù)安全防護的過程中，我們還需要關(guān)注大數(shù)據(jù)的安全問題，學習大數(shù)據(jù)安全的基本概念和防護措施，了解大數(shù)據(jù)隱私保護的方法和標準。

同時，了解大數(shù)據(jù)攻擊的方式和手段，提高安全防范意識，掌握基本的安全防護技能。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.大數(shù)據(jù)應(yīng)用中面臨的安全問題及風險；2.大數(shù)據(jù)安全防護的基本方法；3.大數(shù)據(jù)安全防護建議。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)應(yīng)用涉及到大量的個人信息和敏感數(shù)據(jù),這些數(shù)據(jù)如果被非法獲取或泄露會帶來極大的安全風險。

大數(shù)據(jù)系統(tǒng)本身也面臨被黑客攻擊、DDoS攻擊、SQL注入攻擊等技術(shù)攻擊的威脅。

同時,大數(shù)據(jù)分析結(jié)果和建議也可能被惡意利用,導致社會影響。所以,保障大數(shù)據(jù)安全性和隱私性是當前大數(shù)據(jù)應(yīng)用的重要課題。

需要采取技術(shù)手段和管理手段來防止各種安全風險,確保大數(shù)據(jù)的安全和可靠運用。典型工作環(huán)節(jié)1大數(shù)據(jù)應(yīng)用中面臨的安全問題及風險線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)面臨的主要風險有:1.信息泄露風險大數(shù)據(jù)通常存儲大量個人信息和敏感數(shù)據(jù),如果這些數(shù)據(jù)被非法獲取或泄露會帶來嚴重的安全風險。2.技術(shù)攻擊風險大數(shù)據(jù)系統(tǒng)本身面臨黑客攻擊、DDoS攻擊、SQL注入攻擊、XSS攻擊等技術(shù)攻擊威脅。

這些攻擊可以破壞大數(shù)據(jù)系統(tǒng),盜取敏感數(shù)據(jù)。技術(shù)攻擊的頻率和技巧正不斷提高,任何大數(shù)據(jù)系統(tǒng)都面臨被攻破的風險。典型工作環(huán)節(jié)1大數(shù)據(jù)應(yīng)用中面臨的安全問題及風險線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)3.惡意利用風險大數(shù)據(jù)分析結(jié)果和建議可能被惡意利用,導致社會影響和商業(yè)損失。例如惡意廣告、欺詐行為、信息操縱等。

如果大數(shù)據(jù)分析結(jié)果被用作惡意目的,可能對社會公眾產(chǎn)生負面影響,損害企業(yè)商譽和利潤。

惡意利用的影響也可能持續(xù)很長時間,難以彌補。4.隱私泄露風險如果大數(shù)據(jù)分析和建議沒有妥善保護個人隱私,可能導致用戶隱私信息被公開或被用作其他非法用途。

任何隱私信息被泄露都將嚴重侵犯用戶權(quán)益,甚至可能導致身份泄露和詐騙,給個人和社會帶來無法挽回的損失。典型工作環(huán)節(jié)1大數(shù)據(jù)應(yīng)用中面臨的安全問題及風險線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)安全防護要“以數(shù)據(jù)為中心”、“以技術(shù)為支撐”、“以管理為手段”,聚焦數(shù)據(jù)體系和生態(tài)環(huán)境,明確數(shù)據(jù)來源、組織形態(tài)、路徑管理、應(yīng)用場景等,圍繞大數(shù)據(jù)采集、傳輸、存儲、應(yīng)用、共享、銷毀等全過程,構(gòu)建由組織管理、制度規(guī)程、技術(shù)手段組成的安全防護體系,實現(xiàn)大數(shù)據(jù)安全防護的閉環(huán)管理。(1)大數(shù)據(jù)采集安全通過數(shù)據(jù)安全管理、數(shù)據(jù)類型和安全等級打標,將相應(yīng)功能內(nèi)嵌入后臺的數(shù)據(jù)管理系統(tǒng),或與其無縫對接,從而保證網(wǎng)絡(luò)安全責任制、安全等級保護、數(shù)據(jù)分級分類管理等各類數(shù)據(jù)安全制度有效的落地實施。典型工作環(huán)節(jié)2大數(shù)據(jù)安全防護的基本方法線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)(2)大數(shù)據(jù)存儲及傳輸安全通過密碼技術(shù)保障數(shù)據(jù)的機密性和完整性。在數(shù)據(jù)傳輸環(huán)節(jié),建立不同安全域間的加密傳輸鏈路,也可直接對數(shù)據(jù)進行加密,以密文形式傳輸,保障傳輸過程安全。數(shù)據(jù)存儲過程中,可采取數(shù)據(jù)加密、磁盤加密、HDFS加密等技術(shù)保障存儲安全。(3)大數(shù)據(jù)應(yīng)用安全除了防火墻、入侵監(jiān)測、防病毒、防DDos、漏洞掃描等安全防護措施外,還應(yīng)對賬號統(tǒng)一管理,加強數(shù)據(jù)安全域管理,使原始數(shù)據(jù)不離開數(shù)據(jù)安全域,可有效防范內(nèi)部人員盜取數(shù)據(jù)的風險。典型工作環(huán)節(jié)2大數(shù)據(jù)安全防護的基本方法線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)(4)大數(shù)據(jù)共享及銷毀在數(shù)據(jù)共享時,除了應(yīng)遵循相關(guān)管理制度,還應(yīng)與安全域結(jié)合起來,在滿足業(yè)務(wù)需求的同時,有效管理數(shù)據(jù)共享行為。在數(shù)據(jù)銷毀過程中,可通過軟件或物理方式操作,保證磁盤中存儲的數(shù)據(jù)永久刪除、不可恢復。典型工作環(huán)節(jié)2大數(shù)據(jù)安全防護的基本方法線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)大數(shù)據(jù)的安全防護是保障大數(shù)據(jù)系統(tǒng)運行和數(shù)據(jù)安全的重要手段。以下是幾個基本的大數(shù)據(jù)安全防護法規(guī)：(1).《網(wǎng)絡(luò)安全法》

(2).《信息安全技術(shù)個人信息安全規(guī)范》

(3).《數(shù)據(jù)安全管理辦法》

(4).《中華人民共和國網(wǎng)絡(luò)安全法實施條例》(5).《信息安全技術(shù)基本要求》在進行大數(shù)據(jù)系統(tǒng)的安全防護時，需要遵守上述法規(guī)，并根據(jù)實際情況采取必要的技術(shù)措施和管理措施，包括數(shù)據(jù)加密、訪問控制、安全審計、風險評估等措施，確保大數(shù)據(jù)系統(tǒng)的安全運行。典型工作環(huán)節(jié)3大數(shù)據(jù)安全防護基本法規(guī)線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)隨著大數(shù)據(jù)在企業(yè)數(shù)字化轉(zhuǎn)型的逐步應(yīng)用,大數(shù)據(jù)安全問題已成為企業(yè)必須面對的重點問題。企業(yè)要站在戰(zhàn)略角度高度關(guān)注大數(shù)據(jù)安全,提高風險防范能力,從組織機構(gòu)、管理措施、技術(shù)措施等方面做好安全防護工作。(1)建立安全組織機構(gòu),明確安全管理要求(2)制定安全管理措施,提升數(shù)據(jù)管控能力(3)著力加強技術(shù)防護,提高安全應(yīng)急能力典型工作環(huán)節(jié)4大數(shù)據(jù)安全防護建議線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)安全防護措施中，下列哪項措施是對外暴露的大數(shù)據(jù)進行安全控制的方法？A.數(shù)據(jù)加密B.訪問控制C.安全審計D.數(shù)據(jù)備份（2）下列哪項不是大數(shù)據(jù)安全防護的主要挑戰(zhàn)？A.數(shù)據(jù)質(zhì)量B.安全性C.處理速度D.處理容量2簡答題請簡要說明大數(shù)據(jù)安全防護中常見的措施。學習單元五大數(shù)據(jù)5.3熟悉大數(shù)據(jù)的相關(guān)技術(shù)線上課前導學課前自測推課前學習資源包頭腦風暴任務(wù)調(diào)研今天，各種大數(shù)據(jù)工具和技術(shù)如Hadoop、Spark、NoSQL等不斷涌現(xiàn)，為企業(yè)提供了更多的選擇。不僅如此，大數(shù)據(jù)分析也被越來越多的企業(yè)采用，以支持數(shù)據(jù)驅(qū)動的決策和提高業(yè)務(wù)效率。

例如，通過對客戶行為的大數(shù)據(jù)分析，一些網(wǎng)絡(luò)安全公司可以更好地了解客戶需求，提供更精準的客戶服務(wù)。大數(shù)據(jù)相關(guān)技術(shù)是一系列為解決大規(guī)模數(shù)據(jù)處理和管理問題而涌現(xiàn)的技術(shù)，包括體系架構(gòu)和數(shù)據(jù)分析兩方面。在體系架構(gòu)方面，包括分布式文件系統(tǒng)、分布式計算框架、數(shù)據(jù)庫技術(shù)等；在數(shù)據(jù)分析方面，包括機器學習技術(shù)。小思考

請談?wù)勀阏J為大數(shù)據(jù)技術(shù)在未來發(fā)展中可能面臨的一些安全和隱私問題，并提出你的看法和建議。線上課前導學頭腦風暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時代》《Python大數(shù)據(jù)處理與分析》線上課前導學任務(wù)調(diào)研課前自測頭腦風暴1大數(shù)據(jù)相關(guān)技術(shù)包括哪兩個方面？2大數(shù)據(jù)技術(shù)如何幫助實現(xiàn)智能城市、物聯(lián)網(wǎng)、金融風險控制等應(yīng)用？3你了解哪些大數(shù)據(jù)技術(shù)工具和技術(shù)平臺？它們有什么特點和優(yōu)勢？線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)熟悉大數(shù)據(jù)的相關(guān)技術(shù)是當今不可忽視的重要課題，對于企業(yè)和社會發(fā)展都具有重要意義。學習大數(shù)據(jù)技術(shù)需要掌握大數(shù)據(jù)的相關(guān)技術(shù)，包括大數(shù)據(jù)處理和管理的基礎(chǔ)架構(gòu)、分布式文件系統(tǒng)、分布式計算框架、數(shù)據(jù)庫技術(shù)等，以及機器學習技術(shù)和數(shù)據(jù)分析技術(shù)等。

在學習大數(shù)據(jù)技術(shù)的同時，需要了解大數(shù)據(jù)安全的基本概念和防護措施，以及大數(shù)據(jù)隱私保護的方法和標準。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.了解數(shù)據(jù)分析與挖掘；2.熟悉大數(shù)據(jù)體系架構(gòu)。1.數(shù)據(jù)分析和數(shù)據(jù)挖掘的概念數(shù)據(jù)分析和數(shù)據(jù)挖掘的目的是通過對數(shù)據(jù)進行深入研究來發(fā)現(xiàn)新的見解、識別趨勢、提高效率和減少成本。2.數(shù)據(jù)分析的優(yōu)勢根據(jù)研究機構(gòu)AlliedMarketResearch公司發(fā)布的一份調(diào)查報告，到2027年，全球大數(shù)據(jù)和商業(yè)分析市場規(guī)模預(yù)計將達到4209.8億美元，從2020年到2027年的復合年增長率為10.9%。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘3.數(shù)據(jù)分析和挖掘的工作流程大數(shù)據(jù)分析主要利用了4個關(guān)鍵流程。這些工作包括數(shù)據(jù)的收集、處理、清理和分析。以下了解這些關(guān)鍵流程。(1)收集數(shù)據(jù)移動記錄、客戶反饋表、從客戶那里收到的郵件、調(diào)查報告、社交媒體平臺和移動應(yīng)用程序是數(shù)據(jù)分析師可以收集特定信息的來源(2)處理數(shù)據(jù)在收集數(shù)據(jù)之后，下一步要使用它將數(shù)據(jù)存儲在數(shù)據(jù)池或數(shù)據(jù)倉庫中，將允許分析師組織、配置和分組大數(shù)據(jù)，以便為每個請求繪制清晰的圖表，這對于最終結(jié)果也將更加準確。(3)清理數(shù)據(jù)為確保處理過的數(shù)據(jù)分析師的工作是完整和可行的，它必須清除重復數(shù)據(jù)、不真實輸入、系統(tǒng)錯誤和其他類型的偏差。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘(4)分析數(shù)據(jù)這是最后一個步驟，可以分析收集、處理和清理的原始數(shù)據(jù)，并有可能提取急需的結(jié)果。在這里可以使用：1)數(shù)據(jù)挖掘2)人工智能3)文本挖掘4)機器學習5)預(yù)測分析6)深度學習線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1數(shù)據(jù)分析與挖掘大數(shù)據(jù)架構(gòu)設(shè)計用來處理對傳統(tǒng)數(shù)據(jù)庫系統(tǒng)而言太大或太復雜的數(shù)據(jù)的引入、處理和分析。組織進入大數(shù)據(jù)領(lǐng)域的門檻各不相同，具體取決于用戶的權(quán)限及其工具的功能。1.Hadoop體系架構(gòu)Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，如圖所示。為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎(chǔ)架構(gòu)。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)2.

Lambda體系架構(gòu)隨著大數(shù)據(jù)應(yīng)用的發(fā)展，人們逐漸對系統(tǒng)的實時性提出了要求，為了計算一些實時指標，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個實時計算的鏈路，并對數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊列），實時計算去訂閱消息隊列，直接完成指標增量的計算，推送到下游的數(shù)據(jù)服務(wù)中去，由數(shù)據(jù)服務(wù)層完成離線與實時結(jié)果的合并。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)3.Kappa體系架構(gòu)Lambda架構(gòu)雖然滿足了實時的需求，但帶來了更多的開發(fā)與運維工作，其架構(gòu)背景是流處理引擎還不完善，流處理的結(jié)果只作為臨時的、近似的值提供參考。后來隨著Flink

等流處理引擎的出現(xiàn)，流處理技術(shù)很成熟了，這時為了解決兩套代碼的問題，LickedIn

的JayKreps提出了Kappa架構(gòu)。Kappa架構(gòu)在Lambda的基礎(chǔ)上進行了優(yōu)化，將實時和流部分進行了合并，將數(shù)據(jù)通道以消息隊列進行替代。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)4.Unifield體系架構(gòu)以上的種種架構(gòu)都圍繞海量數(shù)據(jù)處理為主，Unifield架構(gòu)則更激進，將機器學習和數(shù)據(jù)處理揉為一體，從核心上來說，Unifield依舊以Lambda為主，不過對其進行了改造，在流處理層新增了機器學習層。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2大數(shù)據(jù)體系架構(gòu)線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)1選擇題（1）大數(shù)據(jù)相關(guān)技術(shù)主要包括以下兩方面：A.數(shù)據(jù)庫技術(shù)和數(shù)據(jù)可視化技術(shù)B.數(shù)據(jù)處理和數(shù)據(jù)存儲C.網(wǎng)絡(luò)安全和系統(tǒng)管理D.人工智能和機器學習（2）大數(shù)據(jù)的處理方式包括以下哪些技術(shù)？A.分布式文件系統(tǒng)B.數(shù)據(jù)挖掘技術(shù)C.數(shù)據(jù)庫技術(shù)D.手工處理數(shù)據(jù)2簡答題請簡要介紹一下大數(shù)據(jù)的基礎(chǔ)架構(gòu)。學習單元五大數(shù)據(jù)5.4大數(shù)據(jù)可視化線上課前導學課前自測推課前學習資源包頭腦風暴任務(wù)調(diào)研大數(shù)據(jù)可視化是一種使用圖形化方式來呈現(xiàn)大規(guī)模數(shù)據(jù)集合的信息和趨勢的技術(shù)。

通過大數(shù)據(jù)可視化，用戶可以更加直觀地理解和分析海量的數(shù)據(jù)，挖掘數(shù)據(jù)背后的規(guī)律和趨勢，并從中獲取有價值的信息和洞察力。

大數(shù)據(jù)可視化的特點包括對海量數(shù)據(jù)的處理能力、對多維數(shù)據(jù)的支持、對實時數(shù)據(jù)的處理能力、對用戶交互的支持、以及對多種圖表類型的支持。大數(shù)據(jù)可視化已經(jīng)被廣泛應(yīng)用于各個領(lǐng)域，如金融、醫(yī)療、智能城市等，幫助用戶更好地理解和管理大數(shù)據(jù)集合。小思考

大數(shù)據(jù)可視化在不同領(lǐng)域中的應(yīng)用場景有哪些？請列舉并解釋其中一種場景的應(yīng)用舉例。線上課前導學頭腦風暴任務(wù)調(diào)研課前自測參考網(wǎng)站：慕課網(wǎng)（/）極客時間（/）實驗樓（/）參考書籍：《Hadoop權(quán)威指南》《Spark大數(shù)據(jù)處理》《NoSQL數(shù)據(jù)庫原理及應(yīng)用》《大數(shù)據(jù)時代》《Python大數(shù)據(jù)處理與分析》線上課前導學任務(wù)調(diào)研課前自測頭腦風暴1什么是大數(shù)據(jù)可視化？有哪些特點和應(yīng)用場景？2大數(shù)據(jù)可視化中，對于海量數(shù)據(jù)的處理能力和多維數(shù)據(jù)的支持分別指什么？如何實現(xiàn)？3大數(shù)據(jù)可視化的作用是什么？線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)學習大數(shù)據(jù)可視化需要掌握大數(shù)據(jù)的相關(guān)技術(shù)，通過圖形化呈現(xiàn)大規(guī)模數(shù)據(jù)集合的信息和趨勢。大數(shù)據(jù)可視化的特點包括對海量數(shù)據(jù)的處理能力、對多維數(shù)據(jù)的支持、對實時數(shù)據(jù)的處理能力、對用戶交互的支持、以及對多種圖表類型的支持。大數(shù)據(jù)可視化已經(jīng)被廣泛應(yīng)用于各個領(lǐng)域，如金融、醫(yī)療、智能城市等，幫助用戶更好地理解和管理大數(shù)據(jù)集合。同時，也需要注意大數(shù)據(jù)可視化的安全問題。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.了解大數(shù)據(jù)可視化工具；2.熟悉大數(shù)據(jù)可視化工具的使用方法。作為一款商業(yè)數(shù)據(jù)分析可視化工具，Tableau已連續(xù)7年穩(wěn)居“Gartner商業(yè)智能和分析平臺魔力象限”領(lǐng)導者！2019年6月10日，Salesforce以天價157億美元收購Tableau，創(chuàng)云營銷平臺歷史上最大收購事件。簡單的來說，Tableau是一款可以幫助人們快速分析、可視化并分享數(shù)據(jù)信息的工具。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化支持多種類型數(shù)據(jù)Tableau支持連接到存儲在各個地方的各種數(shù)據(jù)?？梢允谴鎯υ谟嬎銠C上的電子表格或文本文件中，或存儲在企業(yè)內(nèi)服務(wù)器上的大數(shù)據(jù)、關(guān)系或多維數(shù)據(jù)集（多維度）數(shù)據(jù)庫中，也可以連接到Web上提供的公共域數(shù)據(jù)，如美國人口普查局信息，或連接到云數(shù)據(jù)庫源線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化連接方式支持實時連接和數(shù)據(jù)提取，如圖所示。實時連接每次打開視圖都會去服務(wù)器撈取數(shù)據(jù)，適合數(shù)據(jù)量小，即席查詢速度快的數(shù)據(jù)源；而數(shù)據(jù)提取是將數(shù)據(jù)拉取到本地或者TableauServer服務(wù)器中，這樣每次打開視圖就會從本地或者TableauServer服務(wù)器中去撈取數(shù)據(jù)，對原始的數(shù)據(jù)服務(wù)器不會產(chǎn)生壓力。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化交互式儀表板Tableau通過拖拽和拖放的方式，快速建立交互式儀表板，如圖所示。并以圖表、地圖、故事等形式呈現(xiàn)數(shù)據(jù)，用戶可以通過對數(shù)據(jù)的篩選、分組、排序等操作，實時地獲得對數(shù)據(jù)的洞察。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Tableau數(shù)據(jù)可視化PowerBI是由微軟開發(fā)的商業(yè)分析工具，它可以將數(shù)據(jù)從多種來源中收集、轉(zhuǎn)換和可視化，幫助用戶快速創(chuàng)建交互式的數(shù)據(jù)儀表盤和報告。

PowerBI擁有豐富的數(shù)據(jù)可視化選項，包括圖表、表格、地圖等等，還支持自定義計算和指標的創(chuàng)建。此外，PowerBI可以與其他微軟的產(chǎn)品和服務(wù)無縫集成，從而方便用戶在不同平臺上共享和訪問數(shù)據(jù)分析結(jié)果。

PowerBI有兩個版本，分別是PowerBIDesktop和PowerBI服務(wù)。其中，PowerBIDesktop是用于本地開發(fā)和設(shè)計數(shù)據(jù)模型的桌面應(yīng)用程序，而PowerBI服務(wù)是一個云端應(yīng)用程序，可用于共享和協(xié)作。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2powerbi數(shù)據(jù)可視化1.PowerBIDesktopPowerBIDesktop是一款可在本地計算機上安裝的免費應(yīng)用程序，可用于連接到數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)并實現(xiàn)數(shù)據(jù)的可視化效果。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2powerbi數(shù)據(jù)可視化2.PowerBI服務(wù)PowerBI是一個包含軟件服務(wù)、應(yīng)用和連接器的集合，它們相輔相成，幫助業(yè)務(wù)且最有效的方式來創(chuàng)建、共享和使用業(yè)務(wù)見解。3.比較PowerBIDesktop和PowerBI服務(wù)PowerBIDesktop是一個應(yīng)用程序，可以在本地計算機上免費下載和安裝它。PowerBI服務(wù)是基于云的服務(wù)，或軟件即服務(wù)(SaaS)。它支持團隊和組織的報表編輯和協(xié)作。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2powerbi數(shù)據(jù)可視化線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)1選擇題（1）Tableau的主要功能是什么？A.數(shù)據(jù)存儲和管理B.數(shù)據(jù)分析和可視化C.數(shù)據(jù)加密和安全D.數(shù)據(jù)傳輸和備份（2）PowerBI主要用于以下哪項工作？A.數(shù)據(jù)存儲和管理B.數(shù)據(jù)分析和可視化C.數(shù)據(jù)加密和安全D.數(shù)據(jù)傳輸和備份2簡答題請簡要介紹PowerBIDesktop和PowerBI服務(wù)的區(qū)別。學習單元五

大數(shù)據(jù)5.5搭建大數(shù)據(jù)環(huán)境線上課前導學課前自測推課前學習資源包頭腦風暴任務(wù)調(diào)研Hadoop是一個開源的、分布式的數(shù)據(jù)處理框架，旨在解決海量數(shù)據(jù)的存儲和處理問題。它最初由Apache開發(fā)，目前已成為最流行的分布式數(shù)據(jù)處理平臺之一。Hadoop包括兩個核心組件：HadoopDistributedFileSystem（HDFS）和HadoopMapReduce。HDFS是一個分布式文件系統(tǒng)，能夠存儲海量數(shù)據(jù)，并在不同的計算機節(jié)點之間進行數(shù)據(jù)分發(fā)和備份。

MapReduce則是一種分布式數(shù)據(jù)處理模型，能夠?qū)Ａ繑?shù)據(jù)進行分布式計算。Hadoop支持Java、Python、Scala等多種編程語言，同時也提供了眾多工具和生態(tài)系統(tǒng)，包括Hive、Pig、Spark等，使得數(shù)據(jù)處理和分析更加高效和靈活。小思考

Hadoop為什么能夠成為最流行的分布式數(shù)據(jù)處理平臺之一？它有哪些優(yōu)勢和特點？線上課前導學頭腦風暴任務(wù)調(diào)研課前自測參考網(wǎng)站：極客時間：/開源中國：/大數(shù)據(jù)文摘：/參考書籍：《Hadoop權(quán)威指南》《Spark快速大數(shù)據(jù)分析》《大數(shù)據(jù)架構(gòu)模式》《數(shù)據(jù)倉庫工具包》《大數(shù)據(jù)平臺架構(gòu)：原理、方法與案例》線上課前導學任務(wù)調(diào)研課前自測頭腦風暴1Hadoop是什么？2Hadoop有哪兩個核心組件？3Hadoop支持哪些編程語言？線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)經(jīng)過線上課前預(yù)習，我們應(yīng)該了解到，搭建大數(shù)據(jù)環(huán)境是實現(xiàn)大數(shù)據(jù)技術(shù)的重要一環(huán)，對于企業(yè)和社會的數(shù)據(jù)處理和分析都有著重要的意義。

學習如何搭建大數(shù)據(jù)環(huán)境，需要先了解大數(shù)據(jù)的基本架構(gòu)和技術(shù)原理，包括分布式文件系統(tǒng)、分布式計算模型、數(shù)據(jù)存儲和管理、數(shù)據(jù)處理和分析等。

在搭建大數(shù)據(jù)環(huán)境的過程中，我們還需要關(guān)注大數(shù)據(jù)的安全問題，學習大數(shù)據(jù)安全的基本概念和防護措施，了解大數(shù)據(jù)隱私保護的方法和標準。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)1.了解Hadoop安裝部署模式；2.

Hadoop搭建前的環(huán)境準備；3.

Hadoop偽分布搭建與應(yīng)用。目前來說，Hadoop的安裝部署的模式一共有三種，單機模式、偽分布模式、全分布模式?？紤]到硬件條件限制，我們將安裝第二種偽分布模式并將Namenode、Datanode和、SecondaryNamenode配置到同一節(jié)點。單機模式單機模式所需要的系統(tǒng)資源是最少的，也是默認的安裝模式。偽分布模式偽分布也就是單節(jié)點集成模式，其所有守護進程都運行在同一臺機器上Namenode是整個文件系統(tǒng)的管理節(jié)點。全分布模式完全分布模式是比本地模式與偽分布模式更加復雜的模式，真正利用多臺Linux主機來進行部署Hadoop，對集群進行規(guī)劃，使得Hadoop各個模塊分別部署在不同的多臺機器上。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)1Hadoop安裝部署我們選擇CentOS7作為安裝對象，通過Vmwareworkstation虛擬機運行系統(tǒng)。本教程默認已經(jīng)完成系統(tǒng)安裝。1.設(shè)置服務(wù)器的主機名稱線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備重啟服務(wù)器或注銷root重新登錄后生效。2.關(guān)閉防火墻并查看防火墻狀態(tài)[root@localhost~]#hostnamectlset-hostnamemaster[root@master~]#cat/etc/hostnamemaster[root@master~]#systemctlstopfirewalld[root@master~]#systemctlstatusfirewalld●firewalld.service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.service;enabled;vendorpreset:enabled)Active:inactive(dead)since三2022-08-3122:29:41CST;12sagoDocs:man:firewalld(1)Process:826ExecStart=/usr/sbin/firewalld--nofork--nopid$FIREWALLD_ARGS(code=exited,status=0/SUCCESS)MainPID:826(code=exited,status=0/SUCCESS)線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備4.安裝java環(huán)境(1)創(chuàng)建文件夾/opt/software，用于存放安裝軟件包。3.創(chuàng)建Hadoop用戶使用root安裝Hadoop的運行環(huán)境，hadoop用戶運行Hadoop，添加hadoop用戶，并為該用戶設(shè)置密碼為：hadoop(2)創(chuàng)建/usr/local/src目錄，作為軟件安裝目錄。[root@master~]#useraddhadoop[root@master~]#passwdhadoop更改用戶hadoop的密碼。新的密碼：重新輸入新的密碼：passwd：所有的身份驗證令牌已經(jīng)成功更新。[root@master~]#mkdir/opt/software[root@master~]#mkdir-p/usr/local/src線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(3)查詢兩個目錄的屬性，目錄所有者為root用戶。[root@master~]#ll/opt/總用量0drwxr-xr-x.2rootroot610月312018rhdrwxr-xr-x.2rootroot68月3122:46software[root@master~]#ll/usr/local/總用量0drwxr-xr-x.2rootroot64月112018bindrwxr-xr-x.2rootroot64月112018etcdrwxr-xr-x.2rootroot64月112018gamesdrwxr-xr-x.2rootroot64月112018includedrwxr-xr-x.2rootroot64月112018libdrwxr-xr-x.2rootroot64月112018lib64drwxr-xr-x.2rootroot64月112018libexecdrwxr-xr-x.2rootroot64月112018sbindrwxr-xr-x.5rootroot497月520:28sharedrwxr-xr-x.2rootroot64月112018src[root@master~]#線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(4)上傳jdk安裝包將jdk安裝包，Hadoop安裝包上傳至linux服務(wù)器。安裝包下載地址：/s/17OlEl73envfKt6ch9tmMcg?pwd=chpi提取碼chpi。這里默認已經(jīng)上傳完成。(5)卸載自帶的OpenJDK查詢：[root@mastersoftware]#lshadoop-2.7.1.tar.gzjdk-8u231-linux-x64.tar.gz[root@mastersoftware]#rpm-qa|grepjavajava-1.7.0-openjdk-headless-61-.el7_8.x86_64python-javapackages-3.4.1-11.el7.noarchtzdata-java-2020a-1.el7.noarchjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64java-1.8.0-openjdk-62.b10-1.el7.x86_64javapackages-tools-3.4.1-11.el7.noarchjava-1.7.0-openjdk-61-.el7_8.x86_64線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備刪除文件：(6)安裝jdk至服務(wù)器軟件安裝目錄/usr/local/src[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.8.0-openjdk-headless-62.b10-1.el7.x86_64[root@mastersoftware]#rpm-e--nodepsjava-1.7.0-openjdk-headless-61-.el7_8.x86_64[root@mastersoftware]#rpm-e–nodepsjava-1.7.0-openjdk-61-.el7_8.x86_64[root@mastersoftware]#tar-zxvfjdk-8u231-linux-x64.tar.gz-C/usr/local/src/線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(7)設(shè)置java環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：使設(shè)置生效：檢查java是否可用：[root@master~]#vim/etc/profileexportJAVA_HOME=/usr/local/src/jdk1.8.0_231#JAVA_HOME指向JAVA安裝目錄exportPATH=$PATH:$JAVA_HOME/bin#將JAVA安裝目錄加入PATH路徑[root@master~]#source/etc/profile[root@master~]#echo$JAVA_HOME/usr/local/src/jdk1.8.0_231線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備5.安裝Hadoop(1)將Hadoop安裝到/usr/local/src(2)配置環(huán)境變量修改/etc/pofile配置文件，在文件最后增加如下兩行：(3)使設(shè)置生效并檢查[root@mastersoftware]#tar-zxvfhadoop-2.7.1.tar.gz-C/usr/local/src/[root@mastersoftware]#vim/etc/profileexportHADOOP_HOME=/usr/local/src/hadoop-2.7.1/exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin[root@mastersoftware]#source/etc/profile[root@mastersoftware]#hadoop線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備(4)修改目錄所有者和所屬組[root@mastersoftware]#chown-Rhadoop:hadoop/usr/local/src/[root@mastersoftware]#ll/usr/local/src/總用量0drwxr-xr-x.9hadoophadoop1496月292015hadoop-2.7.1drwxr-xr-x.7hadoophadoop24510月52019jdk1.8.0_231線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)2

Hadoop搭建前的環(huán)境準備6.SSH免密碼登入(1)在master主機上生成密鑰對(2)Hadoop用戶在master節(jié)點免密登錄本機[hadoop@mastersoftware]$ssh-keygen-trsa-P''Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa):Createddirectory'/home/hadoop/.ssh'.Youridentificationhasbeensavedin/home/hadoop/.ssh/id_rsa.Yourpublickeyhasbeensavedin/home/hadoop/.ssh/id_rsa.pub.Thekeyfingerprintis:SHA256:6eh4jjG8/oZTeZQnva1xsEyxrfTBbde/eX+IGL2llI4hadoop@masterThekey'srandomartimageis:+---[RSA2048]----+|||.||o=..|[hadoop@mastersoftware]$ssh-copy-idhadoop@master1.偽分布系統(tǒng)設(shè)置(1)基礎(chǔ)環(huán)境配置偽分布式環(huán)境是指：在一臺服務(wù)器上模擬Hadoop集群工作的一種模式。這里，我們在master節(jié)點進行偽分布式系統(tǒng)的配置。

基礎(chǔ)配置包括：安裝JAVA，安裝Hadoop，配置JAVA,HADOOP環(huán)境變量，修改Hadoop配置文件，設(shè)置SSH免密碼登錄等，我們已經(jīng)在前面的操作中完成，下面直接進行偽分布式集群配置。線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(2)進入Hadoop配置文件目錄線下課中演練前情回顧任務(wù)驅(qū)動演示講解鞏固小結(jié)鞏固小結(jié)典型工作環(huán)節(jié)3Hadoop偽分布搭建與應(yīng)用(3)修改core-site.xml配置文件fs.defaultFS設(shè)置的是HDFS的地址，設(shè)置運行在本地的9000端口上。[hadoop@mastersoftware]$cd/usr/local