華為云計算技術(shù)與應(yīng)用 課件 第3章 云計算新技術(shù)及其發(fā)展趨勢

第3章

云計算新技術(shù)及其發(fā)展趨勢華為云計算技術(shù)與應(yīng)用3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計算安全技術(shù)學(xué)習(xí)要點3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀第四次科技革命方興未艾，一場圍繞“云、大、物、智”等新興信息技術(shù)的革命正在如火如荼地展開，全球主要經(jīng)濟體都已將數(shù)據(jù)開放作為發(fā)展戰(zhàn)略，頒布了相關(guān)的數(shù)據(jù)開發(fā)戰(zhàn)略，以促進(jìn)未來經(jīng)濟發(fā)展。大數(shù)據(jù)技術(shù)起源于谷歌公司在2004年前后發(fā)表的3篇論文，俗稱“大數(shù)據(jù)時代”的“三駕馬車”，分別介紹了谷歌文件系統(tǒng)（GoogleFileSystem，GFS）、大數(shù)據(jù)分布式計算框架MapReduce和NoSQL數(shù)據(jù)庫系統(tǒng)BigTable，現(xiàn)在的大數(shù)據(jù)技術(shù)和框架也多基于這3項技術(shù)展開。大數(shù)據(jù)技術(shù)的思路不是聚焦在如何提升單臺計算機的性能，而是先部署一個大規(guī)模的服務(wù)器集群，再通過分布式的方式將海量數(shù)據(jù)存儲在這個集群上，然后利用集群上的所有服務(wù)器進(jìn)行數(shù)據(jù)計算。大數(shù)據(jù)技術(shù)特別適合存儲和計算TB、PB規(guī)模及以上的大數(shù)據(jù)文件。除了順應(yīng)國家戰(zhàn)略需求，在數(shù)據(jù)化、信息化的時代，經(jīng)營者本身也需要進(jìn)行一系列思維變革，以響應(yīng)時代的特點。

數(shù)據(jù)發(fā)展歷程3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀目前業(yè)界對大數(shù)據(jù)尚無公認(rèn)的定義，但大多都試圖從大數(shù)據(jù)的特征出發(fā)給出其定義?？偟膩砜?，目前業(yè)界對大數(shù)據(jù)的定義有“4V”的特點：體量大（Volume）、類型多（Variety）、速度快（Velocity）、價值密度低（Value）大數(shù)據(jù)的定義和特點維基百科對大數(shù)據(jù)的定義研究機構(gòu)Gartner對大數(shù)據(jù)做出的定義“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)分析相比傳統(tǒng)的BI、OLAP或數(shù)據(jù)倉庫應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點。大數(shù)據(jù)是指利用傳統(tǒng)數(shù)據(jù)處理應(yīng)用軟件不足以處理的規(guī)模大或結(jié)構(gòu)復(fù)雜的數(shù)據(jù)集。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀相比傳統(tǒng)的數(shù)據(jù)分析，大數(shù)據(jù)分析在多個方面發(fā)生了較大的改變。大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析對比從數(shù)據(jù)規(guī)模來看，傳統(tǒng)數(shù)據(jù)分析大多使用數(shù)據(jù)庫存儲數(shù)據(jù)，數(shù)據(jù)處理規(guī)模以MB為單位，而大數(shù)據(jù)的處理規(guī)模則以TB、PB為單位。如果將“魚”比作數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)分析如同“在池塘中捕魚”，大數(shù)據(jù)分析則如同“在大海中捕魚”。數(shù)據(jù)類型從原來的單一的結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等轉(zhuǎn)變。傳統(tǒng)數(shù)據(jù)分析處理工具比較單一，適用性較強，同時也都是先有模式后有數(shù)據(jù)的處理關(guān)系。而大數(shù)據(jù)分析沒有一套通用的工具，工具隨著處理數(shù)據(jù)的變化有可能需要更換，同時數(shù)據(jù)處理的模型也會隨著數(shù)據(jù)的增多而不斷演變。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀Hadoop生態(tài)系統(tǒng)中的組件基本上都是為了處理超過單機尺度的數(shù)據(jù)而誕生的，Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)是目前應(yīng)用極為廣泛的分布式大數(shù)據(jù)處理框架，具備高可靠、高效、可伸縮等特點。Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)組件如下。Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)數(shù)據(jù)存儲01OPTION分布式文件系統(tǒng)HDFS：大數(shù)據(jù)首先需要解決的問題是數(shù)據(jù)存儲。Hadoop分布式文件系統(tǒng)是整個Hadoop體系的基礎(chǔ)，負(fù)責(zé)數(shù)據(jù)的存儲與管理。HDFS的設(shè)計本質(zhì)上是為了讓大量的數(shù)據(jù)能橫跨成百上千臺廉價機器進(jìn)行存儲，具有高容錯性的特點。HDFS適合批量處理數(shù)據(jù)，而不是交互式處理數(shù)據(jù)。HDFS采用了主從結(jié)構(gòu)模型，一個HDFS集群是由一個NameNode和若干個DataNode組成。分布式列存儲數(shù)據(jù)庫HBase：HDFS是Hadoop默認(rèn)的持久化存儲層，而HBase是一種面向列的分布式數(shù)據(jù)庫，適用于結(jié)構(gòu)化數(shù)據(jù)的存儲，不過HBase底層仍然依賴HDFS作為其物理存儲。與適合用來對一段時間內(nèi)的數(shù)據(jù)進(jìn)行分析查詢的數(shù)據(jù)倉庫Hive相比，HBase更適合用來對大數(shù)據(jù)進(jìn)行實時查詢。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀數(shù)據(jù)計算02OPTION圖計算圖計算針對的是大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理場景，主要技術(shù)包括GraphX、Gelly、Giraph、PowerGraph等。批處理批處理計算針對的是海量數(shù)據(jù)的批量處理場景，主要計算引擎包括MapReduce等。批處理計算通常對以“天”為單位產(chǎn)生的數(shù)據(jù)進(jìn)行一次計算，然后得到分析計算的結(jié)果。查詢分析計算針對的是大規(guī)模數(shù)據(jù)的存儲管理和查詢分析場景，主要技術(shù)包括Hive、Impala、Dremel，此外還有針對NoSQL類型的HBase、Teradata、Cassandra等數(shù)據(jù)庫技術(shù)。流計算流計算針對的是需要實時計算處理流式數(shù)據(jù)的場景，主要技術(shù)包括Spark、Storm、Flink等。因為流計算要處理的是實時產(chǎn)生的數(shù)據(jù)，而不是歷史數(shù)據(jù)，所以這類計算也被稱為大數(shù)據(jù)實時計算。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀數(shù)據(jù)計算02OPTION分布式離線并行計算引擎MapReduce：MapReduce是支持海量數(shù)據(jù)離線并行處理的計算引擎，是一個基于集群的高性能并行計算平臺，該集群通常使用普通的商用服務(wù)器來搭建。內(nèi)存計算引擎Spark：Spark是適用于海量數(shù)據(jù)實時處理的計算引擎，它是基于Scala實現(xiàn)的。Spark與MapReduce不同的是，其中間計算結(jié)果不需要被寫到本地磁盤中，而是全部在緩存中進(jìn)行的。分布式流式數(shù)據(jù)計算引擎Flink：Flink是一款基于Java和Scala的分布式流式數(shù)據(jù)處理引擎，是一個基于內(nèi)存的分布式并行處理框架?；贖adoop的數(shù)據(jù)倉庫Hive/Impala：Hive使用的是一種類SQL的語言HiveSQL，它可以將腳本和SQL轉(zhuǎn)換成MapReduce程序，然后使用計算引擎進(jìn)行離線分析計算，這樣分析非常方便，這個特性也使得Hive逐漸成為大數(shù)據(jù)倉庫的核心組件。下面分別對MapReduce、Spark、Flink、Hive和Impala進(jìn)行介紹。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀分布式資源管理和任務(wù)調(diào)度03OPTION在Hadoop1.0之后的版本中，隨著其他計算引擎的加入，僅依靠MapReduce進(jìn)行資源調(diào)度、作業(yè)調(diào)度勢必帶來一定的沖突問題。因此，Hadoop2.0引入了YARN和Oozie。YARN主要負(fù)責(zé)集群的資源調(diào)配管理，Oozie主要負(fù)責(zé)完成計算作業(yè)的流調(diào)度工作。數(shù)據(jù)采集04OPTION開源數(shù)據(jù)傳輸工具Sqoop：Sqoop是一個開源的數(shù)據(jù)傳輸工具，主要用于在Hadoop大數(shù)據(jù)系統(tǒng)與傳統(tǒng)的數(shù)據(jù)庫間進(jìn)行數(shù)據(jù)的傳輸，它可以在關(guān)系數(shù)據(jù)庫與HDFS之間進(jìn)行數(shù)據(jù)的傳輸，也可以在關(guān)系數(shù)據(jù)庫之間或者大數(shù)據(jù)系統(tǒng)組件之間進(jìn)行數(shù)據(jù)的傳輸。日志采集工具Flume：Flume是一個具有高可用、高可靠、分布式等特點的海量日志采集、聚合和傳輸?shù)墓ぞ?，它支持定制各類?shù)據(jù)發(fā)送方（如HDFS、本地日志文件、Kafka等），主要用于收集日志數(shù)據(jù)。同時，F(xiàn)lume提供對日志數(shù)據(jù)簡單處理的能力，如過濾、格式轉(zhuǎn)換等。(1)(2)總之，可以將大數(shù)據(jù)生態(tài)圈比喻為一個廚房工具生態(tài)圈。為了烹飪不同的菜品，需要各種各樣的工具。隨著顧客需求的變化，因此工具也需要不斷升級。因為沒有一個萬能的工具可以處理所有情況，所以生態(tài)圈會變得越來越龐大。左圖所示為Hadoop大數(shù)據(jù)生態(tài)系統(tǒng)架構(gòu)。3.1.1 大數(shù)據(jù)技術(shù)及現(xiàn)狀除此之外，還有一些更特別的系統(tǒng)組件，包括分布式機器學(xué)習(xí)庫Mahout、DAG計算引擎Tez等。其他05OPTION3.1.2 云上大數(shù)據(jù)發(fā)展趨勢華為云大數(shù)據(jù)服務(wù)以大數(shù)據(jù)MapReduce服務(wù)為基礎(chǔ)，對接數(shù)據(jù)治理中心DataAntsStudio一站式開發(fā)運營平臺，可提供統(tǒng)一數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)、數(shù)據(jù)可視化等功能，無縫連接華為云、DWS、數(shù)據(jù)湖探索等數(shù)據(jù)底座的開發(fā)。MRS是一種在華為云上部署和管理Hadoop系統(tǒng)的服務(wù)，可一鍵部署Hadoop集群。MRS為用戶提供完全可控的一站式企業(yè)級大數(shù)據(jù)集群云服務(wù)，完全兼容開源接口。華為云MRS架構(gòu)如上圖所示，涵蓋了基礎(chǔ)設(shè)施和大數(shù)據(jù)處理流程的各個階段3.1.2 云上大數(shù)據(jù)發(fā)展趨勢彈性云服務(wù)器（ElasticCloudServer，ECS）提供彈性可擴展虛擬機，結(jié)合VPC、安全組、EVS數(shù)據(jù)多副本等能力打造一個高效、可靠、安全的計算環(huán)境。MRS基于華為云彈性云服務(wù)器ECS構(gòu)建大數(shù)據(jù)集群，充分利用了其虛擬化層的高可靠、高安全的能力。虛擬私有云（VirtualPrivateCloud，VPC）為每個租戶提供的虛擬內(nèi)部網(wǎng)絡(luò)，默認(rèn)與其他網(wǎng)絡(luò)隔離。云硬盤服務(wù)（ElasticVolumeService，EVS）提供高可靠、高性能的塊存儲。020301基礎(chǔ)設(shè)施3.1.2 云上大數(shù)據(jù)發(fā)展趨勢數(shù)據(jù)采集數(shù)據(jù)采集層提供了數(shù)據(jù)接入到MRS集群的能力，包括日志采集（Flume）、關(guān)系型數(shù)據(jù)導(dǎo)入（Loader）、高可靠消息隊列（Kafka），支持各種數(shù)據(jù)源導(dǎo)入數(shù)據(jù)到大數(shù)據(jù)集群中。使用云數(shù)據(jù)遷移（CDM）也可以將外部數(shù)據(jù)導(dǎo)入MRS集群中。數(shù)據(jù)存儲MRS支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在集群中的存儲（CarbonData/Hudi/ORC/Parquet），并且支持多種高效的格式來滿足不同計算引擎的要求。HDFS：大數(shù)據(jù)上通用的分布式文件系統(tǒng)。OBS：對象存儲服務(wù)，具有高可用、低成本的特點。3.1.2 云上大數(shù)據(jù)發(fā)展趨勢融合處理ACBMRS提供多種主流計算引擎MRS支持基于預(yù)設(shè)數(shù)據(jù)模型進(jìn)行數(shù)據(jù)分析MRS支持YARN用于處理大規(guī)模數(shù)據(jù)的分布式離線并行計算引擎MapReduce，使用有向無環(huán)圖（DAG）模型進(jìn)行數(shù)據(jù)處理的計算引擎Tez，內(nèi)存計算引擎Spark，流式數(shù)據(jù)處理引擎SparkStreaming，流式數(shù)據(jù)計算引擎Flink等。用戶可以使用易用的SQL語言進(jìn)行數(shù)據(jù)分析，并根據(jù)不同的需求選擇不同的組件，如數(shù)據(jù)倉庫Hive、數(shù)據(jù)存儲HBase、專注于實時分析和列式存儲的列式數(shù)據(jù)庫管理系統(tǒng)的ClickHouse，以及支持交互式查詢的查詢引擎HetuEngine。YARN是Hadoop生態(tài)系統(tǒng)的關(guān)鍵組件，是集群資源管理器和作業(yè)調(diào)度器，用于管理Hadoop中的資源和作業(yè)執(zhí)行。3.1.2 云上大數(shù)據(jù)發(fā)展趨勢數(shù)據(jù)呈現(xiàn)調(diào)度用于數(shù)據(jù)分析結(jié)果的呈現(xiàn)，并與數(shù)據(jù)治理中心DataArtsStudio集成，提供一站式的大數(shù)據(jù)協(xié)同開發(fā)平臺，借助開源用戶界面Hue、邏輯編程語言DLV和數(shù)據(jù)可視化工具BI/Superset，幫助用戶輕松完成數(shù)據(jù)建模、數(shù)據(jù)集成、腳本開發(fā)、作業(yè)調(diào)度、運維監(jiān)控等多項任務(wù)，極大降低用戶使用大數(shù)據(jù)的門檻，幫助用戶快速構(gòu)建大數(shù)據(jù)處理中心。集群管理MRS集群管理提供了統(tǒng)一的運維管理平臺，可一鍵式部署集群，并提供多版本選擇，支持運行過程中集群在無業(yè)務(wù)中斷條件下，進(jìn)行擴縮容、彈性伸縮。華為云大數(shù)據(jù)服務(wù)具有多種優(yōu)勢，主要體現(xiàn)在：完全兼容開源生態(tài)+三方組件插件化管理，企業(yè)一站式平臺；支持存算分離，存儲和計算資源可以靈活配置；支持華為自研鯤鵬服務(wù)器。3.1大數(shù)據(jù)技術(shù)3.2人工智能技術(shù)3.3云計算安全技術(shù)學(xué)習(xí)要點3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能發(fā)展簡史近幾年，人工智能逐漸融入人類社會的方方面面，推動了全球宏觀趨勢的發(fā)展變化，助力經(jīng)濟增長與產(chǎn)業(yè)升級，加速科技創(chuàng)新，提升生活質(zhì)量，推動就業(yè)結(jié)構(gòu)變化，加速社會治理的現(xiàn)代化進(jìn)程。人工智能發(fā)展歷程3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能定義和特點艾倫·圖靈在1915年提出了一個非常重要的問題——機器能思考嗎？通常，我們認(rèn)為這是人工智能想法的開始。1956年，約翰·麥卡錫首次提出，人工智能是研究、開發(fā)用于模擬、延伸和擴展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)，并將人工智能定義為計算機科學(xué)的一個分支。此后，馬文·明斯基提出了人工智能應(yīng)該擁有與人類相媲美的智力的觀點。這種觀點讓我們想知道——智力本身到底是什么？霍華德·加德納提出，人類的智力可分為7個方面，包括語言、數(shù)學(xué)、空間、動覺、節(jié)奏、社會和內(nèi)省。概括來說，人工智能早期的目的就是讓機器能夠像人一樣思考，讓機器擁有智能。時至今日，人工智能的內(nèi)涵大大擴展，已經(jīng)成為一門交叉學(xué)科，右圖所示為人工智能涉及的學(xué)科示意。3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能有4個要素，分別為數(shù)據(jù)、算法、算力和人工智能應(yīng)用場景。如右下圖所示為人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)三者的關(guān)系，可見，人工智能包含機器學(xué)習(xí)，深度學(xué)習(xí)又是機器學(xué)習(xí)的一部分。數(shù)據(jù)：是我們加工的原材料。算法：是我們實現(xiàn)人工智能目標(biāo)的開發(fā)方式，我們需要分析不同的場景，部署不同的策略。算力：是一種承諾，可以確保我們的算法能夠快速且健壯地工作。人工智能應(yīng)用場景：則是人工智能系統(tǒng)理解并作出決策的環(huán)境。人工智能的核心是完成特定目標(biāo)，而不管實現(xiàn)路徑如何。雖然有很多不同的方法來實現(xiàn)人工智能目標(biāo)，但機器學(xué)習(xí)是目前最有希望的方法之一。(1)(2)(3)(4)人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能技術(shù)是多層面的，從下到上，人工智能技術(shù)從工藝到芯片，到器件，到算法，最后到應(yīng)用。在每一個層面上，都有各種與之相關(guān)的技術(shù)。例如，在算法層面，有機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)。在應(yīng)用層面，有視頻和圖像、聲音和語音、文本及控制。人工智能相關(guān)技術(shù)如下圖所示。人工智能技術(shù)3.2.1 人工智能技術(shù)及現(xiàn)狀人工智能技術(shù)的一項重要性能指標(biāo)是在沒有任何先驗知識的前提下，通過完全的自我學(xué)習(xí)，在極具挑戰(zhàn)的領(lǐng)域里達(dá)到超人的境界。在人工智能研究領(lǐng)域中，通常將人工智能分為兩種類型：人工智能分類強人工智能又稱為通用人工智能，指理論上可以與人類智慧相媲美的人工智能系統(tǒng)，能夠在多種任務(wù)上表現(xiàn)出與人類相似或超越人類的水平。弱人工智能也稱為應(yīng)用人工智能，它是相對于強人工智能而言的、針對特定任務(wù)或領(lǐng)域的人工智能系統(tǒng)。雖然弱人工智能在特定領(lǐng)域表現(xiàn)出色，但它缺乏廣泛的認(rèn)知和通用性。3.2.2 云上AI技術(shù)發(fā)展趨勢各種AI開發(fā)框架都在朝易用且全能的方向演進(jìn)，不斷降低AI開發(fā)門檻。例如，TensorFlow自其2.0正式版開始，集成Keras作為其高階API，極大提升易用性；PyTorch也由于其易用性得到了學(xué)術(shù)界的廣泛認(rèn)可；華為推出的MindSporeAI推理框架，具有高效、安全、易用、開放等特點，可為AI應(yīng)用開發(fā)者提供全棧服務(wù)。更易用的開發(fā)框架性能更優(yōu)、體積更小的算法模型①計算機視覺領(lǐng)域：生成對抗網(wǎng)絡(luò)（GenerativeAdversarialNetwork，GAN）已能夠生成人眼不可分辨的高質(zhì)量圖像，GAN相關(guān)的算法開始在其他視覺相關(guān)的任務(wù)上應(yīng)用，如語義分割、人臉識別、視頻合成、無監(jiān)督聚類等。②自然語言處理領(lǐng)域：基于Transformer架構(gòu)的預(yù)訓(xùn)練模型取得重大突破，相關(guān)模型如BERT、GPT、XLNet開始被廣泛應(yīng)用于工業(yè)場景中。③強化學(xué)習(xí)領(lǐng)域：DeepMind團(tuán)隊的AlphaStar在《星際爭霸Ⅱ》游戲中打敗人類頂尖選手。3.2.2 云上AI技術(shù)發(fā)展趨勢應(yīng)用于云端、邊緣設(shè)備、移動終端的人工智能芯片規(guī)模不斷增長，將進(jìn)一步解決人工智能的算力問題。隨著大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和自動駕駛等領(lǐng)域的快速發(fā)展，對人工智能芯片的市場需求不斷擴大。如右圖所示，預(yù)測從2023年到2027年，中國人工智能芯片市場規(guī)模將持續(xù)上漲。預(yù)計在2024年年底，中國人工智能芯片市場規(guī)模將突破1000億元，到2027年，市場規(guī)模將接近3000億元。云-邊-端全面發(fā)展的算力3.2.2 云上AI技術(shù)發(fā)展趨勢人工智能基礎(chǔ)數(shù)據(jù)服務(wù)產(chǎn)業(yè)日漸成熟，相關(guān)數(shù)據(jù)標(biāo)注平臺和工具也在不斷推出，包括數(shù)據(jù)生態(tài)產(chǎn)業(yè)鏈上游的數(shù)據(jù)產(chǎn)生和產(chǎn)能資源提供公司，以及AI基礎(chǔ)數(shù)據(jù)服務(wù)商——具備標(biāo)注基地或全職標(biāo)注的團(tuán)隊，如百度智能云、慧聽數(shù)據(jù)等；中游的數(shù)據(jù)產(chǎn)品開發(fā)工具與服務(wù)管理公司，包括AI中臺和AI基礎(chǔ)數(shù)據(jù)服務(wù)商，如華為云、百度智能云、騰訊云和阿里云等公司；下游的AI算法研發(fā)機構(gòu)，包括科技公司、行業(yè)企業(yè)、AI公司和科研單位等，如華為、上汽集團(tuán)、科大訊飛和中國科學(xué)院等。更完善的基礎(chǔ)數(shù)據(jù)服務(wù)產(chǎn)業(yè)，更安全的數(shù)據(jù)共享性能更優(yōu)、體積更小的算法模型隨著人工智能在各個垂直領(lǐng)域的不斷探索，人工智能的應(yīng)用場景將不斷被突破。例如，人工智能聊天機器人結(jié)合心理學(xué)知識，幫助治療孤獨癥等心理健