大數(shù)據(jù)專業(yè)英語教程 課件匯 Unit 6 A Data Mining - Unit 10 B Big Data Privacy

DataMining

Unit

6TextAContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsNewWordsNewWordsPhrasesAbbreviationsListeningtoTextA數(shù)據(jù)挖掘1.什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘是一種實踐活動，它對大量數(shù)據(jù)進行自動搜索，目的在于發(fā)現(xiàn)用簡單分析不能找到的模式和趨勢。數(shù)據(jù)挖掘使用復雜的數(shù)學算法來分割數(shù)據(jù)并評估未來事件的可能性。數(shù)據(jù)挖掘也稱為數(shù)據(jù)知識發(fā)現(xiàn)（KDD）。1.1自動發(fā)現(xiàn)數(shù)據(jù)挖掘是通過構建模型來完成的。模型把算法用于一組數(shù)據(jù)。自動發(fā)現(xiàn)的概念是指執(zhí)行數(shù)據(jù)挖掘模型。數(shù)據(jù)挖掘模型可用于挖掘構建它們的數(shù)據(jù)，但是大多數(shù)類型的模型均可泛化到新數(shù)據(jù)。將模型應用于新數(shù)據(jù)的過程被稱為評分。1.2預測許多形式的數(shù)據(jù)挖掘都是可預測的。例如，模型可以根據(jù)教育程度和其他人口統(tǒng)計因素預測收入。預測具有關聯(lián)的概率（此預測為真的可能性有多大？）。預測概率也稱為置信度（我對這個預測有多少信心？）。參考譯文某些形式的預測性數(shù)據(jù)挖掘會生成規(guī)則，它們是顯示給定結果的條件。例如，一條規(guī)則可能會指定擁有學士學位并且居住在某個社區(qū)中的人的收入可能會高于該區(qū)域平均水平。規(guī)則具有相關的支持（滿足規(guī)則的人口百分比是多少？）。1.3分組其他形式的數(shù)據(jù)挖掘可識別數(shù)據(jù)中的自然分組。例如，模型可能會確定收入在指定范圍內，具有良好駕駛記錄并每年租賃新車的人群。1.4可行信息數(shù)據(jù)挖掘可以從大量數(shù)據(jù)中獲取可操作的信息。例如，城鎮(zhèn)規(guī)劃人員可能會使用基于人口統(tǒng)計數(shù)字預測收入的模型來制定低收入住房計劃。汽車租賃公司可能會使用一種識別客戶細分的模型，以設計針對高價值客戶的促銷活動。2.數(shù)據(jù)挖掘的步驟2.1理解業(yè)務在數(shù)據(jù)挖掘簡介中，我們將了解業(yè)務目標和需求的各個方面。通過查找資源、假設和其他重要因素來評估當前狀況。因此，建立良好的數(shù)據(jù)挖掘計劃將有助于實現(xiàn)業(yè)務和數(shù)據(jù)挖掘目標。參考譯文參考譯文2.2理解數(shù)據(jù)最初，從所有現(xiàn)有來源收集數(shù)據(jù)。然后，我們從中提取最佳數(shù)據(jù)集，從中提取可能更有益的數(shù)據(jù)。2.3準備數(shù)據(jù)識別出數(shù)據(jù)集后，將以所需的形式對其進行選擇、清理、構建和格式化。2.4數(shù)據(jù)建模這是根據(jù)用戶要求重新構建給定數(shù)據(jù)的過程?？梢愿鶕?jù)準備好的數(shù)據(jù)集創(chuàng)建一個或多個模型，最后，利益相關者需要仔細評估模型，以確保創(chuàng)建的模型符合業(yè)務計劃。2.5評估這是數(shù)據(jù)挖掘中最必要的過程之一。它包括遍歷過程的各個方面，以檢查過程中是否存在任何可能的故障或數(shù)據(jù)泄漏。此外，由于發(fā)現(xiàn)了新的模式，可能會提出新的業(yè)務需求。2.6部署它意味著只呈現(xiàn)知識，以使利益相關者可以在需要時使用它。例如，發(fā)現(xiàn)星期三的國際電話較少。當將這些信息提供給利益相關者時，他們反過來可以利用這些信息使自己受益，并增加他們的利潤。3.數(shù)據(jù)挖掘的類型3.1平滑數(shù)據(jù)挖掘技術的這種特定方法屬于準備數(shù)據(jù)的范疇。該技術的主要目的是消除數(shù)據(jù)中的噪聲。這里使用簡單指數(shù)、移動平均值之類的算法來消除噪聲。在探索性分析中，此技術非常便于可視化趨勢/情感。3.2聚合顧名思義，就是聚合一組數(shù)據(jù)以獲得更多信息。該技術用于總覽業(yè)務目標，可以手動執(zhí)行，也可以使用專用軟件執(zhí)行。這種技術通常用于大數(shù)據(jù)，因為大數(shù)據(jù)不能提供整體所需的信息。3.3泛化再次，顧名思義，這種技術被用來整體上泛化數(shù)據(jù)。這與聚合不同，因為泛化過程中的數(shù)據(jù)不是為了獲取更多信息而組合在一起，而是對整個數(shù)據(jù)集進行了泛化。這將使數(shù)據(jù)科學模型能夠適應更新的數(shù)據(jù)點。參考譯文3.4歸一化在此技術中，對數(shù)據(jù)點采取了特殊的措施，以便將它們置于相同的范圍下進行分析。例如，一個人的年齡和薪水屬于不同的度量標準，因此將其繪制在一個圖表上并不會幫助我們獲得有關作為整體特征呈現(xiàn)的趨勢的任何有用信息。使用歸一化，我們可以將它們放到同等類別，以便可以進行逐一比較。3.5屬性/功能選擇在這項技術中，我們采用一些方法來執(zhí)行特征選擇，以便用于訓練數(shù)據(jù)集的模型可以表明價值以預測未看到的數(shù)據(jù)。這非常類似于從裝滿衣服的衣柜中選擇與自己的活動相匹配的衣服。不相關的功能可能會對模型性能產生負面影響，更不用說提高性能了。3.6分類在這種數(shù)據(jù)挖掘技術中，我們處理稱為“類”的組。在此技術中，我們將選擇的共同特征應用于組/類別。例如，在一家商店中，如果我們必須評估一個人是否會購買某種產品，那么我們可以集體使用“n”個特征來獲得對/錯的結果。參考譯文3.7模式跟蹤這是數(shù)據(jù)挖掘中所用的基本技術之一，用來獲取有關可能由數(shù)據(jù)點顯示的趨勢/模式信息。例如，我們可以確定在周末或節(jié)假日銷售有增加的趨勢而不是在平日或工作日。3.8離群分析或異常檢測此技術用于查找或分析離群值或異常值。離群值或異常值不是負數(shù)據(jù)點，它們只是與整個數(shù)據(jù)集的總體趨勢不同的東西。在識別異常值時，我們可以將它們從數(shù)據(jù)集中完全刪除，這在完成數(shù)據(jù)準備時會發(fā)生?；蛘甙言摷夹g廣泛用于模型數(shù)據(jù)集中以預測離群值。3.9聚類該技術與分類非常相似，但唯一的區(qū)別是我們不知道數(shù)據(jù)點所屬的組。此方法通常用于對人員進行分組以針對相似的產品推薦。參考譯文參考譯文3.10回歸該技術用于預測存在其他特征時某個特征的可能性。例如，我們可以根據(jù)需求、競爭和其他一些特征來規(guī)劃商品可能的價格。3.11神經網(wǎng)絡該技術基于生物神經元的工作原理。與人體神經元的原理相似，數(shù)據(jù)挖掘工作中的神經網(wǎng)絡中的神經元也充當處理單元，并連接另一個神經元以便沿著鏈路傳遞信息。3.12關聯(lián)在這種數(shù)據(jù)挖掘方法中，確定不同特征之間的關系，然后根據(jù)業(yè)務需求將其用于查找隱藏模式或進行相關分析。例如，使用關聯(lián)，我們可以找到相互關聯(lián)的特征，刪除某個特征以便去除一些冗余特征并提高處理能力/時間?？傊?，執(zhí)行數(shù)據(jù)挖掘時應牢記不同的要求。需要非常小心對待預期的輸出，以便可以使用相應的技術來實現(xiàn)目標。更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!Top10MostCommonDataMiningAlgorithms

Unit

6TextBContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesPhrasesAbbreviationsListeningtoTextA十大最常見的數(shù)據(jù)挖掘算法1.C4.5算法C4.5是頂級數(shù)據(jù)挖掘算法之一，由RossQuinlan開發(fā)。C4.5用于根據(jù)已分類的一組數(shù)據(jù)以決策樹的形式生成分類器。這里的分類器是指一種數(shù)據(jù)挖掘工具，該工具獲取我們需要分類的數(shù)據(jù)并嘗試預測新數(shù)據(jù)的類別。每個數(shù)據(jù)點將具有自己的屬性。由C4.5創(chuàng)建的決策樹提出了有關屬性值的問題，并根據(jù)這些值對新數(shù)據(jù)進行分類。標記訓練數(shù)據(jù)集，使C4.5成為監(jiān)督學習算法。決策樹始終易于解釋和說明，與其他數(shù)據(jù)挖掘算法相比，這使C4.5快速且流行。2.K-均值算法K-均值是最常見的聚類算法之一。它的工作方式是根據(jù)對象之間的相似性從一組對象中創(chuàng)建k個組。也許不能保證組成員將完全相似，但是與非組成員相比，組成員將更加相似。按照標準實現(xiàn)，K-均值是一種無監(jiān)督學習算法，因為它無需任何外部信息即可自行學習聚類。參考譯文3.支持向量機就任務而言，支持向量機（SVM）的工作方式類似于C4.5算法，但支持向量機根本不使用任何決策樹。支持向量機學習數(shù)據(jù)集并定義一個超平面以將數(shù)據(jù)分為兩類。超平面是一條線的方程，看起來像“y=mx+b”。支持向量機會把數(shù)據(jù)擴展映射到更高的維度。一旦映射，支持向量機便定義了最佳的超平面，將數(shù)據(jù)分為兩個類別。4.先驗算法先驗算法通過了解關聯(lián)規(guī)則來工作。關聯(lián)規(guī)則是一種數(shù)據(jù)挖掘技術，用于了解數(shù)據(jù)庫中變量之間的相關性。一旦了解了關聯(lián)規(guī)則，就將其應用于包含大量事務的數(shù)據(jù)庫。先驗算法用于發(fā)現(xiàn)有趣的模式和相互關系，因此被視為無監(jiān)督學習方法。盡管該算法是高效的，但它會消耗大量內存、占用大量磁盤空間并花費大量時間。參考譯文參考譯文5.期望最大化算法期望最大化（EM）用作聚類算法，就像用于知識發(fā)現(xiàn)的K-均值算法一樣。EM算法以迭代方式工作，以更好地查看觀測數(shù)據(jù)。接下來，它估計帶有未觀察到的變量的統(tǒng)計模型的參數(shù)，從而生成一些觀察到的數(shù)據(jù)。EM算法也是無監(jiān)督學習方法，因為我們在不提供任何標記的類信息的情況下使用它。6.PageRank算法PageRank通常被像谷歌等搜索引擎使用。它是一種鏈接分析算法，可確定對象網(wǎng)中鏈接的對象的相對重要性。鏈接分析是一種探索對象之間關聯(lián)的網(wǎng)絡分析。谷歌搜索通過了解網(wǎng)頁之間的反向鏈接來使用此算法。PageRank是谷歌用來確定網(wǎng)頁的相對重要性并將其在谷歌搜索引擎上排名更高的方法之一。PageRank商標是谷歌的專有商標，PageRank算法由斯坦福大學獲得專利。PageRank被視為一種無監(jiān)督學習方法，因為它僅通過考慮鏈接即可確定相對重要性，而無需任何其他輸入。7.Adaboost算法Adaboost是用于構建分類器的提升算法。分類器是一種數(shù)據(jù)挖掘工具，可獲取數(shù)據(jù)并根據(jù)輸入預測數(shù)據(jù)的類別。提升算法是一種集成學習算法，可運行多種學習算法并將其組合。提升算法吸收一組弱學習法，并將它們組合成一個單一的強學習法。弱學習法對數(shù)據(jù)進行分類的準確性較低。弱算法的最佳示例是決策樹樁算法，它基本上是一個單步決策樹。Adaboost是完美的監(jiān)督學習，因為它可以以迭代方式工作，并且在每次迭代中，都使用標記的數(shù)據(jù)集訓練較弱的學習法。Adaboost是一種簡單且非常直接的算法。在用戶指定輪數(shù)之后，每次連續(xù)的Adaboost迭代都會為每個最佳學習法重新定義權重。這使Adaboost成為自動調整分類器的絕佳方式。Adaboost具有靈活性、多功能性和簡潔性，因為它可以合并大多數(shù)學習算法并可以處理大量數(shù)據(jù)。

參考譯文8.KNN算法KNN是一種用作分類算法的消極學習算法。消極學習法在訓練過程中除了存儲訓練數(shù)據(jù)外不會做任何事情。消極學習法僅在輸入新的未標記數(shù)據(jù)作為輸入時才開始分類。另一方面，C4.5、SVN和Adaboost是積極學習法，它們在訓練過程中就開始建立分類模型。由于為KNN提供了標記的訓練數(shù)據(jù)集，因此將其視為監(jiān)督學習算法。9.樸素貝葉斯算法樸素貝葉斯不是單個算法，盡管可以將其視為單個算法。樸素貝葉斯是一組分類算法。該算法家族使用的假設是，要分類的數(shù)據(jù)的每個特征都獨立于該類中給出的所有其他特征。樸素貝葉斯用提供給自己的帶有標簽的訓練數(shù)據(jù)集來構造表格。因此，它被視為監(jiān)督學習算法。參考譯文參考譯文10.CART算法CART代表分類樹和回歸樹。它是一種決策樹學習算法，可將回歸樹或分類樹作為輸出。在CART中，決策樹節(jié)點將恰好具有2個分支。就像C4.5一樣，CART也是一個分類器。回歸或分類樹模型通過使用用戶提供的標記訓練數(shù)據(jù)集來構建。因此，它被視為監(jiān)督學習技術。更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!FiveProgrammingLanguagesforBigData

Unit

7TextAContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesAbbreviationsListeningtoTextA用于大數(shù)據(jù)的五種編程語言大數(shù)據(jù)專業(yè)人員必須做出的最重要的決定之一，尤其是對于那些剛進圈子或剛剛起步的人來說，就是為大數(shù)據(jù)操作和分析選擇最佳的編程語言。如今，僅了解大數(shù)據(jù)問題并構筑架構以解決該問題還遠遠不夠，也要完美執(zhí)行，而且選擇正確的語言任重而道遠。以下是大數(shù)據(jù)最常用的五種編程語言。1.Python根據(jù)最近舉行的StackOverflow開發(fā)人員調查，Python已被宣布為2018年增長最快的編程語言之一。它的通用性意味著它可以廣泛使用于各種用例中，大數(shù)據(jù)編程是應用程序的一個主要領域。大數(shù)據(jù)框架中越來越多地使用許多用于數(shù)據(jù)分析和處理的庫來清洗和處理大塊數(shù)據(jù)，例如pandas、NumPy、SciPy都是基于Python的。不僅如此，大多數(shù)流行的機器學習和深度學習框架（例如scikit-learn、Tensorflow等）也都使用Python編寫，并且正在大數(shù)據(jù)生態(tài)系統(tǒng)中得到越來越多的應用。使用Python的一個缺點是它運行緩慢，這也是為什么它在大數(shù)據(jù)編程方面還不是一流選手的原因。盡管非常易于使用，但大數(shù)據(jù)專業(yè)人員發(fā)現(xiàn)使用Java或Scala等語言構建的系統(tǒng)比使用Python構建的系統(tǒng)更快速、更強大。參考譯文但是，Python用其他質量彌補了這一限制。由于Python主要是一種腳本語言，因此交互式編碼和大數(shù)據(jù)分析解決方案的開發(fā)變得非常容易。Python可以輕松地與現(xiàn)有的大數(shù)據(jù)框架（例如ApacheHadoop和ApacheSpark）集成，從而使你能夠大規(guī)模執(zhí)行預測分析。為什么我們將Python用于大數(shù)據(jù)？?它是通用的。?擁有豐富的數(shù)據(jù)分析和機器學習庫。?它容易使用。?它支持迭代開發(fā)。?它集成了豐富的大數(shù)據(jù)工具。?通過Jupyter筆記本進行交互式計算。參考譯文參考譯文2.R喜歡統(tǒng)計的人就喜歡R，很多人對此并不會感到驚訝。R被普遍稱為“統(tǒng)計語言”，用于建立有效而準確的數(shù)據(jù)分析的數(shù)據(jù)模型。在大型R包存儲庫（CRAN，也稱為綜合R存檔網(wǎng)絡）的支持下，使用R，你幾乎擁有完成大數(shù)據(jù)處理中的任何任務的所有類型的工具——從分析到數(shù)據(jù)可視化。R可以與ApacheHadoop和ApacheSpark以及其他流行框架無縫集成，用于大數(shù)據(jù)處理和分析。使用R作為大數(shù)據(jù)編程語言的一個問題是它不是很通用。這意味著用R編寫的代碼不可用于產品部署，并且通常必須轉換為某些其他編程語言，例如Python或Java。也就是說，如果你的目標只是為大數(shù)據(jù)分析構建統(tǒng)計模型，那么你絕對應該考慮使用R。為什么我們將R用于大數(shù)據(jù)？?它是為數(shù)據(jù)科學而構建的。?它支持Hadoop和Spark。?它具有強大的統(tǒng)計建模和可視化功能。?它支持Jupyter筆記本。3.Java老伙計Java總是很棒。一些傳統(tǒng)的大數(shù)據(jù)框架（例如ApacheHadoop）及其生態(tài)系統(tǒng)中的所有工具都是基于Java的，如今它們仍在許多企業(yè)中使用。更不用說Java是迄今為止我們討論過的所有語言中最穩(wěn)定和最現(xiàn)成的語言！使用Java開發(fā)大數(shù)據(jù)應用程序使你能夠使用大型的工具和庫生態(tài)系統(tǒng)來實現(xiàn)互操作性、監(jiān)控以及更多功能，其中大多數(shù)已經過嘗試和測試。Java的主要缺點之一是冗長。你必須用Java編寫數(shù)百行代碼來完成一項任務，而該任務用Python或Scala幾乎只編寫15-20行代碼就行了，這一事實可能會使許多新手程序員望而卻步。但是，在Java8中引入lambda函數(shù)確實使生活變得更加輕松。與Python等較新的語言不同，Java不支持迭代開發(fā)，這是將來的Java版本關注的領域。盡管Java存在缺陷，但在大數(shù)據(jù)編程的首選語言方面它仍然是強大的競爭者。為什么我們將Java用于大數(shù)據(jù)？?傳統(tǒng)的大數(shù)據(jù)工具和框架是用Java編寫的。?穩(wěn)定且現(xiàn)成。?它是一個由久經考驗的工具和庫組成的大型生態(tài)系統(tǒng)。

參考譯文4.GoGo是最近發(fā)展最快的編程語言之一。由一群對C++感到沮喪的谷歌工程師設計，我們認為Go在此列表中是一個不錯的選擇，這僅僅是因為它支持大數(shù)據(jù)基礎架構中使用的許多工具，包括Kubernetes、Docker等。Go快速、易學且易用。更重要的是，隨著企業(yè)希望構建可大規(guī)模運行的數(shù)據(jù)分析系統(tǒng)，基于Go的系統(tǒng)已用于集成機器學習和數(shù)據(jù)的并行處理。還可以相對輕松地將其他語言與基于Go的系統(tǒng)進行接口。為什么我們將Go用于大數(shù)據(jù)？?快速且易于使用。?大數(shù)據(jù)基礎架構中使用的許多工具都是基于Go的。?具有高效的分布式計算。參考譯文參考譯文5.Scala最后但并非最不重要的是Scala。Scala是面向對象和函數(shù)式編程范式的完美結合，它既快速又健壯，是許多大數(shù)據(jù)專業(yè)人士常用的語言選擇。事實上，在ApacheSpark和ApacheKafka中兩個最受歡迎的大數(shù)據(jù)處理框架構建在Scala之上，這可告訴你有關Scala功能的所有信息。Scala在JVM上運行，這意味著用Scala編寫的代碼可以在基于Java的大數(shù)據(jù)生態(tài)系統(tǒng)中輕松使用。不過，使Scala與Java不同的一個重要因素是，相比之下，Scala要簡潔得多。你可以在Scala中用不到15行來編寫數(shù)百行看上去令人困惑的Java代碼。但是，與Go和Python之類的語言相比，Scala的不利方面是其陡峭的學習曲線，這可能會使初學者不愿使用它。為什么我們將Scala用于大數(shù)據(jù)？?它快速而強大。?它適合與ApacheSpark等大數(shù)據(jù)工具一起用于分布式大數(shù)據(jù)處理。?它適用于JVM，可以在基于Java的生態(tài)系統(tǒng)中使用。你可能還需要考慮其他幾種語言——Julia、SAS和MATLAB是一些主要的語言，它們本身就很有用。但是，與我們上面討論的語言相比，我們認為它們在某些方面有所欠缺——無論在速度、效率、易用性、文檔還是社區(qū)支持等方面。現(xiàn)在出現(xiàn)的問題是：你應該選擇哪種語言？這完全取決于你要做什么。如果你的重點是涉及大量統(tǒng)計計算的核心數(shù)據(jù)分析，那么R將是你的首選語言。另一方面，如果你想為大數(shù)據(jù)開發(fā)流應用程序，Scala可能是一個更好的選擇。如果你希望使用機器學習并構建預測模型，那么Python將助你一臂之力。最后，如果你打算僅使用傳統(tǒng)上可用的工具來構建大數(shù)據(jù)解決方案，那么Java是適合你的語言。你還可以選擇結合兩種語言的功能以獲得更有效和強大的解決方案。例如，你可以使用Python訓練你的機器學習模型，然后以分布式模式將其部署在Spark上。最終，這一切都取決于解決方案的運行效率，更重要的是它的速度和準確性如何。

參考譯文更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!ApacheSpark

Unit

7TextBContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesPhrasesAbbreviationsListeningtoTextAApacheSpark軟件ApacheSpark是用于機器學習和AI應用程序的閃電般快速的開源數(shù)據(jù)處理引擎，并由最大的大數(shù)據(jù)開源社區(qū)提供支持。1.什么是ApacheSpark？ApacheSpark是用于大型數(shù)據(jù)集的開源數(shù)據(jù)處理引擎。它旨在提供大數(shù)據(jù)（特別是流數(shù)據(jù)、圖形數(shù)據(jù)、機器學習和人工智能應用程序）所需的計算速度、可擴展性和可編程性。Spark的分析引擎處理數(shù)據(jù)的速度比其他的快10到100倍。它具有內置的并行性和容錯能力，可通過在大型計算機群集中分配處理工作來擴展規(guī)模。它甚至包括用于編程語言的API，這些編程語言在數(shù)據(jù)分析人員和數(shù)據(jù)科學家中很流行，包括Scala、Java、Python和R。通常將Spark與ApacheHadoop進行比較，尤其是與Hadoop的本地數(shù)據(jù)處理組件MapReduce進行比較。Spark和MapReduce之間的主要區(qū)別在于，Spark處理數(shù)據(jù)并將數(shù)據(jù)保留在內存中以供后續(xù)步驟使用，而無需寫入磁盤或從磁盤讀取數(shù)據(jù)，從而大大加快了處理速度。參考譯文2.ApacheSpark如何工作？ApacheSpark具有分層的主/從體系結構。SparkDriver是控制集群管理器的主節(jié)點，集群管理器管理工作器（從屬）節(jié)點并將數(shù)據(jù)結果傳遞給應用程序客戶端。SparkDriver根據(jù)應用程序代碼生成SparkContext，SparkContext可與群集管理器（Spark的獨立群集管理器或HadoopYARN、Kubernetes或Mesos等其他群集管理器）一起使用，以在節(jié)點之間分發(fā)和監(jiān)控執(zhí)行。它還創(chuàng)建了彈性分布式數(shù)據(jù)集（RDD），這是Spark處理速度優(yōu)異的關鍵。2.1彈性分布式數(shù)據(jù)集（RDD）彈性分布式數(shù)據(jù)集（RDD）是元素的容錯集合，可以在群集中的多個節(jié)點之間分布并并行處理。RDD是ApacheSpark中的基礎結構。Spark通過引用數(shù)據(jù)源或通過使用SparkContext并行化方法將現(xiàn)有集合并行到RDD中進行處理來加載數(shù)據(jù)。將數(shù)據(jù)加載到RDD中后，Spark會對內存中的RDD執(zhí)行轉換和操作，這是Spark速度快的關鍵。Spark還會將數(shù)據(jù)存儲在內存中，除非系統(tǒng)內存不足或用戶決定將數(shù)據(jù)寫入磁盤以實現(xiàn)持久性存儲。參考譯文參考譯文RDD中的每個數(shù)據(jù)集都被劃分為邏輯分區(qū)，可以在群集的不同節(jié)點上進行計算。用戶可以執(zhí)行兩種類型的RDD操作：轉換和行動。轉換是應用于創(chuàng)建新RDD的操作。行動用于指示ApacheSpark進行計算并將結果傳遞回驅動器。Spark支持RDD上的許多行動和轉換。該分布是由Spark完成的，因此用戶不必擔心計算正確的分布。2.2有向無環(huán)圖（DAG）與MapReduce中的兩階段執(zhí)行過程相反，Spark創(chuàng)建一個有向無環(huán)圖（DAG）來調度任務和跨集群的工作節(jié)點的編排。當Spark在任務執(zhí)行過程中行動和轉換數(shù)據(jù)時，DAG調度程序通過在整個集群中協(xié)調工作節(jié)點來提高效率。這種任務跟蹤使容錯成為可能，因為它會將記錄的操作重新應用于來自先前狀態(tài)的數(shù)據(jù)。2.3DataFrame和Dataset除了RDD之外，Spark還處理其他兩種數(shù)據(jù)類型：DataFrame和Dataset。DataFrame是最常見的結構化應用程序編程接口（API），它們表示具有行和列的數(shù)據(jù)表。盡管RDD一直是Spark的關鍵功能，但現(xiàn)在處于維護模式。由于Spark的機器學習庫（MLlib）的普及，DataFrames作為MLlib的主要API發(fā)揮了主導作用。使用MLlibAPI時注意這一點很重要，因為DataFrames提供了不同語言（例如Scala、Java、Python和R）的統(tǒng)一性。Dataset是DataFrames的擴展，提供了類型安全的、面向對象的編程接口。默認情況下，Dataset是強類型JVM對象的集合，這與DataFrames不同。SparkSQL允許從DataFrames和SQL數(shù)據(jù)存儲（例如ApacheHive）中查詢數(shù)據(jù)。當以其他語言運行時，SparkSQL查詢將返回DataFrame或Dataset。

參考譯文2.4SparkCoreSparkCore是所有并行數(shù)據(jù)處理的基礎，并處理調度、優(yōu)化、RDD和數(shù)據(jù)抽象。SparkCore為Spark庫、SparkSQL、SparkStreaming、MLlib機器學習庫和GraphX圖形數(shù)據(jù)處理提供了功能基礎。SparkCore和集群管理器將數(shù)據(jù)分布在整個Spark集群中并對其進行抽象。這種分布和抽象使處理大數(shù)據(jù)變得非?？焖俣矣脩粲押?。2.5SparkAPISpark包含各種應用程序編程接口（API），可將Spark的功能帶給最廣泛的受眾。SparkSQL允許以關系方式與RDD數(shù)據(jù)進行交互。Spark還具有針對Scala、Java、Python和R的文檔豐富的API。Spark中每種語言的API在處理數(shù)據(jù)方面都有其特定的細微差別。RDD、DataFrame和Datasets在每種語言的API中都可用。通過使用多種語言的API，Spark使得具有開發(fā)、數(shù)據(jù)科學和統(tǒng)計背景的不同人群可以訪問大數(shù)據(jù)處理。參考譯文參考譯文3.ApacheSpark和機器學習Spark擁有各種庫，這些庫將功能擴展到機器學習、人工智能（AI）和流媒體處理。3.1ApacheSparkMLlibApacheSpark的關鍵功能之一是SparkMLlib中提供的機器學習功能。ApacheSparkMLlib提供了一種開箱即用的解決方案，用于進行分類和回歸、協(xié)作過濾、聚類、分布式線性代數(shù)、決策樹、隨機森林、梯度增強樹、頻繁模式挖掘、評估指標和統(tǒng)計信息。MLlib的功能與Spark可以處理的各種數(shù)據(jù)類型相結合，使ApacheSpark成為必不可少的大數(shù)據(jù)工具。3.2SparkGraphX除了具有API功能外，Spark還具有SparkGraphX，這是Spark的新增功能，旨在解決圖形問題。GraphX是一種圖形抽象，它擴展了RDD用于圖形和圖形并行計算的功能。SparkGraphX與圖數(shù)據(jù)庫集成，該圖數(shù)據(jù)庫存儲互連信息或連接信息的網(wǎng)絡，例如社交網(wǎng)絡的信息。3.3SparkStreamingSparkStreaming是核心SparkAPI的擴展，可實現(xiàn)實時數(shù)據(jù)流的可擴展、容錯處理。在SparkStreaming處理數(shù)據(jù)時，它可以用Spark的機器學習和圖形處理算法將數(shù)據(jù)傳遞到文件系統(tǒng)、數(shù)據(jù)庫和實時儀表板，以進行實時流分析。SparkStreaming基于SparkSQL引擎構建，還允許增量批處理，從而可以更快地處理流數(shù)據(jù)。4.Spark與ApacheHadoop和MapReduce“Sparkvs.Hadoop”是網(wǎng)絡上經常搜索的詞語，但如上所述，Spark是Hadoop的增強版——更具體地說，是對Hadoop的本機數(shù)據(jù)處理組件MapReduce的增強。實際上，Spark是基于MapReduce框架構建的，如今大多數(shù)Hadoop發(fā)行版都包含Spark。與Spark一樣，MapReduce使程序員能夠編寫應用程序，這些程序能夠通過在大型計算機集群并行處理部分數(shù)據(jù)集來更快地處理大量數(shù)據(jù)集。MapReduce處理磁盤上的數(shù)據(jù)，這就增加了讀取和寫入次數(shù)，減慢了處理速度，而Spark在內存中執(zhí)行計算，這要快得多。因此，Spark可以處理數(shù)據(jù)的速度比MapReduce快100倍。

參考譯文與MapReduce相比，Spark內置的針對多種語言的API使它對開發(fā)人員更實用、更易上手，因為MapReduce以難以編程而著稱。與MapReduce不同，Spark可以使用YARN（Hadoop的資源管理和作業(yè)調度框架）在Hadoop群集上運行流處理應用程序。如上所述，Spark添加了MLlib、GraphX和SparkSQL的功能。而且Spark可以處理Hadoop應用程序之外的其他數(shù)據(jù)源（包括ApacheKafka）中的數(shù)據(jù)。此外，Spark與Hadoop兼容并互補。它可以處理Hadoop數(shù)據(jù)，包括來自HDFS（Hadoop分布式文件系統(tǒng)）、HBase（在HDFS上運行的非關系數(shù)據(jù)庫）、ApacheCassandra（HDFS的NoSQL替代品）和Hive（基于Hadoop的數(shù)據(jù)倉庫）中的數(shù)據(jù)。參考譯文更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!DataVisualization

Unit

8TextAContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesListeningtoTextA數(shù)據(jù)可視化如果你非常熟悉數(shù)據(jù)分析，那么你會遇到數(shù)據(jù)可視化的問題。它是數(shù)據(jù)分析的關鍵部分。1.什么是數(shù)據(jù)可視化以及它為什么重要？數(shù)據(jù)可視化是以圖形、圖表或其他可視格式展示數(shù)據(jù)或信息。它用圖像來表達數(shù)據(jù)之間的關系。這很重要，因為它使趨勢和模式更容易看到。隨著大數(shù)據(jù)的興起，我們需要能夠解釋越來越大批的數(shù)據(jù)。機器學習使進行諸如預測分析之類的分析變得更容易。數(shù)據(jù)可視化不僅對數(shù)據(jù)科學家和數(shù)據(jù)分析人員很重要，而且在各行各業(yè)中都有助于數(shù)據(jù)的呈現(xiàn)。無論你從事金融、市場營銷、技術、設計或其他領域的工作，都需要可視化數(shù)據(jù)。參考譯文2.為什么需要數(shù)據(jù)可視化？我們需要數(shù)據(jù)可視化，因為在查看電子表格中數(shù)千行數(shù)據(jù)相比，信息的可視化摘要使識別模式和趨勢更容易。這是人腦運作的方式。由于數(shù)據(jù)分析的目的是獲取見解，因此在可視化數(shù)據(jù)時，其價值將大大提高。即使數(shù)據(jù)分析人員可以在沒有可視化的情況下從數(shù)據(jù)中獲取見解，但在沒有可視化的情況下傳達其含義將更加困難。盡管你不使用圖表和圖形也可以識別模式，但它們使交流數(shù)據(jù)發(fā)現(xiàn)變得更加容易。3.數(shù)據(jù)可視化的用途是什么？3.1隨時間而變化這也許是數(shù)據(jù)可視化的最基本和最常用的用法，但這并不意味著它沒有價值。原因是因為大多數(shù)數(shù)據(jù)都涉及時間因素。因此，許多數(shù)據(jù)分析的第一步是查看數(shù)據(jù)如何隨時間而變化。3.2確定頻率頻率也是數(shù)據(jù)可視化的相當基本的用法，因為它也適用于涉及時間的數(shù)據(jù)。如果涉及時間，則應該確定相關事件隨時間發(fā)生的頻率是合乎邏輯的。參考譯文3.3確定關系（相關性）識別關聯(lián)是數(shù)據(jù)可視化的極有價值的用途。如果沒有可視化，則極難確定兩個變量之間的關系。了解數(shù)據(jù)中的關系非常重要。這是數(shù)據(jù)可視化在數(shù)據(jù)分析中的價值的一個很好的例子。3.4檢查人際網(wǎng)絡在市場研究中可以看到使用數(shù)據(jù)可視化檢查人際網(wǎng)絡的示例。市場營銷專業(yè)人士需要知道他們的消息針對哪些受眾，因此他們需要分析整個市場以識別受眾群體、集群之間的橋梁、集群內的意見領袖以及異常值。3.5制定計劃為一個復雜的項目制定計劃或時間表時，事情可能會變得混亂。甘特圖通過清楚地說明項目中的每個任務以及完成所需的時間，這就解決了該問題。參考譯文3.6分析價值和風險確定諸如價值和風險之類的復雜指標需要考慮許多不同的變量，而使用普通電子表格幾乎是無法準確看到的。數(shù)據(jù)可視化可以像對公式進行顏色編碼一樣簡單，以顯示哪些機會有價值，哪些機會具有風險。4.數(shù)據(jù)可視化圖表的類型現(xiàn)在，我們了解了如何使用數(shù)據(jù)可視化，讓我們應用不同類型的數(shù)據(jù)可視化。有許多工具可用來幫助創(chuàng)建數(shù)據(jù)可視化。有些是手動的，有些是自動化的，但是無論哪種方式，它們都應允許你進行以下任何類型的可視化處理。4.1折線圖折線圖說明了隨著時間的變化而發(fā)生的情況。x軸通常是一段時間，而y軸是數(shù)量。因此，這可以說明公司按月份細分的年度銷售額，或者過去一周內每天生產多少臺設備。

參考譯文4.2面積圖面積圖是對折線圖的改編，其中線下的區(qū)域被填充以強調其重要性。每條線下方區(qū)域的填充顏色應有些透明，以便可以識別重疊區(qū)域。4.3條形圖條形圖也說明隨著時間的變化而發(fā)生的情況。但是，如果有多個變量，則條形圖可以更加容易地及時比較每個時間點每個變量的數(shù)據(jù)。例如，條形圖可以比較公司從今年到去年的銷售額。4.4直方圖直方圖看起來像條形圖，但是測量頻率而不是隨時間變化的趨勢。直方圖的x軸列出了變量的“區(qū)間”或間隔，而y軸是頻率，因此每個條形表示該區(qū)間的頻率。例如，你可以測量調查問題的每個答案的頻率。區(qū)間將是答案：“不令人滿意”、“中立”和“令人滿意”。這將告訴你每個答案有多少人。參考譯文參考譯文4.5散點圖散點圖用于查找相關性。散點圖上的每個點都表示“當x=某值時，則y等于某值。”這樣，如果這些點具有某種趨勢，則它們之間存在關系。如果該圖確實是零散的，沒有任何趨勢，則這些變量完全不會相互影響。4.6氣泡圖氣泡圖是散點圖的一種改編，其中每個點都顯示為氣泡，其區(qū)域除在軸上的位置外還具有含義。與氣泡圖相關的痛點是由于軸內空間有限，氣泡尺寸受到限制。因此，這種類型的可視化并不適合有效地展示所有數(shù)據(jù)。4.7餅圖餅圖是說明百分比的最佳選擇，因為它將每個元素都顯示為整體的一部分。因此，如果你的數(shù)據(jù)說明了百分比細分，則餅圖將清楚地按適當?shù)谋壤@示各個部分。4.8儀表盤圖儀表盤圖可用于說明間隔之間的距離。它可以表示為圓形鐘表或類似于液體溫度計的管型表。多個儀表盤圖可以彼此相鄰顯示，以說明多個間隔之間的差異。4.9地圖企業(yè)中處理的許多數(shù)據(jù)都有一個位置元素，這使得在地圖上顯示變得容易。地圖可視化的一個示例是映射每個州的客戶購買數(shù)量。在此示例中，每個州都用顏色標記，購買次數(shù)較少的州的顏色更淺一些，而購買次數(shù)較多的州的顏色則更深一些。位置信息對于企業(yè)領導者了解企業(yè)情況也非常有價值，這就使地圖成為重要的數(shù)據(jù)可視化圖表類型。4.10熱圖熱圖基本上是一種顏色編碼的矩陣。使用公式為矩陣的每個單元著色，以表示該單元的相對值或風險。通常，熱圖的顏色范圍從綠色到紅色，其中綠色表示效果更好，紅色效果表示更差。這種類型的可視化很有用，因為顏色比數(shù)字更容易解釋。

參考譯文4.11框架圖框架圖基本上是樹狀圖，清楚地顯示了層次關系結構?？蚣軋D由分支組成，每個分支都有更多的分支與之連接，圖的每個級別都由越來越多的分支組成。5.結論有效的數(shù)據(jù)可視化是數(shù)據(jù)分析至關重要的最后一步。沒有它，重要的見解和信息可能會丟失。參考譯文更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!10BestDataVisualizationTools

Unit

8TextBContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesAbbreviationsListeningtoTextA十種最佳數(shù)據(jù)可視化工具在這個數(shù)據(jù)時代，了解數(shù)據(jù)以獲得一些可行的見解非常重要。數(shù)據(jù)可視化是了解數(shù)據(jù)中隱藏模式和層的非常重要的部分！什么聽起來更有趣呢？漂亮的、描述性的條形圖與無聊的電子表格告訴你的信息能一樣嗎？當然，它是條形圖，因為人類是視覺生物。數(shù)據(jù)可視化圖表（如條形圖、散點圖、折線圖，地理地圖等）非常重要。僅通過查看這些圖表你就能獲得信息，而通常你必須閱讀電子表格或文本報告才能理解數(shù)據(jù)。有一些數(shù)據(jù)可視化工具非常受歡迎，因為這些工具集中提供了界面、數(shù)據(jù)庫連接和機器學習工具，它們讓分析人員和統(tǒng)計人員可以輕松地按照規(guī)范創(chuàng)建可視數(shù)據(jù)模型。以下是十種最佳數(shù)據(jù)可視化工具。參考譯文1.TableauTableau是一種數(shù)據(jù)可視化工具，數(shù)據(jù)分析師、科學家、統(tǒng)計學家等可使用它實現(xiàn)數(shù)據(jù)可視化并基于數(shù)據(jù)分析獲得明確的意見。Tableau非常有名，因為它可以接收數(shù)據(jù)并在很短的時間內輸出所需的數(shù)據(jù)可視化。并且同時提供最高級別的安全性，還保證在出現(xiàn)安全問題或用戶發(fā)現(xiàn)問題后立即對其進行處理。Tableau還允許其用戶準備、清理和格式化他們的數(shù)據(jù)，然后創(chuàng)建數(shù)據(jù)可視化，以獲取可與其他用戶共享的可行性見解。單個數(shù)據(jù)分析師可以使用Tableau，業(yè)務團隊和組織也可使用。2.LookerLooker是一個數(shù)據(jù)可視化工具，可以深入到數(shù)據(jù)中并對其進行分析以獲得有用的見解。它提供了數(shù)據(jù)的實時儀表板，以進行更深入的分析，這樣企業(yè)就可以根據(jù)所獲得的數(shù)據(jù)可視化做出即時決策。Looker還提供與Redshift、Snowflake、BigQuery以及超過50種SQL支持的方言的連接，因此你可以毫無問題地連接到多個數(shù)據(jù)庫。Looker數(shù)據(jù)可視化可以與使用任何特定工具的任何人共享。另外，你可以立即以任何格式導出這些文件。它還提供了客戶支持，你可以在其中提出任何問題，并且會得到答復。參考譯文參考譯文3.ZohoAnalyticsZohoAnalytics是一款商業(yè)智能和數(shù)據(jù)分析軟件，可以在幾分鐘內基于你的數(shù)據(jù)幫你創(chuàng)建外觀精美的數(shù)據(jù)可視化。你可以從多個來源獲取數(shù)據(jù)并將其網(wǎng)格化以創(chuàng)建多維數(shù)據(jù)可視化，以便查看跨部門的業(yè)務數(shù)據(jù)。如有任何疑問，可以使用Zia，它是使用人工智能、機器學習和自然語言處理創(chuàng)建的智能助手。ZohoAnalytics允許你與同事共享或發(fā)布報告，并根據(jù)需要添加評論或進行對話。你可以以任何格式導出ZohoAnalytics文件，例如電子表格、MSWord、Excel、PPT、PDF等。4.SisenseSisense是一個基于商業(yè)智能的數(shù)據(jù)可視化系統(tǒng)，它提供了各種工具，這些工具使數(shù)據(jù)分析師可以簡化復雜數(shù)據(jù)并獲取對其組織和外部人員的見解。Sisense相信，每個公司最終都將成為數(shù)據(jù)驅動的公司，并且每個產品都將以某種方式與數(shù)據(jù)相關。因此，它竭盡全力為業(yè)務團隊和數(shù)據(jù)分析提供各種數(shù)據(jù)分析工具，以便幫助他們的公司成為未來數(shù)據(jù)驅動的公司。設置和學習Sisense非常容易。它可以在一分鐘內輕松安裝，數(shù)據(jù)分析師可以立即完成工作并獲得結果。Sisense還允許其用戶以多種格式（例如PPT、Excel、MSWord、PDF等）導出文件。Sisense還可以在用戶遇到任何問題時提供全職客戶支持服務。5.IBMCognosAnalyticsIBMCognosAnalytics是一個基于人工智能的商業(yè)智能平臺，除其他功能外還支持數(shù)據(jù)分析。你可以可視化并分析數(shù)據(jù)，并與組織中的任何人共享可行的見解。即使你對數(shù)據(jù)分析的了解有限或根本不了解，你也可以輕松使用IBMCognosAnalytics，因為它可以為你解釋數(shù)據(jù)并以通俗易懂的語言為你提供可行的見解。你還可以在云上與多個用戶共享數(shù)據(jù)，并通過電子郵件或Slack共享視覺效果。你還可以從各種數(shù)據(jù)源（如電子表格、云、CSV文件或本地數(shù)據(jù)庫）導入數(shù)據(jù)，并將相關數(shù)據(jù)源合并到一個數(shù)據(jù)模塊中。6.QlikSenseQuikSense是一個數(shù)據(jù)可視化平臺，它通過提供關聯(lián)的數(shù)據(jù)分析引擎、先進的人工智能系統(tǒng)和可擴展的多云體系結構來幫助公司成為數(shù)據(jù)驅動型企業(yè)，該體系結構允許你部署SaaS、本地或私有云的任何組合。無論大小如何，你都可以在QuikSense上輕松組合、加載、可視化和瀏覽數(shù)據(jù)。所有數(shù)據(jù)圖表、表格和其他可視化視圖都是交互式的，并根據(jù)當前數(shù)據(jù)情況即時更新。QuikSenseAI甚至可以為你提供數(shù)據(jù)洞察力，并僅通過拖放即可幫助你創(chuàng)建分析。

參考譯文7.DomoDomo是一個商業(yè)智能模型，其中包含多個數(shù)據(jù)可視化工具，這些工具提供了一個整合的平臺，你可以在其中執(zhí)行數(shù)據(jù)分析，然后創(chuàng)建交互式數(shù)據(jù)可視化，以使其他人可以輕松地理解你的數(shù)據(jù)結論。你可以在Domo儀表板中組合卡片、文本和圖像，以便在給其他人講述數(shù)據(jù)故事的同時引導他們?yōu)g覽數(shù)據(jù)。如有任何疑問，你可以使用其預先構建的儀表板從數(shù)據(jù)中獲得快速的見解。8.MicrosoftPowerBIMicrosoftPowerBI是一個數(shù)據(jù)可視化平臺，致力于在當今所有公司中創(chuàng)建一種數(shù)據(jù)驅動的商業(yè)智能文化。為此，它提供了自助服務分析工具，可用于以有意義的方式分析、匯總和共享數(shù)據(jù)。MicrosoftPowerBI以及內置的人工智能功能和Excel集成工具為客戶提供了數(shù)百種數(shù)據(jù)可視化方法。它還提供多種支持系統(tǒng)，例如常見問題解答、論壇以及與員工的實時聊天支持。參考譯文參考譯文9.KlipfolioKlipfolio是最好的數(shù)據(jù)可視化工具之一。你可以使用連接器從數(shù)百個不同的數(shù)據(jù)源（例如，電子表格、數(shù)據(jù)庫、文件和Web服務應用程序）訪問數(shù)據(jù)。Klipfolio還允許你創(chuàng)建自定義的拖放數(shù)據(jù)可視化，你可以在其中選擇不同的選項，例如圖表、圖形、散點圖等。10.SAPAnalyticsCloudSAPAnalyticsCloud使用商業(yè)智能和數(shù)據(jù)分析功能來幫助你評估數(shù)據(jù)并創(chuàng)建可視化以預測業(yè)務成果。它還為你提供了最新的建模工具，提醒你數(shù)據(jù)中可能存在的錯誤并對不同的數(shù)據(jù)度量和維度進行分類。SAPAnalyticsCloud還建議對數(shù)據(jù)進行智能轉換，以增強可視化效果。如果你對數(shù)據(jù)可視化有任何疑問或業(yè)務問題，SAPAnalyticsCloud通過使用對話式人工智能和自然語言技術處理你的查詢，可以使你完全滿意。更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!BigDataCloud

Unit

9TextAContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesPhrasesAbbreviationsListeningtoTextA大數(shù)據(jù)云1.大數(shù)據(jù)與云技術的融合當大數(shù)據(jù)計算在云中進行時，被稱為“大數(shù)據(jù)云”。他們的目的是建立集成基礎架構，以適應快速分析和部署彈性可擴展基礎架構。云技術用于獲得大數(shù)據(jù)固有的量子飛躍優(yōu)勢。1.1大數(shù)據(jù)云的特征大數(shù)據(jù)云的特征如下：大規(guī)模分布式計算：用于分布式體系結構的各種計算工具。數(shù)據(jù)存儲：所有這些都是無縫可擴展存儲工具和數(shù)據(jù)服務?；谠獢?shù)據(jù)的數(shù)據(jù)訪問：使用從數(shù)據(jù)生成的見解，而不使用路徑和文件名。分布式虛擬文件系統(tǒng)：文件以分層結構排列，其中節(jié)點是目錄。高性能數(shù)據(jù)和計算：數(shù)據(jù)和計算均由性能來驅動和增強。分析服務提供商：它有助于開發(fā)、部署和使用分析。多維數(shù)據(jù)：它為各種數(shù)據(jù)工具和類型提供了所需的支持，以促進其處理。分析服務提供商：它支持分析的開發(fā)、部署和使用。數(shù)據(jù)和計算的高可用性：執(zhí)行數(shù)據(jù)和計算的復制機制以使其始終可用。集成平臺：它為快速分析和部署可擴展的體系結構提供了所需的平臺。參考譯文1.2大數(shù)據(jù)云的類型大數(shù)據(jù)云根據(jù)其用途分為四種不同類型。公共大數(shù)據(jù)云：在這種云中，資源作為即付即用計算模型提供，并擴展到大型組織。就架構而言，該云可彈性擴展。例如大數(shù)據(jù)計算的Google云平臺、WindowsAzureHDInsight、云中的Amazon大數(shù)據(jù)計算及RackSpaceClouderaHadoop。私有大數(shù)據(jù)云：這是組織內的云，旨在通過虛擬化基礎架構提供隱私和更好的資源控制?；旌洗髷?shù)據(jù)云：該云擁護私有云和公共云的特征和功能。其目的是獲得網(wǎng)絡配置和延遲、可擴展性、高可用性、數(shù)據(jù)主權、災難恢復以及合規(guī)性和工作負載可移植性。在繁重的工作量期間，其部署有助于將私有工作量遷移到公共體系結構。大數(shù)據(jù)訪問網(wǎng)絡和計算平臺：這是一個為數(shù)據(jù)、分析和計算而設計的集成平臺。該平臺由多個不同的提供商提供服務。參考譯文參考譯文1.3元素和服務大數(shù)據(jù)和云技術的融合產生了許多元素和服務。云安裝服務或安裝云存儲：這是一個旨在將數(shù)據(jù)安裝到許多Web服務器和云存儲的系統(tǒng)。例如亞馬遜、谷歌驅動器。大數(shù)據(jù)云：它是一種基礎結構，旨在管理不同的數(shù)據(jù)資源（例如數(shù)據(jù)管理、數(shù)據(jù)訪問、安全性、調度程序、編程模型等）。大數(shù)據(jù)云基礎架構具有許多工具，例如流、Web服務和API，用于從不同來源（例如Google數(shù)據(jù)、社交網(wǎng)絡、關系數(shù)據(jù)存儲等）收集數(shù)據(jù)。云流傳輸：這是一種傳輸多媒體數(shù)據(jù)（例如視頻和音頻）的方式，使多媒體數(shù)據(jù)可以在社交媒體基礎結構上以連續(xù)模式輕松使用。社交媒體：這些平臺使在線收集大量信息成為可能。它是利用云技術服務的大數(shù)據(jù)的主要來源。例如Facebook、LinkedIn、Twitter和YouTube。HTTP，REST服務：這些服務旨在為輕量級的、可擴展和可維護的基于Web的應用程序開發(fā)API。例如USGS地理云、GoogleEarth。大數(shù)據(jù)計算平臺：它旨在創(chuàng)建管理不同數(shù)據(jù)源所需的模塊，例如數(shù)據(jù)密集型編程模型、數(shù)據(jù)安全、計算和數(shù)據(jù)感知調度、設備、分布式文件系統(tǒng)和分析。計算云：開發(fā)該平臺是為了提供所需的計算基礎架構，例如物理和虛擬計算以及來自私有、公共和混合云的存儲。2.大數(shù)據(jù)云參考架構大數(shù)據(jù)的云架構可有效管理復雜的計算可擴展性、存儲和網(wǎng)絡基礎架構。作為服務提供商的基礎架構除了存儲應用程序外，還主要處理服務器、網(wǎng)絡，并提供諸如虛擬化、基本監(jiān)控和安全、操作系統(tǒng)、數(shù)據(jù)中心中的服務器以及存儲服務之類的設施。以下討論大數(shù)據(jù)云體系結構的四個層次。2.1大數(shù)據(jù)分析——軟件即服務(SaaS)大數(shù)據(jù)分析以服務提供給用戶，使他們具有了快速分析的能力，而無需投資基礎結構和設施。該層的功能是：?安排軟件應用程序存儲庫?在基礎架構上部署軟件程序?結果交付給用戶。

參考譯文2.2大數(shù)據(jù)分析——平臺即服務（BPaaS）這是體系結構的第二層。它是核心層，提供了平臺相關服務以處理存儲的大數(shù)據(jù)和進行計算。用于數(shù)據(jù)密集型和數(shù)據(jù)處理任務的數(shù)據(jù)管理工具、調度程序和編程環(huán)境（被視為中間件管理工具）都位于該區(qū)域中。該層負責提供開發(fā)分析所需的軟件開發(fā)套件和工具。2.3大數(shù)據(jù)結構（BDF）這是大數(shù)據(jù)的結構層，負責尋址工具和API，這些工具和API支持數(shù)據(jù)的存儲、數(shù)據(jù)計算以及對不同應用程序服務的訪問。該層包含API和可互操作的協(xié)議，旨在連接指定的多個云基礎架構標準。參考譯文2.4云基礎架構（CI）云基礎架構負責處理用于數(shù)據(jù)存儲和計算即服務的基礎架構。CI層提供的服務如下：?創(chuàng)建用于大數(shù)據(jù)存儲的大規(guī)模彈性基礎結構，該基礎結構能夠按需部署。?設置動態(tài)虛擬機。?生成與基于文件、塊和基于對象的大數(shù)據(jù)管理相關的按需存儲功能。?使數(shù)據(jù)能夠跨存儲庫無縫傳遞。?創(chuàng)建虛擬機并將文件系統(tǒng)安裝到計算節(jié)點。參考譯文3.云中大數(shù)據(jù)分析的好處3.1改進的分析隨著云技術的進步，大數(shù)據(jù)分析變得更加完善，帶來了更好的結果。因此，公司更喜歡在云中執(zhí)行大數(shù)據(jù)分析。此外，云有助于整合來自眾多來源的數(shù)據(jù)。3.2簡化的基礎架構大數(shù)據(jù)分析是基礎架構上一項非常艱巨的工作，因為數(shù)據(jù)量大、速度快和類型各異，這是傳統(tǒng)基礎架構通常無法跟上的。由于云計算提供了靈活的基礎架構，我們可以根據(jù)當時的需求進行擴展，因此很容易管理工作負載。3.3降低成本大數(shù)據(jù)和云技術都可以通過減少所有權為組織帶來價值。云使客戶無需大規(guī)模的大數(shù)據(jù)資源即可進行大數(shù)據(jù)處理。因此，大數(shù)據(jù)和云技術都在降低企業(yè)成本并為企業(yè)帶來價值。參考譯文3.4安全與隱私數(shù)據(jù)安全和隱私是處理企業(yè)數(shù)據(jù)時的兩個主要問題。此外，當你的應用程序托管在云平臺上時，由于其開放的環(huán)境和有限的用戶控制，安全性成為首要問題。另一方面，作為一種開源應用程序，像Hadoop這樣的大數(shù)據(jù)解決方案使用了大量的第三方服務和基礎架構。因此，如今，系統(tǒng)集成商引入了具有彈性和可擴展性的私有云解決方案。此外，它還利用了可擴展的分布式處理。除此之外，云數(shù)據(jù)在通常稱為云存儲服務器的中央位置存儲和處理。服務提供商和客戶將簽署服務水平協(xié)議（SLA），以便彼此信任。如果需要，提供商還可以利用所需的高級安全控制級別。與服務級別協(xié)議相關的規(guī)則可以保護：?數(shù)據(jù)

?容量

?可擴展性

?安全

?隱私?數(shù)據(jù)存儲的可用性和數(shù)據(jù)增長另一方面，在許多組織中，大數(shù)據(jù)分析被用來檢測和預防高級威脅和惡意黑客。

參考譯文3.5虛擬化基礎架構在支持任何應用程序方面都起著至關重要的作用。虛擬化技術是大數(shù)據(jù)的理想平臺。諸如Hadoop之類的虛擬化大數(shù)據(jù)應用程序具有多種優(yōu)勢，這些優(yōu)勢在物理基礎架構上是無法得到的，但是它簡化了大數(shù)據(jù)管理。大數(shù)據(jù)和云計算指出了各種技術和趨勢的融合，這使IT基礎架構和相關應用程序更加動態(tài)和模塊化。因此，大數(shù)據(jù)和云計算項目非常依賴虛擬化。參考譯文更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!WhatIsCloud?

Unit

9TextBContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsPhrasesAbbreviationsListeningtoTextA什么是云？云的簡單定義指通過因特網(wǎng)交付不同類型的服務。從軟件和分析到安全的數(shù)據(jù)存儲和網(wǎng)絡資源，一切都可以通過云交付。1.云的五個特征云究竟是什么？根據(jù)美國國家標準技術研究院（NIST）的定義，云具有五個定義特征。1.1按需自助服務你可以在需要時使用它，并按使用量付費。把它想象成用電一樣。本質上，云是效用計算的一種形式。你創(chuàng)建一個帳戶或選擇你的提供商，即可隨時享受服務。在月底你會收到賬單要求為此付費。這種存儲和訪問數(shù)據(jù)的形式使你可以完全控制資源的使用和支出。1.2廣泛的網(wǎng)絡訪問你必須能夠使用任何具有因特網(wǎng)連接性的設備通過網(wǎng)絡訪問。無論你身在何處，都可以通過網(wǎng)絡瀏覽器、筆記本電腦或移動設備訪問云數(shù)據(jù)。這是因為其基礎架構包括多個位置上的服務器。參考譯文1.3資源池多個租戶可以共享同一空間，可以根據(jù)需要分配、重新分配和分布資源?？梢栽谑澜缟系娜魏蔚胤剑灰憧梢栽L問互聯(lián)網(wǎng)，就可以與其他人享有平等的訪問權限。1.4快速彈性云可以在不影響其任何用戶或其信息的情況下盡可能地增長和收縮。例如，如果你的企業(yè)遇到高峰流量，則云可以擴展以適應所有新請求。1.5度量服務你可以檢查人們使用云的頻率。許多云服務提供商采用隨用隨付模式來確保其客戶按照所得付費，不多也不少。再次，當按照使用量計費時，可以比照電費。參考譯文2.云的類型有三種云，每種都有其獨特的優(yōu)勢。你應該評估云選項，以確定最適合你和你的業(yè)務的選項。2.1公共云公共云服務最適合開發(fā)系統(tǒng)和網(wǎng)絡服務器。云計算提供商將為你提供必須與其他租戶共享的一個數(shù)字空間。這種類型的云具有成本效益，因為主要以按需購買模型運行。你按照使用云的小時數(shù)付費，并且只要完成工作便可退出。無需支付超出所需的費用。2.2私有云私有云提供了其名稱所暗示的含義：隱私。你不必與任何人共享數(shù)字空間。私有云平臺通常由內部構建，它們屬于你的企業(yè)。它們也可以在第三方數(shù)據(jù)中心中進行配置，并且仍然提供高級隱私級別。關心安全性的較大型組織和客戶傾向于私有云。其原因主要是這些云提供了比公共云更多的防御能力。需要保護敏感信息（如客戶數(shù)據(jù)）的公司依賴私有云。參考譯文如果你使用的是私有云，則知道誰有權訪問數(shù)據(jù)、知道是否有人進行過更改，并且知道在緊急情況下該怎么辦。你可以完全控制云發(fā)生的事情，而不必擔心某些第三方供應商所做的更改會對你造成負面影響。防火墻可以保護你云中的所有內容免受外部人員的攻擊。2.3混合云混合云是兩全其美。如果使用混合云，則可以控制內部數(shù)據(jù)庫并在需要時使用公共云。有時你可能需要將數(shù)據(jù)和應用程序從私有云移至公共云，例如在計劃維護、停電和發(fā)生自然災害時。無縫遷移信息的能力非常適合云災難恢復解決方案并防止數(shù)據(jù)丟失?；旌显频撵`活性非常適合擴展，因為任何溢出都可以在公共云中進行調節(jié)。此外，你可以將所有非敏感任務保留在公共云中，而在私有云中保護重要數(shù)據(jù)。無論你的公司規(guī)模有多大還是服務的行業(yè)是什么，總會有一個最能滿足你需求的云解決方案。在決定使用方案之前，請花點時間比較其優(yōu)點和缺點。

參考譯文3.云的好處3.1存儲始終可用云提供了一種輕松的方法來保存所有必要的數(shù)據(jù)。你可以用低廉的價格租用云存儲，然后根據(jù)需要進行擴展。你不再需要使用外部硬盤驅動器或構建內部數(shù)據(jù)中心。3.2災難恢復解決方案災難來臨時，你需要數(shù)據(jù)保護。就時間、金錢和效率而言，盡可能防止數(shù)據(jù)丟失至關重要。與傳統(tǒng)解決方案相比，云提供了更快、更具成本效益的災難恢復。有時，應對悲劇的最好方法是事先做好準備。由于大多數(shù)災難性事件都是計劃外的，因此你應始終考慮任何最壞的情況。在以前沒有用云計算的時候，你必須分發(fā)和收集各種磁帶和驅動器，然后將數(shù)據(jù)傳輸?shù)街醒胛恢谩，F(xiàn)在，你只需單擊幾個按鈕即可完成操作。參考譯文參考譯文3.3節(jié)省成本不再需要購買大量外部硬盤驅動器來保留你的重要信息。通過把數(shù)據(jù)遷移到在云中，公司每年可以節(jié)省大量資金。除此之外，云使你可以使用先進的安全系統(tǒng)以及最先進的硬件和軟件，從而可以節(jié)省預期成本。利用隨用隨付模式的云服務提供商特別有用，因為你將永遠不必在不使用的服務上花錢。將此與每月訂閱服務進行比較，無論你使用頻率如何，你都必須為整個月的申請付費。如果你僅使用兩周的月度訂閱服務，就浪費了一半的錢。3.4持續(xù)更新該軟件不斷得到改進，以提高安全性、效率、速度、功能和可靠性。軟件更新是持續(xù)的，而且通常不需要任何額外費用。3.5業(yè)務連續(xù)性對于大多數(shù)組織而言，確保發(fā)生災難時業(yè)務正常運行是一項重大挑戰(zhàn)。但是，停機一分鐘比實施備份和災難恢復解決方案花費更大時，業(yè)務連續(xù)性管理就成為當務之急。云提供了災難恢復和業(yè)務連續(xù)性解決方案。即使災難對企業(yè)造成打擊，你也可以依靠它來保持數(shù)據(jù)和應用程序在活動狀態(tài)。借助可靠的業(yè)務連續(xù)性計劃和正確的云解決方案，你可以最大程度地減少潛在中斷的影響。3.6改善協(xié)作你可能在一家全球都有分公司的大型國際公司工作。無論你的辦公室在哪里，每個員工都可以通過云技術對相關信息進行相同的訪問。此外，你只需打開手機即可使用云解決方案。云協(xié)作工具為員工提供了重要優(yōu)勢。他們可以隨時使用文件版本控制或實時編輯。他們可以從任何設備遠程訪問數(shù)據(jù)、應用程序和服務。所有這些都可以提高他們的生產力，并最終提高公司的利潤。

參考譯文3.7容量增加你不再需要猜測是否有足夠的能力來構建或終止應用程序。云可以根據(jù)你的業(yè)務需求上下調整。該靈活性確保無論你做什么業(yè)務，你都始終能夠利用云服務。3.8性能和速度云將企業(yè)級技術商品化，讓小型企業(yè)亦可使用。這種形式的效用計算使新興技術以可承受的價格提供給企業(yè)。你可以訪問高性能的硬件和軟件以改善操作?；谶\營的交付模型使各種規(guī)模的企業(yè)都可以訪問云資源。只需要選擇最能滿足你需求的解決方案即可。3.9數(shù)據(jù)安全確保你的數(shù)據(jù)安全，并確保不會落入不當之人手中。云備份是確保業(yè)務連續(xù)性和文件始終可用的理想解決方案。所有云都提供一定程度的加密、遏制力和合規(guī)性，但是私有云仍然對圈外人最安全的。即使這樣，你也必須提防內部攻擊。參考譯文參考譯文4.云服務的類型云服務的種類與云本身的種類一樣多。你可以購買三種不同類型的云服務：基礎架構即服務（IaaS）為你節(jié)省了購買物理數(shù)據(jù)中心或服務器的費用。你隨用隨付，只在需要或使用該服務時才付費。IaaS允許你根據(jù)需求快速調整規(guī)模。平臺即服務（PaaS）具有業(yè)務應用程序所需的一切。它完全配備了網(wǎng)絡、在線存儲和服務器等基礎架構，以及數(shù)據(jù)庫管理系統(tǒng)、開發(fā)工具等。PaaS旨在幫助創(chuàng)建、測試、開發(fā)和更新你的應用程序。每當你為手機下載新應用程序時，即會獲得軟件即服務（SaaS）。公司創(chuàng)建和開發(fā)他們的軟件，然后將其借給買家。諸如Autodesk、LendingClub、Microsoft和IBM之類的企業(yè)均從SaaS產生收入。找出最適合你和你公司的服務。云平臺是如此之多，總能找到適合你需求的解決方案。更多內容，請訪問

機械工業(yè)出版社網(wǎng)站:

ThankYou!BigDataSecurity

Unit

10TextAContents

NewWords

Abbreviations

Phrases參考譯文NewWordsNewWordsNewWordsNewWordsNewWordsPhrasesAbbreviationsListeningtoTextA大數(shù)據(jù)安全大數(shù)據(jù)分析的采用正在迅速增長。圍繞大數(shù)據(jù)安全和隱私的敏感性是組織需要克服的障礙。

1.什么是大數(shù)據(jù)安全？大數(shù)據(jù)安全是所有用于保護數(shù)據(jù)和分析過程免受可能損害或負面影響的攻擊、盜竊或其他惡意活動的措施和工具的統(tǒng)稱。就像其他形式的網(wǎng)絡安全一樣，大數(shù)據(jù)安全關注的是源自在線或離線領域的攻擊。大數(shù)據(jù)安全是對云上和本地的數(shù)據(jù)和分析過程的保護，這可使得任何因素都不能損害其機密性。對于在云上運行的公司，大數(shù)據(jù)安全挑戰(zhàn)是多方面的。這些具有挑戰(zhàn)性的威脅包括盜竊在線存儲的信息、勒索軟件、跨站腳本攻擊或能使服務器崩潰的分布式拒絕服務攻擊。對組織中大數(shù)據(jù)存儲的攻擊可能會導致嚴重的財務后果，例如損失資金和訴訟費用以及罰款或制裁。參考譯文2.大數(shù)據(jù)安全的關鍵問題以下是應考慮的一些明顯的大數(shù)據(jù)安全問題（或可用技術）的清單。?分布式框架。實際上，大多數(shù)大數(shù)據(jù)處理操作都會把大的處理任務分配給許多系統(tǒng)，以加快分析速度。分布式處理可能意味著任何一個系統(tǒng)處理的數(shù)據(jù)更少，但這意味著可能出現(xiàn)安全問題的系統(tǒng)數(shù)量更多。?非關系數(shù)據(jù)存儲。像NoSQL數(shù)據(jù)庫這樣的非關系數(shù)據(jù)庫通常本身就缺乏安全性。?存儲。在大數(shù)據(jù)架構中，數(shù)據(jù)通常存儲在多個層中，這取決于業(yè)務對性能和成本的需求。例如，高優(yōu)先級的“熱”數(shù)據(jù)通常會存儲在閃存介質上。因此，鎖定存儲將意味著創(chuàng)建層級意識策略。?端點。從端點提取日志的安全解決方案將需要驗證那些端點的真實性，否則分析將用處不大。?實時安全/合規(guī)工具。這些工具會產生大量信息。關鍵是找到一種忽略虛假或粗略信息的方法，從而人們可以專注于真正的漏洞或有價值的信息。參考譯文?數(shù)據(jù)挖掘解決方案。這些解決方案是許多大數(shù)據(jù)環(huán)境的核心。它們找到建議業(yè)務策略的模式。因此，不僅要保護它們不受外部威脅，而且要防止內部人員濫用網(wǎng)絡特權來獲取敏感信息，這一點尤為重要。?訪問控制。提供一個加密的身份認證/驗證系統(tǒng)可以驗證用戶的身份并確定誰可以看到什么，這一點至關重要。?粒度審核可以幫助你確定已經錯過的攻擊出現(xiàn)的時間、分析后果以及將來應采取哪些措施來改善。這本身就有許多數(shù)據(jù)，必須激活和保護這些數(shù)據(jù)才能在解決大數(shù)據(jù)安全問題時有用。?數(shù)據(jù)來源主要涉及元數(shù)據(jù)（有關數(shù)據(jù)的數(shù)據(jù)），這對于確定數(shù)據(jù)的來源、訪問者或對數(shù)據(jù)的處理非常有幫助。通常，應以極快的速度分析此類數(shù)據(jù)，以最大程度縮短漏洞的活躍時間。必須仔細審查并嚴格監(jiān)控從事此類活動的特權用戶，以確保他們不會成為自己的大數(shù)據(jù)安全問題。參考譯文3.大數(shù)據(jù)安全挑戰(zhàn)保護大數(shù)據(jù)不受危害可能面臨許多安全挑戰(zhàn)。請記住，這些挑戰(zhàn)絕不僅限于本地大數(shù)據(jù)平臺。它們也與云有關。當你將大數(shù)據(jù)平臺托管在云中時，不應心存僥幸。通過強大的安全服務級別協(xié)議，與你的提供商緊密合作以克服這些挑戰(zhàn)。保護大數(shù)據(jù)的典型挑戰(zhàn)如下：?用于非結構化大數(shù)據(jù)和非關系數(shù)據(jù)庫（NoSQL）的高級分析工具是一個較新的技術，正處于積極開發(fā)階段。安全軟件和過程可能很難保護這些新工具集。?成熟的安全工具可有效保護數(shù)據(jù)進入和存儲。但是，它們可能對從多個分析工具到多個位置的數(shù)據(jù)輸出產生不同的影響。?大數(shù)據(jù)管理員可以決定在未經許可或通知的情況下挖掘數(shù)據(jù)。無論是出于好奇還是出于犯罪目的，你的安全工具都需要監(jiān)控可疑訪問并發(fā)出警報，無論它來自何處。?僅安裝大數(shù)據(jù)就需要TB到PB存儲空間，這對常規(guī)的安全審核太大了。而且由于大多數(shù)大數(shù)據(jù)平臺都是基于集群的，因此會在多個節(jié)點和服務器上引入多個漏洞

參考譯文?如果大數(shù)據(jù)所有者沒有定期更新環(huán)境的安全，則存在數(shù)據(jù)丟失和暴露的風險。?安全工具需要監(jiān)控系統(tǒng)、數(shù)據(jù)庫或像WordPress這樣的Web內容管理系統(tǒng)，當出現(xiàn)可疑惡意軟件感染時發(fā)出警報，大數(shù)據(jù)安全專家必須精通清理工作，并且知道如何刪除惡意軟件。4.大數(shù)據(jù)安全技術這些大數(shù)據(jù)安全工具都不是新的。它們的可擴展以及在不同階段保護多種類型數(shù)據(jù)的能力是新增的。?加密：你的加密工具需要保護傳輸中的數(shù)據(jù)和靜態(tài)的數(shù)據(jù)，并且需要跨海量數(shù)據(jù)進行處理。還需要對用戶和計算機生成的許多不同類型的數(shù)據(jù)進行加密。加密工具還需要與不同的分析工具集及其輸出數(shù)據(jù)一起使用，這些數(shù)據(jù)以常用大數(shù)據(jù)格式存儲于關系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）、非關系數(shù)據(jù)庫（例如NoSQL）和專用文件系統(tǒng)（例如Hadoop分布式文件系統(tǒng)（HDFS））中。?集中式密鑰管理：多年來，集中式密鑰管理一直是最佳的安全實踐。它適用于大數(shù)據(jù)環(huán)境，尤其是地理分布廣泛的環(huán)境。最佳實踐包括策略驅動的自動化、日志記錄、按需密鑰交付以及從密鑰用法中提取密鑰管理。參考譯文?用戶訪問控制：用戶訪問控制可能是最基本的網(wǎng)絡安全工具，但是許多公司實行的控制很少，因為管理開銷可能很高。強大的用