第1、2章 緒論、Linux的基礎(chǔ)操作

第一章緒論大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.1大數(shù)據(jù)的形成和發(fā)展1.2大數(shù)據(jù)的基本概念1.3大數(shù)據(jù)的關(guān)鍵技術(shù)1.4大數(shù)據(jù)的行業(yè)應(yīng)用1.5大數(shù)據(jù)領(lǐng)域的主要職位及其能力要求1.6大數(shù)據(jù)面臨的挑戰(zhàn)和應(yīng)對(duì)措施1.7本章小結(jié)本章目錄大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.1大數(shù)據(jù)的形成和發(fā)展21世紀(jì)前10年1.1大數(shù)據(jù)的形成和發(fā)展“大數(shù)據(jù)”，展歷程總體上分為三個(gè)重要階段：萌芽期、成熟期和大規(guī)模應(yīng)用期。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)萌芽期成熟期大規(guī)模應(yīng)用期1990-20002000-20102010-至今21世紀(jì)前10年1.1大數(shù)據(jù)的形成和發(fā)展大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)階段時(shí)間內(nèi)容第一階段：萌芽期上世紀(jì)90年代至本世紀(jì)初隨著數(shù)據(jù)挖掘理論和數(shù)據(jù)庫(kù)技術(shù)的逐步成熟，一批商業(yè)智能工具和知識(shí)管理技術(shù)開(kāi)始被應(yīng)用，如數(shù)據(jù)倉(cāng)庫(kù)、專家系統(tǒng)、知識(shí)管理系統(tǒng)等。第二階段：成熟期本世紀(jì)前十年Web2.0應(yīng)用迅猛發(fā)展進(jìn)入大數(shù)據(jù)成熟期，非結(jié)構(gòu)化數(shù)據(jù)大量產(chǎn)生，傳統(tǒng)處理方法難以應(yīng)對(duì)，帶動(dòng)了大數(shù)據(jù)技術(shù)的快速發(fā)展。第三階段：大規(guī)模應(yīng)用期2010年以后隨著智能手機(jī)的應(yīng)用，數(shù)據(jù)碎片化、分布式、流媒體特征更加明顯，移動(dòng)數(shù)據(jù)急劇增長(zhǎng)，大數(shù)據(jù)進(jìn)入大規(guī)模應(yīng)用期。1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2大數(shù)據(jù)的基本概念大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.1什么是大數(shù)據(jù)“大數(shù)據(jù)”是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.2大數(shù)據(jù)的特征對(duì)于大數(shù)據(jù)的特征，學(xué)術(shù)界普遍認(rèn)為是麥肯錫公司提出的4V特征，即海量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低(Value)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.2大數(shù)據(jù)的特征1.海量化隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，每個(gè)人的生活都被記錄在了大數(shù)據(jù)之中，由此數(shù)據(jù)本身也呈爆發(fā)性增長(zhǎng)。其中大數(shù)據(jù)的計(jì)量單位也逐漸發(fā)展，現(xiàn)如今對(duì)大數(shù)據(jù)的計(jì)量已達(dá)到BB（珀字節(jié)）。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.2大數(shù)據(jù)的特征名

稱單

位英文名稱換

算比特bit(位)bit最小的基本單位字節(jié)B(Byte)Byte1(B)=8bit千字節(jié)KBKilobyte1(KB)=1024B兆字節(jié)MBMegabyte1(MB)=1024KB吉字節(jié)GBGigabyte1(GB)=1024MB太字節(jié)TBTerabyte1(TB)=1024GB拍字節(jié)PBPetabyte1(PB)=1024TB艾字節(jié)EBExabyte1(EB)=1024PB澤字節(jié)ZBZettabyte1(ZB)=1024EB堯字節(jié)YBYottabyte1(YB)=1024ZB珀字節(jié)BBBrontobyte1(BB)=1024YB大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.2大數(shù)據(jù)的特征2.多樣化通常所說(shuō)的數(shù)據(jù)是一個(gè)整體性的概念，按照不同的劃分方式，數(shù)據(jù)可以劃分成多種類型，最常用和最基本的就是利用數(shù)據(jù)關(guān)系進(jìn)行劃分，這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.2大數(shù)據(jù)的特征3.快速化快速化是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。如物聯(lián)網(wǎng)每秒都在采集數(shù)據(jù)，微博內(nèi)容隨時(shí)都在更新，處理速度達(dá)到每小時(shí)10TB或更高。要求數(shù)據(jù)處理速度快，時(shí)效性高，在Web2.0應(yīng)用領(lǐng)域的1分鐘內(nèi)，新浪可以產(chǎn)生2萬(wàn)條微博，Twitter可以產(chǎn)生10萬(wàn)條推文，蘋(píng)果可以下載4.7萬(wàn)次應(yīng)用，淘寶可以賣出6萬(wàn)件商品。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.2.2大數(shù)據(jù)的特征4.價(jià)值密度低傳統(tǒng)數(shù)據(jù)基本都是結(jié)構(gòu)化數(shù)據(jù)，每個(gè)字段都是有用的，價(jià)值密度非常高。大數(shù)據(jù)時(shí)代，越來(lái)越多數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，比如網(wǎng)站訪問(wèn)日志，里面大量?jī)?nèi)容都是沒(méi)價(jià)值的，真正有價(jià)值的比較少，雖然數(shù)據(jù)量比以前大了很多倍，但價(jià)值密度降低很多。1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3大數(shù)據(jù)的關(guān)鍵技術(shù)萌芽期1.3大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)大數(shù)據(jù)技術(shù)是指伴隨著大數(shù)據(jù)的采集、存儲(chǔ)、分析和應(yīng)用的相關(guān)技術(shù)，是一系列使用非傳統(tǒng)的工具來(lái)對(duì)大量的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，從而獲得分析和預(yù)測(cè)結(jié)果的一系列數(shù)據(jù)處理和分析技術(shù)。關(guān)鍵技術(shù)架構(gòu)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.1大數(shù)據(jù)采集技術(shù)數(shù)據(jù)采集是大數(shù)據(jù)分析過(guò)程中的最基本的環(huán)節(jié)，是對(duì)數(shù)據(jù)進(jìn)行ETL(ExtractTransformLoad)操作的過(guò)程，通過(guò)對(duì)數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、加載，最終挖掘數(shù)據(jù)的潛在價(jià)值。由于數(shù)據(jù)產(chǎn)生的總類很多，方式不同，對(duì)于大數(shù)據(jù)采集系統(tǒng)，主要有以下幾類：1.網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)2.系統(tǒng)日志采集系統(tǒng)3.數(shù)據(jù)庫(kù)采集系統(tǒng)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.2大數(shù)據(jù)預(yù)處理技術(shù)原始數(shù)據(jù)中往往會(huì)存在如下問(wèn)題：不完整：即缺少屬性值或僅僅包含聚集數(shù)據(jù)。含噪聲：即包含錯(cuò)誤或存在偏離期望的離群值。不一致：即數(shù)據(jù)記錄的規(guī)范性和邏輯性不合規(guī)或與其他數(shù)據(jù)集合不一致。為了避免影響后續(xù)步驟，就需要用到整個(gè)大數(shù)據(jù)關(guān)鍵技術(shù)中最容易被忽略卻也極其重要的一項(xiàng)——大數(shù)據(jù)預(yù)處理。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.2大數(shù)據(jù)預(yù)處理技術(shù)1.數(shù)據(jù)清洗數(shù)據(jù)清洗主要是通過(guò)填寫(xiě)空缺信息，消除噪聲數(shù)據(jù)，識(shí)別和刪除孤立點(diǎn)，并解決不一致問(wèn)題來(lái)清洗數(shù)據(jù)，從而改善數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)挖掘的精度和性能。2.數(shù)據(jù)集成數(shù)據(jù)集成是將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)整合到一致的數(shù)據(jù)存儲(chǔ)倉(cāng)庫(kù)中。集成過(guò)程中主要遇到的實(shí)體識(shí)別問(wèn)題、冗余問(wèn)題和數(shù)據(jù)沖突的檢測(cè)處理問(wèn)題。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.2大數(shù)據(jù)預(yù)處理技術(shù)3.數(shù)據(jù)變換數(shù)據(jù)預(yù)處理階段，數(shù)據(jù)被變化或統(tǒng)一，使數(shù)據(jù)挖掘過(guò)程更有效、挖掘的模式更容易理解。4.數(shù)據(jù)歸約數(shù)據(jù)規(guī)約技術(shù)可以用來(lái)得到數(shù)據(jù)集的規(guī)約表示，規(guī)約后的數(shù)據(jù)集比原數(shù)據(jù)集小得多，但仍近似地保持?jǐn)?shù)據(jù)的完整性。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.3大數(shù)據(jù)存儲(chǔ)及管理技術(shù)1.不斷加密:通過(guò)將所有內(nèi)容轉(zhuǎn)換為代碼，使用加密信息，只有收件人可以解碼。如果沒(méi)有其他的要求，則加密保護(hù)數(shù)據(jù)傳輸，增強(qiáng)在數(shù)字傳輸中有效地到達(dá)正確人群的機(jī)會(huì)。2.NoSQL數(shù)據(jù)庫(kù):NoSQL(NotonlySQL)數(shù)據(jù)庫(kù)的優(yōu)勢(shì)是：可以支持超大規(guī)模數(shù)據(jù)存儲(chǔ)；靈活的數(shù)據(jù)模型可以很好地支持Web2.0應(yīng)用；具有強(qiáng)大的橫向擴(kuò)展能力等等。3.云數(shù)據(jù)庫(kù):云數(shù)據(jù)庫(kù)是基于云計(jì)算技術(shù)發(fā)展的一種共享基礎(chǔ)架構(gòu)的方法，是部署和虛擬化在云計(jì)算環(huán)境中的數(shù)據(jù)庫(kù)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.4大數(shù)據(jù)分析及挖掘技術(shù)數(shù)據(jù)分析過(guò)程需要從復(fù)雜數(shù)據(jù)中找出規(guī)律從而獲得有價(jià)值的知識(shí)，這正是大數(shù)據(jù)的價(jià)值體現(xiàn)。數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.3.5大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)大數(shù)據(jù)技術(shù)能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識(shí)挖掘出來(lái)，為人類的社會(huì)經(jīng)濟(jì)活動(dòng)提供依據(jù)，從而提高各個(gè)領(lǐng)域的運(yùn)行效率，大大提高整個(gè)社會(huì)經(jīng)濟(jì)的集約化程度。1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4大數(shù)據(jù)的行業(yè)應(yīng)用萌芽期1.4大數(shù)據(jù)的行業(yè)應(yīng)用大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)水利大數(shù)據(jù)領(lǐng)域生物醫(yī)學(xué)領(lǐng)域智慧城市領(lǐng)域商業(yè)領(lǐng)域農(nóng)業(yè)領(lǐng)域安全領(lǐng)域主要在以下行業(yè)中應(yīng)用：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.1水利大數(shù)據(jù)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.1水利大數(shù)據(jù)領(lǐng)域水利工作關(guān)系到國(guó)計(jì)民生，尤其是我國(guó)水資源分布存在嚴(yán)重的時(shí)空分布不均特性，旱災(zāi)洪澇易發(fā)多發(fā)。水利行業(yè)在經(jīng)濟(jì)、生態(tài)、社會(huì)等方面都扮演著重要角色，對(duì)水利大數(shù)據(jù)的研究具有重要的現(xiàn)實(shí)意義和應(yīng)用價(jià)值。水利大數(shù)據(jù)是在大數(shù)據(jù)的理論指導(dǎo)及技術(shù)支撐下的水利科學(xué)和工程的重要實(shí)踐。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.1水利大數(shù)據(jù)領(lǐng)域?qū)崟r(shí)獲取涉水監(jiān)測(cè)與狀態(tài)的流數(shù)據(jù)，利用分布式存儲(chǔ)系統(tǒng)的高吞吐，實(shí)現(xiàn)海量監(jiān)測(cè)與狀態(tài)數(shù)據(jù)的同步存儲(chǔ)，利用事先定義好的業(yè)務(wù)規(guī)則和數(shù)據(jù)處理邏輯，結(jié)合數(shù)據(jù)檢索技術(shù)對(duì)監(jiān)測(cè)與狀態(tài)數(shù)據(jù)進(jìn)行快速檢索處理，根據(jù)流計(jì)算結(jié)果，實(shí)現(xiàn)實(shí)時(shí)評(píng)估和趨勢(shì)預(yù)測(cè)，對(duì)水安全狀態(tài)正確評(píng)價(jià)，實(shí)現(xiàn)異常狀態(tài)報(bào)警，對(duì)極端條件下水安全進(jìn)行預(yù)警，為水災(zāi)害防治提供決策支撐。實(shí)時(shí)分析應(yīng)用：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.1水利大數(shù)據(jù)領(lǐng)域在離線數(shù)據(jù)一體化存儲(chǔ)的基礎(chǔ)上，建立數(shù)據(jù)分析接口，提供對(duì)水空間規(guī)劃數(shù)據(jù)統(tǒng)計(jì)處理任務(wù)的支撐，并進(jìn)一步滿足水空間規(guī)劃計(jì)算分析、水安全風(fēng)險(xiǎn)評(píng)估及預(yù)警等高級(jí)應(yīng)用系統(tǒng)的數(shù)據(jù)要求，為管理層制定優(yōu)化的決策方案提供科學(xué)合理的依據(jù)。離線分析應(yīng)用：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.2生物醫(yī)學(xué)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.2生物醫(yī)學(xué)領(lǐng)域基于大數(shù)據(jù)的流行預(yù)測(cè)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.2生物醫(yī)學(xué)領(lǐng)域智慧醫(yī)療大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.2生物醫(yī)學(xué)領(lǐng)域生物信息學(xué)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.3智慧城市領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.3智慧城市領(lǐng)域城市現(xiàn)存問(wèn)題大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.3智慧城市領(lǐng)域智慧城市是以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電信網(wǎng)、廣電網(wǎng)、無(wú)線寬帶網(wǎng)等網(wǎng)絡(luò)的多樣化組合為基礎(chǔ)。智慧城市是技術(shù)集成、綜合應(yīng)用、高端發(fā)展的網(wǎng)絡(luò)化、信息化、智能化和現(xiàn)代化城市。智慧城市是以智慧技術(shù)、智慧產(chǎn)業(yè)、智慧人文、智慧服務(wù)、智慧管理、智慧生活等為重要內(nèi)容的城市發(fā)展的新模式。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.4商業(yè)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.4商業(yè)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.4商業(yè)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.5農(nóng)業(yè)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.5農(nóng)業(yè)領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.5農(nóng)業(yè)領(lǐng)域《中國(guó)農(nóng)業(yè)云大數(shù)據(jù)》、《中國(guó)網(wǎng)絡(luò)菜市場(chǎng)》兩大項(xiàng)目的云數(shù)據(jù)電商平臺(tái)已落戶貴州，旨在依托貴州良好的生態(tài)、區(qū)位、資源、氣候等方面的優(yōu)勢(shì)，將貴州打造成為全國(guó)第一個(gè)“數(shù)據(jù)農(nóng)業(yè)、智慧農(nóng)業(yè)、電商農(nóng)業(yè)、旅游農(nóng)業(yè)”一體化的示范省份。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.6安全領(lǐng)域大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.4.6安全領(lǐng)域大數(shù)據(jù)成為競(jìng)爭(zhēng)新焦點(diǎn)同時(shí)，帶來(lái)了更多安全風(fēng)險(xiǎn)1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.5大數(shù)據(jù)領(lǐng)域的主要職位及其能力要求萌芽期1.5大數(shù)據(jù)領(lǐng)域的主要職位及其能力要求大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)大數(shù)據(jù)是時(shí)代的重要力量，而熟練掌握大數(shù)據(jù)技術(shù)的人才是根本。由于大數(shù)據(jù)系統(tǒng)的復(fù)雜性和層次性，大數(shù)據(jù)領(lǐng)域的職位有不同的特點(diǎn)和不同能力要求。主要有以下職位：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.5.1首席數(shù)據(jù)官CDO（ChiefDataOfficer)首席數(shù)據(jù)官是隨著企業(yè)不斷發(fā)展而誕生的一個(gè)新型的管理者。其主要是負(fù)責(zé)根據(jù)企業(yè)的業(yè)務(wù)需求、選擇數(shù)據(jù)庫(kù)以及數(shù)據(jù)抽取、轉(zhuǎn)換和分析等工具，進(jìn)行相關(guān)的數(shù)據(jù)挖掘、數(shù)據(jù)處理和分析，并且根據(jù)數(shù)據(jù)分析的結(jié)果戰(zhàn)略性地對(duì)企業(yè)未來(lái)的業(yè)務(wù)發(fā)展和運(yùn)營(yíng)提供相應(yīng)的建議和意見(jiàn)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.5.2數(shù)據(jù)科學(xué)家數(shù)據(jù)科學(xué)家是運(yùn)用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、分布式處理等技術(shù)，從大量數(shù)據(jù)中提取出對(duì)業(yè)務(wù)有意義的信息，以易懂的形式傳達(dá)給決策者，并創(chuàng)造出新的數(shù)據(jù)運(yùn)用服務(wù)的人才。數(shù)據(jù)科學(xué)家擅長(zhǎng)“量化問(wèn)題，然后解決問(wèn)題”，他們的工作由三種內(nèi)容混合而成：定量分析(讓你了解數(shù)據(jù))、程序設(shè)計(jì)(讓你可以處理數(shù)據(jù))、講故事(讓你了解數(shù)據(jù)的含義)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.5.3大數(shù)據(jù)開(kāi)發(fā)工程師大數(shù)據(jù)開(kāi)發(fā)工程師要負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、ETL開(kāi)發(fā)、數(shù)據(jù)分析、數(shù)據(jù)指標(biāo)統(tǒng)計(jì)、大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)及業(yè)務(wù)開(kāi)發(fā)、平臺(tái)建設(shè)及維護(hù)等工作內(nèi)容。熟練掌握數(shù)據(jù)倉(cāng)庫(kù)、Hadoop生態(tài)體系、計(jì)算及二次開(kāi)發(fā)、大數(shù)據(jù)平臺(tái)工具的開(kāi)發(fā)：開(kāi)發(fā)平臺(tái)、調(diào)度系統(tǒng)、元數(shù)據(jù)平臺(tái)等工具。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.5.4大數(shù)據(jù)運(yùn)維工程師大數(shù)據(jù)運(yùn)維工程師負(fù)責(zé)和參與公司大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)規(guī)劃，運(yùn)維，監(jiān)控和優(yōu)化工作，保障數(shù)據(jù)平臺(tái)服務(wù)的穩(wěn)定性和可用性;及時(shí)反饋技術(shù)處理過(guò)程中的異常情況，及時(shí)向上級(jí)反饋告警，同時(shí)主動(dòng)協(xié)調(diào)資源推動(dòng)問(wèn)題解決；研究大數(shù)據(jù)前沿技術(shù)，改進(jìn)現(xiàn)有系統(tǒng)的服務(wù)和運(yùn)維架構(gòu)，提升系統(tǒng)可靠性和可運(yùn)維性;負(fù)責(zé)和參與自動(dòng)化運(yùn)維系統(tǒng)及平臺(tái)的建設(shè);負(fù)責(zé)優(yōu)化部門(mén)運(yùn)維流程提升運(yùn)維效率。1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6大數(shù)據(jù)面臨的挑戰(zhàn)和應(yīng)對(duì)措施大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6.2鯤鵬大數(shù)據(jù)解決方案/paper/214577890.html大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6.1大數(shù)據(jù)的挑戰(zhàn)計(jì)算和存儲(chǔ)融合，利用率低剛性擴(kuò)容數(shù)據(jù)孤島作業(yè)擁塞大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6.2鯤鵬大數(shù)據(jù)解決方案2019年在全聯(lián)接大會(huì)上，華為云發(fā)布了首個(gè)鯤鵬大數(shù)據(jù)解決方案——BigDataPro解決方案優(yōu)勢(shì)：高安全性：服務(wù)器及大數(shù)據(jù)平臺(tái)自主可控，芯片級(jí)數(shù)據(jù)加密，數(shù)據(jù)不失密高性能：比同檔通用服務(wù)器性能提升30%，超強(qiáng)算力，高并發(fā)應(yīng)用場(chǎng)景優(yōu)化，支持5000+節(jié)點(diǎn)大數(shù)據(jù)集群。高開(kāi)發(fā)：兼容ARM生態(tài)鏈，支持主流硬軟件，建立Openlab,提供軟件開(kāi)發(fā)，應(yīng)用移植，兼容認(rèn)證等服務(wù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6.3鯤鵬大數(shù)據(jù)解決方案應(yīng)用海量數(shù)據(jù)離線分析場(chǎng)景低成本:利用OBS實(shí)現(xiàn)低成本存儲(chǔ)。海量數(shù)據(jù)分析:利用Hive實(shí)現(xiàn)TB/PB級(jí)的數(shù)據(jù)分析?？梢暬膶?dǎo)入導(dǎo)出工具:通過(guò)可視化導(dǎo)入導(dǎo)出工具Loader，將數(shù)據(jù)導(dǎo)出到DWS，完成BI分析。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6.3鯤鵬大數(shù)據(jù)解決方案應(yīng)用海量數(shù)據(jù)存儲(chǔ)場(chǎng)景實(shí)時(shí)：利用Kafka實(shí)現(xiàn)海量騎車的消息實(shí)時(shí)接入。海量數(shù)據(jù)存儲(chǔ)：利用HBase實(shí)現(xiàn)PB級(jí)別海量數(shù)據(jù)存儲(chǔ)，并實(shí)現(xiàn)毫秒級(jí)別數(shù)據(jù)查詢。分布式數(shù)據(jù)查詢：利用Spark實(shí)現(xiàn)海量數(shù)據(jù)的分析查詢。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.6.3鯤鵬大數(shù)據(jù)解決方案應(yīng)用低時(shí)延實(shí)時(shí)數(shù)據(jù)分析場(chǎng)景實(shí)時(shí)數(shù)據(jù)采集:利用Flume實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)采集，并提供豐富的采集和存儲(chǔ)連接方式。海量的數(shù)據(jù)源接入∶利用Kafka實(shí)現(xiàn)萬(wàn)級(jí)別的電梯數(shù)據(jù)的實(shí)時(shí)接入。1.2.1什么是大數(shù)據(jù)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)1.7本章小結(jié)萌芽期1.7本章小結(jié)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)本章作為大數(shù)據(jù)基本理論及實(shí)踐的概述部分，重點(diǎn)介紹了大數(shù)據(jù)概念和特性，討論了大數(shù)據(jù)關(guān)鍵技術(shù)，包括大數(shù)據(jù)采集技術(shù)、大數(shù)據(jù)預(yù)處理技術(shù)、大數(shù)據(jù)存儲(chǔ)及管理技術(shù)、大數(shù)據(jù)分析及挖掘技術(shù)、大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù)。闡述了大數(shù)據(jù)行業(yè)中對(duì)專業(yè)人才的要求，最后基于目前大數(shù)據(jù)面臨的挑戰(zhàn)，給出鯤鵬大數(shù)據(jù)的解決方法。第二章

Linux的基礎(chǔ)操作大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1

Linux概述2.2

Linux命令2.3

本章小結(jié)本章目錄大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1Linux概述大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1Linux概述Linux內(nèi)核最初是由芬蘭人林納斯·托瓦茲(LinusBenedictTorvalds)在赫爾辛基大學(xué)上學(xué)時(shí)出于個(gè)人愛(ài)好而編寫(xiě)。在誕生之初，Linux系統(tǒng)就是一套免費(fèi)使用和自由傳播的類Unix操作系統(tǒng)，是一個(gè)基于POSIX和UNIX的多用戶、多任務(wù)、支持多線程和多CPU的操作系統(tǒng)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1.1Linux發(fā)行版本及特點(diǎn)目前被普遍使用的Linux發(fā)行版本如下：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)DebianUbuntuRedhatFedoraCentOS2.1.1Linux發(fā)行版本及特點(diǎn)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1.2Linux操作系統(tǒng)與Windows操作系統(tǒng)對(duì)比1.

界面風(fēng)格

Windows系統(tǒng)界面統(tǒng)一，外殼程序固定。

Linux系統(tǒng)發(fā)行版本圖形界面風(fēng)格依據(jù)發(fā)布版本不同而不同，可能互不兼容。2.

驅(qū)動(dòng)程序獲取

Windows系統(tǒng)驅(qū)動(dòng)程序豐富，版本更新頻繁。新硬件驅(qū)動(dòng)依賴于硬件廠商提供。一些老版本的硬件，如果沒(méi)有原配的驅(qū)動(dòng)有時(shí)難以支持。

Linux系統(tǒng)的驅(qū)動(dòng)程序由志愿者開(kāi)發(fā)，Linux核心開(kāi)發(fā)小組發(fā)布。在開(kāi)源開(kāi)發(fā)模式下，許多老版本的硬件很容易找到驅(qū)動(dòng)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1.2Linux操作系統(tǒng)與Windows操作系統(tǒng)對(duì)比3.

用戶體驗(yàn)

Windows系統(tǒng)的圖形化界面對(duì)沒(méi)有計(jì)算機(jī)背景知識(shí)的用戶使用十分有利。

Linux系統(tǒng)圖形界面使用簡(jiǎn)單，容易入門(mén)。但在命令行界面，需要學(xué)習(xí)相關(guān)知識(shí)才能熟練操作。4.學(xué)習(xí)難易度

Windows系統(tǒng)構(gòu)造復(fù)雜、變化頻繁，且知識(shí)、技能淘汰快，深入學(xué)習(xí)困難。Linux系統(tǒng)構(gòu)造簡(jiǎn)單、穩(wěn)定，且知識(shí)、技能傳承性好，深入學(xué)習(xí)相對(duì)容易。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.1.2Linux操作系統(tǒng)與Windows操作系統(tǒng)對(duì)比5.

軟件獲取

Windows系統(tǒng)上每一種特定功能可能都需要商業(yè)軟件的支持，需要購(gòu)買相應(yīng)的授權(quán)。Linux系統(tǒng)上大部分軟件都可以自由獲取，同樣功能的軟件選擇較少。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2Linux命令大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.1命令行技巧1.

Tap自動(dòng)補(bǔ)全如果已敲出的字符匹配到的命令或文件唯一,按Tab鍵，系統(tǒng)會(huì)自動(dòng)補(bǔ)全。然后按Tab鍵。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#catfi

[root@hadoop~]#catfile2.2.1命令行技巧2.命令歷史記錄可以通過(guò)history命令，查看歷史輸入過(guò)的命令。3.快速中斷進(jìn)程與清屏Linux某些程序的運(yùn)行，如果想要強(qiáng)制停止它，可以使用快捷鍵ctrl+c。通過(guò)快捷鍵ctrl+l，可以清空終端內(nèi)容或通過(guò)命令clear得到同樣效果。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.2

Linux幫助命令1.help命令與--help參數(shù)help命令能夠在控制臺(tái)上打印出我們需要的命令的幫助信息。格式：help<command>2.man命令man命令可以查詢某個(gè)命令的幫助信息。格式：man[選項(xiàng)]commandman命令相比于help命令最大的優(yōu)勢(shì)在于用戶可以在manpage中，通過(guò)按鍵交互進(jìn)行翻頁(yè)、查找等操作。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.3

Linux文件類型及查看操作1.Linux文件類型Linux常用的文件類型有普通文件、目錄文件、鏈接文件、設(shè)備文件、套接字文件和管道文件。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.3

Linux文件類型及查看操作以下主要介紹鏈接文件和設(shè)備文件。鏈接文件：在Linux系統(tǒng)中，鏈接文件分為兩種：硬鏈接文件和軟鏈接文件，這兩種文件都能實(shí)現(xiàn)windows中快捷方式的功能，但它們的實(shí)現(xiàn)方式不同。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.3

Linux文件類型及查看操作Linux系統(tǒng)中創(chuàng)建鏈接文件的命令是ln，其命令格式如下：ln[選項(xiàng)]源文件目標(biāo)文件ln命令的第一個(gè)參數(shù)為被鏈接的文件，即源文件的路徑名；第二個(gè)參數(shù)為鏈接文件的路徑名，指定鏈接文件的存儲(chǔ)位置。說(shuō)明：①當(dāng)ln命令的選項(xiàng)缺省時(shí)，系統(tǒng)會(huì)創(chuàng)建一個(gè)硬鏈接文件。②若搭配-s選項(xiàng)，則會(huì)創(chuàng)建一個(gè)軟鏈接文件。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.3

Linux文件類型及查看操作設(shè)備文件：Linux系統(tǒng)中將外部設(shè)備視為一個(gè)文件來(lái)管理，設(shè)備文件被保存在系統(tǒng)中的/dev目錄下。將設(shè)備抽象為文件的好處是：應(yīng)用程序可以使用與操作普通文件一樣的方式，對(duì)設(shè)備文件執(zhí)行打開(kāi)、關(guān)閉和讀寫(xiě)等操作。使用“l(fā)s–l/dev”命令查看設(shè)備文件的詳細(xì)信息。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.3

Linux文件類型及查看操作2.在Linux系統(tǒng)中，有以下三種查看文件類型的方法：ls命令

：參數(shù)-a列出目錄下的所有文件，包括以“.”開(kāi)頭的隱含文件。根據(jù)文件屬性的第一個(gè)屬性判斷文件類型。

file命令：能夠比較簡(jiǎn)單的給出文件的文件類型。stat命令：可以查看文件的詳細(xì)屬性(其中包括文件的時(shí)間屬性)。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.4文件與目錄操作1.Linux的目錄結(jié)構(gòu)如下所示：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.4文件與目錄操作1.Linux的目錄結(jié)構(gòu)/bin是Binaries(二進(jìn)制文件)的縮寫(xiě)，該目錄存放經(jīng)常使用的命令。/boot：引導(dǎo)目錄，存放啟動(dòng)Linux時(shí)使用的一些核心文件，包括一些連接文件以及鏡像文件。/dev:dev是Device的縮寫(xiě)。該目錄下存放的是Linux的外部設(shè)備。在Linux中，訪問(wèn)設(shè)備的方式和訪問(wèn)文件的方式是相同的。/etc:該目錄下存放的是所有系統(tǒng)管理所需要的配置文件和子目錄。/home:用戶的家目錄。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.4文件與目錄操作1.Linux的目錄結(jié)構(gòu)/proc:是一個(gè)虛擬目錄，是系統(tǒng)內(nèi)存的映射，可以直接訪問(wèn)它來(lái)獲取系proc:統(tǒng)信息，也可以直接修改里面的某些文件。/root:該目錄是系統(tǒng)管理員的用戶家目錄。

/run:這個(gè)目錄其實(shí)和/var/run是同一個(gè)目錄，這里面存放的是一些服務(wù)的pid。一個(gè)服務(wù)啟動(dòng)完后，是有一個(gè)pid文件的。

/sbin:s就是SuperUser的意思，該目錄存放的是系統(tǒng)管理員使用的系統(tǒng)管理程序。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.4文件與目錄操作1.Linux的目錄結(jié)構(gòu)

/srv:該目錄存放的是一些服務(wù)啟動(dòng)之后需要提取的數(shù)據(jù)。

/sys:該目錄存放的是與硬件驅(qū)動(dòng)程序相關(guān)的信息。/tmp:該目錄用來(lái)存放一些臨時(shí)文件。/usr:類似于windows下的ProgramFiles目錄，用戶的很多應(yīng)用程序和文件都存放在該目錄下。/var:該目錄存放的是不斷擴(kuò)充且經(jīng)常修改的目錄，包括各種日志文件或者pid文件。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令ls:命令功能：列出參數(shù)的屬性信息命令格式：ls[選項(xiàng)][參數(shù)]大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-a顯示包括隱藏文件(文件名以“.”開(kāi)頭)在內(nèi)的所有文件-l以長(zhǎng)格式顯示文件的詳細(xì)信息，這個(gè)選項(xiàng)最為常用。每行列出的信息：文件類型與權(quán)限、鏈接數(shù)、文件屬主(屬主就是所屬的主人，即owner)、文件屬組(屬組就是owner所在的group)、文件大小、建立或最近修改的時(shí)間名字-L若指定的名稱為一個(gè)符號(hào)鏈接文件，則顯示鏈接指向的文件-hhuman以人性化的方式顯示出來(lái)-A顯示指定目錄下的所有子目錄與文件，包括隱藏文件，但不列出“.”和“..”2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令ls:示例1：ls-la大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop01~]#ls-la/usr/lib總用量36dr-xr-xr-x.27rootroot40969月1619:25.drwxr-xr-x.13rootroot15510月503:28..drwxr-xr-x.2rootroot610月22020binfmt.ddrwxr-xr-x.3rootroot644月112018debug2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令cd：命令功能：切換目錄命令格式：cd[選項(xiàng)][directory]大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)參數(shù)功能說(shuō)明cd/進(jìn)入系統(tǒng)根目錄cd返回父級(jí)目錄cd或者cd～進(jìn)入當(dāng)前用戶主目錄cd/目錄名稱/目錄名稱/目錄名稱/跳轉(zhuǎn)到指定目錄cd-返回進(jìn)入此目錄之前所在的目錄2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令cd:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#cd/usr/src/[root@hadoopsrc]#pwd/usr/src2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令pwd：命令功能：打印當(dāng)前工作目錄的絕對(duì)路徑命令格式：pwd[選項(xiàng)]示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#pwd/root/data2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令touch：命令功能：更新已存在文件的時(shí)間標(biāo)簽，若文件不存在則新建文件命令格式：touch[選項(xiàng)]filename示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#lsdatadata.zipresult[root@hadoop~]#touchfile[root@hadoop~]#lsdatadata.zipfileresult2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令cp:命令功能：將一個(gè)或多個(gè)源文件復(fù)制到指定目錄命令格式：cp[選項(xiàng)]sourcedest大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-a該選項(xiàng)通常在復(fù)制目錄時(shí)使用。它保留鏈接、文件屬性，并遞歸地復(fù)制目錄-d若來(lái)源檔為連結(jié)檔的屬性(linkfile)，則復(fù)制鏈接文件屬性而非文件本身-f為強(qiáng)制(force)的意思，若目標(biāo)文件已經(jīng)存在且無(wú)法開(kāi)啟，則移除后再嘗試一次-R遞歸復(fù)制整個(gè)文件夾2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令cp:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#ls[root@hadoopdata]#cp../file../data[root@hadoopdata]#lsfile2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令mv:

命令功能：移動(dòng)文件或目錄命令格式：mv[選項(xiàng)]sourcedest大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-i交互方式操作。若mv操作將覆蓋已經(jīng)存在的目標(biāo)文件，系統(tǒng)會(huì)詢問(wèn)是否重寫(xiě)，要求用戶回答y或者n，這樣可以避免誤覆蓋文件-f禁止交互操作。在mv操作要覆蓋某已有的目標(biāo)文件時(shí)不給任何提示，指定此選項(xiàng)后，-i選項(xiàng)將不再起作用。如果所給目標(biāo)文件(不是目錄)已存在，該文件的內(nèi)容將被新文件覆蓋2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令mv:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#ll總用量8-rw-r--r--.1rootroot6010月417:42result[root@hadoop~]#mvfiletest[root@hadoop~]#ll總用量8-rw-r--r--.1rootroot010月523:56test2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令rm:命令功能：刪除目錄中的文件或目錄命令格式：rm[選項(xiàng)]filename大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-i刪除前逐一詢問(wèn)確認(rèn)，進(jìn)行交互式刪除-f刪除文件前，不詢問(wèn)確認(rèn)，強(qiáng)制刪除-r將參數(shù)中列出的全部目錄和子目錄均遞歸地刪除，若未使用-r選項(xiàng)，則rm不會(huì)刪除目錄-v顯示指令的詳細(xì)執(zhí)行過(guò)程2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令rm:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#ls-l總用量0-rw-r--r--.1rootroot010月600:01file-rw-r--r--.1rootroot010月523:56test[root@hadoopdata]#rm-rftest[root@hadoopdata]#ls-l總用量0-rw-r--r--.1rootroot010月600:01file2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令mkdir:命令功能：創(chuàng)建目錄命令格式：mkdir[選項(xiàng)][dirname]大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能-p創(chuàng)建一個(gè)完整的目錄結(jié)構(gòu)，即使用-p選項(xiàng)時(shí)，可在指定的目錄下逐級(jí)創(chuàng)建目錄-m對(duì)新創(chuàng)建的目錄設(shè)置存取權(quán)限，也可以使用chmod命令設(shè)置2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令mkdir:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#ls[root@hadoop~]#mkdirdata[root@hadoop~]#ls-l總用量0drwxr-xr-x.2rootroot610月600:20data2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令rmdir:命令功能：刪除目錄命令格式：rmdir[選項(xiàng)][dirname]大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-P刪除指定目錄上的所有目錄，這些目錄都應(yīng)該是空目錄-i在刪除過(guò)程中，以詢問(wèn)的方式完成刪除操作2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令rmdir:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#ls-l總用量0drwxr-xr-x.3rootroot1510月600:26adrwxr-xr-x.2rootroot610月600:26data[root@hadoop~]#rmdirdata[root@hadoop~]#ls-l總用量0drwxr-xr-x.3rootroot1510月600:26a總用量02.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令ln:命令功能：創(chuàng)建鏈接文件命令格式：ln[參數(shù)][源文件或目錄](méi)[目標(biāo)文件或目錄](méi)大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-i交互模式，文件存在則提示用戶是否覆蓋。-s軟鏈接(符號(hào)鏈接)-d允許超級(jí)用戶制作目錄的硬鏈接。-b刪除，覆蓋以前建立的鏈接2.2.4文件與目錄操作2.Linux有關(guān)文件與目錄操作命令ln:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#ln-stesttest_ln[root@hadoop~]#lsa.txtfifo_filefile2test_ln[root@hadoop~]#rm-rf./test_ln#刪除軟連接(注意不要寫(xiě)最后的/)[root@hadoop~]#lsa.txtfifo_filefile22.2.5文本編輯Vi編輯器是Linux系統(tǒng)下最基本的編輯器，工作在字符模式下，工作模式分為命令模式、插入模式和末行模式，這三種模式之間可以進(jìn)行轉(zhuǎn)換。1.命令模式命令模式下，可通過(guò)鍵盤(pán)控制光標(biāo)的移動(dòng)，實(shí)現(xiàn)文本內(nèi)容的復(fù)制、粘貼、刪除等操作。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.5文本編輯1.命令模式

命令模式常用指令：復(fù)制和粘貼和刪除

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)命令功能說(shuō)明yy復(fù)制當(dāng)前行yw復(fù)制光標(biāo)后的一個(gè)單詞y0復(fù)制當(dāng)前字符到當(dāng)前行的起始y$復(fù)制當(dāng)前字符到當(dāng)前行的未尾yG復(fù)制當(dāng)前行到文件末尾的內(nèi)容n+yy復(fù)制n行yy復(fù)制當(dāng)前行p粘貼2.2.5文本編輯1.命令模式

命令模式常用指令：復(fù)制和粘貼和刪除

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)命令功能說(shuō)明x刪除當(dāng)前字符X刪除前一個(gè)字符dd刪除當(dāng)前行dw刪除光標(biāo)后的一個(gè)單詞d$刪除當(dāng)前字符到當(dāng)前行的末尾d0刪除當(dāng)前字符到當(dāng)前行的開(kāi)始dG刪除當(dāng)前行到文件末尾2.2.5文本編輯1.命令模式

控制光標(biāo)常用指令：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)命令功能說(shuō)明h或左方向鍵左移一位l或右方向鍵右移一位j或下方向鍵下移一位k或上方向鍵上移一位h或左方向鍵左移一位l或右方向鍵右移一位j或下方向鍵下移一位2.2.5文本編輯1.命令模式

控制光標(biāo)常用指令：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)命令功能說(shuō)明數(shù)字0移置本行開(kāi)頭$移動(dòng)至行尾w移動(dòng)到下一個(gè)單詞的開(kāi)頭b移動(dòng)到上一個(gè)單詞的開(kāi)頭e移動(dòng)到當(dāng)前單詞的未尾命令功能說(shuō)明H移動(dòng)到屏幕最上面一行M移動(dòng)到屏幕中間一行L移動(dòng)到屏幕最下面一行g(shù)g移動(dòng)到文件開(kāi)頭G移動(dòng)到文件未尾2.2.5文本編輯2.插入模式在插入模式下可以編輯文本內(nèi)容。在命令行模式下按i,I,o,O,a,A等鍵可以進(jìn)入插入模式，在此模式下可以輸入文本，但命令執(zhí)行后的字符插入位置不同。

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.5文本編輯3.末行模式

末行模式下可以對(duì)文件進(jìn)行保存，也可進(jìn)行查找、設(shè)置、退出編輯器等操作。末行模式常用命令：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)命令功能說(shuō)明:wfilename以指定的文件名filename保存并退出(類似于另存為):w保存當(dāng)前修改，還可繼續(xù)編輯:wq保存并退出vi環(huán)境:q退出vi環(huán)境:q!不保存修改，并強(qiáng)制退出vi環(huán)境命令功能說(shuō)明:x保存并退出Vi環(huán)境，相當(dāng)于“:wq”命令ZZ保存并退出vi環(huán)境:setnumber顯示行號(hào):!系統(tǒng)命令執(zhí)行一個(gè)系統(tǒng)命令并顯示結(jié)果:sh切換到命令行，按Ctrl+D組合鍵切換回vi環(huán)境2.2.6

文本過(guò)濾器與處理cat：命令功能：打印文件內(nèi)容到輸出設(shè)備

命令格式：cat[選項(xiàng)]filename示例：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#catfilereshmilkmetamorphicfruit2.2.6

文本過(guò)濾器與處理more：命令功能：分頁(yè)顯示文件內(nèi)容命令格式：more[選項(xiàng)]要查看的文件

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#more+3a.txt#顯示文件中從第3行起的內(nèi)容342.2.6

文本過(guò)濾器與處理head：命令功能：查看文件的前n行

命令格式：head[選項(xiàng)]filename

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#head-n3file#顯示文件file的前3行reshmilkmetamorphicfruitfreshvegetable2.2.6

文本過(guò)濾器與處理tail：命令功能：查看文件的后n行

命令格式：tail[選項(xiàng)]filename

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#tail-n3/etc/passwd#查看/etc/passwd文件最后3行的數(shù)據(jù)內(nèi)容tt:x:1000:1000::/home/tt:/bin/bashuser:x:1001:1001::/home/user:/bin/bashtestUser:x:1002:1003::/home/testUser:/bin/bash2.2.6

文本過(guò)濾器與處理file：命令功能：辨識(shí)文件類型

命令格式：file[選項(xiàng)]filename

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop~]#filefile1file1:ASCIItext

2.2.7用戶與工作組管理Linux系統(tǒng)是一個(gè)多用戶、多任務(wù)的分時(shí)操作系統(tǒng)。在Linux系統(tǒng)中，用戶可分為以下3種類型：（1）root用戶：又稱為超級(jí)用戶，ID為0，擁有最高權(quán)限，可以對(duì)普通用戶和整個(gè)系統(tǒng)進(jìn)行管理。（2）系統(tǒng)用戶：又稱為虛擬用戶、偽用戶或假用戶，不具有登錄Linux系統(tǒng)的能力，但卻是系統(tǒng)運(yùn)行不可缺少的用戶，一般ID為1～499。（3）普通用戶：ID為500以上?？梢缘卿汱inux系統(tǒng)，但是使用的權(quán)限有限。這類用戶由系統(tǒng)管理員創(chuàng)建。

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.7用戶與工作組管理用戶組是具有相同特征用戶的集合，每個(gè)用戶都有一個(gè)用戶組，方便系統(tǒng)集中管理一個(gè)用戶組中的所有用戶。用戶和用戶組的對(duì)應(yīng)關(guān)系有以下4種：（1）一對(duì)一：一個(gè)用戶可以存在一個(gè)組中，是組中的唯一成員。（2）一對(duì)多：一個(gè)用戶可以存在多個(gè)用戶組中，此用戶具有這多個(gè)組的共同權(quán)限。（3）多對(duì)一：多個(gè)用戶可以存在一個(gè)組中，這些用戶具有和用戶組相同的權(quán)限。（4）多對(duì)多：多個(gè)用戶可以存在多個(gè)組中，也就是以上3種關(guān)系的擴(kuò)展。

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.7用戶與工作組管理實(shí)現(xiàn)用戶與用戶組的管理，要完成的工作主要有如下幾個(gè)方面：用戶賬號(hào)的添加、刪除與修改；用戶口令的管理；用戶組的管理。通過(guò)定義用戶組，在很多程序上簡(jiǎn)化了對(duì)用戶的管理工作。

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：useradd:命令功能：添加用戶命令的格式：useradd[選項(xiàng)]username

示例1：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#useraddtt[root@hadoopdata]#tail-n1/etc/passwdtt:x:1003:1004::/home/tt:/bin/bash

2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：useradd:

示例2：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#useradd-d/usr/testtest[root@hadoopdata]#tail-n1/etc/passwdtest:x:1004:1005::/usr/test:/bin/bash

2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：userdel:命令功能：刪除指定賬戶以及與賬戶相關(guān)的文件和信息

命令格式：userdel[選項(xiàng)]username

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-f強(qiáng)制刪除用戶，即使用戶當(dāng)前已登錄-r刪除用戶的同時(shí)，刪除與用戶相關(guān)的所有文件2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：userdel:

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#userdel-rtest[root@hadoopdata]#tail-n1/etc/passwd

2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：passwd:命令功能：設(shè)置用戶的認(rèn)證信息，包括用戶密碼、密碼有效期等

命令格式：passwd[選項(xiàng)][username]

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#passwd-ltt#使用passwd鎖定用戶鎖定用戶tt的密碼。passwd:操作成功

2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：usermod:命令功能：修改用戶賬號(hào)信息命令的格式：usermod[選項(xiàng)]username

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能-a把用戶追加到某些組中，僅與-G選項(xiàng)一起使用-c修改用戶賬號(hào)的描述信息-d修改用戶的宿主目錄-e修改用戶賬號(hào)的有限期限-f修改用戶密碼過(guò)期多少天后就禁用該賬號(hào)-g修改用戶所屬組2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：usermod:

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能-G修改用戶所屬的附加組-l修改用戶的登錄名稱-L鎖定用戶的密碼-s修改用戶登入后所用的shell-u修改用戶的uid，該uid必須唯一-U解鎖用戶的密碼2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：usermod:示例：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoop01data]#tail-n2/etc/passwdtestuser:x:1006:1001::/home/testuser:/bin/bashmyuser:x:1007:1001::/home/myuser:/bin/bash[root@hadoop01data]#usermod-luser1myuser[root@hadoop01data]#tail-n2/etc/passwdtestuser:x:1006:1001::/home/testuser:/bin/bash

user1:x:1007:1001::/home/myuser:/bin/bash

2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：groupadd:命令功能：主動(dòng)添加用戶組

命令格式：groupadd[選項(xiàng)]用戶名大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-g(組ID)指定新用戶組的組標(biāo)識(shí)號(hào)ID-r創(chuàng)建系統(tǒng)工作組-k覆蓋配置文件“/etc/login.defs”-o允許添加組ID號(hào)不唯一的組2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：groupadd:示例：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#groupadd-g2000youGroup[root@hadoopdata]#grepyouGroup/etc/groupyouGroup:x:2000:2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：groupmod:命令功能：修改用戶組的屬性命令格式：group[選項(xiàng)]group大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-g修改用戶組的組標(biāo)識(shí)號(hào)-n將用戶組的名字改為新名字-o和-g選項(xiàng)同時(shí)使用，用戶組的新gid能和系統(tǒng)已有用戶組的gid相同2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：groupmod:示例：

大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#groupmod-g1999youGroup[root@hadoopdata]#grepyouGroup/etc/groupyouGroup:x:1999:

2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：groupdel:命令功能：刪除已存在的用戶組命令格式：groupdelgroup大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)選項(xiàng)功能說(shuō)明-g修改用戶組的組標(biāo)識(shí)號(hào)-n將用戶組的名字改為新名字-o和-g選項(xiàng)同時(shí)使用，用戶組的新gid能和系統(tǒng)已有用戶組的gid相同2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：groupdel:示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#groupdelotherGroup[root@hadoopdata]#grepotherGroup/etc/group[root@hadoopdata]#2.2.7用戶與工作組管理有關(guān)用戶和工作組的命令如下：su:命令功能：切換當(dāng)前用戶身份到其他用戶身份

命令格式：su[選項(xiàng)][參數(shù)]示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[root@hadoopdata]#sutt[tt@hadoopdata]$

2.2.8文件權(quán)限管理根據(jù)用戶與文件的關(guān)系，Linux系統(tǒng)中將用戶分為文件或目錄的擁有者、同組用戶、其他組用戶和全部用戶；又根據(jù)用戶對(duì)文件的權(quán)限，將用戶權(quán)限分為讀取權(quán)限（read）、寫(xiě)入權(quán)限（write）和執(zhí)行權(quán)限（execute）。大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)權(quán)限對(duì)文件的影響對(duì)目錄的影響r(讀)可讀取文件內(nèi)容可列出目錄內(nèi)容w(寫(xiě))可修改、刪除文件內(nèi)容可在目錄中創(chuàng)建、刪除文件x(執(zhí)行)可作為命令執(zhí)行可訪問(wèn)目錄內(nèi)容2.2.8文件權(quán)限管理權(quán)限管理命令：chown：命令功能：變更文件或目錄的所有者命令格式：chown[選項(xiàng)][owner][:[group]]file大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)2.2.8文件權(quán)限管理權(quán)限管理命令：chown：

示例：大數(shù)據(jù)理論與應(yīng)用基礎(chǔ)[user@hadoop~]$ls-ldtestdrwxr-