數(shù)據(jù)中心運(yùn)維信息安全管理體系標(biāo)準(zhǔn)和認(rèn)證ISO27001

信息安全管理體系標(biāo)準(zhǔn)和認(rèn)證ISO27001ISO27001是什么隨著全球范圍內(nèi)，信息化的高速發(fā)展，信息安全已成為各種組織（包括政府部門）以及普通民眾關(guān)注的焦點(diǎn)，在全球范圍內(nèi)的各個機(jī)構(gòu)、組織、個人都在探尋如何保障信息安全的問題。從本質(zhì)上說，信息安全威脅是全球化的。一般來說，它將毫無差別地輻射到每一個擁有、使用電子信息的機(jī)構(gòu)和個人。這種威脅在互聯(lián)網(wǎng)的環(huán)境中自動生成并釋放。更嚴(yán)重的問題是，其他各種形式的危險也在整日威脅數(shù)據(jù)安全，包括從外部攻擊行為到內(nèi)部破壞、偷盜等一系列危險。ISO/IEC27000系列標(biāo)準(zhǔn)（又名ISO/IEC27000標(biāo)準(zhǔn)系列，及“信息安全管理系統(tǒng)標(biāo)準(zhǔn)族”）是由國際標(biāo)準(zhǔn)化組織（ISO）及國際電工委員會（IEC）聯(lián)合定制。該標(biāo)準(zhǔn)系列由最佳實(shí)踐所得并提出對于信息安全管理的建議，并在信息安全管理系統(tǒng)領(lǐng)域中的風(fēng)險及相關(guān)管控。ISO27001目前已經(jīng)被普遍應(yīng)用于軟件、銀行、電信、印刷、政府等行業(yè)。實(shí)施好處增強(qiáng)顧客信心和滿意改善對安全方針及要求的符合性提供競爭優(yōu)勢對組織內(nèi)部：改善總體安全管理并減少安全事件的影響便利持續(xù)改進(jìn)提高員工動力與參與提高盈利能力標(biāo)準(zhǔn)特點(diǎn)ISO/IEC27000信息安全管理體系是建立和維持信息安全管理體系的標(biāo)準(zhǔn)，標(biāo)準(zhǔn)要求組織通過確定信息安全管理體系范圍，制定信息安全方針，明確管理職責(zé)，以風(fēng)險評估為基礎(chǔ)選擇控制目標(biāo)與控制措施等一系列活動來建立信息安全管理體系;體系一旦建立，組織應(yīng)按體系的規(guī)定要求進(jìn)行運(yùn)作，保持體系運(yùn)行的有效性；信息安全管理體系應(yīng)形成一定的文件，即組織應(yīng)建立并保持一個文件化的信息安全管理體系，其中應(yīng)闡述被保護(hù)的資產(chǎn)、組織風(fēng)險管理方法、控制目標(biāo)與控制措施、信息資產(chǎn)需要保護(hù)的程度等內(nèi)容。ISO/IEC27001:2013作為企業(yè)建立信息安全管理體系的最新要求，體系包括14個控制域、35個控制目標(biāo)、114項(xiàng)控制措施。信息安全信息安全管理體系可以系統(tǒng)化管理信息安全，信息安全主要包括保持信息的保密性(信息不能被未授權(quán)的個人、實(shí)體或者過程利用或知悉的特性)、完整性(準(zhǔn)確和完備的特性)和可用性(根據(jù)授權(quán)實(shí)體的要求可訪問和使用的特性)。管理體系主要內(nèi)容組織環(huán)境。組織需要建立組織環(huán)境管理的基本方法并識別組織的基本環(huán)境信息，其實(shí)所謂的組織環(huán)境也就是我們常說的組織的基本情況，例如組織業(yè)務(wù)及業(yè)務(wù)特點(diǎn)、來自外部的限制條件和約束、內(nèi)部的限制條件和約束、相關(guān)方及其特點(diǎn)等，這些都會影響體系的設(shè)計效果，就像設(shè)計一個建筑要了解地質(zhì)條件和人文環(huán)境一樣重要。領(lǐng)導(dǎo)力。沒有管理層的支持就沒有資源，因此要明確管理層的責(zé)任。管理體系要實(shí)現(xiàn)的組織管理目的其實(shí)就是管理層的管理目的，管理層在管理體系里面一個重要的責(zé)任就是要明確提出管理目的，也就是我們常說的確定方針，如果缺少這個環(huán)節(jié)，設(shè)計出的管理體系就不會得到管理層的支持。除此之外，為了實(shí)現(xiàn)管理目的，還需要管理層提供資源，分配職責(zé)和賦予權(quán)力。規(guī)劃。有了方針，自然要去實(shí)現(xiàn)它，管理體系的方針實(shí)現(xiàn)過程就是通過建立與方針保持一致的目標(biāo)來實(shí)現(xiàn)，因此在規(guī)劃階段要建立逐級分解的目標(biāo)，一般目標(biāo)分為上層目標(biāo)和下層目標(biāo)，上層目標(biāo)為下層目標(biāo)提供方向，下層目標(biāo)對上層目標(biāo)進(jìn)行支撐，分解為多少層與組織的組織架構(gòu)和管理結(jié)構(gòu)有直接關(guān)系，重點(diǎn)是要分解到可以通過活動來實(shí)現(xiàn)的層級。并不是每一個目標(biāo)分解的層級都是一樣的，需要根據(jù)實(shí)際情況來確定。在規(guī)劃的環(huán)節(jié)，還應(yīng)充分考慮組織的風(fēng)險管理，在目標(biāo)實(shí)現(xiàn)過程中，總是會有各種因素影響目標(biāo)的實(shí)現(xiàn)，這些因素需要進(jìn)行識別并得到有效控制。但這些因素的識別不要盲目采用那些所謂放之四海而皆準(zhǔn)的列表，而是要結(jié)合組織自己的情況來針對性識別，也就是要充分利用識別的組織環(huán)境信息?；谏鲜龌顒?，組織就可以建立起貼合實(shí)際的目標(biāo)實(shí)現(xiàn)計劃。支持。從體系建設(shè)之初，對資源的需求就開始了，這一章正式提出了建立、運(yùn)行、維護(hù)和持續(xù)改進(jìn)管理體系所需要的支持，因此可以看出，標(biāo)準(zhǔn)的章節(jié)并不是按體系建設(shè)執(zhí)行順序來寫的，不是要等規(guī)劃完成后再考慮支持資源的提供和支持活動的建立。管理體系的支持主要從資源管理、人員能力管理、意識管理、溝通管理和文檔管理等5個方面提出要求。這些方面，組織根據(jù)實(shí)際情況或者根據(jù)現(xiàn)有的管理情況確定管理過程即可。主要內(nèi)容運(yùn)行。由于資源和能力限制，運(yùn)行不一定要把規(guī)劃好的活動和管理過程全部進(jìn)行實(shí)施和投入運(yùn)行。實(shí)際情況是，管理體系的建立和運(yùn)行在不同規(guī)模的組織內(nèi)需要1年到3年的時間才能夠相對完善。因此建設(shè)運(yùn)行計劃很重要，組織需要根據(jù)組織的管理現(xiàn)狀、資源限制情況、相關(guān)方要求的影響程度等多個方面，建立可行的建設(shè)運(yùn)行計劃。對于那些必須滿足的要求、急需解決的問題、對組織有重大影響的風(fēng)險，需要集中資源重點(diǎn)進(jìn)行實(shí)施和運(yùn)行；對于那些對業(yè)務(wù)影響比較大，需要反復(fù)論證和測試的，可以單獨(dú)作為項(xiàng)目進(jìn)行管理和實(shí)施；對于自我實(shí)現(xiàn)成本過高的可以通過外包的形式進(jìn)行實(shí)現(xiàn)；對于時間要求不緊迫的方面，可以在時間表上緩一緩。一個好的建設(shè)運(yùn)行計劃，可以保證體系有條不紊地運(yùn)行。性能評價也是績效評價的一種方式，管理評審方式比較直接，由管理層直接作出評價。當(dāng)然，管理層需要內(nèi)部審核的結(jié)果和體系運(yùn)行的其他信息來進(jìn)行綜合評價。管理層的評價很重要，直接決定接下來他是否會更好地支持管理體系的運(yùn)行工作。持續(xù)改進(jìn)?？冃гu價是持續(xù)改進(jìn)的一個重要輸入，對于存在的問題和無法實(shí)現(xiàn)預(yù)期目標(biāo)的方面都要進(jìn)行改進(jìn)。信息安全標(biāo)準(zhǔn)ISO/IEC27001-2013對信息安全管理給出建議，供負(fù)責(zé)在其組織啟動、實(shí)施或維護(hù)安全的人員使用。該標(biāo)準(zhǔn)為開發(fā)組織的安全標(biāo)準(zhǔn)和有效的安全管理做法提供公共基礎(chǔ)，并為組織之間的交往提供信任。其包括14個章節(jié)：信息安全策略。信息安全的組織。人力資源安全。資產(chǎn)管理。訪問控制。密碼學(xué)。物理和環(huán)境安全。操作管理。通訊安全。系統(tǒng)采集、開發(fā)和維護(hù)。供應(yīng)商關(guān)系。信息安全事故管理。業(yè)務(wù)連續(xù)性管理。符合性?？冃гu價績效評價?？冃гu價設(shè)計的好壞，直接影響著管理體系在管理層心目中的形象。這個環(huán)節(jié)是否能夠很好地進(jìn)行設(shè)計和實(shí)施取決于規(guī)劃環(huán)節(jié)目標(biāo)對方針的支持程度和目標(biāo)層級的設(shè)計是否合理，因?yàn)楣芾眢w系是否實(shí)現(xiàn)管理層的管理目的要看方針和目標(biāo)是否得到實(shí)現(xiàn)。當(dāng)然這只是一個方面，有了好的目標(biāo)框架設(shè)計，還需要好的績效評價方法和評估實(shí)施過程。很多組織會建立單獨(dú)的績效評價方法和過程，但實(shí)際上內(nèi)部審核是非常好的績效評價手段。所謂內(nèi)部審核，就是組織對自己體系運(yùn)行情況的評價活動，主要用來區(qū)別于第三方審核。組織可以任意設(shè)計內(nèi)部審核的方式和頻率，不需要每年一次，更不需要由幾個人員來完成整個組織的內(nèi)部審核工作。組織可以為每一個影響管理目標(biāo)的管理過程和管理措施，甚至是活動和崗位，設(shè)計評價指標(biāo)、評價方法、評價頻率并指定評價人員。將管理體系的內(nèi)部審核工作分散到各個部門、各個團(tuán)隊，定期或不定期地由相關(guān)人員提供信息和數(shù)據(jù)，然后由專門的部門或崗位對信息和數(shù)據(jù)進(jìn)行匯總分析，從而實(shí)現(xiàn)績效的評價。但需要注意的是，評價方法、抽樣方式和頻率、績效計算公式等方面要進(jìn)行詳細(xì)、科學(xué)、合理的設(shè)計才會實(shí)現(xiàn)預(yù)期的目的。認(rèn)證流程策劃準(zhǔn)備階段策劃與準(zhǔn)備階段主要是做好建立信息安全管理體系的各種前期工作。內(nèi)容包括教育培訓(xùn)、擬定計劃、安全管理發(fā)展情況調(diào)研，以及人力資源的配置與管理。同時需明確信息安全管理體系適用的范圍，即需要重點(diǎn)管理的安全邊界。組織應(yīng)根據(jù)內(nèi)部實(shí)際管理情況，考慮對整體或個別部門進(jìn)行實(shí)施。在定義范圍時應(yīng)全面評估人員、資產(chǎn)以及環(huán)境?，F(xiàn)狀調(diào)查與風(fēng)險評估依據(jù)有關(guān)信息安全技術(shù)與管理標(biāo)準(zhǔn)，對信息系統(tǒng)及由其處理、傳輸和存儲的信息的機(jī)密性、完整性和可用性等安全屬性進(jìn)行調(diào)研和評價，以及評估信息資產(chǎn)面臨的威脅以及導(dǎo)致安全事件發(fā)生的可能性，并結(jié)合安全事件所涉及的信息資產(chǎn)價值來判斷安全事件一旦發(fā)生對組織造成的影響。建立信息安全管理框架建立信息安全管理體系要規(guī)劃和建立一個合理的信息安全管理框架，要從整體和全局的視角，從信息系統(tǒng)的所有層面進(jìn)行整體安全建設(shè)，從信息系統(tǒng)本身出發(fā)，根據(jù)業(yè)務(wù)性質(zhì)、組織特征、信息資產(chǎn)狀況和技術(shù)條件，建立信息資產(chǎn)清單，進(jìn)行風(fēng)險分析、需求分析和選擇安全控制，準(zhǔn)備適用性聲明等步驟，從而建立安全體系并提出安全解決方案。體系文件資料編制建立并保持一個文件化的信息安全管理體系是ISO/IEC27001:2005標(biāo)準(zhǔn)的總體要求，編寫信息安全管理體系文件是建立信息安全管理體系的基礎(chǔ)工作，也是一個組織實(shí)現(xiàn)風(fēng)險控制、評價和改進(jìn)信息安全管理體系、實(shí)現(xiàn)持續(xù)改進(jìn)不可少的依據(jù)。在信息安全管理體系建立的文件中應(yīng)該包含有：安全方針文檔、適用范圍文檔、風(fēng)險評估文檔、實(shí)施與控制文檔、適用性聲明文檔。認(rèn)證流程體系運(yùn)行與改進(jìn)信息安全管理體系文件編制完成以后，組織應(yīng)按照文件的控制要求進(jìn)行審核與批準(zhǔn)并發(fā)布實(shí)施，至此，信息安全管理體系將進(jìn)入運(yùn)行階段。在此期間，組織應(yīng)加強(qiáng)運(yùn)作力度，充分發(fā)揮體系本身的各項(xiàng)功能，及時發(fā)現(xiàn)體系策劃中存在的問題，找出問題根源，采取糾正措施，并按照更改控制程序要求對體系予以更改，以達(dá)到進(jìn)一步完善信息安全管理體系的目的。體系認(rèn)證審核體系審核是為獲得審核證據(jù)，對體系進(jìn)行客觀的評價，以確定滿足審核準(zhǔn)則的程度所進(jìn)行的系統(tǒng)的、獨(dú)立的并形成文件的檢查過程。體系審核包括內(nèi)部審核和外部審核(第三方審核)。內(nèi)部審核一般以組織名義進(jìn)行，可作為組織自我合格檢查的基礎(chǔ);外部審核由外部獨(dú)立的組織進(jìn)行，可以提供符合要求的認(rèn)證或注冊。至于應(yīng)采取哪些控制方式則需要周密計劃，并注意控制細(xì)節(jié)。信息安全管理需要組織中的所有雇員的參與，比如為了防止組織外的第三方人員非法進(jìn)入組織的辦公區(qū)域獲取組織的技術(shù)機(jī)密，除物理控制外，還需要組織全體人員參與，加強(qiáng)控制。此外還需要供應(yīng)商，顧客或股東的參與，需要組織以外的專家建議。信息、信息處理過程及對信息起支持作用的信息系統(tǒng)和信息網(wǎng)絡(luò)都是重要的商務(wù)資產(chǎn)。信息的保密性、完整性和可用性對保持競爭優(yōu)勢、資金流動、效益、法律符合性和商業(yè)形象都是至關(guān)重要的。ISO27001實(shí)施意義識別信息安全風(fēng)險、增強(qiáng)安全防范意識；明確安全管理職責(zé)，強(qiáng)化風(fēng)險控制責(zé)任；明確安全管理要求，規(guī)范從業(yè)人員行為；保護(hù)關(guān)鍵信息資產(chǎn)，保持業(yè)務(wù)穩(wěn)定運(yùn)營；防止外來病毒侵襲，減小最低損失程度；樹立公司對外形象，增加客戶合作信心。任務(wù)1.1部署Hive本地模式【任務(wù)場景】經(jīng)理：Hive目前是Hadoop生態(tài)圈中最常用的數(shù)據(jù)倉庫工具，大部分互聯(lián)網(wǎng)公司使用Hive進(jìn)行日志分析，包括百度、淘寶等。咱們的日志系統(tǒng)數(shù)據(jù)分析可以基于Hive來做。小張：好的，我馬上開始研究Hive數(shù)據(jù)倉庫。經(jīng)理：Hive是一種建立在Hadoop文件系統(tǒng)上的數(shù)據(jù)倉庫架構(gòu)，并對存儲在HDFS中的數(shù)據(jù)進(jìn)行分析和管理；它可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能，所以你熟悉SQL語言，Hive分析上手應(yīng)該非常快。小張：好的，我先基于咱們現(xiàn)有的Hadoop平臺把Hive安裝部署好。經(jīng)理：好。任務(wù)1.1部署Hive本地模式【任務(wù)布置】根據(jù)使用場景不同，Hive的安裝部署模式分為三種，分別是內(nèi)嵌模式、本地模式和遠(yuǎn)程模式。Hive內(nèi)嵌模式由于只支持單會話連接，所以很少使用。Hive本地安裝模式和遠(yuǎn)程模式都是常見的安裝和部署方法。此任務(wù)要求完成Hive本地模式的安裝部署，安裝完成后通過命令格式化Hive元數(shù)據(jù)庫，然后運(yùn)行和訪問Hive。任務(wù)1.1部署Hive本地模式8.1.1Hive介紹Hive是建立在Hadoop之上的數(shù)據(jù)倉庫，可對存儲在HDFS上的文件中的數(shù)據(jù)集進(jìn)行數(shù)據(jù)整理、特殊查詢和分析處理。Hive最初是應(yīng)Facebook每天產(chǎn)生的海量新興社會網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行管理和機(jī)器學(xué)習(xí)的需求而產(chǎn)生和發(fā)展的。Hive定義了一種類似SQL的查詢語言，被稱為HQL，對于熟悉SQL的用戶可以直接利用Hive來查詢數(shù)據(jù)，但HiveQL不完全支持SQL標(biāo)準(zhǔn)，如不支持更新操作、索引和事務(wù)，其子查詢和連接操作也存在很多限制。同時，這個語言也允許熟悉MapReduce開發(fā)者們開發(fā)自定義的mappers和reducers來處理內(nèi)建的mappers和reducers無法完成的復(fù)雜的分析工作。(1)用途代號按表4-3規(guī)定。(2)用途代號后的數(shù)字是通風(fēng)機(jī)壓力系數(shù)乘5后取整數(shù)得來的。(3)比轉(zhuǎn)數(shù)采用兩位整數(shù)，若采用單葉輪雙吸入結(jié)構(gòu)或二葉輪并聯(lián)結(jié)構(gòu)，則用2乘比轉(zhuǎn)數(shù)表示。(4)若通風(fēng)機(jī)型式中有派生型時，則在比轉(zhuǎn)數(shù)后加注羅馬數(shù)字Ⅰ、Ⅱ等表示。(5)設(shè)計序號用數(shù)字1、2等表示，供對該型產(chǎn)品有重大修改時用。(6)機(jī)號用葉輪直徑的分米(Pm)數(shù)表示。2.離心通風(fēng)機(jī)的全稱對離心通風(fēng)機(jī)，平時只用壓力系數(shù)、比轉(zhuǎn)數(shù)和機(jī)號來表示，如4-73No8，這是一種簡略的型號，但在訂貨時必須寫出全稱。離心通風(fēng)機(jī)的全稱除名稱、型號、機(jī)號外，還包括傳動方式，旋轉(zhuǎn)方向和風(fēng)口位置，共由6個部分組成。(1)傳動方式有6種，其代號及簡圖如圖4-21所示。圖4-21離心通風(fēng)機(jī)的傳動方式簡圖(a)直聯(lián)傳動;(b)、(c)懸臂支承帶傳動;(d)懸臂支承聯(lián)軸器傳動;(e)雙支承帶傳動;(f)雙支承聯(lián)軸器傳動(2)旋轉(zhuǎn)方向的規(guī)定為從電動機(jī)的位置看風(fēng)機(jī)葉輪的旋轉(zhuǎn)方向，順時針旋轉(zhuǎn)的稱為右旋，用“右”表示;逆時針旋轉(zhuǎn)的稱為左旋，用“左”表示。(3)風(fēng)口位置是指出風(fēng)口的位置，結(jié)合旋轉(zhuǎn)方向用右或左若干角度表示，如圖4-22所示。例如有一風(fēng)機(jī)，其全稱為4-72No10C右900，它表示的內(nèi)容是:該風(fēng)機(jī)是一般通風(fēng)的離心通風(fēng)機(jī);壓力系數(shù)為0.8;比轉(zhuǎn)數(shù)為72;機(jī)號為10號，指風(fēng)機(jī)葉輪直徑為1m(10Pm);傳動方式為C型，說明風(fēng)機(jī)為懸臂支承，帶輪在軸承外側(cè);葉輪旋轉(zhuǎn)方向指從電動機(jī)一端看去為順時針方向，即右旋;出風(fēng)口位置在900處。二、離心通風(fēng)機(jī)的選型通風(fēng)機(jī)的流量和全壓通常是由專業(yè)人員進(jìn)行實(shí)測或理論計算求得的。但考慮到測試和計算的誤差及運(yùn)行時工況的變化等。所以選型的計算流量、計算全壓比最大所需流量、全壓還應(yīng)大些，以留有一定的儲備。一般取

式中，qv、P分別為計算流量、計算全壓qmax,

Pmax分別為最大所需流量、全壓。流量的單位為m3/s，全壓的單位為Pa。(4-13)

通風(fēng)機(jī)產(chǎn)品樣本上的參數(shù)是指標(biāo)準(zhǔn)狀態(tài)即干凈空氣在T=293K(20℃)，大氣壓Pa=101325N/m2，相對濕度為50%，空氣密度ρ=1.2kg/m3時的值。引風(fēng)機(jī)(工業(yè)鍋爐抽引煙氣用)的參數(shù)指的是煙氣在T=473K(200℃)，大氣壓力Pa=101325N/m2，相對濕度為50%和煙氣密度ρ=0.745kg/m3時的值。式(4-15)、式(4-16)中 q1、p1、P1a為樣本中標(biāo)準(zhǔn)狀態(tài)下的流量(單位為m3/s)、風(fēng)壓(單位為Pa)和軸功率(單位為kW);q2、p2、P2a為風(fēng)機(jī)在使用條件下(通風(fēng)、引風(fēng))的風(fēng)量(單位為m3/s)、風(fēng)壓(單位為Pa)和軸功率(單位為kW))。Pb為當(dāng)?shù)卮髿鈮?單位為Pa);t為使用條件下風(fēng)機(jī)進(jìn)口處氣溫(單位為℃)。在引風(fēng)機(jī)選型時，煙氣密度的計算可用下式(單位為kg/m3)

式中，1.339為溫度在273K(℃)時煙氣的平均密度，單位為kg/m3;T為煙氣溫度，單位為K。離心通風(fēng)機(jī)的選型可用如下幾種方法:(4-16)②葉輪外徑D2。當(dāng)轉(zhuǎn)速、流量及全壓都相同時，前彎葉片葉輪的外徑尺寸為最小，后彎的為最大。③效率。前彎葉片葉輪的風(fēng)機(jī)效率較低，后彎葉片葉輪的效率較高，徑向葉輪效率居中。3種葉片形式的葉輪，現(xiàn)在都有應(yīng)用，但老式產(chǎn)品中，前彎葉片用得很多，如8-18,9-27,9-35,9-57型風(fēng)機(jī)，其特點(diǎn)是尺寸小、價格便宜。但近年對通風(fēng)機(jī)的效率、節(jié)能要求提高，故后彎葉片用得較多，如4-72,4-73,5-47,5-48型通風(fēng)機(jī)，特別在大功率的通風(fēng)機(jī)上，幾乎都采用后彎葉片葉輪。任務(wù)1.1部署Hive本地模式Hive是Hadoop生態(tài)系統(tǒng)的一個組成部分，Hive在Hadoop生態(tài)系統(tǒng)的位置如下圖所示：任務(wù)1.1部署Hive本地模式Hive與HDFS、HBase的關(guān)系：Hive可以直接操作HDFS中的文件作為它的表的數(shù)據(jù)，也可以使用Hbase數(shù)據(jù)庫作為它的表。Hive和HBase的數(shù)據(jù)流描述如下圖所示。數(shù)據(jù)源經(jīng)過ETL工具被抽取到HDFS存儲；再由Hive對原始數(shù)據(jù)進(jìn)行清洗、處理和計算；Hive清洗處理后的結(jié)果，如果是面向海量數(shù)據(jù)隨機(jī)查詢場景的可存入Hbase，進(jìn)而展開具體的數(shù)據(jù)應(yīng)用。Hive和HBase數(shù)據(jù)流關(guān)系如下圖所示：任務(wù)1.1部署Hive本地模式Hive與HBase的區(qū)別：(1)Hive中的表是純邏輯表，就只是表的定義等，即表的元數(shù)據(jù)。Hive本身不存儲數(shù)據(jù)，它完全依賴HDFS和MapReduce。

(2)Hive是基于MapReduce來處理數(shù)據(jù)；

HBase處理數(shù)據(jù)是基于列的而不是基于行的模式，適合海量數(shù)據(jù)的隨機(jī)訪問。(3)HBase的表是疏松的存儲的，因此用戶可以給行定義各種不同的列；而Hive表是稠密型，即定義多少列，每一行有存儲固定列數(shù)的數(shù)據(jù)。(4)Hive使用Hadoop來分析處理數(shù)據(jù)，而Hadoop系統(tǒng)是批處理系統(tǒng)，因此不能保證處理的低遲延問題；而HBase是近實(shí)時系統(tǒng)，支持實(shí)時查詢。(5)Hive不提供行級別的更新，它適用于大量append-only數(shù)據(jù)集（如日志）的批任務(wù)處理。而基于HBase的查詢，支持行級別的更新。(6)Hive提供完整的SQL實(shí)現(xiàn)，通常被用來做一些基于歷史數(shù)據(jù)的挖掘、分析。而HBase是一個NoSQL，不適用與有join，多級索引，表關(guān)系復(fù)雜的應(yīng)用場景。任務(wù)1.1部署Hive本地模式8.1.2Hive安裝方式

Hive中有兩類數(shù)據(jù)：表數(shù)據(jù)和元數(shù)據(jù)。和關(guān)系型數(shù)據(jù)庫一樣，元數(shù)據(jù)可以看做是描述數(shù)據(jù)的數(shù)據(jù)，包括Hive表的數(shù)據(jù)庫名、表名、字段名稱與類型、分區(qū)字段與類型、表及分區(qū)的屬性、存放位置等都屬于元數(shù)據(jù)。在項(xiàng)目一中我們知道Hive常用的元數(shù)據(jù)庫有Hive自帶的Derby數(shù)據(jù)庫和獨(dú)立安裝的MySQL數(shù)據(jù)庫。元數(shù)據(jù)存儲路徑分為本地和遠(yuǎn)程，可通過hive-site.xml文件設(shè)置。根據(jù)Hive不同的應(yīng)用場景，以及元數(shù)據(jù)庫的使用方式不同，可以將Hive的安