版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
Impala概述什么是ImpalaImpala的優(yōu)缺點01
什么是Impala什么是ImpalaCloudera公司推出,提供對HDFS、Hbase數(shù)據(jù)的高性能、低延遲的交互式SQL查詢功能。是CDH平臺首選的PB級大數(shù)據(jù)實時查詢分析引擎。
基于Hive,使用內(nèi)存計算,兼顧數(shù)據(jù)倉庫。優(yōu)點包括:實時批處理多并發(fā)等
為什么選擇ImpalaImpala通過使用標(biāo)準(zhǔn)組件(如HDFS,HBase,Metastore,YARN和Sentry)將傳統(tǒng)分析數(shù)據(jù)庫的SQL支持和多用戶性能與ApacheHadoop的可擴(kuò)展性和靈活性相結(jié)合。Impala將相同的元數(shù)據(jù),SQL語法(HiveSQL),ODBC驅(qū)動程序和用戶界面(HueBeeswax)用作ApacheHive,為面向批量或?qū)崟r查詢提供熟悉且統(tǒng)一的平臺。與ApacheHive不同,Impala不基于MapReduce算法。它實現(xiàn)了一個基于守護(hù)進(jìn)程的分布式架構(gòu),它負(fù)責(zé)在同一臺機(jī)器上運(yùn)行的查詢執(zhí)行的所有方面。因此,它減少了使用MapReduce的延遲,這使Impala比ApacheHive快。使用Impala,與其他SQL引擎(如Hive)相比,用戶可以使用SQL查詢以更快的方式與HDFS或HBase進(jìn)行通信。Impala可以讀取Hadoop使用的幾乎所有文件格式,如Parquet,Avro,RCFile。02
Impala的優(yōu)缺點優(yōu)點基于內(nèi)存運(yùn)算,不需要把中間結(jié)果寫入磁盤,省掉了大量的I/O開銷。無需轉(zhuǎn)換為Mapreduce,直接訪問存儲在HDFS,HBase中的數(shù)據(jù)進(jìn)行作業(yè)調(diào)度,速度快。使用了支持Datalocality的I/O調(diào)度機(jī)制,盡可能地將數(shù)據(jù)和計算分配在同一臺機(jī)器上進(jìn)行,減少了網(wǎng)絡(luò)開銷。支持各種文件格式,如:TEXTFILE
、SEQUENCEFILE、RCFile、Parquet??梢栽L問hive的metastore,對hive數(shù)據(jù)直接做數(shù)據(jù)分析。優(yōu)點缺點對內(nèi)存的依賴大,且完全依賴于hive。實踐中,分區(qū)超過1萬,性能嚴(yán)重下降。只能讀取文本文件,而不能直接讀取自定義二進(jìn)制文件。每當(dāng)新的記錄/文件被添加到H
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年貨物運(yùn)輸合同規(guī)定運(yùn)輸方式與責(zé)任
- 2025年度歷史建筑保護(hù)拆墻工程合作協(xié)議4篇
- 2024豬場租賃承包合同
- 2024節(jié)能減排協(xié)議書
- 《中樞性高熱患者的護(hù)理與治療》課件
- 2025年度新媒體運(yùn)營與公關(guān)合作服務(wù)合同范本4篇
- 2024年05月云南廣發(fā)銀行昆明分行招考筆試歷年參考題庫附帶答案詳解
- 2025年度大數(shù)據(jù)分析服務(wù)合同樣本8篇
- 2025變頻器代理商銷售合同:市場拓展與品牌推廣合作3篇
- 二零二五年度高端酒店集團(tuán)食材供應(yīng)與服務(wù)合同3篇
- 常見老年慢性病防治與護(hù)理課件整理
- 履約情況證明(共6篇)
- 云南省迪慶藏族自治州各縣區(qū)鄉(xiāng)鎮(zhèn)行政村村莊村名居民村民委員會明細(xì)
- 設(shè)備機(jī)房出入登記表
- 六年級語文-文言文閱讀訓(xùn)練題50篇-含答案
- 醫(yī)用冰箱溫度登記表
- 零售學(xué)(第二版)第01章零售導(dǎo)論
- 大學(xué)植物生理學(xué)經(jīng)典05植物光合作用
- 口袋妖怪白金光圖文攻略2周目
- 光伏發(fā)電站集中監(jiān)控系統(tǒng)通信及數(shù)據(jù)標(biāo)準(zhǔn)
- 三年級下冊生字組詞(帶拼音)
評論
0/150
提交評論