大數(shù)據(jù)技術(shù)框架

大數(shù)據(jù)技術(shù)框架大數(shù)據(jù)平臺(tái)架構(gòu)01大數(shù)據(jù)技術(shù)框架02Content目錄01

大數(shù)據(jù)平臺(tái)架構(gòu)大數(shù)據(jù)平臺(tái)架構(gòu)圖02

大數(shù)據(jù)技術(shù)框架大數(shù)據(jù)技術(shù)框架HDFS：分布式文件系統(tǒng)，由NameNode和一定數(shù)目的DataNodes組成集群。HDFS中數(shù)據(jù)通常有三個(gè)備份，用戶只需上傳1次數(shù)據(jù)，通過(guò)機(jī)架感知和水平復(fù)制自動(dòng)備份數(shù)據(jù)。HDFS2.0默認(rèn)存儲(chǔ)文件大小為128M，適合存儲(chǔ)大文件。Yarn：新的MapReduce框架。分布式主從架構(gòu)，并行處理大數(shù)據(jù)。主要分為Mapper和Reducer兩個(gè)階段。Mapper主要對(duì)數(shù)據(jù)進(jìn)行分類整理，Reducer實(shí)現(xiàn)數(shù)據(jù)的規(guī)約匯總。2.0版本中MapReduce存在大量IO操作影響效率，在大數(shù)據(jù)平臺(tái)中多用Spark代替。大數(shù)據(jù)技術(shù)框架Storm：流處理(實(shí)時(shí)計(jì)算)框架，不同于HDFS的批處理方式，Storm通過(guò)創(chuàng)建拓?fù)浣Y(jié)構(gòu)來(lái)轉(zhuǎn)換持續(xù)抵達(dá)的數(shù)據(jù)流，實(shí)時(shí)處理消息并更新數(shù)據(jù)庫(kù)。數(shù)據(jù)采集：不同數(shù)據(jù)源生成數(shù)據(jù)類型格式存在差異，在數(shù)據(jù)采集前可能增加數(shù)據(jù)總線(如京東JBus)對(duì)業(yè)務(wù)進(jìn)行解耦，Sqoop和Flume是常用的數(shù)據(jù)采集工具。Sqoop：用于和關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行交互，使用SQL語(yǔ)句在Hadoop和關(guān)系型數(shù)據(jù)庫(kù)間傳送數(shù)據(jù)，Sqoop使用JDBC連接關(guān)系型數(shù)據(jù)庫(kù)。大數(shù)據(jù)技術(shù)框架Spark：通用的大數(shù)據(jù)分析引擎，功能類似MapReduce。主要包含SparkCore，SparkSQL，SparkStreaming，SparkMLLib(協(xié)同過(guò)濾、ALS、邏輯回歸等算法庫(kù))，SparkGraphx(圖計(jì)算)。Hive：用于開(kāi)發(fā)SQL類型腳本用于做MapReduce操作的平臺(tái)，用于處理結(jié)構(gòu)化數(shù)據(jù)。Pig：用于開(kāi)發(fā)MapReduce操作的腳本程序語(yǔ)言平臺(tái)，用于處理結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。

大數(shù)據(jù)技術(shù)框架Flume：一個(gè)高可用、高可靠、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。一個(gè)Flume代理由三個(gè)部分組成：Source、Channel和Sink。Source類似于接受緩沖器，將接收的事件存儲(chǔ)在一個(gè)或多個(gè)Channel中。Channel被動(dòng)存儲(chǔ)事件，直到事件被Sink使用。Sink從Channel提取事件將其傳給HDFS或者下一個(gè)Flume代理。Flume使用不同的Source接收不同的網(wǎng)絡(luò)流，如使用AvroFlume接收Avro(一種數(shù)字序列化格式)事件。其支持的流行網(wǎng)絡(luò)流如：Thrift、Syslog和Netcat。數(shù)據(jù)處理：包含實(shí)時(shí)的業(yè)務(wù)邏輯處理以及離線的數(shù)據(jù)整合存儲(chǔ)等。大數(shù)據(jù)框架多采用主從(Master/Slave)架