2023學(xué)年完整公開課版通信協(xié)議

通信協(xié)議2學(xué)習(xí)任務(wù)初步了解HDFS通信協(xié)議概念熟悉HDFS通信協(xié)議分類3知識(shí)目標(biāo)HDFS通信協(xié)議是什么HDFS中有哪些種類的通信協(xié)議01能力目標(biāo)能夠?qū)νㄐ艆f(xié)議的概念有基本的理解理解每種通信協(xié)議分別在HDFS中功能02學(xué)習(xí)目標(biāo)4目錄01HDFS通信協(xié)議概念02HDFS通信協(xié)議分類5HDFS通信協(xié)議概念HDFS是一個(gè)部署在集群上的分布式文件系統(tǒng)，節(jié)點(diǎn)間的通信、客戶端與節(jié)點(diǎn)間的通信，都有相應(yīng)的協(xié)議?？蛻舳送ㄟ^一個(gè)可配置的端口向名稱節(jié)點(diǎn)主動(dòng)發(fā)起TCP連接，并使用客戶端協(xié)議；與名稱節(jié)點(diǎn)進(jìn)行交互；客戶端與數(shù)據(jù)節(jié)點(diǎn)通過RPC實(shí)現(xiàn)交互；名稱節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)之間則使用數(shù)據(jù)節(jié)點(diǎn)協(xié)議進(jìn)行交互；另外，名稱節(jié)點(diǎn)不會(huì)主動(dòng)發(fā)起RPC，而是響應(yīng)來自客戶端和數(shù)據(jù)節(jié)點(diǎn)的RPC請(qǐng)求。概述6HDFS通信協(xié)議分類ClientProtocol接口。對(duì)數(shù)據(jù)文件做的操作基本上都是靠這個(gè)接口來實(shí)現(xiàn)的。這里主要的一些方法有g(shù)etBlockLocations()、create()、append()等等。ClientDatanodeProtocol接口。這個(gè)接口是Client端和Datanode端通信使用的，主要有g(shù)etReplicationVisibleLength()、getBlockLocalPathInfo()、deleteBlockPool()這些方法，這些方法基本上都是與數(shù)據(jù)塊的管理相關(guān)，很顯然，Datanode主要的用途就是存儲(chǔ)數(shù)據(jù)。datanode和namenode通信的接口：DatanodeProtocol。這個(gè)接口解決了很多的問題，datanode的注冊(cè)、心跳應(yīng)答數(shù)據(jù)塊匯報(bào)都是靠這個(gè)接口完成的。HadoopRPC接口7HDFS通信協(xié)議分類InterDatanodeProtocol接口。該接口是datanode之間相互通信的接口，雖然這個(gè)接口簡(jiǎn)單，但是其實(shí)很有用，我們所說的副本是通過datanode之間的通信來實(shí)現(xiàn)復(fù)制的，而不是通過namenode同時(shí)將文件數(shù)據(jù)寫到三個(gè)副本中。NamenodeProtocol接口。這個(gè)接口是namenode和secondarynamenode通信的接口。HadoopRPC接口8HDFS通信協(xié)議分類流式接口有兩種，一種是基于TCP的DataTransferProtocol，一種是HA機(jī)制的activenamenode和standbynamenode間的HTTP接口。由于第二種會(huì)涉及到一些HA機(jī)制節(jié)點(diǎn)的切換等等因素，這里僅介紹第一種。流式接口9HDFS通信協(xié)議分類DataTransferProtocol接口。該接口最主要的方法就是readBlock()、writeBlock()和transferBlock()了。讀數(shù)據(jù)塊、寫數(shù)據(jù)塊以及數(shù)據(jù)塊額復(fù)制就是靠這些方法來實(shí)現(xiàn)。流式接口10小