2023學(xué)年完整公開課版審計YARN操作

主講：侯磊審計YARN操作目錄0102Sentry和Hive授權(quán)審計YARN操作Sentry和Hive授權(quán)1Sentry和Hive授權(quán)當(dāng)客戶端訪問Hive表時,受到的唯一限制就是HDFS文件權(quán)限，這些權(quán)限不是很強(qiáng)。用戶可以輕松地更改Hivemetastore。用戶創(chuàng)建表，將數(shù)據(jù)插入表或根據(jù)任何Hive表運(yùn)行查詢的能力沒有被限制。通過Sentry進(jìn)行Hive授權(quán)，可以使用精細(xì)授權(quán)策略。雖然Hive使用我們熟悉的數(shù)據(jù)庫術(shù)語(如表、行和分區(qū))，但Hive表實際上是HDFS目錄，Hive表的分區(qū)是主HDFSHive目錄下的子目錄?？梢栽跀?shù)據(jù)庫或表級別上為用戶、組或角色分配各種Hive權(quán)限，例如select、update和alter。Sentry和Hive授權(quán)但是，Hive在權(quán)限方面存在嚴(yán)重的缺陷：由于可以直接更改HDFS權(quán)限，因此Hive中沒有內(nèi)置用來防止存儲在Hive.metastore中的元數(shù)據(jù)與HDFS文件權(quán)限不匹配的功能。Hive無法限制表數(shù)據(jù)部分的權(quán)限，也不能提供列級別權(quán)限或定義服務(wù)器級角色。在Sentry中能夠在服務(wù)器、數(shù)據(jù)庫和表級別創(chuàng)建角色。也可以使用這些角色為用戶提供對表數(shù)據(jù)的部分訪問權(quán)限。Sentry和Hive授權(quán)一個關(guān)鍵的安全問題是保護(hù)Hive元數(shù)據(jù)庫免受客戶任意改變。HiveServer2的目標(biāo)是通過JDBC和ODBC用戶界面來支持來自客戶端的請求。HiveServer2訪問Hivemetastore以獲取元數(shù)據(jù)信息，并為客戶端執(zhí)行必要的Hive操作。使用Sentry，可以確保所有HiveServer2聯(lián)系人都獲得授權(quán)，并且用戶必須使用HiveServer2才能訪問Hive數(shù)據(jù)庫?？偠灾谂渲肏ive的Sentry授權(quán)時，必須確保HiveServer2和Hive元數(shù)據(jù)庫的安全。審計YARN操作2審計YARN操作Hadoop用戶在兩個不同的日志文件中記錄YARN操作。ResourceManager日志文件包括ResourceManager執(zhí)行的活動，例如提交應(yīng)用程序請求和分配容器。NodeManager日志文件跟蹤YARN應(yīng)用程序中的每個NodeManager做的事情，例如容器請求?？梢栽赮ARNperties文件中使用配置屬性來配置YARN審計事件跟蹤。審計YARN操作假設(shè)用戶sam通過YARN提交MapReduce應(yīng)用程序。ResourceManager日志文件(部分)如下所示：審計YARN操作可以看到，YARN為用戶sam授權(quán)以下類型的YARN應(yīng)用程序：■應(yīng)用申請■分