2023學年完整公開課版Spark系統(tǒng)和MetricsRESTAPI

張義目錄0102什么是RESTAPI使用Spark附帶的RESTAPI什么是RESTAPI1什么是RESTAPIAPI是ApplicationProgrammingInterface（應用程序接口）的縮寫，它是拿來描述一個類庫的特征或是如何去運用它。你個人收藏的類庫也許包含有可用功能的“API文檔”，那些必需的參數(shù)我們該怎么稱呼它們？諸如此類等等。然而，如今很多人參考API文檔時，他們常常參考一種可能會通過網(wǎng)絡分享你的應用數(shù)據(jù)HTTPAPI，例如，Twitter提供一個API能讓用戶在特定的格式下請求推文，以便用戶方便導入到自己的應用程序中。這就是HTTPAPI的真正強大之處。它能夠從多個應用程序中混搭數(shù)據(jù)到混合應用程序中，或是創(chuàng)建一個能增強使用他人應用體驗的應用程序。什么是RESTAPIREST是”RepresentationalStateTransfer”的縮寫，它是由羅伊·菲爾?。≧oyFielding）提出的，是用來描述創(chuàng)建HTTPAPI的標準方法的，他發(fā)現(xiàn)這四種常用的行為（查看（view），創(chuàng)建（create），編輯（edit）和刪除（delete））都可以直接映射到HTTP中已實現(xiàn)的GET，POST，PUT和DELETE方法。我們可以將REST翻譯為表現(xiàn)層狀態(tài)轉移。什么是RESTAPI對于RESTAPI，我們注意一些事情，下面我們簡單列出安全性方面的問題。需要驗證Requestheaders、RequestURI和Requestbody是否合法：如果出現(xiàn)了某些不該有的頭，或者某些必須包含的頭沒有出現(xiàn)或者內容不合法，根據(jù)其錯誤類型一律返回4xx?？梢栽贖TTP頭中增加X-Request-ID標識調用者身份。如果請求帶有了不該有的數(shù)據(jù)，或者某些必須包含的數(shù)據(jù)沒有出現(xiàn)或內容不合法，一律返回4xx。什么是RESTAPI需要保證數(shù)據(jù)完整性，數(shù)據(jù)完整性驗證的底線是：保證要修改的數(shù)據(jù)和服務器里的數(shù)據(jù)是一致的——這是通過Etag來完成。Etag可以認為是某個資源的一個唯一的版本號。當客戶端請求某個資源時，該資源的Etag一同被返回，而當客戶端需要修改該資源時，需要通過"If-Match"頭來提供這個Etag。服務器檢查客戶端提供的Etag是否和服務器同一資源的Etag相同，如果相同，才進行修改，否則返回412preconditionfailed。什么是RESTAPI還需要注意訪問控制，RESTAPI需要清晰定義哪些操作能夠公開訪問，哪些操作需要授權訪問。在HTTP協(xié)議之上處理授權有很多方法，如HTTPBASICAuth，OAuth，HMACAuth等，其核心思想都是驗證某個請求是由一個合法的請求者發(fā)起。使用Spark附帶的RESTAPI2使用Spark附帶的RESTAPISpark包含了每個驅動程序和執(zhí)行器的指標系統(tǒng)，因此我們可以獲取主進程、工作進程、驅動程序和執(zhí)行器發(fā)送的指標。可以將Spark指標發(fā)送到各種接收器。例如，可以使用Spark的GraphiteSink將應用程序指標發(fā)送到Graphite監(jiān)控系統(tǒng)。Spark附帶了幾個RESTAPI,使我們可以以JSON格式獲取應用程序