基于自主計(jì)算的集群管理軟件的設(shè)計(jì)和實(shí)現(xiàn)的課件

1、基于自主計(jì)算的集群管理軟件的設(shè)計(jì)和實(shí)現(xiàn)的課件基于自主計(jì)算的集群管理軟件的設(shè)計(jì)和實(shí)現(xiàn)ppt課件2022-3-233概述課題來(lái)源北航校園網(wǎng)格建設(shè)中對(duì)集群計(jì)算環(huán)境的管理需求十一五863計(jì)劃信息技術(shù)領(lǐng)域重大項(xiàng)目：高效能計(jì)算機(jī)系統(tǒng)研制及關(guān)鍵技術(shù)研究 202XAA01A127 研究背景集群占據(jù)了我國(guó)高性能產(chǎn)品和應(yīng)用的90%份額集群管理日趨復(fù)雜北航校園網(wǎng)格目前采用ganglia集群監(jiān)測(cè)軟件，無(wú)法滿足需求平均故障恢復(fù)時(shí)間較長(zhǎng)自主計(jì)算研究計(jì)算系統(tǒng)的自管理問(wèn)題，為集群系統(tǒng)管理提供了一種新的思路2022-3-234自主計(jì)算IBM于202X年提出自主計(jì)算的概念思想起源于人體的植物神經(jīng)系統(tǒng)其動(dòng)機(jī)是試圖通過(guò)“技術(shù)管理技術(shù)

2、” 自主計(jì)算系統(tǒng)具有的屬性自動(dòng)修復(fù)自動(dòng)優(yōu)化自我保護(hù)自動(dòng)配置2022-3-235集群管理的國(guó)內(nèi)外相關(guān)研究Ganglia樹狀分層式結(jié)構(gòu)，可擴(kuò)展沒有解決非葉子節(jié)點(diǎn)層的容錯(cuò)，易造成單點(diǎn)故障Supermon 基于linux集群的分布式監(jiān)控 不能動(dòng)態(tài)添加節(jié)點(diǎn)Hawkeye可以定制資源監(jiān)測(cè)模塊，適用多平臺(tái)系統(tǒng)客戶端工具還不完善國(guó)內(nèi)曙光公司的DCMM集群監(jiān)控系統(tǒng)面向曙光服務(wù)器集群，軟硬件結(jié)合研究現(xiàn)狀：1、國(guó)外起步較早，國(guó)內(nèi)相對(duì)滯后2、大多側(cè)重集群的監(jiān)測(cè)3、缺乏自主管理能力2022-3-236報(bào)告內(nèi)容概述主要內(nèi)容 ACMS體系結(jié)構(gòu)和功能模塊實(shí)現(xiàn) ACMS事件通知機(jī)制 節(jié)點(diǎn)代理的自配置機(jī)制 中間匯集節(jié)點(diǎn)的自恢復(fù)機(jī)

3、制工作總結(jié)和展望2022-3-237消息通信機(jī)制命令通道事件通知機(jī)制ACMS自主管理模型管理策略集群資源分析傳感器效應(yīng)器消息通信機(jī)制決策監(jiān)視執(zhí)行事件信息模型IBM自主計(jì)算框架沒有解決具體實(shí)現(xiàn)問(wèn)題：1、管理策略2、事件信息模型3、組件之間的消息通信機(jī)制2022-3-238ACMS體系結(jié)構(gòu)JNDI連接資源監(jiān)視泵中間匯集組件動(dòng)態(tài)發(fā)現(xiàn)管理服務(wù)資源探針節(jié)點(diǎn)代理服務(wù)分析決策引擎監(jiān)視組件資源中介執(zhí)行組件數(shù)據(jù)庫(kù)事件模型數(shù)據(jù)庫(kù)組件管理服務(wù)器WEB用戶界面監(jiān)測(cè)視圖性能曲線負(fù)載預(yù)測(cè)自主管理事件通知機(jī)制中間匯集節(jié)點(diǎn)域內(nèi)節(jié)點(diǎn)域內(nèi)節(jié)點(diǎn)應(yīng)用層管理服務(wù)層代理服務(wù)層域內(nèi)節(jié)點(diǎn)2022-3-239節(jié)點(diǎn)代理服務(wù)的功能模塊實(shí)現(xiàn)MBea

4、n ServerCPUMemoryDiskNetworkOSTomcat管理服務(wù)組件資源監(jiān)視泵節(jié)點(diǎn)動(dòng)態(tài)發(fā)現(xiàn)中間匯集組件資源探針組件各組件設(shè)計(jì)為標(biāo)準(zhǔn)MBean組件，利用Jmx的動(dòng)態(tài)類裝載服務(wù)mlet服務(wù)實(shí)現(xiàn)遠(yuǎn)程URL路徑的動(dòng)態(tài)注冊(cè)和加載資源探針注冊(cè)為資源監(jiān)視泵中線程實(shí)例中間匯集組件收集域內(nèi)節(jié)點(diǎn)的監(jiān)視泵的事件消息節(jié)點(diǎn)動(dòng)態(tài)發(fā)現(xiàn)組件實(shí)現(xiàn)節(jié)點(diǎn)自配置動(dòng)態(tài)發(fā)現(xiàn)注冊(cè)運(yùn)行時(shí)可管理可擴(kuò)展2022-3-2310ACMS體系結(jié)構(gòu)JNDI連接資源監(jiān)視泵中間匯集組件動(dòng)態(tài)發(fā)現(xiàn)管理服務(wù)資源探針節(jié)點(diǎn)代理服務(wù)分析決策引擎監(jiān)視組件資源中介數(shù)據(jù)庫(kù)組件數(shù)據(jù)庫(kù)事件模型執(zhí)行組件管理服務(wù)器WEB用戶界面監(jiān)測(cè)視圖性能曲線負(fù)載預(yù)測(cè)自主管理事件通

5、知機(jī)制中間匯集節(jié)點(diǎn)域內(nèi)節(jié)點(diǎn)域內(nèi)節(jié)點(diǎn)域內(nèi)節(jié)點(diǎn)管理服務(wù)層2022-3-2311管理服務(wù)器的功能模塊實(shí)現(xiàn)資源中介事件監(jiān)聽節(jié)點(diǎn)連接器訪問(wèn)接口監(jiān)視模塊消息中間件事件解析器連接器分析決策引擎數(shù)據(jù)庫(kù)模塊執(zhí)行模塊消息中間件Java規(guī)則引擎分析處理單元連接器規(guī)則文件消息中間件數(shù)據(jù)庫(kù)ORM消息中間件執(zhí)行器事件信息模型訪問(wèn)接口數(shù)據(jù)庫(kù)Web界面節(jié)點(diǎn)代理異步消息通信實(shí)現(xiàn)松耦合的消息通信自主管理控制環(huán)路2022-3-2312基于規(guī)則的策略決策決策的問(wèn)題依據(jù)當(dāng)前的狀態(tài),決定采取什么樣的動(dòng)作傳統(tǒng)的控制理論建立數(shù)學(xué)模型計(jì)算機(jī)系統(tǒng)管理復(fù)雜性很難建立建立精確的數(shù)學(xué)模型基于規(guī)則的控制將規(guī)則表示為產(chǎn)生式規(guī)則產(chǎn)生式規(guī)則一般形式IF(條件

6、1) and (條件2) andand (條件m) THEN（動(dòng)作1）and （動(dòng)作2）and and (動(dòng)作n）規(guī)則引擎基于規(guī)則的專家系統(tǒng)的推理引擎試探性規(guī)則正向推理和反向推理2022-3-2313分析決策引擎管理服務(wù)器模塊的核心組件，通過(guò)java規(guī)則引擎實(shí)現(xiàn)基于規(guī)則的自主管理控制五種管理級(jí)別采用Drools的規(guī)則語(yǔ)言定義規(guī)則 cpu_alarm_ra.isActive三 CpuMonitorHelper.isOverThreshold(cpu, 80) CpuMonitorHelper.cpuMetricAlarm(cpu); 規(guī)則名定義規(guī)則屬性規(guī)則執(zhí)行條件規(guī)則執(zhí)行結(jié)果監(jiān)視、警告、報(bào)警、建

7、議、操作2022-3-2314報(bào)告內(nèi)容課題來(lái)源及研究背景主要研究?jī)?nèi)容 ACMS體系結(jié)構(gòu)和功能模塊實(shí)現(xiàn) ACMS事件通知機(jī)制 節(jié)點(diǎn)代理的自配置機(jī)制 中間匯集節(jié)點(diǎn)的自恢復(fù)機(jī)制工作總結(jié)和展望2022-3-2315ACMS事件通知機(jī)制節(jié)點(diǎn)代理服務(wù)發(fā)送的事件通知消息統(tǒng)稱為事件消息 監(jiān)測(cè)事件消息 心跳事件消息 操作事件消息事件消息格式采用XML格式描述采用壓縮減少網(wǎng)絡(luò)流量基于JMX Notification通知模型的兩層事件監(jiān)聽機(jī)制，方便擴(kuò)展體現(xiàn)以事件通知為中心的設(shè)計(jì)原則2022-3-2316事件通知機(jī)制（續(xù)一）監(jiān)視泵監(jiān)測(cè)事件監(jiān)聽器心跳事件監(jiān)聽器監(jiān)測(cè)定時(shí)服務(wù)心跳定時(shí)服務(wù)內(nèi)部線程類實(shí)例化實(shí)例化實(shí)例化探針Ob

8、jectName探針屬性集探針監(jiān)測(cè)周期構(gòu)造參數(shù)監(jiān)聽監(jiān)聽中間匯集組件資源中介監(jiān)測(cè)事件監(jiān)聽器心跳事件監(jiān)聽器監(jiān)測(cè)定時(shí)服務(wù)心跳定時(shí)服務(wù)監(jiān)聽監(jiān)聽實(shí)例化實(shí)例化監(jiān)聽監(jiān)聽觸發(fā)通知觸發(fā)通知發(fā)送通知觸發(fā)通知觸發(fā)通知發(fā)送通知資源監(jiān)視泵的事件消息發(fā)布中間匯集節(jié)點(diǎn)的事件消息匯集資源中介的事件監(jiān)聽2022-3-2317事件通知機(jī)制（續(xù)二）2.5 ok restart restarted the Tomcat instance of clustertrue 監(jiān)測(cè)事件消息格式心跳事件消息格式定義三種健康狀態(tài)：OK：探針運(yùn)行正常FAILURE：資源環(huán)境異常ERROR：探針運(yùn)行時(shí)異常操作事件消息格式描述探針操作的執(zhí)行結(jié)果2022

9、-3-2318報(bào)告內(nèi)容課題來(lái)源及研究背景主要研究?jī)?nèi)容 ACMS體系結(jié)構(gòu)和功能模塊實(shí)現(xiàn) ACMS事件通知機(jī)制 節(jié)點(diǎn)代理的自配置機(jī)制 中間匯集節(jié)點(diǎn)的自恢復(fù)機(jī)制工作總結(jié)和展望2022-3-2319節(jié)點(diǎn)代理的自配置需要解決的問(wèn)題中間匯集節(jié)點(diǎn)需要知道域內(nèi)節(jié)點(diǎn)的JMX/RMI連接地址手工配置方式無(wú)法實(shí)現(xiàn)節(jié)點(diǎn)動(dòng)態(tài)加入，并且在節(jié)點(diǎn)數(shù)量很大時(shí)，效率極為低下節(jié)點(diǎn)代理的自配置機(jī)制基于UDP組播的節(jié)點(diǎn)動(dòng)態(tài)發(fā)現(xiàn)機(jī)制心跳計(jì)數(shù)機(jī)制組播報(bào)文格式定義FLAGPROXY HOSTRESPONSE PORT標(biāo)記字段“jmxrmi”中間匯集節(jié)點(diǎn)的主機(jī)IP地址中間匯集節(jié)點(diǎn)的監(jiān)聽響應(yīng)端口2022-3-2320節(jié)點(diǎn)代理的自配置（續(xù)一）監(jiān)視

10、線程響應(yīng)線程中間匯集組件資源監(jiān)視泵組播請(qǐng)求單播響應(yīng) 加入新節(jié)點(diǎn)發(fā)現(xiàn)新節(jié)點(diǎn)返回JMXServiceURL心跳檢測(cè)監(jiān)聽事件請(qǐng)求線程建立連接動(dòng)態(tài)發(fā)現(xiàn)組件動(dòng)態(tài)發(fā)現(xiàn)機(jī)制心跳計(jì)數(shù)機(jī)制2022-3-2321報(bào)告內(nèi)容課題來(lái)源及研究背景主要研究?jī)?nèi)容 ACMS體系結(jié)構(gòu)和功能模塊實(shí)現(xiàn) ACMS事件通知機(jī)制 節(jié)點(diǎn)代理的自配置機(jī)制 中間匯集節(jié)點(diǎn)的自恢復(fù)機(jī)制工作總結(jié)和展望2022-3-2322中間匯集節(jié)點(diǎn)的自恢復(fù)需要解決的問(wèn)題 解決中間匯集節(jié)點(diǎn)的單點(diǎn)故障問(wèn)題 Ganglia沒有解決中間匯集節(jié)點(diǎn)的單點(diǎn)故障基本思想 當(dāng)發(fā)現(xiàn)某個(gè)域中間匯集節(jié)點(diǎn)失效時(shí)，管理服務(wù)器根據(jù)負(fù)載預(yù)測(cè)選舉算法從域內(nèi)節(jié)點(diǎn)中選出一個(gè)節(jié)點(diǎn)作為替代中間匯集節(jié)點(diǎn)優(yōu)點(diǎn)

11、 實(shí)現(xiàn)了局部域范圍內(nèi)的自恢復(fù)，不會(huì)增加其他中間匯集節(jié)點(diǎn)的負(fù)擔(dān)2022-3-2323中間匯集節(jié)點(diǎn)的自恢復(fù)（續(xù)一）負(fù)載預(yù)測(cè)選舉算法 根據(jù)單指數(shù)平滑時(shí)間序列預(yù)測(cè)模型，對(duì)過(guò)去T時(shí)間內(nèi)的節(jié)點(diǎn)綜合負(fù)載進(jìn)行預(yù)測(cè)，選取負(fù)載預(yù)測(cè)值最小的節(jié)點(diǎn)作為替代中間匯集節(jié)點(diǎn) 采用linux系統(tǒng)的平均負(fù)載作為綜合負(fù)載的估計(jì)值 負(fù)載評(píng)估計(jì)算公式),_DATASET(_TLOADAGGREGATEPREDICTLOADPREDICTiLOADPREDICTMindeSelectedNo_基本思想：最近的負(fù)載觀測(cè)值賦予較高的權(quán)值，較早的觀測(cè)值賦予相對(duì)較低的權(quán)值，權(quán)值呈幾何級(jí)數(shù)遞減，使得最近的觀測(cè)值對(duì)將來(lái)的負(fù)載預(yù)測(cè)作用更大2022-3

12、-2324中間匯集節(jié)點(diǎn)的自恢復(fù)（續(xù)二）單指數(shù)平滑預(yù)測(cè)公式實(shí)現(xiàn)的關(guān)鍵平滑參數(shù) 的優(yōu)化 單指數(shù)平滑預(yù)測(cè)的精確性和擬合程度與平滑參數(shù)的取值有很大的關(guān)系，平滑參數(shù)的選取應(yīng)該滿足最小均方誤差（MSE）的原則 采用黃金分割查找法進(jìn)行優(yōu)化查找，在 的初始不確定參數(shù)區(qū)間(0,1中不斷迭代縮小參數(shù)的取值范圍，最終獲得一個(gè)滿足容忍度 的最佳平滑參數(shù)值。 2)1 ()1 (22211tSyStittiitl2022-3-2325中間匯集節(jié)點(diǎn)的自恢復(fù)（續(xù)三）kkkkkkkkbaxsetbaxsetelsereturnbasetthenlabifStepksetbasetStep)1 ()1 (2/ )(:21 1,

13、0,:1211121)()(:311121121SteprepeatkksetbbsetxasetelsexbsetaasetthenxMSExMSEifStepkkkkkk第一步：初始化不確定參數(shù)區(qū)間第二步：如果當(dāng)前參數(shù)區(qū)間的長(zhǎng)度在容忍度范圍內(nèi)則返回，否則計(jì)算黃金分割點(diǎn)第三步：比較兩個(gè)分割點(diǎn)的預(yù)測(cè)模型的均方誤差，重新劃分分割點(diǎn)，繼續(xù)第二步2022-3-2326中間匯集節(jié)點(diǎn)的自恢復(fù)（續(xù)四）管理服務(wù)器中間匯集節(jié)點(diǎn)域內(nèi)節(jié)點(diǎn)1域內(nèi)節(jié)點(diǎn)2域內(nèi)節(jié)點(diǎn)n1.發(fā)現(xiàn)中間匯集節(jié)點(diǎn)失效2.確認(rèn)中間匯集節(jié)點(diǎn)失效健康探測(cè)心跳事件數(shù)據(jù)庫(kù)獲取負(fù)載數(shù)據(jù)返回歷史數(shù)據(jù)集3.計(jì)算負(fù)載預(yù)測(cè)值，選舉最小預(yù)測(cè)值的節(jié)點(diǎn)4.啟動(dòng)替代中間匯集節(jié)點(diǎn)5. 替代中間匯集節(jié)點(diǎn)建立監(jiān)聽啟動(dòng)、監(jiān)聽監(jiān)聽事件通知事件通知2022-3-2327實(shí)驗(yàn)性能評(píng)估節(jié)點(diǎn)代理程序占用系統(tǒng)資源實(shí)驗(yàn)結(jié)果：域內(nèi)節(jié)點(diǎn)和中間匯集節(jié)點(diǎn)的代理服務(wù)程序占用CPU資源差別不大，平均占用0.3%的CPU資源；內(nèi)存利用率相差較大，普通域內(nèi)節(jié)點(diǎn)占用3.5%，中間匯集節(jié)點(diǎn)占用6.6%2022-3-2328論文總結(jié)提出了一種基于規(guī)則的集群自主管理體系結(jié)構(gòu)，并設(shè)計(jì)和實(shí)現(xiàn)了節(jié)點(diǎn)代理服務(wù)和管理服務(wù)器的功能結(jié)構(gòu)設(shè)計(jì)并實(shí)現(xiàn)了一種“推”模式的可擴(kuò)展的基于中間匯集節(jié)點(diǎn)的事件通知機(jī)制設(shè)計(jì)并實(shí)現(xiàn)了節(jié)點(diǎn)代理的自配置機(jī)制設(shè)計(jì)并實(shí)現(xiàn)了一種基于負(fù)載預(yù)測(cè)選舉算法的中間匯集節(jié)點(diǎn)自恢復(fù)機(jī)制2022-3-