解析云平臺存儲全方位監(jiān)控建設(shè)

本文中所指的云監(jiān)控為云平臺（公有云或私有云）的性能監(jiān)視與檢測，它能為用戶提供一個(gè)針對云資源、云服務(wù)或者云產(chǎn)品的全方位監(jiān)控平臺。云監(jiān)控本身也作為云平臺對外的一種云服務(wù)，通過它可全面掌控云上的資源使用情況、業(yè)務(wù)的運(yùn)行狀況，能夠及時(shí)掌控及處理云上出現(xiàn)的突發(fā)情況，保證業(yè)務(wù)連續(xù)性運(yùn)行，同時(shí)降低企業(yè)IT運(yùn)維成本。云平臺存儲是云平臺基礎(chǔ)設(shè)施的核心基礎(chǔ)資源，包括塊、文件和對象等一系列存儲產(chǎn)品，對用戶提供數(shù)據(jù)存儲服務(wù)。其架構(gòu)復(fù)雜性及技術(shù)難度較云下傳統(tǒng)集中式存儲有較大提升，因此，云上不同類別的存儲產(chǎn)品的精細(xì)化監(jiān)控也變得尤為重要?；诖耍疚膶⒁匀笾谢?qū)?私有云平臺存儲產(chǎn)品監(jiān)控體系為例進(jìn)行分析，旨在幫助讀者詳細(xì)了解云平臺存儲全方位監(jiān)控的方向和監(jiān)控指標(biāo)體系建設(shè)的詳細(xì)內(nèi)容。一、云平臺存儲全方位監(jiān)控建設(shè)方向云平臺存儲全方位監(jiān)控建設(shè)方向應(yīng)當(dāng)包括至少以下四個(gè)方面：云平臺存儲基礎(chǔ)底座監(jiān)控、云平臺存儲產(chǎn)品監(jiān)控、事件告警平臺、多維度圖表展示及報(bào)表，形成一個(gè)完整的云監(jiān)控服務(wù)，其架構(gòu)如圖1所示，下面將一一進(jìn)行介紹：圖1：云平臺存儲全方位監(jiān)控圖1.云平臺存儲基礎(chǔ)底座監(jiān)控如今的云平臺存儲時(shí)代分布式架構(gòu)得到了廣泛應(yīng)用，云平臺存儲基礎(chǔ)底座通過利用大量標(biāo)準(zhǔn)化機(jī)器的存儲資源聚合構(gòu)造一個(gè)海量存儲池，作為數(shù)據(jù)存儲的基石性系統(tǒng)，其上承載了一系列的云平臺存儲服務(wù)。既有要求高吞吐量，I/O能力隨集群規(guī)模線性增長的“開放存儲”，又有要求低時(shí)延的“彈性計(jì)算”。作為底層平臺核心的云平臺存儲底座必須二者兼顧，同時(shí)具備高吞吐量和低時(shí)延。因此其技術(shù)架構(gòu)十分復(fù)雜，作為基礎(chǔ)底座，完備的監(jiān)控是必備的。主要包括兩大類別，一是存儲產(chǎn)品集群監(jiān)控，包括該存儲產(chǎn)品所用底座集群下的存儲空間、機(jī)器信息和健康信息等，健康信息涉及集群元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的整體狀態(tài)、水位、磁盤、集群日志等信息；二是集群節(jié)點(diǎn)監(jiān)控，包括節(jié)點(diǎn)基礎(chǔ)監(jiān)控，如CPU、內(nèi)存、進(jìn)程、磁盤、緩存等，以及節(jié)點(diǎn)級狀態(tài)、水位、磁盤、硬件、節(jié)點(diǎn)日志等信息。2.云平臺存儲產(chǎn)品監(jiān)控云監(jiān)控針對云平臺存儲產(chǎn)品的監(jiān)控，需提供自動、準(zhǔn)確且?guī)缀鯇?shí)時(shí)地采集基礎(chǔ)監(jiān)控指標(biāo)和存儲產(chǎn)品監(jiān)控指標(biāo)數(shù)據(jù)的功能。能夠?yàn)橛脩魧?shí)時(shí)地了解所擁有的存儲服務(wù)狀態(tài)以及業(yè)務(wù)的使用情況，并且能夠及時(shí)的發(fā)現(xiàn)問題、診斷問題和解決問題。云平臺存儲服務(wù)監(jiān)控通過監(jiān)控面板支持通過自定義的方式建立豐富多樣的圖表查看產(chǎn)品的指標(biāo)數(shù)據(jù)，并可配置告警，還能通過API拉取指標(biāo)數(shù)據(jù)，進(jìn)行進(jìn)一步使用和分析。對用戶而言，主要關(guān)注以下三類服務(wù)監(jiān)控指標(biāo)數(shù)據(jù)：1）用戶計(jì)量數(shù)據(jù)監(jiān)控：反映用戶層面的資源使用狀況和計(jì)量信息。例如存儲產(chǎn)品已用/總空間、吞吐量、流入流出流量或吞吐量、帶寬、請求數(shù)或IOPS等。2）服務(wù)性能數(shù)據(jù)監(jiān)控：反映用戶在使用服務(wù)時(shí)的體驗(yàn)感信息。主要是請求延時(shí)，它是衡量服務(wù)性能的重要指標(biāo)。所以實(shí)時(shí)的延時(shí)信息監(jiān)控和毛刺狀態(tài)對用戶評估業(yè)務(wù)需求和服務(wù)性能至關(guān)重要，而且請求延時(shí)包含網(wǎng)絡(luò)延時(shí)和服務(wù)器延時(shí)兩大部分，通過監(jiān)端到端延時(shí)和服務(wù)器延時(shí)，能夠快速幫助用戶定位性能問題。3）服務(wù)水平數(shù)據(jù)監(jiān)控：反映存儲服務(wù)的穩(wěn)定性以及用戶的使用健康狀態(tài)信息。例如服務(wù)可用性、內(nèi)部錯(cuò)誤數(shù)、返回錯(cuò)誤情況、日志告警等。3.事件告警平臺云監(jiān)控事件告警平臺要求能夠?yàn)橛脩籼峁┘皶r(shí)、個(gè)性化的事件及告警服務(wù)，統(tǒng)一適用于云上各類計(jì)算、存儲和網(wǎng)絡(luò)的基礎(chǔ)底座及云產(chǎn)品監(jiān)控。1）事件服務(wù)：提供了事件類型數(shù)據(jù)上報(bào)和查詢功能。方便用戶將云上的各類重要事件或?qū)υ瀑Y源（包括云底座和云產(chǎn)品）的操作事件收集到云監(jiān)控服務(wù)，并在事件發(fā)生時(shí)進(jìn)行告警。事件服務(wù)保存并監(jiān)控著云資源的關(guān)鍵操作，可通過事件了解到誰在什么時(shí)間對系統(tǒng)哪些資源做了什么操作。2）告警服務(wù)：提供了監(jiān)控指標(biāo)、事件的告警功能。用戶對云資源的核心監(jiān)控指標(biāo)設(shè)置告警規(guī)則，當(dāng)監(jiān)控指標(biāo)觸發(fā)用戶設(shè)置的告警條件時(shí)，支持以郵箱、短信、HTTP、HTTPS等方式通知用戶，讓用戶在第一時(shí)間得知該云資源發(fā)生異常，迅速處理故障，避免因資源問題造成業(yè)務(wù)損失。另外，云監(jiān)控告警服務(wù)使用消息通知服務(wù)向用戶通知告警信息。首先，用戶需要在消息通知服務(wù)界面創(chuàng)建一個(gè)主題并為這個(gè)主題添加相關(guān)的訂閱者，然后在添加告警規(guī)則的時(shí)候，需要開啟消息通知服務(wù)并選擇創(chuàng)建的主題，這樣在云資源發(fā)生異常時(shí)，云監(jiān)控告警服務(wù)可以實(shí)時(shí)的將告警信息以廣播的方式通知這些訂閱者。告警規(guī)則支持企業(yè)項(xiàng)目，當(dāng)選擇了告警規(guī)則到某個(gè)企業(yè)項(xiàng)目時(shí)，只有擁有該企業(yè)項(xiàng)目權(quán)限的用戶才可以查看和管理該告警規(guī)則。4．多維度圖表展示及報(bào)表云監(jiān)控需要支持用戶通過豐富的多樣的個(gè)性化圖表查看已有的監(jiān)控?cái)?shù)據(jù)，并支持自定義報(bào)表導(dǎo)出能力。統(tǒng)一適用于云上各類計(jì)算、存儲和網(wǎng)絡(luò)的基礎(chǔ)底座及云產(chǎn)品監(jiān)控。監(jiān)控面板/大屏：能為用戶提供自定義查看監(jiān)控?cái)?shù)據(jù)的功能。將用戶關(guān)注的核心云資源監(jiān)控指標(biāo)集中呈現(xiàn)在一張監(jiān)控面板里，為用戶定制一個(gè)立體化的監(jiān)控平臺。1）用戶可以在監(jiān)控面板詳情中便捷地查看和導(dǎo)出各個(gè)云資源的監(jiān)控?cái)?shù)據(jù)；2）用戶可以在監(jiān)控面板訂閱重要的指標(biāo)，個(gè)性化地定制不同指標(biāo)的展現(xiàn)形式與運(yùn)算規(guī)則，并通過列表與圖表結(jié)合，對指標(biāo)數(shù)據(jù)進(jìn)行排序與對比展示，輔助異常排查與故障分析；3）用戶可以查看和導(dǎo)出賬號下所有云資源的監(jiān)控?cái)?shù)據(jù)與綁定的告警信息；4）監(jiān)控面板支持在一個(gè)監(jiān)控項(xiàng)內(nèi)對不同資源、不同維度的數(shù)據(jù)進(jìn)行對比查看和導(dǎo)出，幫助用戶實(shí)現(xiàn)不同云資源間性能數(shù)據(jù)對比查看的需求；5）監(jiān)控面板支持結(jié)合云資源的健康狀態(tài)與告警數(shù)據(jù)，為用戶提供了快速定位異常資源的功能，并支持用戶結(jié)合具體數(shù)據(jù)與異常信息排查問題；6）能夠通過監(jiān)控面板自定義需要定期導(dǎo)出成報(bào)表的監(jiān)控指標(biāo)和告警數(shù)據(jù)，形成日報(bào)、月報(bào)等。二、云平臺存儲全方位監(jiān)控指標(biāo)體系建設(shè)云平臺存儲監(jiān)控指標(biāo)體系建設(shè)的重要性不言而喻，通過對云平臺存儲基礎(chǔ)底座以及塊存儲、文件存儲和對象存儲等三大主要存儲產(chǎn)品進(jìn)行精細(xì)化監(jiān)控，關(guān)注這三類云存儲服務(wù)的可用性、安全性、服務(wù)質(zhì)量等指標(biāo)，直觀展示各類云存儲資源配置信息、使用狀況、性能狀況及健康狀況，準(zhǔn)確及時(shí)的發(fā)現(xiàn)云存儲系統(tǒng)中的故障和問題所在，以智能多樣化的方式進(jìn)行報(bào)警、信息統(tǒng)計(jì)，及時(shí)響應(yīng)、掌控以及處理系統(tǒng)突發(fā)故障，同時(shí)也可以進(jìn)行問題預(yù)測。為了便于讀者直觀了解云平臺存儲監(jiān)控指標(biāo)體系建設(shè)內(nèi)容，下面以阿里專有云存儲基礎(chǔ)底座-盤古（表1），以及三大知名公有或?qū)?私有云平臺存儲產(chǎn)品監(jiān)控體系為例，列舉并對比三大云上存儲產(chǎn)品各個(gè)方面監(jiān)控重要指標(biāo)（表2-表4）