網(wǎng)馳虛擬化平臺工程與科研

2013網(wǎng)馳虛擬化平臺工作思路建議——工程與科研中國科學(xué)院研究生院博士學(xué)位論文答辯ASGroup,TCSE中國科學(xué)院軟件研究所2023年3月14日組內(nèi)交流目錄背景介紹工程研發(fā)思路討論學(xué)術(shù)研究趨勢分析總結(jié)1…概念：什么是虛擬化？2實體資源實體資源實體資源運行環(huán)境運行環(huán)境運行環(huán)境虛擬化是指打破運行環(huán)境與實體資源之間獨占關(guān)系，單一運行環(huán)境可以使用實體部分資源或多實體資源實體資源運行環(huán)境一對多劃分技術(shù)多對一整合技術(shù)1.我們所關(guān)注的虛擬化——服務(wù)器虛擬化及其池化管理31.…物理服務(wù)器操作系統(tǒng)操作系統(tǒng)…物理服務(wù)器操作系統(tǒng)操作系統(tǒng)應(yīng)用應(yīng)用應(yīng)用應(yīng)用用戶服務(wù)器虛擬化：一對多劃分技術(shù)虛擬機池化管理：多對一整合技術(shù)主要虛擬化廠商都虎視眈眈當(dāng)前虛擬化技術(shù)在產(chǎn)業(yè)界很火——國際部分4全球虛擬化市場將持續(xù)快速增長，到2015年，主要企業(yè)服務(wù)器將有50%實現(xiàn)虛擬化

新興服務(wù)器虛擬化廠商也在不斷涌現(xiàn)硬件廠商采用合作方式進(jìn)入虛擬化領(lǐng)域當(dāng)前虛擬化技術(shù)在產(chǎn)業(yè)界很火——國內(nèi)情況5從2013年開始到2016年左右，中國政府和企業(yè)會將70%的工作負(fù)載遷移到虛擬化環(huán)境中

技術(shù)支持開源組織開始深度介入當(dāng)前虛擬化技術(shù)在產(chǎn)業(yè)界很火——開源情況6虛擬化開源軟件開始興起，但都還處于初級階段(remainsanascentmarket)

虛擬化技術(shù)競爭激烈7如何從競爭中脫穎而出？哪一方面才是現(xiàn)在虛擬化核心競爭力？81.…物理服務(wù)器操作系統(tǒng)操作系統(tǒng)…物理服務(wù)器操作系統(tǒng)操作系統(tǒng)應(yīng)用應(yīng)用應(yīng)用應(yīng)用用戶服務(wù)器虛擬化技術(shù)虛擬機池化管理技術(shù)服務(wù)器虛擬化技術(shù)已不是當(dāng)前虛擬化技術(shù)核心競爭力9服務(wù)器虛擬化技術(shù)已經(jīng)成熟，各家難分伯仲

VMWareRedhatMicrosoftCitrixHost配置（最大支持）4095CPU4TBMemUnlimited2TBMem2048CPU4TBMem4095CPU5TBMemVM配置（最大支持）64vCPU1TBMem160vCPU2TBMem64vCPU1TBMem255vCPU1TBMem在線遷移VM在線遷移存儲在線遷移VM在線遷移VM在線遷移存儲在線遷移VM在線遷移存儲在線遷移最大集群規(guī)模32Hosts4000VMsunlimited16Hosts1000VMs32Hosts1000VMs虛擬機池化管理成為當(dāng)前虛擬化技術(shù)核心競爭力（一）10

XCP（OpenSource）

XenServer（Paid）PerformancealertingandreportingunsupportsupportDynamicworkloadbalancing(physical)unsupportsupportProvisioningservices(VM)unsupportsupportStorageLink(ImageManager)unsupportsupportHighavailabilityunsupportsupportAutomatedVMprotectionandrecoveryunsupportsupportSiteRecoveryunsupportsupportDistributedvirtualmachinemanagementunsupportsupportHeterogeneousvirtualzationmanagementtechnologyunsupportplantosupport資源監(jiān)測和優(yōu)化、錯誤診斷與恢復(fù)、跨數(shù)據(jù)中心交互管理是產(chǎn)品和開源工具的本質(zhì)區(qū)別資源監(jiān)測和優(yōu)化錯誤診斷與恢復(fù)交互管理虛擬機池化管理成為當(dāng)前虛擬化技術(shù)核心競爭力（二）11/news/market-research/jun-2012/gartner-magic-quadrant-for-x86-server-virtualization-infrastructure.html2.3.虛擬機池化管理能力是服務(wù)器虛擬化核心競爭力，例如KVM的管理工具（開源或產(chǎn)品）短缺是制約其提升市場占有率的關(guān)鍵2013年3月，虛擬化管理軟件公司PHDVirtual獲400萬美元融資wecanscaleyourserviceupordowntocuttingunneededCostswhilesupportingperiodsofpeakdemand.2013年3月，微軟公司收購云管理服務(wù)MetricsHub，充實Azure產(chǎn)品為什么虛擬機池化管理很重要？12

virtualization-infrastructure.html從虛擬機池化管理實際使用模式說起——三個問題虛擬機資源池虛擬機資源池典型應(yīng)用包括多個虛擬機資源池實例（互操作）1.虛擬機資源池應(yīng)具有VM服務(wù)質(zhì)量保障（資源管理）和錯誤恢復(fù)機制（高可靠）VM資源管理——資源競爭互干擾對服務(wù)質(zhì)量保障的挑戰(zhàn)1.…服務(wù)器1服務(wù)器2服務(wù)器N虛擬化資源管理層使用虛擬機空閑虛擬機（1）如何在互干擾條件下分析應(yīng)用資源需求（2）如何確定資源供給的節(jié)點？Web應(yīng)用不再獨占底層物理資源，存在資源競爭高可靠——“集中式”管理引入的全局失效問題1.虛擬機池化管理節(jié)點1節(jié)點2節(jié)點3傳統(tǒng)模式節(jié)點1節(jié)點2節(jié)點3池化模式單獨交互，某節(jié)點失效后只恢復(fù)某一節(jié)點即可。邏輯整體，某節(jié)點失效可能會導(dǎo)致所有節(jié)點重裝。在整個邏輯整體中如何定位和修復(fù)問題節(jié)點？虛擬化技術(shù)B互操作——異構(gòu)環(huán)境的挑戰(zhàn)1.虛擬化技術(shù)A數(shù)據(jù)中心存在多種虛擬化技術(shù)，如何統(tǒng)一管理是未來虛擬化管理技術(shù)的核心。VM載體鏡像文件鏡像管理是核心技術(shù)之一，如何快速傳輸及如何準(zhǔn)確生成滿足目標(biāo)虛擬化約束的鏡像及其配置文件虛擬化環(huán)境下貌似對維護(hù)人員提出了更高的要求17資源管理：維護(hù)者須能準(zhǔn)確區(qū)分因資源共享競爭造成的應(yīng)用性能影響，也該對資源有全局認(rèn)識以便合理的資源供給高可靠：維護(hù)者掌握準(zhǔn)確定位錯誤節(jié)點和深入理解節(jié)點失效對整個資源池影響，以便錯誤恢復(fù)互操作：維護(hù)者必須了解不同虛擬化技術(shù)的差異性，以便正確的互操作虛擬機資源池管理需幫助維護(hù)者解決三大問題18虛擬機池化管理目標(biāo)：幫助維護(hù)者快速發(fā)現(xiàn)、分析和解決問題支持異構(gòu)環(huán)境的VM及其鏡像快速傳輸和重生成的互操作技術(shù)物理節(jié)點和VM錯誤快速定位及自修復(fù)的高可靠保障技術(shù)服務(wù)質(zhì)量驅(qū)動的資源監(jiān)測、分析、調(diào)整的資源管理技術(shù)我們的工程研發(fā)也將圍繞這三個問題展開目錄背景介紹工程研發(fā)思路討論學(xué)術(shù)研究趨勢分析總結(jié)19從調(diào)研和模仿開始20

4.知己知彼，方能百戰(zhàn)不殆產(chǎn)業(yè)界現(xiàn)狀——資源管理技術(shù)21應(yīng)用監(jiān)測資源分析和預(yù)警資源調(diào)整RedhatCitrixMicrosoftVMWare應(yīng)用監(jiān)測CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤資源分析和預(yù)警不支持支持，基于閾值的方法支持，基于閾值和負(fù)載預(yù)測技術(shù)支持，基于歷史數(shù)據(jù)分析技術(shù)資源調(diào)整手動調(diào)整手動調(diào)整具有強大的自調(diào)整引擎（收購Metricshub）手動調(diào)整為主，簡單規(guī)則引擎

4.產(chǎn)業(yè)界現(xiàn)狀——高可靠保障技術(shù)22虛擬機資源池定位和恢復(fù)虛擬機錯誤定位虛擬機恢復(fù)RedhatCitrixMicrosoftVMWare虛擬機資源池定位和恢復(fù)基于心跳的定位技術(shù)，基于手動重構(gòu)建的Master節(jié)點生成技術(shù)基于心跳的定位技術(shù)，基于手動的Master節(jié)點重定向技術(shù)基于心跳的定位技術(shù)，基于雙機熱備的Master節(jié)點恢復(fù)技術(shù)基于心跳的定位技術(shù)，基于雙機熱備的Master節(jié)點恢復(fù)技術(shù)虛擬機錯誤定位心跳機制心跳機制心跳機制基于歷史資源消耗分析技術(shù)虛擬機恢復(fù)重啟機制重啟和快照備份機制重啟和快照備份機制重啟和快照備份機制

4.產(chǎn)業(yè)界現(xiàn)狀——互操作技術(shù)23同構(gòu)環(huán)境下鏡像文件離線遷移同構(gòu)環(huán)境下鏡像文件在線遷移異構(gòu)環(huán)境下鏡像文件離線遷移RedhatCitrixMicrosoftVMWare同構(gòu)環(huán)境下鏡像文件離線遷移基于邏輯卷的方法基于邏輯卷的方法基于邏輯卷的方法基于文件系統(tǒng)的方法同構(gòu)環(huán)境下鏡像文件在線遷移不支持Pre-migration法，目標(biāo)鏡像與源鏡像同時寫，再迭代同步數(shù)據(jù)掛起、同步和恢復(fù)機制（同步期間VM不對外服務(wù)）Post-migration法，先迭代同步數(shù)據(jù)，再重定向到目標(biāo)鏡像異構(gòu)環(huán)境下鏡像文件離線遷移不支持?jǐn)M支持（與Microsoft互操作）擬支持（與Citrix互操作）不支持

4.思考——已有工作是否已足夠好？24

virtualization-infrastructure.html應(yīng)用監(jiān)測資源分析和預(yù)警資源調(diào)整虛擬機資源池定位和恢復(fù)虛擬機錯誤定位虛擬機恢復(fù)同構(gòu)環(huán)境下鏡像文件離線遷移同構(gòu)環(huán)境下鏡像文件在線遷移異構(gòu)環(huán)境下鏡像文件離線遷移自調(diào)整規(guī)則該如何定？虛擬機備份周期該如何定？哪些鏡像文件應(yīng)該遷移？我們的思路——虛擬機資源池管理能給出最佳配置建議25

virtualization-infrastructure.html自調(diào)整規(guī)則該如何定？虛擬機備份周期該如何定？哪些鏡像文件應(yīng)該遷移？目標(biāo)：幫助維護(hù)者正確配置參數(shù)，達(dá)到較好的管理效果我們工程現(xiàn)狀26

virtualization-infrastructure.html資源監(jiān)測與優(yōu)化錯誤定位與恢復(fù)互操作初步在“三大塊”中體現(xiàn)“基于推薦”的研發(fā)思路目錄背景介紹工程研發(fā)思路討論學(xué)術(shù)研究趨勢分析總結(jié)27學(xué)術(shù)界研究熱度現(xiàn)狀（一）28

virtualization-infrastructure.html資源監(jiān)測與優(yōu)化錯誤定位與恢復(fù)互操作數(shù)據(jù)采樣來至IDCDS、EuroSys、Middleware和HPDC詳見下一頁統(tǒng)計數(shù)據(jù)依然很火受到重視開始關(guān)注學(xué)術(shù)界研究熱度現(xiàn)狀（二）29

virtualization-infrastructure.html各個研究點關(guān)注的關(guān)鍵字（一）30監(jiān)測技術(shù)性能建模動態(tài)配置資源監(jiān)測與優(yōu)化Large-Scale[1]Multi-Core[2]Heterogeneity[3]ResilientpressiveMonitoringforLarge-ScaleHostingInfrastructures.IEEETransactiononParallelandDistributedSystems(TPDS),2012Modelingvirtualizedapplicationsonmulti-coreserverusingmachinelearningtechniques.VEE2012HARMONY:DynamicHeterogeneity-AwareResourceProvisioningintheCloud,ICDCS2013各個研究點關(guān)注的關(guān)鍵字（二）31診斷對象診斷方法錯誤診斷與修復(fù)Web[1]Resource&&Online[2][3]DetectingTransientBottlenecksinn-TierApplicationsthroughFine-GrainedAnalysis.ICDCS2012TowardsanEfficientOnlineCausal-Event-Pattern-MatchingFramework.ICDCS2012CheapBFT:resource-efficientbyzantinefaulttolerance.VEE2013各個研究點關(guān)注的關(guān)鍵字（三）32遷移優(yōu)化異構(gòu)鏡像重生成互操作Fast[1][2