虛擬化技術(shù)基礎(chǔ)

虛擬化技術(shù)基礎(chǔ)1基本概念1.1虛擬化虛擬化(Virtualization)是資源的邏輯表示，其不受物理限制的約束。虛擬化技術(shù)的實(shí)現(xiàn)形式是在系統(tǒng)中加入一個(gè)虛擬化層，將下層的資源抽象成另一形式的資源，提供給上層使用。本質(zhì)上，虛擬化就是由位于下層的軟件模塊，通過(guò)向上一層軟件模塊提供一個(gè)與它原先所期待的運(yùn)行環(huán)境完全一致的接口的方法，抽象出一個(gè)虛擬的軟件或硬件接口，使得上層軟件可以直接運(yùn)行在虛擬環(huán)境上。通過(guò)空間上的分割、時(shí)間上的分時(shí)以及模擬，虛擬化可將一份資源抽象成多份，亦可將多份資源抽象成一份。虛擬化中的兩個(gè)重要的定語(yǔ)名詞：宿主(Host)和客戶(Guest)Host用在物理資源前，Guest則用于虛擬出來(lái)的資源前。如將一個(gè)物理機(jī)器虛擬成多個(gè)虛擬機(jī)器，則稱物理機(jī)為物理機(jī)(HostMachine)，運(yùn)行其上的OS為HostOS；稱多個(gè)虛擬機(jī)為GuestMachine，運(yùn)行其上的OS為GuestOS1.2虛擬機(jī)虛擬機(jī)(VirtualMachine)是由虛擬化層提供的高效、獨(dú)立的虛擬計(jì)算機(jī)系統(tǒng)，其皆擁有自己的虛擬硬件(CPU，內(nèi)存，I/O設(shè)備)。通過(guò)虛擬化層的模擬，虛擬機(jī)在上層軟件看來(lái)，其就是一個(gè)真實(shí)的機(jī)器。這個(gè)虛擬化層一般稱為虛擬機(jī)監(jiān)控器(VirtualMachineMonitor,VMM)1974年，Popek和Goldberg在論文"FormalRequirementsforVirtualizableThirdGenerationArchitectures"中將VM定義為物理機(jī)的一種高效、隔離的復(fù)制，且指出VM的三個(gè)特征：同質(zhì)(Equivalence)即VM的運(yùn)行環(huán)境和物理機(jī)的環(huán)境在本質(zhì)上是相同的，表現(xiàn)上可以有一些差異。如CPU的ISA必須一致，CPUcore的個(gè)數(shù)可以不同。高效(Efficiency)即VM的性能必須接近物理機(jī)。因此，常見(jiàn)的模擬器(boches,simics...)就不能稱為VM為達(dá)此目的，軟件在VM上運(yùn)行時(shí)，大多數(shù)指令要直接在硬件上執(zhí)行，只有少量指令需要VMM的模擬或處理。資源受控(Resourcecontrol)即VMM對(duì)物理機(jī)的所有資源有絕對(duì)的控制力1.3FullvirtualizationandParavirtualizationFullvirtualization:所抽象的VM具有完全的物理機(jī)特性，OS在其上運(yùn)行不需要任何修改。典型的有VMWare,Virtualbox,VirtualPC,KVM-x86...)Paravirtualization:需OS協(xié)助的虛擬化，在其上運(yùn)行的OS需要修改。起初采用主要是為了解決x86體系結(jié)構(gòu)上完全虛擬化的困難(沒(méi)有IntelVT&AMD-V硬件虛擬化支持前；且不屑于動(dòng)態(tài)掃描指令修補(bǔ)之方法的性能)，后來(lái)則主要是為了提高虛擬化的效率。典型的有Xen,KVM-PowerPC等。下表是市面上流行的虛擬化技術(shù)的一個(gè)概況：數(shù)據(jù)來(lái)自"VIRTUALIZATIONWITHLOGICALDOMAINSANDSUNCOOLTHREADSSERVERS"1.4硬件虛擬化概況x86鑒于x86本身完全虛擬化的困難以及虛擬化性能的考慮，Intel在2006年是引入VT(VT-xforIA32,VT-iforItanium)來(lái)解決之，AMD以AMD-V緊隨之。其后Intel又引入VT-d(AMD為IOMMU)對(duì)x86平臺(tái)上的I/O虛擬化作了增強(qiáng)。PowerPC2001年IBM在Power4中加入虛擬化支持，并在2004年的Power5中推出增強(qiáng)的虛擬化支持，且在2009年發(fā)布的PowerISAv2.06中規(guī)范化。Freescale亦在e500mc中實(shí)現(xiàn)PowerISAv2.06的虛擬化增強(qiáng)。SPARC2005年SUN即在SPARC中引入虛擬化支持。2虛擬化技術(shù)概要之處理器虛擬化VMM對(duì)物理資源的虛擬可以劃分為三個(gè)部分：處理器虛擬化、內(nèi)存虛擬化和I/O虛擬化(設(shè)備)。其中以處理器的虛擬化最為關(guān)鍵。體系結(jié)構(gòu)背景簡(jiǎn)而言之，處理器呈現(xiàn)給軟件的接口就是一堆的指令（指令集）和一堆的寄存器（含用于通用運(yùn)算的寄存器和用于控制處理器行為的狀態(tài)和控制寄存器）。而I/O設(shè)備呈現(xiàn)給軟件的接口也就是一堆的狀態(tài)和控制寄存器（有些設(shè)備亦有內(nèi)部存儲(chǔ)）。這些都是系統(tǒng)的資源，其中影響處理器和設(shè)備狀態(tài)和行為的寄存器稱為關(guān)鍵資源或特權(quán)資源，如x86之CR0?CR4，MIPS的CP0寄存器，PowerPC的PrivilegedSPR（SPR編號(hào)第5位為1）。可以讀寫系統(tǒng)關(guān)鍵資源的指令叫做敏感指令，如x86的lgdt/sgdt/lidt/sidt/in/out，MIPS的mtc0/mfc0，PowerPC的mtmsr/mfmsr，SPARC的rdpr/wrpr等，此類又可稱為控制敏感指令。還有一類行為敏感指令，該類指令的執(zhí)行結(jié)果依賴于系統(tǒng)的狀態(tài)（如x86之popf）現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)一般至少有兩個(gè)特權(quán)級(jí)，（即用戶態(tài)和核心態(tài)，未加虛擬化擴(kuò)展的SPARC和PowerPC即是，MIPS有三個(gè)特權(quán)級(jí)（外加一個(gè)Supervisor態(tài)，沒(méi)什么用），而x86有四個(gè)特權(quán)級(jí)（Ring0?Ring3））用來(lái)分隔系統(tǒng)軟件和應(yīng)用軟件。決大多數(shù)的敏感指令是特權(quán)指令，特權(quán)指令只能在處理器的最高特權(quán)級(jí)（內(nèi)核態(tài)）執(zhí)行，如果執(zhí)行特權(quán)指令時(shí)處理器的狀態(tài)不在內(nèi)核態(tài)，通常會(huì)引發(fā)一個(gè)異常而交由系統(tǒng)軟件來(lái)處理這個(gè)“非法訪問(wèn)”（陷入）。少數(shù)敏感指令是非特權(quán)指令，如x86的sgdt/sidt等，非特權(quán)指令可以在用戶態(tài)讀取處理器的狀態(tài)，如sgdt/sidt則可在用戶態(tài)（Ring3）將GDTR和IDTR的值讀取到通用寄存器中。對(duì)于一般RISC處理器，如MIPS，PowerPC以及SPARC，敏感指令肯定是特權(quán)指令，唯x86例外。2.1經(jīng)典的虛擬化方法經(jīng)典的虛擬化方法主要使用“特權(quán)解除”（Privilegedeprivileging）和“陷入一模擬”（Trap-and-Emulation）的方式。即：將GuestOS運(yùn)行在非特權(quán)級(jí)（特權(quán)解除），而將VMM運(yùn)行于最高特權(quán)級(jí)（完全控制系統(tǒng)資源）。解除了GuestOS的特權(quán)后，GuestOS的大部分指令仍可以在硬件上直接運(yùn)行，只有當(dāng)執(zhí)行到特權(quán)指令時(shí)，才會(huì)陷入到VMM模擬執(zhí)行（陷入一模擬）。其早期的代表系統(tǒng)是IBMVM/370由此可引入虛擬化對(duì)體系結(jié)構(gòu)（ISA）的要求：須支持多個(gè)特權(quán)級(jí)此亦是現(xiàn)代操作系統(tǒng)的要求非敏感指令的執(zhí)行結(jié)果不依賴于CPU的特權(quán)級(jí)“陷入一模擬”的本質(zhì)是保證可能影響VMM正確運(yùn)行的指令由VMM模擬執(zhí)行，大部分的非敏感指令還是照常運(yùn)行。CPU需支持一種保護(hù)機(jī)制，如MMU，可將物理系統(tǒng)和其它VM與當(dāng)前活動(dòng)的VM隔離以上三個(gè)條件，現(xiàn)代體系結(jié)構(gòu)一般都滿足，唯有最后一個(gè)也是最重要的條件：敏感指令需皆為特權(quán)指令此為保證敏感指令在VM上執(zhí)行時(shí)，能陷入到VMM.因控制敏感指令的執(zhí)行可能改變系統(tǒng)(處理器和設(shè)備)的狀態(tài)，為保證VMM對(duì)資源的絕對(duì)控制力維護(hù)VM的正常運(yùn)行，這類指令的執(zhí)行需要陷入而將控制權(quán)轉(zhuǎn)移到VMM，并由其模擬處理之。行為敏感指令的執(zhí)行結(jié)果依賴于CPU的最高特權(quán)級(jí)，而GuestOS運(yùn)行于非最高特權(quán)級(jí)，為保證其結(jié)果正確，亦需要陷入VMM，并由其模擬之。2x86ISA分析x86ISA中有十多條敏感指令不是特權(quán)指令，因此x86無(wú)法使用經(jīng)典的虛擬化技術(shù)完全虛擬化。如：sgdt/sidt/sldt可以在用戶態(tài)讀取特權(quán)寄存器GDTR/IDTR/LDTR的值；popf/pushf在Ring0和Ring3的執(zhí)行結(jié)果不同；其它的還有smsw,lar,lsl,verr,verw,pop,push,call,jmp,intn,ret,str,move關(guān)于這些指令的詳細(xì)分析可以參見(jiàn)："AnalysisoftheIntelPentium'sAbilitytoSupportaSecureVirtualMachineMonitor"2.3x86虛擬化方法鑒于x86本身的局限，長(zhǎng)期以來(lái)對(duì)x86的虛擬化都是通過(guò)軟件方式實(shí)現(xiàn)，后來(lái)Intel和AMD都引入各自的硬件虛擬化技術(shù)來(lái)彌補(bǔ)處理器的缺陷。2.3.1基于二進(jìn)制翻譯(BT)的全虛擬化(Fullvirtualization)其主要思想是在執(zhí)行時(shí)將VM上執(zhí)行的GuestOS之指令，翻譯成x86ISA的一個(gè)子集，其中的敏感指令被替換成陷入指令。翻譯過(guò)程與指令執(zhí)行交叉進(jìn)行。不含敏感指令的用戶態(tài)程序可以不經(jīng)翻譯直接執(zhí)行。該技術(shù)為VMWareWorkstation，VMWareESXServer早期版本，VirtualPC以及QEMU所采用。2.3.2基于掃描與修補(bǔ)(Scan-and-Patch)的全虛擬化(Fullvirtualization)主要思想：VMM會(huì)在VM運(yùn)行每塊指令之前對(duì)其掃描，查找敏感指令補(bǔ)丁指令塊會(huì)在VMM中動(dòng)態(tài)生成，通常每一個(gè)需要修補(bǔ)的指令會(huì)對(duì)應(yīng)一塊補(bǔ)丁指令敏感指令被替換成一個(gè)外跳轉(zhuǎn)，從VM跳轉(zhuǎn)到VMM，在VMM中執(zhí)行動(dòng)態(tài)生成的補(bǔ)丁指令塊當(dāng)補(bǔ)丁指令塊執(zhí)行完后，執(zhí)行流再跳轉(zhuǎn)回VM的下一條指令處繼續(xù)執(zhí)行SUN之Virtualbox即采用該技術(shù)。2.3.2OS協(xié)助的類虛擬化(Paravirtualization)其基本思想是通過(guò)修改GuestOS的代碼，將含有敏感指令的操作，替換為對(duì)VMM的超調(diào)用(Hypercall，類似OS的系統(tǒng)調(diào)用，可將控制權(quán)轉(zhuǎn)移到VMM)。該技術(shù)的優(yōu)勢(shì)在于VM的性能能接近于物理機(jī)，缺點(diǎn)在于需要修改GuestOS.該技術(shù)因Xen項(xiàng)目而廣為人知。目前嵌入式領(lǐng)域的虛擬化，考慮到性能的因素，亦會(huì)在可以使用經(jīng)典虛擬化方法實(shí)現(xiàn)全虛擬的體系結(jié)構(gòu)上采用類虛擬化技術(shù)。2.3.3硬件協(xié)助的虛擬化鑒于x86在虛擬化上的缺陷，Intel和AMD都引入自己的硬件虛擬化技術(shù)來(lái)協(xié)助完成虛擬化。IntelVT-x(VirtualizationTechnologyforx86)IntelVT-i(VirtualizationTechnologyforItanium)IntelVT-d(VirtualizationTechnologyforDirectedI/O)AMD-V(AMDVirtualization)其基本思想就是引入新的處理器運(yùn)行模式和新的指令，使得VMM和GuestOS運(yùn)行于不同的模式下，GuestOS運(yùn)行于受控模式，原來(lái)的一些敏感指令在受控模式下全部會(huì)陷入VMM。而且模式切換時(shí)上下文的保存恢復(fù)由硬件來(lái)完成。該技術(shù)的引入使x86可以很容易地實(shí)現(xiàn)完全虛擬化。其被KVM-x86，新版VMWareESXServer3，Xen3.0以及大量x86平臺(tái)上的虛擬化軟件所采用。2.4其它體系結(jié)構(gòu)分析其它RISC之體系結(jié)構(gòu)，如MIPS,PowerPC,SPARC等，似乎不存在有敏感指令為非特權(quán)指令的情形。即它們應(yīng)該不存在虛擬化的困難。.2.5其它體系所采用之虛擬化方法目前可見(jiàn)的非x86體系的虛擬化產(chǎn)品，似乎都傾向于使用類虛擬化的技術(shù)手段。3虛擬化技術(shù)概要之內(nèi)存虛擬化3.1概述因?yàn)閂MM(VirtualMachineMonitor)掌控有所有系統(tǒng)資源，因此VMM握有整個(gè)內(nèi)存資源，其負(fù)責(zé)頁(yè)式內(nèi)存管理，維護(hù)虛擬地址到機(jī)器地址的映射關(guān)系。因GuestOS本身亦有頁(yè)式內(nèi)存管理機(jī)制，則有VMM的整個(gè)系統(tǒng)就比正常系統(tǒng)多了一層映射：虛擬地址(VA)，指GuestOS提供給其應(yīng)用程序使用的線性地址空間物理地址(PA)，經(jīng)VMM抽象的、虛擬機(jī)看到的偽物理地址機(jī)器地址(MA)，真實(shí)的機(jī)器地址，即地址總線上出現(xiàn)的地址信號(hào)映射關(guān)系如下：GuestOS:PA=f(VA)VMM:MA=g(PA)VMM維護(hù)一套頁(yè)表，負(fù)責(zé)PA到MA的映射。GuestOS維護(hù)一套頁(yè)表，負(fù)責(zé)VA到PA的映射。實(shí)際運(yùn)行時(shí)，用戶程序訪問(wèn)VA1，經(jīng)GuestOS的頁(yè)表轉(zhuǎn)換得到PA1，再由VMM介入，使用VMM的頁(yè)表將PA1轉(zhuǎn)換為MA1.3.2頁(yè)表虛擬化基本思想普通MMU只能完成一次虛擬地址到物理地址的映射，在虛擬機(jī)環(huán)境下，經(jīng)過(guò)MMU轉(zhuǎn)換所得到的“物理地址”并不是真正的機(jī)器地址。若需得到真正的機(jī)器地址，必須由VMM介入，再經(jīng)過(guò)一次映射才能得到總線上使用的機(jī)器地址。顯然，如果虛擬機(jī)的每個(gè)內(nèi)存訪問(wèn)都需要VMM介入，并由軟件模擬地址轉(zhuǎn)換的效率是很低下的，幾乎不具有實(shí)際可用性，為實(shí)現(xiàn)虛擬地址到機(jī)器地址的高效轉(zhuǎn)換，現(xiàn)普遍采用的思想是：由VMM根據(jù)映射f和g生成復(fù)合的映射?甘，并直接將這個(gè)映射關(guān)系寫入MMU其可行性在于：VMM維護(hù)著映射gVMM能夠訪問(wèn)GuestOS的內(nèi)存，因此可以直接查詢GuestOS的頁(yè)表，從而獲得映射f計(jì)算復(fù)合映射fg能夠在恰當(dāng)?shù)臅r(shí)候高效地進(jìn)行3.3頁(yè)表虛擬化實(shí)現(xiàn)目前采用的頁(yè)表虛擬化方法主要有兩個(gè)：MMU類虛擬化(MMUParavirtualization)和影子頁(yè)表3.3.1MMUParavirtualization該技術(shù)為Xen所采用。其基本原理是：當(dāng)GuestOS創(chuàng)建一個(gè)新的頁(yè)表時(shí)，會(huì)從它所維護(hù)的空閑內(nèi)存中分配一個(gè)頁(yè)面，并向Xen注冊(cè)該頁(yè)面，Xen會(huì)剝奪GuestOS對(duì)該頁(yè)表的寫權(quán)限，之后GuestOS對(duì)該頁(yè)表的寫操作都會(huì)陷入到Xen加以驗(yàn)證和轉(zhuǎn)換。Xen會(huì)檢查頁(yè)表中的每一項(xiàng)，確保他們只映射了屬于該虛擬機(jī)的機(jī)器頁(yè)面，而且不得包含對(duì)頁(yè)表頁(yè)面的可寫映射。后，Xen會(huì)根據(jù)自己所維護(hù)的映射關(guān)系g，將頁(yè)表項(xiàng)中的物理地址替換為相應(yīng)的機(jī)器地址，最后再把修改過(guò)的頁(yè)表載入MMU。如此，MMU就可以根據(jù)修改過(guò)頁(yè)表直接完成虛擬地址到機(jī)器地址的轉(zhuǎn)換。3.3.2影子頁(yè)表類虛擬化需要修改GuestOS。對(duì)全虛擬化，則使用影子頁(yè)表(ShadowPageTable)技術(shù)來(lái)實(shí)現(xiàn)。VMWareWorkstation,VMWareESXServer和KVMforx86都是使用該技術(shù)。與類虛擬化類似，影子頁(yè)表技術(shù)也是采用將復(fù)合映射fg直接寫入MMU的思路。不同在于類虛擬化技術(shù)直接將fg更新到GuestOS的頁(yè)表項(xiàng)中，而影子頁(yè)表則是VMM為GuestOS的每個(gè)頁(yè)表維護(hù)一個(gè)“影子頁(yè)表“，并將合成后的映射關(guān)系寫入到”影子“中，GuestOS的頁(yè)表內(nèi)容則保持不變。最后VMM將影子頁(yè)表寫入MMU影子頁(yè)表的實(shí)現(xiàn)挑戰(zhàn)在于其時(shí)間和空間的開(kāi)銷很大。時(shí)間：由于GuestOS構(gòu)造頁(yè)表時(shí)不會(huì)主動(dòng)通知VMM,VMM必須等到GuestOS發(fā)生缺頁(yè)時(shí)通過(guò)分析缺頁(yè)原因，再為其補(bǔ)全影子頁(yè)表?？臻g：VMM需要支持多個(gè)虛擬機(jī)同時(shí)運(yùn)行，而每個(gè)虛擬機(jī)的GuestOS通常會(huì)為其上運(yùn)行的每個(gè)進(jìn)程都創(chuàng)建一套頁(yè)表系統(tǒng)，因此影子頁(yè)表的空間開(kāi)銷會(huì)隨著進(jìn)程數(shù)量的增多而迅速增大。在時(shí)間開(kāi)銷和空間開(kāi)銷中做出權(quán)衡的方法是使用影子頁(yè)表緩存(ShadowPageTableCache)，即VMM在內(nèi)存中維護(hù)部分最近使用過(guò)的影子頁(yè)表，只有當(dāng)影子頁(yè)表在緩存中找不到時(shí)，才構(gòu)建一個(gè)新的，當(dāng)前主要的全虛擬化都采用了影子頁(yè)表緩存技術(shù)。4虛擬化技術(shù)概要之VMM結(jié)構(gòu)4.1概述當(dāng)前主流的VMM(VirtualMachineMonitor)實(shí)現(xiàn)結(jié)構(gòu)可以分為三類：宿主模型(OS-hostedVMMs)Hypervisor模型(HypervisorVMMs)混合模型(HybridVMMs)4.2宿主模型該結(jié)構(gòu)的VMM，物理資源由HostOS(Windows,Linuxetc.)管理實(shí)際的虛擬化功能由VMM提供，其通常是HostOS的獨(dú)立內(nèi)核模塊(有的實(shí)現(xiàn)還含用戶進(jìn)程，如負(fù)責(zé)I/O虛擬化的用戶態(tài)設(shè)備模型)VMM通過(guò)調(diào)用HostOS的服務(wù)來(lái)獲得資源，實(shí)現(xiàn)CPU，內(nèi)存和I/O設(shè)備的虛擬化VMM創(chuàng)建出VM后，通常將VM作為HostOS的一個(gè)進(jìn)程參與調(diào)度如上圖所示，VMM模塊負(fù)責(zé)CPU和內(nèi)存虛擬化，由ULM請(qǐng)求HostOS設(shè)備驅(qū)動(dòng)，實(shí)現(xiàn)I/O設(shè)備的虛擬化。優(yōu)點(diǎn)：可以充分利用現(xiàn)有OS的設(shè)備驅(qū)動(dòng)，VMM無(wú)需自己實(shí)現(xiàn)大量的設(shè)備驅(qū)動(dòng)，輕松實(shí)現(xiàn)I/O設(shè)備的虛擬化。缺點(diǎn)：因資源受HostOS控制，VMM需調(diào)用HostOS的服務(wù)來(lái)獲取資源進(jìn)行虛擬化，其效率和功能會(huì)受到一定影響。采用該結(jié)構(gòu)的VMM有：VMwareWorkstation,VMWareServer(GSX),VirtualPC,VirtualServer,KVM(早期)4.3Hypervisor模型該結(jié)構(gòu)中，VMM可以看作一個(gè)為虛擬化而生的完整OS，掌控有所有資源（CPU，內(nèi)存，I/O設(shè)備）VMM承擔(dān)管理資源的重任，其還需向上提供VM用于運(yùn)行GuestOS，因此VMM還負(fù)責(zé)虛擬環(huán)境的創(chuàng)建和管理。優(yōu)點(diǎn)：因VMM同時(shí)具有物理資源的管理功能和虛擬化功能，故虛擬化的效率會(huì)較高；安全性方面，VM的安全只依賴于VMM的安全缺點(diǎn)：因VMM完全擁有物理資源，因此，VMM需要進(jìn)行物理資源的管理，包括設(shè)備的驅(qū)動(dòng)，而設(shè)備驅(qū)動(dòng)的開(kāi)發(fā)工作量是很大的，這對(duì)VMM是個(gè)很大的挑戰(zhàn)。采用該結(jié)構(gòu)的VMM有：VMWareESXServer,WindRiverHypervisor,KVM（后期）4.4混合模型該結(jié)構(gòu)是上述兩種模式的混合體，VMM依然位于最底層，擁有所有物理資源，但VMM會(huì)主動(dòng)讓出大部分I/O設(shè)備的控制權(quán)，將它們交由一個(gè)運(yùn)行在特權(quán)VM上的特權(quán)OS來(lái)控制。VMM只負(fù)責(zé)CPU和內(nèi)存的虛擬化，I/O設(shè)備的虛擬化由VMM和特權(quán)OS共同完成：優(yōu)點(diǎn)：可利用現(xiàn)有OS的I/O設(shè)備驅(qū)動(dòng)；VMM直接