云平臺管理應(yīng)用開發(fā)

1、準備環(huán)境Ubuntu16.04桌面版，vmware12 （注意打開虛擬化）安裝軟件：apt-get install kvmapt-get install qemu-kvmapt-get install gccapt-get install bridge-utils (配置網(wǎng)絡(luò))brctl addbr br0brctl addif br0 eth0brctl showVirtio半虛擬化驅(qū)動的使用1、 分別制作安裝了Virtio半虛擬化驅(qū)動的Linux磁盤鏡像和Windows磁盤鏡像。宿主機：ubuntu16.4客戶機：centos，windows系統(tǒng)Virtio目前已經(jīng)是一個成熟的技術(shù)了，宿主

2、機中比較新的KVM都支持它，Linux2.6.24及以上的Linux內(nèi)核版本都是支持virtio的?？蛻魴Ccentos自帶有virtio不需要重新安裝。重點介紹windows xp系統(tǒng)。WindowsXP系統(tǒng)安裝virtio步驟：1）創(chuàng)建鏡像文件qemu-img create -f qcow2 winxp.img 50G鏡像名稱為winxp.img,鏡像大小為50G2）安裝winxp系統(tǒng)到鏡像文件中qemu-system-x86_64 -localtime -smp 2 -vga qxl -m 2048 -drive file=winxp.img,cache=writeback,if=virt

3、io -cdrom ./ISO/Windows_XP_SP3.iso -net nic,model=virtio -net tap -boot order=d,menu=on -usbdevice tablet -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x5 -enable-kvm -vnc :11用VNC連入進行系統(tǒng)安裝3) 啟動winxp系統(tǒng)，安裝驅(qū)動rootxp:# qemu-system-x86_64 -localtime -smp 2 -vga qxl -m 2048 -hda winxp.img -cdrom vi

4、rtio-win-0.1.113.iso -net nic,model=virtio -net tap -boot order=c -usbdevice tablet -device AC97 -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x5 -vnc :5 -enable-kvmVNC連入進行系統(tǒng)安裝virtio_ballon、virtio_net、virtio_serial:在依次安裝完成這3個驅(qū)動程序后，在“Device Manager“中的“Network adapter”項目中有“Red Hat Virtio Ethe

5、rnet Adapter”設(shè)備，在“System devices”項目中增加了“VirtIO Balloon Driver”和“VirtIO Serial Driver ”這兩個設(shè)備。安裝virtio_scsi驅(qū)動:先建立一個偽鏡像文件，然后將其作為window客戶機的一個非啟動盤rootxp:# qemu-img create -f qcow2 fake.qcow2 10Mrootxp:# qemu-system-x86_64 win1xp.img -drive file=fake.qcow2,if=virtio -smp 2 -m 2048 -cdrom virtio-win-0.1.11

6、3.iso -vnc :5 -usbdevice tablet在windows客戶機的“Device Manager”中會看到“Other devices”項目下沒有驅(qū)動程序的“SCSI Controller”。同前面步驟一樣選擇“更新驅(qū)動”選擇virtio-win中的viostor目錄下的對應(yīng)驅(qū)動進行安裝。重啟后2、 通過QEMU命令行參數(shù)啟動帶有Virtio網(wǎng)卡驅(qū)動、Virtio磁盤驅(qū)動、Virtio Balloon設(shè)備驅(qū)動的虛擬機。通過命令啟動centos系統(tǒng)：rootxp:# qemu-system-x86_64 -smp 1 -m 2048 -hda rhel-6.4.img -ne

7、t nic,model=virtio -net tap -usbdevice tablet -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x5 -enable-kvm -vnc :5通過vnc連接：在客戶機里面輸入：rootlocalhost # lsmod | grep virtioWin xp安裝好后virtio驅(qū)動后，用下面命令啟動，使用virtio驅(qū)動：Kvm中virtio的基本框架PCI設(shè)備直接分配VT-d概述：在QEMU/KVM,客戶機可以使用的設(shè)備大致可分為如下3種類型。1）Emulated device：QEMU純

8、軟件模擬。2）Virtio device：實現(xiàn)VIRTIO API的半虛擬化驅(qū)動的設(shè)備。3）PCI device addignment：PCI 設(shè)備直接分配。PCI設(shè)備直接分配，他允許將宿主機中的在物理PCI（或PCI-E）設(shè)備直接分配給客戶機完全使用。KVM中通過VT-d技術(shù)使用一個PCI-E網(wǎng)卡的系統(tǒng)架構(gòu)示例如圖所示VT-d環(huán)境配置：1.硬件支持和BIOS設(shè)置目前很多硬件平臺支持VT-d，除了硬件還需要在BIOS將VT-d功能打開。根據(jù)不同品牌電腦可以百度一下。2.宿主機內(nèi)核配置Ubuntu16.4打開處理器的虛擬化引擎選擇虛擬化Intel VT-x/EPT 或AMD-v/RVI(V)檢查

9、ubuntu16.4支持虛擬化輸入命令：kvm-ok3.在宿主機中隱藏設(shè)備使用pci_stub這個內(nèi)核模塊來對需要分配給客戶機的設(shè)備進行隱藏，從而讓宿主機和未被分配的客戶機都無法使用該設(shè)備，達到隔離和安全使用的目的，需要通過如下三步來隱藏一個設(shè)備。1） 加載pci_stub驅(qū)動2） 查看設(shè)備的vendor ID和device ID(假設(shè)此設(shè)備的BDF為02:00.0)上面lspci命令行，-D：顯示設(shè)備的domain-n：數(shù)字方式顯示設(shè)備的vendor ID和device ID-s：顯示后面指定的一個設(shè)備的信息3） 綁定設(shè)備到pci_stub驅(qū)動echo -n 8086 10b9 /sys/b

10、us/pci/drivers/pci-stub/new_idecho 0000:08:00.0 /sys/bus/pci/devices/0000:08:00.0/driver/unbindecho 0000:08:00.0 /sys/bus/pci/drivers/pci-stub/bind# lspci -k -s 08:00.0設(shè)備驅(qū)動是intel的e1000e，綁定后為pci_stub4.通過QEMU命令行分配設(shè)備給客戶機利用 qemu-kvm 命令行中 “-device” 選項可以為客戶機分配一個設(shè)備 ，配合其中的 “pciassign” 作為子選項可以實現(xiàn)設(shè)備直接分配。-devic

11、e driver,prop=value,.其中 driver 是設(shè)備使用的驅(qū)動 ，有很多種類 ，如pci-assign 表示 PCI 設(shè)備直接分配、virtio-balloon-pci (又為 virtio-balloon ) 表示 ballooning 設(shè)備 這與第 4 章中提到的 “-balloonvirtio” 的意義相同 ）。 prop=value 是設(shè)置驅(qū)動的各個屬性值?！?device?” 可以查看有哪些可用的驅(qū)動， “-device driver,?” 可查看某個驅(qū)動的各個屬性值， 如下面命令行所示。qemu-kvm 命令行工具在啟動時分配一個設(shè)備給客戶機：qemu-system

12、-x86_64 rhel6u3.img -m 1024 -device pci-assign,host=08 :00.0, id=mydev0 , addr=0x6如果 要一次性分配多個設(shè)備給客 戶機， 只需在 qemu-kvm 命令行中重 復(fù)多次 “-device pci-assign,host=$BDF” 這樣的選項即可 。5. 除 了在客戶機啟 動時就直接分配設(shè)備之外， QEUM/KVM 還支持設(shè)備的熱插拔(hot-plug )在客戶機運行時添加所需的直接分配的設(shè)備 ，這需要在 QEMU monitor 中運行相應(yīng)的命令。在QEMU monitor可以對宿主機進行各種操作。SR-IOV技

13、術(shù)概述為了實現(xiàn)多個虛擬機能夠共享同一個物理設(shè)備的資源，并且達到設(shè)備直接分配的性能，PCI-SIG組織發(fā)布了SR-IOV（Sing Root I/O Virtualization and Sharing）規(guī)范，該規(guī)范定義了一個標準化的機制用以原生地支持實現(xiàn)多個共享的設(shè)備。R-IOV最廣泛的應(yīng)用還是在以太網(wǎng)卡設(shè)備的虛擬化方面。Physical Function（PF，物理功能）PF是一個普通的PCI-e設(shè)備（帶有SR-IOV功能），可以放在宿主機中配置和管理其它VF，它本身也可以作為一個完整獨立的功能使用。Virtual Function（VF，虛擬功能）由PF衍生而來的“輕量級”的PCI-e功能

14、，包含數(shù)據(jù)傳送所必需的資源，簡而言之，VF通過PF的配置之后，可以分配到客戶機中作為獨立功能使用。SR-IOV的優(yōu)勢真正實現(xiàn)了設(shè)備的共享（多個客戶機共享一個SR-IOV設(shè)備的物理端口）接近原生系統(tǒng)的高性能（比純軟件模擬和Virtio設(shè)備的性能都要好）相比于VT-d，SR-IOV可以用更少的設(shè)備支持,更多的客戶機，可以提高數(shù)據(jù)中心的空間利用率SR-IOV的不足之處對設(shè)備有依賴，只有部分PCI-e設(shè)備支持SR-IOV使用SR-IOV時，不方便動態(tài)遷移客戶機虛擬機的動態(tài)遷移1.動態(tài)遷移（Live Migration）：就是在保證虛擬機上服務(wù)正常運行的同時，將一個虛擬機系統(tǒng)從一個物理主機移動到另一個物

15、理主機的過程。該過程不會對最終用戶造成明顯的影響，從而使得管理員能夠在不影響用戶正常使用的情況下，對物理服務(wù)器進行離線維修或者升級。虛擬機遷移主要增強了系統(tǒng)的可維護性，其主要目標就是在客戶機沒有感覺的情況下，將客戶機，遷移到另一個物理機器上，從而保證了服務(wù)器正常使用。可以從如下三個方面來衡量虛擬機遷移的效率：整體遷移時間，服務(wù)器停機時間，對服務(wù)的性能影響。NFS服務(wù)器：操作系統(tǒng)版本:ubuntu16，橋接IP為192.168.10.71，服務(wù)目錄為/mnt/vg/。2.下面介紹在kVM上進行動態(tài)遷移的具體操作步驟，這里的客戶機鏡像文件存在NFS共享存儲上面，源宿主機（vt-nhm9）目的宿主機

16、（vt-snb9）都對NFS上的鏡像文件具有可讀寫權(quán)限。1）下載配置nfs(1) KVM虛擬機動態(tài)遷移無需拷貝虛擬機配置文件和磁盤文件，但是需要遷移的主機之間有相同的目錄結(jié)構(gòu)放置虛擬機磁盤文件（本例為“/root/kvm”目錄），這里的動態(tài)遷移是基于共享存儲動態(tài)遷移，通過NFS來實現(xiàn)，需要qemu-kvm-0.12.2以上版本支持。(2) 在NFS服務(wù)器上，下載安裝NFS，kernel-server相當于server端,common是client端，使用命令“sudo apt-get install nfs-kernel-server nfs-common portmap”安裝NFS。(3)

17、配置NFS服務(wù)器，IP為192.168.10.71，將NFS服務(wù)器上的“/mnt/vg”目錄設(shè)為服務(wù)目錄。首先使用命令“sudo mkdir /mnt/vg”創(chuàng)建該目錄，然后使用命令“sudo chmod 777 /mnt”修改該目錄權(quán)限，接下來使用vim修改“/etc/exports”文件添加共享目錄，在該文件中添加“/root/ *(rw,sync,no_root_squash)”即可。*(rw,sync)是命令參數(shù)，表示包括讀寫權(quán)限。(4) “/etc/exports”文件修改后，使用命令“sudo exportfs r”刷新。然后啟動NFS服務(wù)，命令如下：sudo /etc/init.

18、d/portmap restartsudo /etc/init.d/nfs-kernel-server restart(5) NFS服務(wù)啟動后，在節(jié)點1上使用命令“showmount e 192.168.10.71”查看共享目錄，如圖1所示：2）在源宿主機掛載NFS的上客戶機鏡像，并啟動客戶機rootxp:# mount -t nfs 192.168.10.71:/root/kvm/ /mnt這里沒有指定客戶機中的CPU模型，默認是qemu64這個基本的模型，當然也樂意自行設(shè)置為“-cpu SandyBridge”或“-cpu Westmere”等，要保證在目的主機上也用相同的命令。啟動虛擬機

19、，進入monitor執(zhí)行命令：rootxp:# qemu-system-x86_64 -hda /mnt/rhel-6.4.img -m 1024 -localtime -net nic -net tap,ifname=tap1,script=no,downscript=no -monitor stdio -vnc :5在客戶機中運行一個程序（這里執(zhí)行了“top”命令），以便在動態(tài)遷移后檢查它是否仍然正常地繼續(xù)執(zhí)行。3）目的宿主機上也掛載NFS上的客戶機鏡像的目錄，并且啟動一個客戶機用于接收動態(tài)遷移過來的內(nèi)存內(nèi)容rootubuntu:# mount -t nfs 192.168.10.71:/

20、root/kvm/ /mnt注意：nfs掛載目錄必須與源主機上保持一致；啟動客戶機命令一致，但是需要增加-incoming 選項：-incoming tcp:0:6666 這個參數(shù)他表示在6666 端口建立一個tcp socket 連接用于接收來源主機的動態(tài)遷移的內(nèi)容。其中0 表示：任何允許來自任何主機的連接“-incoming” 這個參使qem-kvm進程進入到遷移監(jiān)聽（migration-listen）模式，而不是真正以命令行中的鏡像文件運行客戶機，從vnc里面看，客戶機黑色沒任何顯示，在等待動態(tài)遷移的數(shù)據(jù)傳入。啟動虛擬機：rootubuntu:# qemu-system-x86_64 /

21、mnt/rhel-6.4.img -smp 2 -m 2048 -net nic -net tap -incoming tcp:0:6666 -vnc :5通過VNC查看：4）在源宿主機的QEMU monitor 命令行中輸入migrate tcp:vt-snb9:6666即可進入動態(tài)遷移的流程 vt-snb9就是目的宿主機ip，tcp協(xié)議和6666端口與目的宿主機上命令行的-incoming 參數(shù)一致.5）在migrate 命令從開始到執(zhí)行完成，大約十秒鐘，在執(zhí)行完成遷移后，在目的主機上，之前處于遷移監(jiān)聽模式的客戶機就開始運行了，其中運行的正是動態(tài)遷移過來的客戶機可以看到客戶機的top命令遷

22、移后繼續(xù)運行。QEMU/KVM中也支持增量復(fù)制磁盤修改部分數(shù)據(jù)的動態(tài)遷移，以及直接復(fù)制整個客戶機磁盤鏡像的動態(tài)遷移。使用相同后端鏡像文件的動態(tài)遷移過程如下，與前面直接使用NFS共享存儲非常相似。（1）在源宿主機上，根據(jù)一個后端鏡像文件，創(chuàng)建一個qcow2格式的鏡像文件，并啟動客戶機#qemu-img create -f qcow2 -o backing_file=/mnt/ia32e_rhel6u3.img,size=20G rhel6u3.qcow2qemu-system-x86_64 rhel6u3.qcow2 -smp 2 -m 2048 -net nic -net tap這里使用前面掛

23、載的NFS上的鏡像文件作為qcow2的后端鏡像（2）在目的宿主機上，也建立相同的qcow2的后端鏡像，并帶有“-incoming”參數(shù)來啟動客戶機使其處于遷移監(jiān)聽狀態(tài)#qemu-img create -f qcow2 -o backing_file=/mnt/ia32e_rhel6u3.img,size=20G rhel6u3.qcow2 #qemu-system-x86_64 rhel6u3.qcow2 -smp 2 -m 2048 -net nic -net tap -incoming tcp:0:66663）在源宿主機上的客戶機的QEMU monitor中，運行“migrateKVM o

24、n KVM 嵌套虛擬化的實現(xiàn) 1.嵌套虛擬化的基本概念嵌套虛擬化是指在虛擬化的客戶機中運行一個Hypervisor，從而再虛擬化運行一個客戶機。嵌套虛擬化不僅包括相同Hypervisor的嵌套（如KVM嵌套KVM、Xen嵌套Xen等），也包括不同Hypervisor的相互嵌套（如KVM嵌套嵌套Xen等）根據(jù)嵌套虛擬化的概念可知，其不僅包括兩層嵌套（如KVM嵌套KVM），還包括多層的嵌套（如KVM嵌套KVM再嵌套KVM）2. 嵌套虛擬化的五大應(yīng)用場景1）IaaS類型的云計算提供商2）為測試和調(diào)試Hypervisor帶來了非常大的便利3）在一些為了起到安全作用的帶有Hypervisor的固件上4）嵌套虛擬化的支持，對虛擬機系統(tǒng)的動態(tài)遷移也提供了新的功能5）嵌套虛擬化的支持，對于系統(tǒng)隔離性、安全性方面也提供更多的實施方案KVM嵌套KVM，既是在KVM上面運行的第一級客戶機中再加載kvm和kvm_intel（或kvm_amd）模塊，然后在第一級的客戶機中用qemu-kvm啟動帶有kvm加速的第二級客戶機。“KVM嵌套KVM”的基本架構(gòu)示意圖如下：3. “KVM嵌套KVM”功能的配置和使用宿主機：vmware12 ，ubuntu16.04-desktop，客戶機L1：ubuntu16-server，客戶機L2：windows-XP1）在L0中加載kvm-intel