wot2013云計算架構(gòu)師峰會正式版

2023/11/17輕量虛擬化技術(shù)

--docker實戰(zhàn)分享百度BAE陳軼飛2013-10.25綱要一、輕量虛擬化技術(shù)是什么？涉及到哪些技術(shù)和知識？應(yīng)用領(lǐng)域二、BAE與dockerdocker是什么？BAE為什么選擇docker？BAE是如何使用docker的？三、docker的發(fā)展和展望2023/11/17輕量虛擬化技術(shù)

--是什么？以Linux進程的視角來看進程運行的時候，周邊的環(huán)境和資源有哪些？Linux內(nèi)核文件系統(tǒng)網(wǎng)絡(luò)系統(tǒng)PID、UID、IPC等資源內(nèi)存、CPU、磁盤等資源其它每個進程的看到的周邊環(huán)境都一樣所有進程共享這些資源2023/11/17輕量虛擬化技術(shù)

--是什么？技術(shù)發(fā)展過程中，產(chǎn)生了這樣的需求資源隔離：不同進程，希望有自己獨立的周邊環(huán)境資源限制：限制某些進程所能使用的資源能對一組進程進行上述隔離和限制輕量虛擬化技術(shù)

--是什么？需求總結(jié)為：為一組進程分配獨立的運行環(huán)境文件系統(tǒng)網(wǎng)絡(luò)系統(tǒng)PID、UID、UTS、mount、IPC空間并能對它們能使用的資源從總體上進行限制內(nèi)存CPU網(wǎng)絡(luò)流量磁盤空間磁盤讀寫頻率最好還能防止進程組之間互相干擾2023/11/17輕量虛擬化技術(shù)

--是什么？輕量虛擬化，就是用來實現(xiàn)上述需求的技術(shù)滿足上述限制條件的進程組，叫做“輕量虛擬機”，或者ContainerProcessContainer的概念，最早是由google工程師在2006年提出來的

wikipedia定義

2023/11/17輕量虛擬化技術(shù)

--是什么？感性的認識輕量虛擬化技術(shù)

--相關(guān)技術(shù)和開源項目底層技術(shù)：namespace/cgroupschroot/vethunionfs(AUFS)netfilter/tc/quotacontainer管理LXC/libvirt安全相關(guān)grsec/apparmor/SELinux高級docker/warden/Imctfy/openVZ輕量虛擬化技術(shù)

--相關(guān)技術(shù)和開源項目namespace/cgroups/chroot/vethnetfilter/tc/quota/unionfsLXCdockerlibvirtwardenimctfygrsecapparmorSELinxcloudfoundry/heroku/dotcloud/appfog/openshiftopenvz輕量虛擬化技術(shù)

--適用場景在一個資源隔離、受限的環(huán)境中執(zhí)行任務(wù)將一個執(zhí)行環(huán)境整體遷移、復(fù)制運行不受信任的代碼BAE與docker

--docker是什么？輕量虛擬機的完整解決方案dotCloud公司推出的的開源項目

推出6個多月，GithubGO語言活躍度排名第一BAE與docker

--docker是什么？基于LXC之上，但更易用AUFS：創(chuàng)建虛擬機超快，鏡像管理超酷Client-Server架構(gòu)RESTAPI：接口清晰命令行工具：簡單應(yīng)用演示BAE與docker

--BAE是什么？2023/11/17

百度面向開發(fā)者的PAAS平臺百度輕應(yīng)用的運行平臺BAE與docker

--BAE為什么選擇docker?傳統(tǒng)PAAS平臺的困境GAE是始作俑者通過沙盒技術(shù)來實現(xiàn)資源隔離與資源限制實現(xiàn)python沙盒的經(jīng)歷平臺的開發(fā)和維護成本高諸多限制，學(xué)習(xí)成本高應(yīng)用的遷移和開發(fā)成本高開發(fā)者的抱怨多，不爽BAE與docker

--BAE為什么選擇docker?傳統(tǒng)PAAS平臺的困境物理機器帶沙盒的PHP容器應(yīng)用A應(yīng)用B應(yīng)用CBAE與docker

--BAE為什么選擇docker?Container技術(shù)帶來了光明干掉沙盒；通過Container技術(shù)在外層進行資源隔離與限制無任何語言層面的限制，開發(fā)者學(xué)習(xí)成本顯著降低支持新的編程語極其簡單，平臺開發(fā)和維護成本降低業(yè)界趨勢：新興PAAS平臺紛紛選擇ContainerCloudfoudry/openshift/heroku/dotcloud/appfogBAE與docker

--BAE為什么選擇docker?Container技術(shù)帶來了光明物理機器虛擬機原生PHP容器應(yīng)用A虛擬機原生PHP容器應(yīng)用BBAE與docker

--BAE為什么選擇docker?BAE2.0平臺是一種基于沙盒技術(shù)的PAAS我們也深受傳統(tǒng)PAAS平臺的困擾注意到Container技術(shù)，開始前期的調(diào)研和摸索BAE與docker

--技術(shù)選型一：自己開發(fā)首先和公司內(nèi)部虛擬化團隊合作摸索了一套方案：openstack+libvirt功能上能滿足基本需求問題沒有考慮到最重要的一個需求：需要頻繁的創(chuàng)建和刪除Container要求創(chuàng)建和刪除Container能在幾秒內(nèi)完成實際創(chuàng)建Container要15秒以上，無法接受Openstack畫蛇添足對代碼質(zhì)量沒有足夠信心缺少后續(xù)技術(shù)支持BAE與docker

--技術(shù)選型二：wardencloudfoundry的wardenwarden是一個比較完整的解決方案但是：Ruby不熟悉，心里沒底dea與warden耦合太緊社區(qū)活躍度不夠BAE與docker

--與docker的偶遇一次偶然機會，與docker布道師JeromePetazzoni的交流對docker的評估功能上滿足主要需求強悍：虛擬機的快速創(chuàng)建和刪除能力強悍：增量式的鏡像管理能力代碼簡單易讀，出問題有信心自己可以搞定有dotcloud公司支持，社區(qū)活躍度高，看好它的未來BAE與docker

--如何使用docker?架構(gòu)上的主要工作：與我們自己的系統(tǒng)的整合Agentdocker虛擬機虛擬機…消息隊列CloudControllerBAE與docker

--如何使用docker?技術(shù)上的一些判斷和選擇：果斷選擇ubuntu系統(tǒng)合理的抽象，將docker作為“虛擬機管理”的一種backend實現(xiàn)；（一旦docker出現(xiàn)不可控的風險，還可以切換到其它方案上）解決宿主機對container的控制問題剛開始使用ssh后改為wsh

（在warden內(nèi)找到代碼進行修改而來）2023/11/17BAE與docker

--如何使用docker？Docker的資源隔離功能基本滿足需求主要的開發(fā)工作更好的資源限制更全面的安全限制公共PAAS平臺，安全最重要BAE與docker

--如何使用docker？功能完善：資源限制內(nèi)存CPU磁盤空間quota磁盤讀寫blkio網(wǎng)絡(luò)帶寬tcsetrlimitBAE與docker

--如何使用docker?功能完善：安全限制grsec：封堵內(nèi)核漏洞（關(guān)鍵）apparmor：對container內(nèi)部的能力進行限制(unbutu自帶)LXC自身的安全設(shè)置lxc.drop_capabilities

Lxc.device.deny嚴格的iptables規(guī)則賬號權(quán)限用戶代碼僅能使用普通賬號root隨機密碼禁止root登錄

惡意進程掃描網(wǎng)絡(luò)訪問日志記錄BAE與docker

--如何使用docker？docker私有倉庫，解決鏡像管理問題BAE與docker

--如何使用docker?遇到過的一些問題dockerserver重啟后，container掛掉我們的patch已merge到主干壓力情況下的不穩(wěn)定ssh遠程執(zhí)行命令不穩(wěn)定并發(fā)情況下iptables偶爾會失敗刪除container后會留下垃圾垃圾檢測和清除腳本dockerserver創(chuàng)建的線程過多BAE與docker

--收獲BAE推出3.0平臺，順利轉(zhuǎn)型用戶體驗極大提升，開發(fā)者都很震撼Wordpress,discuz無縫安裝百度重量級產(chǎn)品輕應(yīng)用落地BAE3.0docker的發(fā)展

--逐步繁榮的生態(tài)圈CoreOSYandex–CocaineFlynn--最新版OpenStackHavana增加對docker的支持docker的發(fā)展

--與redhat的合作Docker發(fā)展的關(guān)鍵一步支持libvirt，充分利用libvirt強大的網(wǎng)絡(luò)管理能力利用device-mapper技術(shù)解決對AUFS的依賴利用openshift使用SELinux的成熟經(jīng)驗，解決安全問題docker將可以運行在紅帽旗下的Linux發(fā)行版本上Openshift集成對docker的支持docker的發(fā)展

--待解決的主要問題安全usernamespace來解決root權(quán)限問題SELinux增強安全性支持更多的Linux發(fā)行版由于AUFS的限制，目前僅支持ubuntu支持更多的架構(gòu)目前僅支持x86-64d