eBPF 技術(shù)實(shí)踐白皮書（第二版）

編寫說(shuō)明編寫單位：浪潮電子信息產(chǎn)業(yè)股份有限公司、濟(jì)南浪潮數(shù)據(jù)技術(shù)有限公司前言方便的內(nèi)核可編程性等特點(diǎn)成為實(shí)現(xiàn)內(nèi)核定制與功能多樣性的最佳選擇，為內(nèi)核提 8 9 9 74 1eBPF簡(jiǎn)介統(tǒng)內(nèi)核)運(yùn)行沙盒程序。它可以安全有效地?cái)U(kuò)展內(nèi)核的功能，并且不需要更改內(nèi)核源eBPF從根本上改變了上述情況，它允許在內(nèi)核中運(yùn)行沙箱程序，即通過(guò)運(yùn)行2eBPF技術(shù)介紹2.1.1eBPF加載過(guò)程重定位是指在編譯、加載的過(guò)程中把字節(jié)碼中一些臨時(shí)數(shù)據(jù)以更準(zhǔn)確的信息進(jìn)指針的安全性檢查在第二個(gè)階段實(shí)現(xiàn)，每次把指針加載到寄存器時(shí)都會(huì)進(jìn)行指2.1.2JIT編譯直接執(zhí)行機(jī)器碼，這樣就解決了每次執(zhí)行都需要進(jìn)行中間碼解析的問(wèn)題，如下圖所2.1.3掛載與執(zhí)行根據(jù)設(shè)計(jì)與需求提前在內(nèi)核指定位置通過(guò)提前嵌入代碼實(shí)現(xiàn)的，初始時(shí)函數(shù)指針是加載器讀取到map信息后調(diào)用系統(tǒng)調(diào)用創(chuàng)建eBPFmap，系統(tǒng)調(diào)用返回由eBPF常見(jiàn)程序類型主要用于從系統(tǒng)中提取跟蹤信息，進(jìn)等主要用于對(duì)網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行過(guò)濾和處行邏輯的情況下，對(duì)操作系統(tǒng)進(jìn)行深入的分析間，而不需要像傳統(tǒng)系統(tǒng)一樣必須將大量的采樣數(shù)據(jù)全部傳輸?shù)接脩艨臻g再進(jìn)行分核和安全模塊的解耦，使不同的安全模塊可以自在，開(kāi)發(fā)人員可以通過(guò)eBPF編寫自定義的安全策略，并將2.2.1BCC2.2.2bpfTrace強(qiáng)大的單行代碼和簡(jiǎn)短的工具。它自定義了自己的DSL作為前端，底層也是調(diào)用2.2.3libbpf頭文件就行，不需要再安裝內(nèi)核頭文件（vmlinux.從而解決了由于數(shù)據(jù)結(jié)構(gòu)在不同內(nèi)核版本間的變化導(dǎo)致的兼容2.2.4libbpf-bootstrap2.2.5cilium-ebpf2.2.6Coolbpf開(kāi)發(fā)&測(cè)試組件提供了多語(yǔ)言開(kāi)發(fā)和自動(dòng)化測(cè)試功能；編譯組件提供了多種編譯方3.1.1系統(tǒng)診斷面臨挑戰(zhàn)等協(xié)作工具的不穩(wěn)定性，影響遠(yuǎn)程團(tuán)隊(duì)的工作效率和溝1、網(wǎng)絡(luò)數(shù)據(jù)包分析工具：如Wireshark、tcpdump能夠獲取到文件訪問(wèn)信息以及該進(jìn)程所在的調(diào)試內(nèi)存泄漏問(wèn)題是一項(xiàng)復(fù)雜而具有挑戰(zhàn)性的任務(wù)。這涉及詳細(xì)檢查應(yīng)用程序常見(jiàn)的干擾源是中斷搶占。當(dāng)中斷搶占時(shí)間過(guò)長(zhǎng)時(shí)，可能會(huì)導(dǎo)致業(yè)務(wù)進(jìn)程調(diào)度不及戶來(lái)說(shuō)可能需要一定的專業(yè)知識(shí)進(jìn)行分析，并且難以準(zhǔn)確定位根3.1.2基于eBPF的系統(tǒng)診斷方案診斷方案應(yīng)運(yùn)而生，為系統(tǒng)在網(wǎng)絡(luò)、IO、內(nèi)存和調(diào)度等方面的診斷提供了更強(qiáng)大的網(wǎng)絡(luò)抖動(dòng)問(wèn)題定位周期長(zhǎng)，定位難度大（跨很多組件業(yè)務(wù)影響嚴(yán)重的特點(diǎn)，ICMP_ECHOREPLY)協(xié)議的網(wǎng)絡(luò)延遲探測(cè)協(xié)議，通過(guò)發(fā)送和解析探測(cè)報(bào)文來(lái)定位報(bào)的回包后，可以獲取所有時(shí)間戳數(shù)據(jù)進(jìn)行分析，以確定存在延filepath:文件路徑,當(dāng)在一次采集周期內(nèi)由于進(jìn)程訪問(wèn)文獲取不到文件名則為"-"如進(jìn)程來(lái)自某個(gè)容器，在文件名后綴會(huì)顯示[containterId:2、當(dāng)內(nèi)核分配內(nèi)存時(shí)，memleak會(huì)在eBTIME(irqoff)3.1.3基于eBPF的Profiling取并保存函數(shù)調(diào)用棧，保證問(wèn)題發(fā)生后能夠回溯到當(dāng)時(shí)的問(wèn)題現(xiàn)場(chǎng)，而的哪一段代碼在CPU上消耗資源。而offcpu我們希望看到應(yīng)用是否是自愿放棄?地址：函數(shù)調(diào)用的內(nèi)存地址?文件名：源代碼文件名稱?行號(hào)：源代碼中的行號(hào)通過(guò)前面的方法獲取到了內(nèi)核態(tài)和用戶態(tài)棧信息后，需要在用戶態(tài)將ContinuesProfiling整體架構(gòu)我們事先需要部署agent去負(fù)責(zé)profiling，在server端去查看數(shù)據(jù)。在中心端SysOM:/anolis/sysom節(jié)點(diǎn)端SysAK:/anolis/sysakeBPF采集端Coolbpf:/anolis/coolbpf3.2.1虛擬化IO全路徑分析主要面臨的挑戰(zhàn)2、客戶操作系統(tǒng)塊設(shè)備物理地址(guestblockLBA)到虛擬磁盤文件內(nèi)偏移3.2.2基于bpftrace虛擬化IO路徑追蹤解決方案主要功能關(guān)鍵技術(shù)2、virtio前后端分析：完成virtio前端（virtio-blk/virtio-scsi、virtio-2、追蹤結(jié)果按預(yù)定義格式保存到raw輸出，供reporter解析；圖3-2-4IO性能追蹤工具repor3.3.1TCP監(jiān)控面臨的挑戰(zhàn)時(shí)等信息。但是這種方式依賴業(yè)務(wù)邏輯適配側(cè)采集時(shí)間，能夠獲取到整個(gè)通信路徑上的延遲。該方式需要用戶修改業(yè)務(wù)邏輯適3.3.2基于eBPF的TCP監(jiān)控方案為了克服了傳統(tǒng)TCP監(jiān)控方式的缺陷，龍蜥社區(qū)基于eBP數(shù)據(jù)下載時(shí)間。對(duì)于下載比較大的數(shù)據(jù)響應(yīng)，該信息的3.4.1Linux網(wǎng)絡(luò)性能優(yōu)化面臨的挑戰(zhàn)隨著當(dāng)前芯片等硬件制造工藝的持續(xù)進(jìn)步，網(wǎng)卡支持的帶寬及處理能力越來(lái)越傳統(tǒng)網(wǎng)絡(luò)性能優(yōu)化方案存在諸多問(wèn)題更多網(wǎng)絡(luò)協(xié)議和特性卸載。但這種方案還存載能力不一定具有通用性，帶來(lái)的性能提升可能無(wú)法與其不同平臺(tái)上的兼容性可能存在差異。某些特定的硬件設(shè)備或操作系統(tǒng)版本可能無(wú)法配置和調(diào)優(yōu)問(wèn)題：DPDK提供了豐富的配置選項(xiàng)和優(yōu)化以及相關(guān)的元數(shù)據(jù)，這些都需要占用一定的內(nèi)存空間。DPDK通過(guò)3.4.2基于eBPF的Linux內(nèi)核網(wǎng)絡(luò)性能優(yōu)化解決方案整體架構(gòu)XDP可直接掛載至可編程的智能網(wǎng)卡上，執(zhí)行效率最高，但對(duì)硬件有一定要求。作系統(tǒng)進(jìn)行數(shù)據(jù)處理，它的執(zhí)行性能相對(duì)也很高。對(duì)于還沒(méi)有實(shí)現(xiàn)native或供的通用XDP兼容模式，它可以在沒(méi)有硬件或驅(qū)動(dòng)程序支持的主機(jī)上執(zhí)行XDP行，但性能相對(duì)較低。nativeXDP掛載點(diǎn)在poll函數(shù)之后，在內(nèi)核收包函數(shù)應(yīng)用實(shí)踐夠帶來(lái)大幅的性能提升。相比kube-proxy等傳統(tǒng)實(shí)現(xiàn)方案，包轉(zhuǎn)發(fā)率能夠提高3.5.1傳統(tǒng)流量鏡像面臨的挑戰(zhàn)在數(shù)據(jù)中心中存在多種流量鏡像方案，包括基于交換機(jī)端口鏡像的硬件流量鏡庫(kù)的流量這增加了數(shù)據(jù)傳輸量以及后期流量篩選和分可擴(kuò)展性問(wèn)題：基于交換機(jī)或iptables/ovs3.5.2基于eBPF的流量鏡像解決方案3.5.3應(yīng)用實(shí)踐在某大型企業(yè)客服系統(tǒng)容器化遷移項(xiàng)目中，線上客服業(yè)務(wù)相關(guān)數(shù)據(jù)庫(kù)從物理機(jī)量采集后無(wú)法直接分析，還需要針對(duì)性的解封裝，增加了整3.6.1傳統(tǒng)網(wǎng)絡(luò)訪問(wèn)控制面臨的挑戰(zhàn)系，當(dāng)出現(xiàn)問(wèn)題時(shí)難以快速定位到具體的規(guī)則，不易兼容性問(wèn)題：可能與同樣基于iptabl3.6.2基于eBPF的網(wǎng)絡(luò)訪問(wèn)控制解決方案兼容性強(qiáng)：eBPF程序作用于操作系統(tǒng)網(wǎng)絡(luò)入口，能夠避免與運(yùn)行如提供更加靈活易用的安全加固語(yǔ)義規(guī)則、支持標(biāo)記/鏡像等更多的網(wǎng)絡(luò)包處理3.6.3應(yīng)用實(shí)踐某銀行清算系統(tǒng)部分服務(wù)運(yùn)行于私有云平臺(tái)互聯(lián)網(wǎng)區(qū)，其通過(guò)傳統(tǒng)的軟件防火也通過(guò)iptables方案實(shí)現(xiàn)，因此兩種上下線業(yè)務(wù)期間常會(huì)出現(xiàn)配置不當(dāng)、互聯(lián)網(wǎng)與云內(nèi)流量規(guī)則沖突引起訪問(wèn)控制異常leBPF流量訪問(wèn)規(guī)則作用于互聯(lián)網(wǎng)通信網(wǎng)卡tc入口，不影響云內(nèi)流量路徑l流量在互聯(lián)網(wǎng)通信網(wǎng)卡tc處被限制，可以做到與云內(nèi)流量更加安全的隔離3.7.1基于eBPF實(shí)現(xiàn)網(wǎng)絡(luò)功能的優(yōu)勢(shì)1.eBPF作為一種起源于內(nèi)核的2.相比于DPDK等方案，eB3.eBPF允許動(dòng)態(tài)加載用戶代碼然后安全地在內(nèi)核3.7.2eBPF實(shí)現(xiàn)網(wǎng)絡(luò)功能面臨的技術(shù)挑戰(zhàn)bpf_get_prandom_u32對(duì)于網(wǎng)絡(luò)功能來(lái)說(shuō)性能開(kāi)銷太大。如果每一個(gè)包都調(diào)用一現(xiàn)有的解決方案存在的缺陷為了解決這兩個(gè)技術(shù)挑戰(zhàn)，可以考慮兩種解決方案。第一種解決方案是增強(qiáng)第二種解決方案是將所有功能無(wú)法實(shí)現(xiàn)的和性能下降的網(wǎng)絡(luò)功能實(shí)現(xiàn)為內(nèi)核模3.7.3基于標(biāo)準(zhǔn)庫(kù)的優(yōu)化eBPF網(wǎng)絡(luò)功能技術(shù)方案整體架構(gòu)為了在不修改內(nèi)核的前提下，解決上述的技術(shù)挑戰(zhàn)，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)一個(gè)可供eBPF調(diào)用的網(wǎng)絡(luò)功能標(biāo)準(zhǔn)庫(kù)eNetSTL。eNetSTL將上述的通用的模我們驗(yàn)證了跳表的查找性能和插入性能，可以看到使用eN達(dá)到了70.9%的峰值。這是由于隨著哈希函低負(fù)載場(chǎng)景下，優(yōu)化主要體現(xiàn)在使用hw_hash_crc替代基于軟件的哈希計(jì)算和3.8.1傳統(tǒng)解決方案面臨挑戰(zhàn)傳統(tǒng)安全檢測(cè)和防御方案采用內(nèi)核模塊技術(shù)，內(nèi)核模塊技術(shù)是通過(guò)編寫內(nèi)核模斷低3.8.2基于eBPF的新一代安全解決方案和合規(guī)性的同時(shí)，解決傳統(tǒng)內(nèi)核模塊方式帶來(lái)的系統(tǒng)穩(wěn)定性和性主要功能2、主機(jī)入侵檢測(cè)：基于規(guī)則引擎可以對(duì)黑客的入侵行為進(jìn)行檢測(cè)和自動(dòng)處置?；凇罢T餌”行為監(jiān)測(cè)的勒索病毒防御，及時(shí)發(fā)現(xiàn)和阻止勒索病毒整體架構(gòu)/test//test/bin/完全信任業(yè)務(wù)軟件自身程序，對(duì)業(yè)務(wù)軟件的程序不做任何攔截，保障業(yè)務(wù)/test/bin/其他任何程序都無(wú)法終止以及對(duì)業(yè)務(wù)4、黑客入侵：攻擊者對(duì)被保護(hù)的文件進(jìn)行編輯或刪除等操作，進(jìn)入內(nèi)核LSMmap安全策略和匹配。在獲取主體進(jìn)程時(shí)作、進(jìn)程創(chuàng)建、網(wǎng)絡(luò)連接等行為。基于MITREATT&CK（AdversarialTactics,文件描述符0,1,2,3文件描述符選擇實(shí)施加固和擴(kuò)展，以便更好地滿足對(duì)不同用戶不同場(chǎng)景的配置安全基