UltraOS 用Rust編寫的RISC-V64多核操作系統(tǒng)

1、UltraOS: 用Rust編寫的RISC-V64多核操作系統(tǒng)李程浩多核及進(jìn)程支持loancold哈爾濱工業(yè)大學(xué)（深圳）宮浩辰文件系統(tǒng)和多核支持任翔宇內(nèi)存管理支持1527198893指導(dǎo)老師：夏文、江仲鳴/ultrateam/ultraosUltraOSHITSZUltraOS在調(diào)試，內(nèi)存優(yōu)化，虛擬文件系統(tǒng)以及多核支持上的簡(jiǎn)單探索和實(shí)現(xiàn)交流：內(nèi)存優(yōu)化：初始進(jìn)程回收，kmmap，CoW虛擬文件系統(tǒng)：Rust的帶值枚舉 + 動(dòng)態(tài)分發(fā)特性調(diào)試靜態(tài)調(diào)試：反匯編，插樁，strace動(dòng)態(tài)調(diào)試：GDB混合調(diào)試：Monitor多核支持初始化：SBI和內(nèi)核數(shù)據(jù)初始化、中斷、核id傳遞?；コ庠L問：進(jìn)程調(diào)度，全局變

2、量，文件系統(tǒng)。遇見的問題：死鎖、調(diào)度逃逸等。UltraOSHITSZUltraOS在調(diào)試，內(nèi)存優(yōu)化，虛擬文件系統(tǒng)以及多核支持上的簡(jiǎn)單探索和實(shí)現(xiàn)交流：內(nèi)存優(yōu)化：初始進(jìn)程回收，kmmap，CoW虛擬文件系統(tǒng)：Rust的帶值枚舉 + 動(dòng)態(tài)分發(fā)特性調(diào)試靜態(tài)調(diào)試：反匯編，插樁，strace動(dòng)態(tài)調(diào)試：GDB混合調(diào)試：Monitor多核支持初始化：SBI和內(nèi)核數(shù)據(jù)初始化、中斷、核id傳遞?；コ庠L問：進(jìn)程調(diào)度，全局變量，文件系統(tǒng)。遇見的問題：死鎖、調(diào)度逃逸等。內(nèi)存優(yōu)化HITSZUltraOS的設(shè)計(jì)中，RustSBI使用了2MB內(nèi)存，內(nèi)核能夠支撐最多6MB內(nèi)存。Busybox的大小為1.1MB左右，同時(shí)lua為

3、300KB左右，意味著兩者加起來需要1.5MB內(nèi)存。之前實(shí)現(xiàn)：Two Copy + One Heap優(yōu)化實(shí)現(xiàn)：Two Copy + Zero Heap （kmmap based exec）最好設(shè)計(jì)：Less Than One Copy + Zero Heap（Lazy + Direct Access）采用的優(yōu)化手段：初始進(jìn)程回收：回收2個(gè)初始進(jìn)程，縮小39.62%內(nèi)核大小。Kmmap輔助exec：busybox啟動(dòng)過程縮小32.6%的峰值內(nèi)存占用CoW：尚未測(cè)試效果kmmap based execHITSZ解析ELF的時(shí)候使用了庫(kù)，需要先將文件載入內(nèi)存UltraOS在 rCore Tutori

4、al 的基礎(chǔ)上發(fā)展而來，其將ELF載入內(nèi)核堆，然后解析busybox的龐大和buddy allocator分裂的性質(zhì)，導(dǎo)致堆過于龐大，造成可用內(nèi)存不足因此，我們?cè)O(shè)計(jì)了kmmap，直接分配頁框存儲(chǔ)文件該設(shè)計(jì)可以及時(shí)回收內(nèi)存，同時(shí)減小堆的大小，進(jìn)一步挖掘了內(nèi)核的靈活性ELF fileMemory(2) kmmap + 解析Memory(1) 分配頁框Memory(3) 回收頁框refcount的實(shí)現(xiàn)可以用Rust的Arc智能指針來實(shí)現(xiàn)，不需手動(dòng)管理refcount記錄表dealloc的時(shí)候自動(dòng)對(duì)物理頁幀的tracker進(jìn)行drop操作，Arc的引用次數(shù)為0時(shí)，物理頁幀自動(dòng)銷毀Copy on Wri

5、te 策略ArcVirtPageNumVirtPageNumpid1pid2FramePhysPageNum更改clone用戶內(nèi)存復(fù)制時(shí)的操作在新的用戶空間中建立相應(yīng)的頁表，但不分配物理頁幀將新的虛擬頁映射到父進(jìn)程的物理頁幀設(shè)置cow標(biāo)志位在storepagefault中斷時(shí)的處理判斷物理頁幀的引用次數(shù)，如果=1，可以給cow標(biāo)志位復(fù)位，并且跳出中斷分配新的物理頁幀并復(fù)制數(shù)據(jù)Copy on Write 策略UltraOSHITSZUltraOS在調(diào)試，內(nèi)存優(yōu)化，虛擬文件系統(tǒng)以及多核支持上的簡(jiǎn)單探索和實(shí)現(xiàn)交流：內(nèi)存優(yōu)化：初始進(jìn)程回收，kmmap，CoW虛擬文件系統(tǒng)：Rust的帶值枚舉 + 動(dòng)態(tài)分

6、發(fā)特性調(diào)試靜態(tài)調(diào)試：反匯編，插樁，strace動(dòng)態(tài)調(diào)試：GDB混合調(diào)試：Monitor多核支持初始化：SBI和內(nèi)核數(shù)據(jù)初始化、中斷、核id傳遞。互斥訪問：進(jìn)程調(diào)度，全局變量，文件系統(tǒng)。遇見的問題：死鎖、調(diào)度逃逸等。使用Rust的特性支持不同文件類型HITSZUltraOS需要支持不同類型的文件，例如普通文件和設(shè)備文件使用Rust的帶值枚舉和動(dòng)態(tài)分發(fā)，可以多態(tài)支持不同的文件進(jìn)而對(duì)內(nèi)核屏蔽差異，使用File Descriptor 統(tǒng)一描述File Classread / writeSimple Fileabstract Fileread / writeioctrlmv, rm, cp, statV

7、FSHITSZUltraOSHITSZUltraOS在調(diào)試，內(nèi)存優(yōu)化，虛擬文件系統(tǒng)以及多核支持上的簡(jiǎn)單探索和實(shí)現(xiàn)交流：內(nèi)存優(yōu)化：初始進(jìn)程回收，kmmap，CoW虛擬文件系統(tǒng)：Rust的帶值枚舉 + 動(dòng)態(tài)分發(fā)特性調(diào)試靜態(tài)調(diào)試：反匯編，插樁，strace動(dòng)態(tài)調(diào)試：GDB混合調(diào)試：Monitor多核支持初始化：SBI和內(nèi)核數(shù)據(jù)初始化、中斷、核id傳遞。互斥訪問：進(jìn)程調(diào)度，全局變量，文件系統(tǒng)。遇見的問題：死鎖、調(diào)度逃逸等。動(dòng)態(tài)調(diào)試：GDBHITSZ在分析代碼或插樁無果的時(shí)候，使用gdb調(diào)試，實(shí)時(shí)跟蹤當(dāng)前CPU以及內(nèi)存狀態(tài)調(diào)試的第一步：運(yùn)行至出錯(cuò)位置，檢查PC、SP，或其他寄存器是否異常常見現(xiàn)象的（局部

8、）分析：PC或者SP變?yōu)?：很難定位出錯(cuò)位置，可能需要用gdb的條件命令監(jiān)視，速度比較慢一般情況下是上下文切換的問題，例如某個(gè)進(jìn)程的上下文被其他進(jìn)程覆蓋SP為異常值：很可能是棧空間不足，或者上下文被篡改PC卡在一個(gè)位置反復(fù)循環(huán)：很大可能是死鎖，一般通過反匯編定位到具體出錯(cuò)位置因?yàn)镻C是虛擬地址，一些特殊地址無法在反匯編體現(xiàn)，因此也要熟悉內(nèi)存布寄存器的值異常，導(dǎo)致后續(xù)PC或SP異常：內(nèi)存布局可能存在問題使用gdb查看內(nèi)存，結(jié)合elf文件的解析分析，是否存在段的位置出錯(cuò)靜態(tài)調(diào)試HITSZ靜態(tài)調(diào)試指的是，在編譯階段就已經(jīng)確定能夠得到的一些程序信息。反匯編：我們?cè)谶\(yùn)行出錯(cuò)的時(shí)候，通常系統(tǒng)會(huì)設(shè)計(jì)有崩潰報(bào)

9、錯(cuò)信息。對(duì)于該信息，可以通過定位程序崩潰處來判斷程序執(zhí)行到了什么地步，以及程序和數(shù)據(jù)的意義是什么。插樁：如果我們沒辦法知道這段代碼的意義，那么我們可以在程序插入關(guān)鍵幀，打印一些獲得的信息，讓程序主動(dòng)提供自身的信息。用戶插樁：在用戶程序打印一些信息，告知用戶所獲得的資源或者程序運(yùn)行到了什么地步。內(nèi)核插樁：內(nèi)核狀態(tài)以及內(nèi)核獲取到用戶的狀態(tài)。內(nèi)核插樁比用戶插樁常用的多。靜態(tài)調(diào)試HITSZ用標(biāo)準(zhǔn)系統(tǒng)的運(yùn)行軌跡作為參照，這是一個(gè)很重要的方法，我們稱其為Golden Trace。例如使用strace命令獲取用戶程序的系統(tǒng)調(diào)用序列，檢查系統(tǒng)調(diào)用上的錯(cuò)誤。UltraOS也可以打印自身系統(tǒng)調(diào)用的strace例如

10、，通過xv6讀取ELF文件時(shí)的報(bào)錯(cuò)，我們發(fā)現(xiàn)了busybox的ELF是非頁對(duì)齊的，導(dǎo)致一些段的位置出現(xiàn)了偏差，造成程序跑飛?；旌险{(diào)試：MonitorHITSZ該部件負(fù)責(zé)打印內(nèi)核的部分關(guān)鍵信息，用來方便調(diào)試，以及在正常運(yùn)行中監(jiān)控內(nèi)部的資源使用情況?；旌险{(diào)試是指靜態(tài)（編譯期）和動(dòng)態(tài)（運(yùn)行時(shí)）的結(jié)合，它既可以用在實(shí)機(jī)上也可以用在模擬器上。靜態(tài)調(diào)試：宏打?。焊鶕?jù)編譯時(shí)設(shè)置的不同優(yōu)先級(jí)，決定是否打印以及打印信息的粒度。動(dòng)態(tài)調(diào)試：GDB（模擬器）：實(shí)時(shí)修改內(nèi)存中的值，以控制不同對(duì)象的信息是否打印以及打印信息的粒度。SHELL（實(shí)機(jī)）：我們自身編寫的簡(jiǎn)易Shell，通過實(shí)時(shí)的Shell命令，修改內(nèi)存中的值，

11、控制同上。（未實(shí)現(xiàn)）UltraOSHITSZUltraOS在調(diào)試，內(nèi)存優(yōu)化，虛擬文件系統(tǒng)以及多核支持上的簡(jiǎn)單探索和實(shí)現(xiàn)交流：內(nèi)存優(yōu)化：初始進(jìn)程回收，kmmap，CoW虛擬文件系統(tǒng)：Rust的帶值枚舉 + 動(dòng)態(tài)分發(fā)特性調(diào)試靜態(tài)調(diào)試：反匯編，插樁，strace動(dòng)態(tài)調(diào)試：GDB混合調(diào)試：Monitor多核支持初始化：SBI和內(nèi)核數(shù)據(jù)初始化、中斷、核id傳遞。互斥訪問：進(jìn)程調(diào)度，全局變量，文件系統(tǒng)。遇見的問題：死鎖、調(diào)度逃逸等。初始化HITSZ硬件初始化更改RustSBI設(shè)定的最多支持核心數(shù)核間通信中斷喚醒另一個(gè)核RustSBI傳入hartID軟件初始化：分用不同的內(nèi)核棧，用同一個(gè)堆（帶鎖）掛載頁表開

12、啟時(shí)鐘中斷互斥訪問HITSZ文件系統(tǒng)讀寫鎖：并行讀，串行寫。細(xì)粒度：外存塊為粒度進(jìn)程：核管理器：不需要鎖，每個(gè)核獨(dú)享自身運(yùn)行的進(jìn)程狀態(tài)。進(jìn)程調(diào)度器：共有，調(diào)度時(shí)需要競(jìng)爭(zhēng)。優(yōu)化調(diào)度：多調(diào)度隊(duì)列，PID Hash（未實(shí)現(xiàn)）內(nèi)存管理獨(dú)有：內(nèi)核棧，初始棧共有：內(nèi)核堆，頁幀分配器開發(fā)步驟：先讓第二個(gè)核能夠進(jìn)入S態(tài)加大鎖，能不競(jìng)爭(zhēng)就不競(jìng)爭(zhēng)逐步放開鎖，提升性能額外說明：用戶和內(nèi)核I/O緩存死鎖HITSZ在程序壓力fork和sleep壓力非常大的時(shí)候，會(huì)經(jīng)常出現(xiàn)exit和yield，使得雙核操作系統(tǒng)會(huì)經(jīng)常同時(shí)處于內(nèi)核態(tài)，并且頻繁的同時(shí)進(jìn)行進(jìn)程調(diào)度與切換相關(guān)操作。其中出現(xiàn)問題的關(guān)鍵是：當(dāng)雙核同時(shí)處理進(jìn)程exit

13、時(shí)，并且其中一個(gè)是另一個(gè)的父進(jìn)程，就會(huì)出現(xiàn)死鎖，死鎖出現(xiàn)在exit_current_and_run_next程序之中。該程序會(huì)以以下程序順序獲得鎖：- 獲取當(dāng)前進(jìn)程的鎖，以取出當(dāng)前進(jìn)程的孩子進(jìn)程的指針- 獲取初始進(jìn)程的鎖，以準(zhǔn)備將孩子進(jìn)程掛載上去- 依次獲取孩子的鎖，掛載這樣，當(dāng)雙核同時(shí)處理進(jìn)程exit時(shí)，并且其中一個(gè)是另一個(gè)的父進(jìn)程的時(shí)候，父進(jìn)程獲得當(dāng)前進(jìn)程和初始進(jìn)程的鎖，子進(jìn)程獲得了當(dāng)前進(jìn)程的鎖。父進(jìn)程想要獲得孩子的鎖，而孩子又想要獲得初始進(jìn)程的鎖，而他們都被對(duì)方所獲取，這就出現(xiàn)了死鎖。調(diào)度逃逸HITSZ程序跑飛：這個(gè)死鎖的直接結(jié)果就是在內(nèi)核因?yàn)閞a異常，程序運(yùn)行在了沒有設(shè)定的地址范圍內(nèi)。

14、在排查之后，發(fā)現(xiàn)間接原因是task_cx被修改了。然后，使用gdb抓取出現(xiàn)Instruction Page Fault的時(shí)刻，也就是進(jìn)入trap_from_kernel的時(shí)候，發(fā)現(xiàn)兩個(gè)核使用的都是一個(gè)內(nèi)核棧，最后，我們發(fā)現(xiàn)，是切換的時(shí)候鎖的控制出現(xiàn)了空隙。在內(nèi)核進(jìn)行進(jìn)程切換的時(shí)候，先將當(dāng)前進(jìn)程放入空閑進(jìn)程隊(duì)列，再?gòu)年?duì)列中尋找下一個(gè)進(jìn)程，這使得該核在使用該進(jìn)程棧的同時(shí)，卻有可能將該進(jìn)程放手給了另一個(gè)核。因此我們必須強(qiáng)制使得每個(gè)核必須手握至少一個(gè)進(jìn)程的鎖，也就是先找到下一個(gè)可以切換的進(jìn)程，再將當(dāng)前進(jìn)程放入隊(duì)列中。但是顯然，這會(huì)造成死鎖，所以我們采用了非常巧妙的方法，那就是：如果當(dāng)前沒有下一個(gè)進(jìn)程，就不進(jìn)行進(jìn)程切換，返回原來的進(jìn)程。這樣的讓出爭(zhēng)搶鎖的方式避免了死鎖的發(fā)生可能。UltraOSHITSZUltraOS在調(diào)試，內(nèi)存優(yōu)化，虛擬文件系統(tǒng)以及多核支持上的簡(jiǎn)單探索和實(shí)現(xiàn)交流：內(nèi)存優(yōu)化：初始進(jìn)程回收，kmmap，CoW虛擬文件系統(tǒng)：Rust的帶值枚舉 + 動(dòng)態(tài)分發(fā)特性調(diào)試靜態(tài)調(diào)試：反匯編，插樁，strace動(dòng)態(tài)調(diào)試：GDB混合調(diào)試：Monitor多核支持初始化：SBI和內(nèi)核數(shù)據(jù)初始化、中斷、核id傳遞?；コ庠L問：進(jìn)程調(diào)度，全局變量，文件系統(tǒng)。遇見的問題：死鎖、調(diào)度逃逸等。感謝HITSZ項(xiàng)目基石：吳一凡：