linux_kernel_fuse_源碼剖析

1、FUSE源碼剖析 1. 前言       本文是對(duì)FUSE-2.9.2源碼的學(xué)習(xí)總結(jié)。FUSE代碼在用戶空間和內(nèi)核空間都有運(yùn)行，為了突出重點(diǎn)，先簡(jiǎn)要描述了在基于FUSE的用戶空間文件系統(tǒng)中執(zhí)行write操作的一般流程，接下來(lái)介紹了 重要的數(shù)據(jù)結(jié) 構(gòu)，最后以FUSE的運(yùn)行過(guò)程為線索，剖析FUSE程序運(yùn)行過(guò)程的3個(gè)關(guān)鍵步驟：       1.FUSE模塊加載         2.m

2、ount和open過(guò)程        3.對(duì)文件write。       對(duì)于虛擬文件系統(tǒng)和設(shè)備驅(qū)動(dòng)的相關(guān)概念本文僅作簡(jiǎn)要說(shuō)明。需要說(shuō)明的是，由于內(nèi)核的復(fù)雜性及個(gè)人能力的有限，本文省略了包括內(nèi)核同步，異常檢查在內(nèi)的諸多內(nèi)容，希望可以突出重點(diǎn)。 2. FUSE下write的一般流程                

3、;                                                  

4、;                      圖1       在基于FUSE的用戶空間文件系統(tǒng)中執(zhí)行write操作的流程如圖1所示(由于版面關(guān)系，圖中部分函數(shù)是縮寫，請(qǐng)參考源碼)：       1.客戶端在mount目錄下面，對(duì)一個(gè)regular&

5、#160;file調(diào)用write, 這一步是在用戶空間執(zhí)行       2.write內(nèi)部會(huì)調(diào)用虛擬文件系統(tǒng)提供的一致性接口vfs_write       3.根據(jù)FUSE模塊注冊(cè)的file_operations信息，vfs_write會(huì)調(diào)用fuse_file_aio_write，將寫請(qǐng)求放入fuse connection的request pending queue, 隨后進(jìn)入睡眠等待應(yīng)用程序reply&#

6、160;      4.用戶空間的libfuse有一個(gè)守護(hù)進(jìn)程通過(guò)函數(shù)fuse_session_loop輪詢雜項(xiàng)設(shè)備/dev/fuse, 一旦request queue有請(qǐng)求即通過(guò)fuse_kern_chan_receive接收       5.fuse_kern_chan_receive通過(guò)read讀取request queue中的內(nèi)容，read系統(tǒng)調(diào)用實(shí)際上是調(diào)用的設(shè)備驅(qū)動(dòng)接口fuse_dev_read  

7、60;    6.在用戶空間讀取并分析數(shù)據(jù)，執(zhí)行用戶定義的write操作，將狀態(tài)通過(guò)fuse_reply_write返回給kernel       7.fuse_reply_write調(diào)用VFS提供的一致性接口vfs_write       8.vfs_write最終調(diào)用fuse_dev_write將執(zhí)行結(jié)果返回給第3步中等待在waitq的進(jìn)程，此進(jìn)程得到reply 后，write返回 3.

8、60;數(shù)據(jù)結(jié)構(gòu)       本節(jié)主要介紹了FUSE中比較重要的數(shù)據(jù)結(jié)構(gòu)，需要說(shuō)明的是圖示中只列出了與敘述相關(guān)的數(shù)據(jù)成員，完整的數(shù)據(jù)結(jié)構(gòu)細(xì)節(jié)請(qǐng)參考源碼。3.1. 內(nèi)核部分                                                  &

9、#160;                            圖2       struct fuse_conn：每一次mount會(huì)實(shí)例化一個(gè)struct fuse_conn即fuse connection, 它代表了用戶空間和內(nèi)核的通信連接。fuse connection維護(hù)了包括pending list,

10、60;processing list和io list在內(nèi)的request queue，fuse connection通過(guò)這些隊(duì)列管理用戶空間和內(nèi)核空間通信過(guò)程。       struct fuse_req：每次執(zhí)行系統(tǒng)調(diào)用時(shí)會(huì)生成一個(gè)struct fuse_req, 這些fuse_req依據(jù)state被組織在不同的隊(duì)列中，struct fuse_conn維護(hù)了這些隊(duì)列.      str

11、uct file: 存放打開文件與進(jìn)程之間進(jìn)行交互的有關(guān)信息，描述了進(jìn)程怎樣與一個(gè)打開的文件進(jìn)行交互，這類信息僅當(dāng)進(jìn)程訪問(wèn)文件期間存在于內(nèi)核內(nèi)存中。       struct inode：文件系統(tǒng)處理文件所需要得所有信息都放在一個(gè)名為inode(索引節(jié)點(diǎn))的數(shù)據(jù)結(jié)構(gòu)中。文件名可以隨時(shí)更改，但是索引節(jié)點(diǎn)對(duì)文件是唯一的，并且隨著文件的存在而存在。       struct file_operation：定義了可以對(duì)文件執(zhí)

12、行的操作。 3.2. 用戶空間部分                                                                        圖3   &

13、#160;   struct fuse_req：這個(gè)結(jié)構(gòu)和上文中內(nèi)核的fuse_req同名，有著類似的作用，但是數(shù)據(jù)成員不同。       struct fuse_session：定義了客戶端管理會(huì)話的結(jié)構(gòu)體，包含了一組對(duì)session可以執(zhí)行的操作。       struct fuse_chan：定義了客戶端與FUSE內(nèi)核連接通道的結(jié)構(gòu)體，包含了一組對(duì)channel可以執(zhí)行的操作。 &

14、#160;     struct fuse_ll_ops：結(jié)構(gòu)的成員為一個(gè)函數(shù)指針func和命令名字符串name，內(nèi)核中發(fā)過(guò)來(lái)的每一個(gè)request最后都映射到以此結(jié)構(gòu)為元素的數(shù)組中。 4. FUSE模塊加載       FUSE內(nèi)核模塊需要在用戶空間使用insmod或者modprobe加載。它們通過(guò)系統(tǒng)調(diào)用init_module啟動(dòng)加載過(guò)程，注冊(cè)過(guò)程比較簡(jiǎn)單，包括如下步驟：      

15、 1.創(chuàng)建高速緩存結(jié)構(gòu)fuse_inode_cachep       2.遍歷file_systems鏈表，如果未注冊(cè)，則將fuseblk_fs_type鏈到file_systems鏈表尾部       3.遍歷file_systems鏈表，如果未注冊(cè)，則將fuse_fs_type鏈到file_systems鏈表尾部       4.創(chuàng)建fuse_kobj和connection

16、s_kobj兩個(gè)kobject        5.遍歷file_systems鏈表，如果未注冊(cè)，則將fuse_ctl_fs_type鏈到file_systems鏈表尾部模塊成功加載以后，以下接口被注冊(cè)1234567891011121314151617181920212223242526272829303132333435static struct file_system_type fuseblk_fs_type = /塊設(shè)備    .owner  

17、0; = THIS_MODULE,    .name     = "fuseblk",    .mount    = fuse_mount_blk,    .kill_sb  = fuse_kill_sb_blk,    .fs_flags = FS_REQUIRES_DEV | FS_HAS_SUBTYPE

18、,; static struct file_system_type fuse_fs_type =     .owner    = THIS_MODULE,    .name     = "fuse",    .fs_flags = FS_HAS_SUBTYPE,    .mount    

19、= fuse_mount,    .kill_sb  = fuse_kill_sb_anon,; const struct file_operations fuse_dev_operations =     .owner        = THIS_MODULE,    .llseek       = no_

20、llseek,    .read         = do_sync_read,    .aio_read     = fuse_dev_read,    .splice_read  = fuse_dev_splice_read,    .write    &

21、#160;   = do_sync_write,    .aio_write    = fuse_dev_write,    .splice_write = fuse_dev_splice_write,    .poll         = fuse_dev_poll,    .relea

22、se      = fuse_dev_release,    .fasync       = fuse_dev_fasync,; static struct miscdevice fuse_miscdevice =     .minor = FUSE_MINOR,    .name  = "fuse",

23、60;   .fops  = &fuse_dev_operations,; 5. mount和open過(guò)程       FUSE模塊加載注冊(cè)了fuseblk_fs_type和fuse_fs_type兩種文件類型，默認(rèn)情況下使用的是fuse_fs_type即mount 函數(shù)指針被初始化為fuse_mount,  而fuse_mount實(shí)際調(diào)用mount_nodev，它主要由如下兩步組成：   

24、;    1.sget(fs_type)搜索文件系統(tǒng)的超級(jí)塊對(duì)象(super_block)鏈表(type->fs_supers),如果找到一個(gè)與塊設(shè)備相關(guān)的超級(jí)塊，則返回它的地址。否則，分配并初始化一個(gè)新的超級(jí)塊對(duì)象，把它插入到文件系統(tǒng)鏈表和超級(jí)塊全局鏈表中，并返回其地址。       2.fill_super(此函數(shù)由各文件系統(tǒng)自行定義): 這個(gè)函數(shù)式各文件系統(tǒng)自行定義的函數(shù)，它實(shí)際上是fuse_fill_super。一般fill_super會(huì)分配索引節(jié)點(diǎn)對(duì)象和對(duì)應(yīng)的

25、目錄項(xiàng)對(duì)象, 并填充超級(jí)塊字段值，另外對(duì)于fuse還需要分配fuse_conn,fuse_req。需要說(shuō)明的是，它在底層調(diào)用了fuse_init_file_inode用fuse_file_operations和fuse_file_aops分別初始化inode->i_fop和inode->i_data.a_ops。1234567891011121314151617181920212223242526272829static const struct file_operations fuse_file_operations =     

26、.llseek         = fuse_file_llseek,    .read           = do_sync_read,    .aio_read       = fuse_file_aio_read,    .writ

27、e          = do_sync_write,    .aio_write      = fuse_file_aio_write,    .mmap           = fuse_file_mmap,    

28、.open           = fuse_open,    .flush          = fuse_flush,    .release        = fuse_release,    

29、.fsync          = fuse_fsync,    .lock           = fuse_file_lock,    .flock          = fuse_file_flock, 

30、   .splice_read    = generic_file_splice_read,    .unlocked_ioctl = fuse_file_ioctl,    .compat_ioctl   = fuse_file_compat_ioctl,    .poll         

31、60; = fuse_file_poll,    .fallocate      = fuse_file_fallocate,; static const struct address_space_operations fuse_file_aops  =     .readpage       = fuse_readpage,   

32、60;.writepage      = fuse_writepage,    .launder_page   = fuse_launder_page,    .readpages      = fuse_readpages,    .set_page_dirty = _set_page_dirty_nobuffers, 

33、60;  .bmap           = fuse_bmap,    .direct_IO      = fuse_direct_IO,;        open系統(tǒng)調(diào)用底層實(shí)現(xiàn)相當(dāng)復(fù)雜，它的主要工作是實(shí)例化file對(duì)象。file->f_op就是在open中被賦值為inode->i_

34、fop，這一過(guò)程讀者可以在fs/open.c中的do_entry_open函數(shù)中找到。如上所述，inode->i_fop已經(jīng)被fuse_init_file_inode初始化為fuse_file_operations。       至此，普通文件和設(shè)備文件的操作接口都已成功初始化。 6. FUSE用戶空間流程       FUSE在用戶空間提供了fuse userspace library和mount 

35、/unmount。fuse usespace library提供了一組API供用戶開發(fā)用戶空間文件系統(tǒng)。用戶要做的就是實(shí)現(xiàn)fuse_operations 或fuse_lowlevel_ops定義的操作, 這兩個(gè)結(jié)構(gòu)類似于VFS中的struct file_operations。       mount工具fusermount用于掛載用fuse實(shí)現(xiàn)的文件系統(tǒng)。        用戶在使用fuse的時(shí)候有

36、兩種開發(fā)模式：一種是high-level模式，此模式下fuse的入口函數(shù)為fuse_main，它封裝了一系列初始化操作，使用簡(jiǎn)單，但是不靈活。另一種是low-level模式，用戶可以利用fuse提供的底層函數(shù)靈活開發(fā)應(yīng)用程序。       需要說(shuō)明的是high-level模式其實(shí)是對(duì)low-level的封裝，因此這里分析lowlevel模式。                        

37、0;                        圖4        圖4展示FUSE在用戶空間總體工作流程：       1.調(diào)用fuse_mount實(shí)例化struct fuse_chan為ch, 將指定目錄mount到掛載點(diǎn)      

38、0;2.實(shí)例化struct fuse_session為se，并且將se和ch關(guān)聯(lián)       3.進(jìn)入循環(huán)，從/dev/fuse讀取數(shù)據(jù)，處理以后執(zhí)行響應(yīng)的操作                                圖5        圖5展示了fuse_mou

39、nt函數(shù)內(nèi)部流程：       1. 確保打開的文件描述符至少大于2       2. 分析并檢查用戶傳入的參數(shù)       3. 打開/dev/fuse 得到fd，用戶空間與內(nèi)核通過(guò)/dev/fuse通信       4. mount源目錄到掛載點(diǎn) 

40、0;     5. 用fd實(shí)例化struct fuse_chan為ch       6. 返回ch                                    圖6       &

41、#160;圖6展示了fuse_mount_compat25內(nèi)部細(xì)節(jié)，進(jìn)入循環(huán)以后，函數(shù)fuse_session_receive_buf實(shí)際通過(guò)fuse_ll_receive_buf從/dev/fuse中讀取數(shù)據(jù)，其通過(guò)fbuf返回。       fuse_ll_receive_buf是通過(guò)read或者splice系統(tǒng)調(diào)用從內(nèi)核request隊(duì)列中讀取數(shù)據(jù)。函數(shù)fuse_session_process_buf實(shí)際通過(guò)fuse_ll_process_buf處理數(shù)據(jù)，fuse_ll_process_buf會(huì)根據(jù)數(shù)據(jù)類型最后執(zhí)行用戶

42、定義的操作fuse_ll_opsin->opcode.func(req, in->nodeid, inarg)。       執(zhí)行完用戶定義的操作以后需要向內(nèi)核返回執(zhí)行結(jié)果，fuse提供了一組類似fuse_reply_XXX的API, 這些API最后實(shí)際通過(guò)系統(tǒng)調(diào)用writev將結(jié)果傳入內(nèi)核。 7. FUSE內(nèi)核部分流程       FUSE在內(nèi)核空間執(zhí)行的部分主要包括FUSE模塊加載以及雜項(xiàng)設(shè)

43、備驅(qū)動(dòng)。模塊加載過(guò)程已經(jīng)在第4節(jié)介紹，這一節(jié)主要描述從request隊(duì)列讀寫請(qǐng)求的流程。       FUSE設(shè)備驅(qū)動(dòng)程序本質(zhì)上是一個(gè)生產(chǎn)者消費(fèi)者模型。生產(chǎn)者為用戶在掛載目錄下對(duì)普通文件(regular file)執(zhí)行的系統(tǒng)調(diào)用，每一次系統(tǒng)調(diào)用會(huì)產(chǎn)生一個(gè)request然后將去放入pending list。pending list能存放的元素個(gè)數(shù)只和系統(tǒng)內(nèi)存有關(guān)；消費(fèi)者為用戶對(duì)設(shè)備文件/dev/fuse或者/dev/fuseblk的read，這一操作會(huì)去pending list或inte

44、rrupt list取request，當(dāng)list為空時(shí)，進(jìn)程主動(dòng)schedule讓出CPU。      request結(jié)構(gòu)的細(xì)節(jié)在第3節(jié)已經(jīng)介紹，此處不贅述。enmu fuse_req_state定義了request的6種狀態(tài)，其含義分別為：      FUSE_REQ_INIT：請(qǐng)求被初始化      FUSE_REQ_PENDING：請(qǐng)求掛起待處理    

45、;  FUSE_REQ_READING：請(qǐng)求正在讀      FUSE_REQ_SENT：請(qǐng)求被發(fā)送      FUSE_REQ_WRITING：請(qǐng)求正在寫      FUSE_REQ_FINISHED：請(qǐng)求已經(jīng)完成               &#

46、160;                                                 &#

47、160;   圖7        圖7是在mount目錄下面執(zhí)行write以后觸發(fā)的一個(gè)函數(shù)調(diào)用序列，圖中省略了VFS層的函數(shù)調(diào)用。 fuse_file_aio_write是在mount過(guò)程中注冊(cè)到fuse_file_operations.aio_write的函數(shù)指針，它會(huì)調(diào)用fuse_perform_write，fuse_perform_write調(diào)用get_fuse_conn得到struct fuse_conn實(shí)例fc，它保存在struct super_bloc

48、k的私有數(shù)據(jù)成員中s_fs_info中，而struct super_block是struct inode的一個(gè)成員。       接下來(lái)是循環(huán)從用戶空間拷貝數(shù)據(jù)到內(nèi)核，數(shù)據(jù)實(shí)際保存在struct pages中，內(nèi)核fuse_req保存了pages指針，然后調(diào)用fuse_send_write_pages。                           

49、                                         圖8        Fuse_send_write_pages調(diào)用會(huì)等待臟數(shù)據(jù)寫回到磁盤上，然后調(diào)用fuse_write_fill將包括操作碼FUSE_WRITE在內(nèi)的信息寫入request。   

50、    隨后fuse_request_send(fc, req)，它先通過(guò)fuse_get_unique獲取唯一請(qǐng)求號(hào)，請(qǐng)求號(hào)是一個(gè)64位無(wú)符號(hào)整數(shù)，請(qǐng)求號(hào)從1開始隨請(qǐng)求依次遞增。然后調(diào)用queue_request(fc, req)，它主要完成4件事情：       1.將request->list插入fc維護(hù)的pending鏈表尾部       2.置req->state為FUSE_

51、REQ_PENDING       3.wake_up喚醒等待隊(duì)列fc->waitq       4.kill_fasync異步通知用戶進(jìn)程數(shù)據(jù)到達(dá)       從queue_request返回以后調(diào)用request_wait_answer:進(jìn)程被投入睡眠，等待請(qǐng)求完成(wait_event(req->state = FUSE_REQ_FINISHED)。

52、         如果用戶程序處理完了請(qǐng)求，它會(huì)reply，進(jìn)程被喚醒，到此可以向上層調(diào)用返回處理結(jié)果(錯(cuò)誤碼或者寫入字節(jié)數(shù))。       在第6節(jié)我們提到了用戶空間有個(gè)daemon進(jìn)程會(huì)循環(huán)read設(shè)備文件/fuse/dev以便處理內(nèi)核請(qǐng)求，圖9展示了該read調(diào)用觸發(fā)的函數(shù)調(diào)用序列。                     

53、;                                                                   圖9        從第4節(jié)可知，F(xiàn)USE模塊加載過(guò)程

54、注冊(cè)了對(duì)設(shè)備文件/dev/fuse的操作接口fuse_dev_operations。由此可知，read底層實(shí)際調(diào)用的是fuse_dev_read       fuse_dev_read首先通過(guò)fuse_get_conn獲得struct fuse_conn的實(shí)例fc，通過(guò)fuse_copy_init為struct fuse_copy_state分配內(nèi)存并將其實(shí)例化。主要的數(shù)據(jù)讀取在fuse_dev_do_read中分4步完成：       

55、;1.request_wait:在掛起的列表上等待一個(gè)請(qǐng)求到達(dá):            (1).DECLARE_WAITQUEUE(wait, current): 創(chuàng)建等待隊(duì)列項(xiàng)，并將其初始化為current            (2).add_wait_queue_exclusive(&fc->waitq, &

56、amp;wait): 將wait加入fc->waitq,當(dāng)有請(qǐng)求發(fā)送到                            FUSE文件系統(tǒng)時(shí)，這個(gè)等待隊(duì)列上的進(jìn)程會(huì)被喚醒           

57、; (3).如果沒(méi)有request，一直循環(huán)檢查pending list和interrupt list, 直到有請(qǐng)求；               如果有請(qǐng)求則將state設(shè)置為TASK_RUNNING            (4).將wait從等待隊(duì)列中移除     2.list_entry(fc->pending.next, struct fuse_req, list)：從fc->pending.next中取出request,           req->state狀態(tài)設(shè)為FUSE_REQ_READING,      3. 將req->list移到fc->io