ceph源碼分析之讀寫(xiě)操作流程(2).doc

1、ceph 源碼分析之讀寫(xiě)操作流程（2）上一篇介紹了ceph 存儲(chǔ)在上兩層的消息邏輯，這一篇主要介紹一下讀寫(xiě)操作在底兩層的流程。下圖是上一篇消息流程的一個(gè)總結(jié)。 上在 ceph 中，讀寫(xiě)操作由于分布式存儲(chǔ)的原因，故走了不同流程。對(duì)于讀操作而言：1.客戶端直接計(jì)算出存儲(chǔ)數(shù)據(jù)所屬于的主osd，直接給主osd上發(fā)送消息。2.主 osd 收到消息后，可以調(diào)用Filestore 直接讀取處在底層文件系統(tǒng)中的主pg 里面的內(nèi)容然后返回給客戶端。具體調(diào)用函數(shù)在 ReplicatedPG:do_osd_ops 中實(shí)現(xiàn)。讀操作代碼流程如圖：如我們之前說(shuō)的，當(dāng)確定讀操作為主osd 的消息時(shí)（ CEPH_MSG_OS

2、D_OP 類(lèi)型），會(huì)調(diào)用到ReplicatePG:do_osd_op 函數(shù)，該函數(shù)對(duì)類(lèi)型做進(jìn)一步判斷，當(dāng)發(fā)現(xiàn)為讀類(lèi)型（CEPH_OSD_OP_READ ）時(shí) ,會(huì)調(diào)用FileStore 中的函數(shù)對(duì)磁盤(pán)上數(shù)據(jù)進(jìn)行讀。cpp view plain copy int ReplicatedPG:do_osd_ops(OpContext*ctx, vector<OSDOp>& ops)switch (op.op) caseCEPH_OSD_OP_READ:+ctx->num_read;/ read into a bufferbufferlistbl;int r = osd-&g

3、t;store->read(coll, soid,op.extent.offset, op.extent.length, bl);/ 調(diào)用FileStore:read從底層文件系統(tǒng)讀取caseCEPH_OSD_OP_WRITE:+ctx->num_write;/寫(xiě)操作只是做準(zhǔn)備工作，并不實(shí)際的寫(xiě)FileStore:read函數(shù)是底層具體的實(shí)現(xiàn)，會(huì)通過(guò)調(diào)用系統(tǒng)函數(shù)如:open,:pread,:close 等函數(shù)來(lái)完成具體的操作。cpp viewplain copy int FileStore:read(coll_t cid,constghobject_t& oid,uint6

4、4_t offset,size_t len,bufferlist& bl,bool allow_eio)int r = lfn_open(cid, oid, false, &fd);got = safe_pread(*fd, bptr.c_str(), len, offset);/FileStore:safe_pread 中調(diào)用了 :preadlfn_close(fd);而對(duì)于寫(xiě)操作而言，由于要保證數(shù)據(jù)寫(xiě)入的同步性就會(huì)復(fù)雜很多：1.首先客戶端會(huì)將數(shù)據(jù)發(fā)送給主osd，2.主 osd 同樣要先進(jìn)行寫(xiě)操作預(yù)處理，完成后它要發(fā)送寫(xiě)消息給其他的從osd，讓他們對(duì)副本pg 進(jìn)行更改，3.從

5、 osd 通過(guò) FileJournal 完成寫(xiě)操作到Journal 中后發(fā)送消息告訴主 osd 說(shuō)完成，進(jìn)入54.當(dāng)主 osd 收到所有的從osd 完成寫(xiě)操作的消息后，會(huì)通過(guò)FileJournal 完成自身的寫(xiě)操作到Journal 中。完成后會(huì)通知客戶端，已經(jīng)完成了寫(xiě)操作。5.主 osd，從 osd 的線程開(kāi)始工作調(diào)用Filestore 將 Journal 中的數(shù)據(jù)寫(xiě)入到底層文件系統(tǒng)中。在介紹寫(xiě)操作的流程前，需要先介紹一下ceph 中的 callback 函數(shù)。Context 類(lèi)定義在src/include 文件中，該類(lèi)是一個(gè)回調(diào)函數(shù)類(lèi)的抽象類(lèi)，繼承它的類(lèi)只要在子類(lèi)實(shí)現(xiàn)它的finish 函數(shù)，

6、在finish 函數(shù)調(diào)用自己需要回調(diào)的函數(shù)，就可以完成回調(diào)。cpp view plain copy class Context Context(constContext& other);const Context&operator=(const Context& other);protected:virtual void finish(int r) = 0;public:Context() virtual Context() / we want a virtualdestructor!virtual void complete(int r) finish(r);dele

7、te this;Finisher 類(lèi)是在 src/common 中定義的一個(gè)專門(mén)查看操作是否結(jié)束的一個(gè)類(lèi)。在這個(gè)類(lèi)里面擁有一個(gè)線程 finisher_thread 和一個(gè)類(lèi)型為Context 指針的隊(duì)列finisher_queue。當(dāng)一個(gè)操作線程完成自己的操作后，會(huì)將Context 類(lèi)型對(duì)象送入隊(duì)列。此時(shí)finisher_thread 線程循環(huán)監(jiān)視著自己的finisher_queue 隊(duì)列，當(dāng)發(fā)現(xiàn)了有新進(jìn)入的Context 時(shí)，會(huì)調(diào)用這個(gè)Context:complete 函數(shù)，這個(gè)函數(shù)則會(huì)調(diào)用到 Context 子類(lèi)自己實(shí)現(xiàn)的finish 函數(shù)。來(lái)處理操作完成后的后續(xù)工作。cpp view p

8、lain copy class Finisher CephContext*cct;vector<Context*>finisher_queue;void*finisher_thread_entry();struct FinisherThread : publicThread Finisher *fin;FinisherThread(Finisher *f) : fin(f) void* entry() return (void*)fin->finisher_thread_entry(); finisher_thread;void*Finisher:finisher_threa

9、d_entry()while(!finisher_stop)while(!finisher_queue.empty()vector<Context*> lsls.swap(finisher_queue);for(vector<Context*>:iterator p = ls.begin();p != ls.end();+p) if(*p) /這里面調(diào)用 Context 子類(lèi)實(shí)現(xiàn)的 finish函數(shù)(*p)->complete(0);在寫(xiě)操作中涉及了多個(gè)線程和消息隊(duì)列的協(xié)同工作，需要注意的是一個(gè)類(lèi)擁有一個(gè)Finisher成員時(shí)，以為著它同時(shí)獲得了一個(gè)隊(duì)列和一個(gè)執(zhí)行

10、線程。OSD 中處理讀寫(xiě)操作是線程池和消息隊(duì)列（有很多， 其他暫時(shí)不討論）：cpp view plain copy ThreadPoolop_tp;ThreadPool:WorkQueueVal<pair<PGRef,OpRequestRef>, PGRef>&op_wq;FileJournal 中擁有的線程和消息隊(duì)列：cpp view plain copy Writewrite_thread;deque<write_item> writeq;其父類(lèi) Journal 中擁有線程和消息隊(duì)列（引用自之前說(shuō)的JournalingObjectStore 類(lèi)中

11、）：cpp view plain copy Finisherfinisher_thread;FileStore 中擁有的線程和消息隊(duì)列：cpp view plain copy ThreadPoolop_tp;op_wq;/Filestore 中實(shí)現(xiàn)，繼承自ThreadPool:WorkQueue<OpSequencer>ondisk_finisher;Finisherop_finisher;OpWQFinisher前一章說(shuō)過(guò)在前兩層， OSD 根據(jù)不同的消息類(lèi)型，選擇了主OSD 處理和從 OSD 的處理，以下介紹的寫(xiě)流程，就是在收到具體寫(xiě)操作以后，本地OSD 開(kāi)始的工作。寫(xiě)的邏輯流

12、程圖如圖：從圖中我們可以看到寫(xiě)操作分為以下幾步：1.OSD:op_tp 線程從 OSD:op_wq 中拿出來(lái)操作如本文開(kāi)始的圖上描述，具體代碼流是ReplicatePG:apply_repop 中創(chuàng)建回調(diào)類(lèi)C_OSD_OpCommit 和 C_OSD_OpAppliedFileStore:queue_transactions 中創(chuàng)建了回調(diào)類(lèi)C_JournaledAhead2.FileJournal:write_thread 線程從 FileJournal:writeq 中拿出來(lái)操作，主要就是寫(xiě)數(shù)據(jù)到具體的journal 中，具體代碼流：3.Journal:Finisher.finisher_t

13、hread 線程從Journal:Finisher.finish_queue 中拿出來(lái)操作，通過(guò)調(diào)用C_JournalAhead 留下的回調(diào)函數(shù)FileStore:_journaled_ahead，該線程開(kāi)始工作兩件事：首先入底層FileStore:op_wq 通知開(kāi)始寫(xiě)，再入 FileStore:ondisk_finisher.finisher_queue通知可以返回。具體代碼流： 4.FileStore:ondisk_finisher.finisher_thread線程從 FileStore:ondisk_finisher.finisher_queue中拿出來(lái)操作，通過(guò)調(diào)用C_OSD_OpCommit 留下來(lái)的回調(diào)函數(shù)ReplicatePG:op_commit ，通知客戶端寫(xiě)操作成功5.FileStore:op_tp 線程池從FileStore:op_wq 中拿出操作（此處的 OP_WQ 繼承了父類(lèi)ThreadPool:WorkQueue 重寫(xiě)了_process 和_process_finish 等函數(shù)，所以不同于OSD:op_