課件11核心原理memc內(nèi)存管理

1、講師介紹Hash從事Java軟件研發(fā)十年。前新浪支付成員、咪咕視訊(中國(guó)移動(dòng))項(xiàng)目經(jīng)理、對(duì)分布式架構(gòu)、高性能編程有深入的研究。明天，你一定會(huì)感謝今天奮力拼搏的你| JAVA架構(gòu)師課程原理Memcached內(nèi)存管理分布式高并發(fā)緩存技術(shù)目錄課程安排| JAVA架構(gòu)師課程04總結(jié)干貨太多，不總結(jié)，我怕丟03Memcached緩存策略 LRU分段LRU、LRU Crawler02memcached內(nèi)存設(shè)計(jì)及管理01Memcached內(nèi)存分配機(jī)制Slab內(nèi)存分配目錄01Memcached內(nèi)存分配機(jī)制| JAVA架構(gòu)師課程Memcached內(nèi)存分配啟動(dòng)通過Memcached時(shí)，-m指定內(nèi)存大小，將信息保存

2、到緩存中后才開始分配和保留物理內(nèi)存。Slaballocation機(jī)制對(duì)內(nèi)存進(jìn)行管理。（此處結(jié)合畫圖學(xué)習(xí)）最大內(nèi)存默認(rèn)64，通過-m調(diào)整。內(nèi)存空間由slab classes，內(nèi)存以slabpage為去申請(qǐng)，分配到對(duì)應(yīng)的slab class。slab page ：最大1兆，由1個(gè)或多個(gè)chunk組成chunk：實(shí)際數(shù)據(jù)的單元| JAVA架構(gòu)師課程key + value + flags內(nèi)存 m 64slab class 2slab class .nslab class 1page 1page 2page 3chunkchunkchunkchunk.目錄02memcached內(nèi)存設(shè)計(jì)及管理| JAVA

3、架構(gòu)師課程內(nèi)存設(shè)計(jì)及管理Item為鍵值數(shù)據(jù)的實(shí)際儲(chǔ)存結(jié)構(gòu)。item主要由公共屬性、數(shù)據(jù)部分兩個(gè)部分組成。Chunk由申請(qǐng)的連續(xù)內(nèi)存塊平均切分而成，用來存放Item數(shù)據(jù)，根據(jù)Item大小找到近似的Chunk。Slab管理特定大小的 chunk 的集合。Memcached每次默認(rèn)分配的的chunk。續(xù)內(nèi)存塊為1M大小，它們被切分為不同大小Hash tableMemcached的哈希表采用法實(shí)現(xiàn)。hashtable被分成多個(gè)桶bucket，哈希，通過h_next指針形成bucket下的單向鏈表。LURMemcached中每個(gè)slab中都維護(hù)了一個(gè)LRU鏈表，來組織該slab中已經(jīng)被分配的item塊，

4、用于用”的item信息?！白罱钌偈箌 JAVA架構(gòu)師課程目錄03Memcached緩存策略LRU| JAVA架構(gòu)師課程Memcached緩存策略LRU在1.4.x及更早版本中，memcached中的LRU是標(biāo)準(zhǔn)的雙向鏈表：有頭部和尾部。將新物品頭部，從尾部彈出物。如果某個(gè)項(xiàng)目，則將其從其位置取消，然后重新到頭部（此處稱為“碰撞”），返回到LRU的頂部。下面這些情況，帶有超時(shí)時(shí)間的會(huì)被刪除1.2.3.4.被人為刪除被set覆蓋刪除：過期后，被get、add等命令主動(dòng)清除：LRU機(jī)制問題點(diǎn)：碰撞幾率太高，對(duì)同一個(gè)鏈表的修改導(dǎo)致大量的互斥鎖爭(zhēng)搶，導(dǎo)致CPU使用率高或者響應(yīng)變慢。| JAVA架構(gòu)師課

5、程Memcached緩存策略分段LRU每個(gè)Slab-class安排一個(gè)LRU，每個(gè)LRU拆分為四個(gè)子LRU類型。每個(gè)的數(shù)據(jù)都有兩個(gè)標(biāo)志位：FETCHED、ACTIVEØ FETCHED：該數(shù)據(jù)曾經(jīng)被請(qǐng)求過Ø ACTIVE： 該數(shù)據(jù)有兩次或以上被請(qǐng)求，當(dāng)數(shù)據(jù)被移動(dòng)時(shí)移除。TEMP： 該隊(duì)列中的 item TTL 通常只有幾秒，被挪動(dòng)。具體時(shí)間可配置 stats settingstemporary_ttl選項(xiàng)HOT：試用隊(duì)列，數(shù)據(jù)長(zhǎng)久存在該鏈表，一旦數(shù)據(jù)到達(dá)隊(duì)列的尾部，則開始移動(dòng)。如果物品處于活動(dòng)狀態(tài), 它將被移動(dòng)到WARM，非活動(dòng)狀態(tài)，它將被移動(dòng)到COLD。WARM：量不大的數(shù)據(jù)如果物品處于活動(dòng)狀態(tài), 它將被移動(dòng)到warm頭部，非活動(dòng)狀態(tài)，它將被移動(dòng)到COLD。COLD：最不活躍的數(shù)據(jù)回收時(shí)如果處于active狀態(tài)，則移動(dòng)到warm，否則刪除。總結(jié)：碰撞率變小了，提高了性能。| JAVA架構(gòu)師課程Memcached緩存策略LRUCrawlerLRU爬蟲是一個(gè)單獨(dú)的專門用來處理失效的數(shù)據(jù)線程檢查每個(gè)slabclass中每個(gè)子LRU鏈表|