業(yè)務(wù)數(shù)據(jù)回收

1、成本控制-數(shù)據(jù)回收林婭靜項(xiàng)目背景一分錢掰成兩分花 數(shù)據(jù)總量增長128%，日均上傳量增長78%。 單位存儲(chǔ)成本：0.79 0.58 元/GB/年。50182416總數(shù)據(jù)量（PB）133120總機(jī)器數(shù)（千臺(tái)）250510910日均上傳量（TB）后端存儲(chǔ)花銷大空間回收 資源再利用項(xiàng)目階段中斷刪除上傳中斷的數(shù)據(jù)及時(shí)刪除重復(fù)數(shù)據(jù)刪除冗余數(shù)據(jù)刪除過期數(shù)據(jù)刪除老視頻轉(zhuǎn)碼數(shù)據(jù)；無引用數(shù)據(jù)刪除PCS無用數(shù)據(jù)刪除：用戶刪除數(shù)據(jù)空間回收空洞回收風(fēng)險(xiǎn)：數(shù)據(jù)誤刪數(shù)據(jù)了解Meta字段類型含義md5-crc32-size-unique_key數(shù)據(jù)唯一標(biāo)識(shí)unique_key_distributionMeta存儲(chǔ)信息keyl

2、istSlice_key 列表key_list_distributionData存儲(chǔ)信息type0:normal 1:superfile 2:superfile2status-3:數(shù)據(jù)損壞 -2:真刪標(biāo)記（-1）-1:標(biāo)記刪除 0:普通 1:未commit 2:uncopyable 3:去重標(biāo)記 4:去重真刪標(biāo)記 5:疑似可刪除slice_key_protocol0:mola存儲(chǔ)keylist1:meta中有keylist2:keylist由unique_key計(jì)算得到app_code0:bcs 4:pomscdatetime-項(xiàng)目階段-中斷刪除從源頭及時(shí)清理臟數(shù)據(jù)用戶感知：無觸發(fā)場景：用戶取

3、消上傳 客戶端網(wǎng)絡(luò)中斷（超時(shí)） 客戶端上傳速度慢（2B/s） 客戶端上傳數(shù)據(jù)長度有誤收益：每日中斷刪除30T+數(shù)據(jù)項(xiàng)目階段-重復(fù)數(shù)據(jù)刪除BCS/PCS和POMS中根據(jù)相同的文件md5減少文件存儲(chǔ)副本的功能,以便于節(jié)約成本數(shù)據(jù)來源：未中秒傳 1. 數(shù)據(jù)大小md5Noraml-md5=項(xiàng)目階段-重復(fù)數(shù)據(jù)刪除標(biāo)記刪除：-優(yōu)勝略汰若該IDC只有一個(gè)key,則該IDC去重完畢;獲取每個(gè)IDC保留的最優(yōu)key;標(biāo)記其他的key是否標(biāo)記為Md5dedup(status=3)。去重真實(shí)刪除：-數(shù)據(jù)安全保證對應(yīng)poms_key有相同md5可供使用刪除data數(shù)據(jù)，成功更改status=4，失敗status=-3

4、。去重后數(shù)據(jù)下載邏輯：-偷梁換柱 如果是t2v2的下載,直接返回status=0|=2的meta數(shù)據(jù);如果是t1v1的下載,如果status=3|4, 再重新獲取到對應(yīng)t2v2且status為0的meta數(shù)據(jù)返回。用戶感知：無觸發(fā)場景：階段性腳本觸發(fā)收益：標(biāo)記刪除3901.746（TB），真實(shí)刪除統(tǒng)計(jì)881.769（TB）項(xiàng)目階段過期數(shù)據(jù)刪除用戶感知：視頻重新轉(zhuǎn)碼（概率較低）觸發(fā)場景：階段腳本觸發(fā)收益：標(biāo)記刪除14630.28（TB）真實(shí)刪除12090.565（TB）數(shù)據(jù)來源：視頻轉(zhuǎn)碼文件標(biāo)記刪除：所有status=2,bucket=videotran*的數(shù)據(jù)標(biāo)記-1。真實(shí)刪除：刪除statu

5、s=-1的object的data數(shù)據(jù)，狀態(tài)標(biāo)為-2。數(shù)據(jù)刪除后下載：返回?cái)?shù)據(jù)不存在。視頻業(yè)務(wù)重新轉(zhuǎn)碼上傳數(shù)據(jù)。項(xiàng)目階段無引用數(shù)據(jù)刪除A：存量數(shù)據(jù)入庫POMS現(xiàn)狀POMS準(zhǔn)備完成PCS現(xiàn)狀D：pcs有引用文件對應(yīng)poms_key導(dǎo)出PCS準(zhǔn)備完成E：PCS文件引用關(guān)系計(jì)算PCS無引用數(shù)據(jù)key列表F：POMS數(shù)據(jù)庫標(biāo)記刪除部分無引用數(shù)據(jù)完成標(biāo)記H：數(shù)據(jù)真實(shí)刪除部分無引用數(shù)據(jù)刪除完成I：object重寫回收空間部分無引用數(shù)據(jù)空間回收完成操作狀態(tài)存在增量keyJ：增量無引用數(shù)據(jù)計(jì)算不存在增量keyB：全量poms_key及相互引用關(guān)系導(dǎo)出基于POMS Key的引用關(guān)系計(jì)算空間回收方式C：pcs有引用

6、文件導(dǎo)出(bucket/object或poms_key)G：無引用key校驗(yàn)BCS Meta計(jì)算全量完成，所有數(shù)據(jù)已入HDFSPCS file-meta和object-key join完成，產(chǎn)出bucket/object引用關(guān)系計(jì)算 標(biāo)記刪除 無引用key校驗(yàn)真實(shí)刪除 Object重寫 數(shù)據(jù)來源：PCS無引用數(shù)據(jù) 1. 用戶刪除的數(shù)據(jù) 2. 云直播過期數(shù)據(jù) 3. 測試數(shù)據(jù) 項(xiàng)目階段無引用數(shù)據(jù)刪除刪除原則：POMS內(nèi)部無引用 PCS無引用數(shù)據(jù)標(biāo)記刪除：PCS無引用普通object：可以直接標(biāo)記刪除PCS無引用superfile1，且無md5：可以直接標(biāo)記刪除，但其子object不能PCS無引用superfile1，且有md5：可以直接標(biāo)記刪除，但其子object不能PCS無引用superfile2，且無md5：可以直接標(biāo)記刪除PCS無引用superfile2，且有md5：可以直接標(biāo)記刪除真實(shí)刪除：刪除status=-1的object的data數(shù)據(jù)，狀態(tài)標(biāo)為-2；Superfile的數(shù)據(jù)遍歷每個(gè)object是否被PCS引用，有跳過，無刪除data標(biāo)記-2；Superfile2刪除每個(gè)part的data數(shù)據(jù)標(biāo)記-2；數(shù)據(jù)刪除后下載：異常情況，監(jiān)控報(bào)警。項(xiàng)目階段Object 重