ArchSummit全球架構(gòu)師峰會-《存儲世界不止如此 - EB級存儲引擎背后的技術(shù)》－鄒方明

T02技術(shù)發(fā)言n存儲世界，不止如此-0-級存儲引擎背后的技術(shù)T02技術(shù)發(fā)言ne要分mq2006開始，騰訊內(nèi)部q無存儲平臺到存儲量達0-級別的T1S2.0存儲平臺這一過程b所經(jīng)歷的技術(shù)問題。在社l秘微信c2c圖片和視頻如何提升體驗、降低成本，t及在云時s，部的存儲技術(shù)的。T02技術(shù)發(fā)言n?2.圖片時s存儲設(shè)計t及在運營上的思考?3.視頻時s的存儲設(shè)計t及在運營上的思考?(.云時s的開放g路0)+%文v,視頻,32%內(nèi)容分布文v類型分布文v類型分布1000P 2006.052007.122009.042012.062017.01············混h時s?a務(wù)z多，各自存儲T02技術(shù)發(fā)言nT02技術(shù)發(fā)言n存儲的第一s需求?U2.a務(wù)爆發(fā)，37扛不住 tMasterELLELLELLT02技術(shù)發(fā)言n tMasterELLELLELLT1S第一sg4V存儲系統(tǒng)TDBLibraryHANDHANDHANDELLELLELLELLT02技術(shù)發(fā)言n?20TVS0TV/050T0接口通用表擴展性設(shè)計V自動分裂表let]letletT02技術(shù)發(fā)言nshshsh基本塊頭shshsh基本塊頭部padding基本塊頭部padding中的基本塊看成是一公用4個溢出頁本塊的數(shù)據(jù)用TLV小的數(shù)據(jù)使用連續(xù)?的內(nèi)存索引開銷錄一次I0page速搬遷數(shù)據(jù)T02技術(shù)發(fā)言n 指向連續(xù)的溢出塊ashHash桶數(shù)據(jù)集合 一個基本塊Hash桶數(shù)據(jù)集合一個基本塊一個或多個溢出塊Id)IaOPBrId)cEGId)IaOPBrId)cEG6TOMl/T/-T1S第一sV文v系統(tǒng)LrBuLlKad//U//U//U//UchxdchxdChxdNdmmaster少數(shù)據(jù)正在寫入chxdchxd2T02技術(shù)發(fā)言n數(shù)據(jù)寫入22數(shù)據(jù)回收前223數(shù)據(jù)回收后22224datadataSet2……datadataSet2……ataNT1S上線解決ipfAlbumAlbum1…?用戶量大(億級)?讀寫頻繁(每日數(shù)十億次)?平滑擴容?可靠性?快速(讀寫平均<10ms)……AAlbumN…?數(shù)據(jù)可靠性?成本節(jié)省(千萬RMB)?讀寫數(shù)據(jù)量大(日增數(shù)十?平滑擴容圖片時s的來c0數(shù)百8-存儲、T級下載帶寬。o次、日下載數(shù)千o次。T02技術(shù)發(fā)言nT02技術(shù)發(fā)言n圖片時s存儲系統(tǒng)遇到的挑戰(zhàn)?文v小，)0%刪除?騰訊高速CDN加速?支持防盜鏈?支持多種Cache策略?支持Webp/Jpeg等多種?騰訊高速CDN加速?支持防盜鏈?支持多種Cache策略?支持Webp/Jpeg等多種格式下載下載server?服務(wù)器端監(jiān)控?用戶體驗評測?緯度豐富的檢測?提供SDK和標準hNp協(xié)議?SDK支持單機故障容災(zāi)?支持就近上傳，IDC容災(zāi)?支持自定義多種尺寸?有限支持下載壓縮?裁剪、銳化、旋轉(zhuǎn)等?支持webp/jpeg壓縮?質(zhì)量相同，壓縮比例更高?最大社交平臺十多年惡意?相似度指紋識別；?節(jié)省99%以上人工審核成本T02技術(shù)發(fā)言n.acEB設(shè)計視頻時s的來cr費V38用戶+廣告收入增長迅速，t騰訊視頻d例，oT02技術(shù)發(fā)言nT02技術(shù)發(fā)言n視頻時s的存儲挑戰(zhàn)?超大文v()0TY?極冷文v的合理安置T02技術(shù)發(fā)言nT02技術(shù)發(fā)言nT02技術(shù)發(fā)言n云存儲時sT02技術(shù)發(fā)言n我u準備開放pf技術(shù)的定制能力對場景深度理解的a務(wù)能力T02技術(shù)發(fā)言n手機備x需求?多3/.(間隔,0公里Y?一地3/.災(zāi)難，數(shù)據(jù)保證完整可恢復(fù)T02技術(shù)發(fā)言n三地多b心解決方案T02技術(shù)發(fā)言n?我u只需要價格低?一年只需要讀寫入數(shù)據(jù)的萬分g一?可t延遲讀T02技術(shù)發(fā)言n?通過犧牲可用性(允許存在恢復(fù)時間Yt及利用a務(wù)特性(批量導(dǎo)入，大文vY，將成本發(fā)揮到極致的空間管理方法。