實(shí)現(xiàn)系統(tǒng)鏡像等大文件P2P快速分發(fā)方案分享

實(shí)現(xiàn)系統(tǒng)鏡像等大文件P2P快速分發(fā)方案分享鏡像是對(duì)應(yīng)一個(gè)系統(tǒng)的分區(qū)，數(shù)據(jù)量非常龐大。從事云桌面、教育系統(tǒng)技術(shù)服務(wù)的企業(yè)應(yīng)該經(jīng)常會(huì)遇到給某個(gè)單位或?qū)W員的幾十臺(tái)、上百臺(tái)終端設(shè)備進(jìn)行批量升級(jí)系統(tǒng)鏡像的需求。針對(duì)鏡像的分發(fā)，傳統(tǒng)的做法是鏡像改變后，服務(wù)器端將這個(gè)鏡像文件通過Ftp/Http等方式，給局域網(wǎng)內(nèi)的幾十臺(tái)、上百臺(tái)終端進(jìn)行發(fā)送，是1對(duì)多的模式。但服務(wù)器的帶寬、磁盤讀性能是有限的，如果是千M局域網(wǎng)，服務(wù)器的上傳能力最高是120MB/s左右，如果有100個(gè)終端一起更新下載，每個(gè)終端只能獲得1.2MB/s的下載速度，如果傳輸一個(gè)256G的分區(qū)鏡像，需要幾天的時(shí)間才可以傳輸完成。傳統(tǒng)的做法顯然無法滿足實(shí)際客戶場(chǎng)景的鏡像分發(fā)需求。行業(yè)內(nèi)又衍生出先服務(wù)器傳給幾臺(tái)機(jī)器，等幾臺(tái)機(jī)器傳完后再通過這些機(jī)器下發(fā)另外機(jī)器的各種模式?？偠灾?，都缺少一個(gè)可以同時(shí)利用所有機(jī)器網(wǎng)絡(luò)和性能的便捷方式。通過案例實(shí)踐，P2P分發(fā)技術(shù)恰恰是滿足這一需求的優(yōu)秀解決方案。比如點(diǎn)量BTSDK，基于標(biāo)準(zhǔn)的Bittorrent協(xié)議自研的商業(yè)P2PSDK引擎。可以實(shí)現(xiàn)服務(wù)器同時(shí)給所有終端分發(fā)時(shí)，自動(dòng)將文件切分為很多分塊，隨機(jī)給每個(gè)終端一個(gè)分塊。每個(gè)終端拿到后，再互相連接分享自己有的分塊，實(shí)現(xiàn)一個(gè)分布式集群的自主分發(fā)，從而實(shí)現(xiàn)人越多，下載速度越快、分發(fā)效率越高。讓每個(gè)終端都能獲得120MB/s的下載速度。從而讓一個(gè)本來需要幾天才能傳輸完成的文件，可以在幾十分鐘就能完成傳輸。點(diǎn)量BT在斷點(diǎn)續(xù)傳、限速、文件完整性校驗(yàn)等方面也功能完備，可以減少很多開發(fā)時(shí)間，同時(shí)不止適用于局域網(wǎng)，也可以用于廣域網(wǎng)的鏡像分發(fā)。該方案已經(jīng)廣泛被多家廠商應(yīng)用于系統(tǒng)鏡像傳輸和超大文件傳輸?shù)臉I(yè)務(wù)場(chǎng)景中。比如影院原始拷貝分發(fā)、超大藍(lán)光電影分發(fā)等領(lǐng)域。具體在系統(tǒng)鏡像傳輸領(lǐng)域，點(diǎn)量BT除了傳統(tǒng)P2P的功能外，還針對(duì)該場(chǎng)景做了如下更多功能，更好的解決該場(chǎng)景下的實(shí)際需求：提供自定義IO接口可以將P2P內(nèi)部所有針對(duì)文件、文件夾的IO操作，調(diào)用外部自定義的IO函數(shù)，這樣就可以實(shí)現(xiàn)分區(qū)的讀寫等由外部用戶自定義處理，可以針對(duì)/dev/sda1等分區(qū)直接當(dāng)一個(gè)標(biāo)準(zhǔn)文件處理，用來制作torrent文件、進(jìn)行文件的讀寫。用戶通過自定義對(duì)磁盤分區(qū)、鏡像的讀寫函數(shù)、查看文件大小、屬性等函數(shù)，將分區(qū)當(dāng)做一個(gè)標(biāo)準(zhǔn)文件處理。鏡像下載優(yōu)化版，可設(shè)置跳過傳統(tǒng)校驗(yàn)專門提供鏡像下載優(yōu)化版本，可設(shè)置跳過傳統(tǒng)校驗(yàn)：磁盤鏡像分區(qū)比較大，傳統(tǒng)BT/P2P在進(jìn)行分塊校驗(yàn)等操作時(shí)會(huì)耗費(fèi)時(shí)間太久，通過自定義IO，以及其他設(shè)置，可以跳過這些校驗(yàn)，提升制作種子、下載完成的時(shí)間。由外部校驗(yàn)鏡像完整性。自定義設(shè)置文件分塊大小由于磁盤分區(qū)鏡像可能是256G甚至更大的文件，因此建議設(shè)置4M等超大分塊大小，這些在普通BT軟件里面是不支持的。支持更多分塊數(shù)量鏡像下載優(yōu)化版本的點(diǎn)量BT可以支持4M/8M等超大分塊大小，以及更多的分塊數(shù)量支持。也可通過自定義IO，可以將一個(gè)超大鏡像，拆分成多個(gè)虛擬文件，比如每個(gè)虛擬文件64G，以實(shí)現(xiàn)更好的并發(fā)傳輸效果。支持局域網(wǎng)自建Tracker，提升P2P效率針對(duì)局域網(wǎng)傳輸，可通過參數(shù)去除UPnP等映射，以及停止局域網(wǎng)自動(dòng)發(fā)現(xiàn)。支持設(shè)置局域網(wǎng)自建Tracker，通過局域網(wǎng)Tracker的策略高效調(diào)度，以及指定節(jié)點(diǎn)之間的傳輸關(guān)系，可以減少多層路由器的多級(jí)子網(wǎng)下的端口映射干擾，讓P2P連接更直接、迅速。此