雙活方案中的NAS復(fù)制及切換方案

雙活方案中的NAS復(fù)制及切換方案

雙活方案中的NAS復(fù)制及切換問題？在同城雙活的建設(shè)過程中，很多負載均衡的應(yīng)用需要用到NAS來實現(xiàn)文件的共享，滿足負載均衡的需求。一般的NAS都采取網(wǎng)絡(luò)復(fù)制到同城的方案，復(fù)制的內(nèi)容一般沒有辦法實時同步，有一定的滯后，沒有辦法保證數(shù)據(jù)的完全一致，一旦生產(chǎn)發(fā)生問題，遇到需要切換的場景，可能會丟失一些數(shù)據(jù)。有些對于數(shù)據(jù)一致要求較高的應(yīng)用可能因為文件的不一致造成異常（比如一些批量作業(yè)）。請問有什么好的解決辦法？問題來自社區(qū)會員@chenxiaofei徽商銀行系統(tǒng)工程師

@chenmingfu西部某城商銀行基礎(chǔ)架構(gòu)組長：如果是雙活場景的話，可以考慮把nas存儲也設(shè)置為雙活，否則，采用主備復(fù)制的方式，nas文件系統(tǒng)在數(shù)據(jù)同步狀態(tài)下同城端主機是無法mount這些文件系統(tǒng)的，這將導(dǎo)致nas文件系統(tǒng)無法實時使用，可以根據(jù)實際nas文件應(yīng)用場景區(qū)分，沒必要同步的就兩邊分別獨立掛載各自數(shù)據(jù)中心內(nèi)的nas文件系統(tǒng)，這樣也能解耦。@LX11華為高級工程師：當(dāng)前業(yè)界已經(jīng)具備NAS雙活技術(shù)，NAS雙活采用AP架構(gòu)，使主機能夠?qū)蓚€存儲系統(tǒng)的文件系統(tǒng)視為單個存儲系統(tǒng)上的單個文件系統(tǒng)，并保持文件系統(tǒng)的實時雙寫存放和讀取。@crazierspore華為產(chǎn)品總監(jiān)：首先看一些NAS的同步雙寫流程：①同步雙寫由SPACE發(fā)起，當(dāng)有主機IO時，SPACE轉(zhuǎn)發(fā)給Pair；②由Pair根據(jù)當(dāng)前狀態(tài)決定是否雙寫，如果是同步雙寫，則將IO拆分成兩個IO，一個由源文件系統(tǒng)RIM實際寫入SPACE；③另一個IO通過目標(biāo)文件系統(tǒng)RIM代理轉(zhuǎn)發(fā)到從端；④由EPL根據(jù)鏈路進行路由，通過TCP或FC或iSCSI鏈路轉(zhuǎn)發(fā)到從端；⑤當(dāng)從端EPL接收到主端數(shù)據(jù)時，找到目標(biāo)文件系統(tǒng)RIM，并由其寫入目標(biāo)文件系統(tǒng)的SPACE。因此有關(guān)對于數(shù)據(jù)一致要求較高的應(yīng)用可能因為文件的不一致造成異常的影響，一般由于切換時間引起。影響切換時間長短的幾個因素：1、協(xié)議類型，推薦使用NFSv3協(xié)議，NFSv3屬無狀態(tài)協(xié)議，NFS受故障影響小，故障后直接重試直到響應(yīng)，而CIFS和NFSV4屬有狀態(tài)協(xié)議，故障后還需維護自身的狀態(tài)信息，遇到加鎖業(yè)務(wù)時切換時間會更長甚至斷業(yè)務(wù)，而且CIFS沒有鎖和句柄同步，對于已經(jīng)加鎖的文件故障恢復(fù)后沒法恢復(fù)鎖導(dǎo)致文件沖突，比如打開的文件遇到雙活故障場景恢復(fù)后只能另存為文件，無法原文件保存。2、掛載NFS時需要修改協(xié)議重試的時間參數(shù)：-otimeo=XX，該參數(shù)的單位是1/10秒，默認(rèn)值為600，建議設(shè)置成50，即重試時間5秒。如果設(shè)置時間太短，陣列還沒切換完成，會導(dǎo)致重試次數(shù)較多，整體時間較長。舉例：mount-tnfs-overs=3,timeo=50/11.11.11.1/FS/FS3、主機上運行的業(yè)務(wù)模型，如果是加鎖類業(yè)務(wù)切換時間會比不加鎖類業(yè)務(wù)時間長（針對NFSv4和CIFS協(xié)議），因為故障切換流程還需保障之前加鎖的業(yè)務(wù)鎖釋放是否完成，是否會有鎖沖突，比如VMware或者集群類業(yè)務(wù)。為了排除是加鎖影響，測試時掛在文件系統(tǒng)是可以加上nolock參數(shù)。舉例：mount-tnfs-onolock/11.11.11.1/FS/FS4、主機業(yè)務(wù)壓力，這個原理很簡單，如果主機上業(yè)務(wù)壓力較大，故障切換時間就相對較長，因此測試時需要調(diào)小主機的業(yè)務(wù)壓力，減小下IO的并發(fā)。5、故障方式，掉電（拔電源）是非計劃內(nèi)的故障，需要陣列去感知掉電故障然后走仲裁，這里仲裁還需要靜默8秒才切換，因此切換時間相對較長，而用下電或者重啟的方式進行故障則是計劃內(nèi)的故障，陣列可以主動通知仲裁進行業(yè)務(wù)切換，會立即進行切換，最終的