利用LVM卷鏡像技術(shù)實現(xiàn)數(shù)據(jù)在線遷移實踐

1、 利用LVM卷鏡像技術(shù)實現(xiàn)不停業(yè)務(wù)的數(shù)據(jù)在線遷移實踐核心存儲升級混閃V7000F 【摘要】隨著信息化、數(shù)字化的快速發(fā)展，在大數(shù)據(jù)時代，數(shù)據(jù)的遷移、災(zāi)備是數(shù)據(jù)庫整個運維工作中的關(guān)鍵一環(huán)，是關(guān)系到公司數(shù)據(jù)安全的重要組成部分。本文以2019年某集團公司ERP核心數(shù)據(jù)存儲升級為例，詳細介紹了在AIX操作系統(tǒng)中如何利用LVM卷鏡像技術(shù)實現(xiàn)不停業(yè)務(wù)的數(shù)據(jù)在線遷移，一是對相關(guān)操作做進一步的復(fù)習(xí)鞏固，二是在將來類似有需要的場景中打下良好的知識基礎(chǔ)。一、背景介紹某公司ERP系統(tǒng)于2012年正式上線投入使用。相關(guān)存儲、服務(wù)器等設(shè)備早在2011年下半年就已上架安裝調(diào)試。至今運行時間將近八年。隨著近年來業(yè)務(wù)系統(tǒng)的不斷

2、發(fā)展，數(shù)據(jù)核心存儲V7000（IBM第一代產(chǎn)品2076-124）的硬件性能逐漸成為應(yīng)用系統(tǒng)運行中的瓶頸，數(shù)據(jù)庫磁盤利用率一直居高不下。由于采購時間較早，設(shè)備的故障率也隨之逐年增加，相關(guān)部件已退出市場，二手備件無法保證質(zhì)量。一旦出現(xiàn)較嚴重故障或臨時維護停機，將直接影響核心生產(chǎn)系統(tǒng)的使用。因此，在2019年我們對ERP數(shù)據(jù)核心存儲系統(tǒng)進行了一次全面升級改造。所有數(shù)據(jù)從舊設(shè)備到新設(shè)備實現(xiàn)了高速在線遷移，業(yè)務(wù)系統(tǒng)進行了無縫銜接。整個遷移、切換過程關(guān)鍵設(shè)備零重啟，對用戶正常操作ERP畫面未造成任何影響。二、目的和意義存儲設(shè)備運行更加穩(wěn)定新的IBM V7000存儲（2076-624）屬于V7000系列的第

3、三代產(chǎn)品，2016年9月投入市場。存儲系統(tǒng)的設(shè)計從控制器、數(shù)據(jù)通道、I/O接口，到磁盤環(huán)路都是采用冗余結(jié)構(gòu)，理論上不存在系統(tǒng)本身的單點故障問題。該產(chǎn)品依靠其卓越的穩(wěn)定性、可靠性及獨特的人性化配置界面在市場占有率上一直位居前列，在同行中具有良好的口碑。設(shè)備性能顯著提高ERP核心存儲中存放的數(shù)據(jù)多為ERP應(yīng)用和DB2數(shù)據(jù)庫數(shù)據(jù)，數(shù)據(jù)處理類型多為OLTP聯(lián)機事務(wù)處理，對數(shù)據(jù)處理的響應(yīng)速度有較高的要求，因此新存儲應(yīng)優(yōu)先考慮其IOPS性能指標，即單位時間內(nèi)的存儲系統(tǒng)能夠處理的IO請求數(shù)量，使新存儲有較高的隨機數(shù)據(jù)訪問處理速度。另一方面，新存儲系統(tǒng)應(yīng)有較高的存儲緩存性能，較大的存儲緩存會顯著提高存儲的讀寫

4、速度。舊的存儲系統(tǒng)配置為16GB緩存，24塊300GB 轉(zhuǎn)速為10000RPM的普通SAS硬盤，存儲機型的CPU和緩存性能較低，并且由于硬盤的轉(zhuǎn)速較低，存儲無法提供更多的IPOS讀寫，存在一定的性能瓶頸，限制了存儲數(shù)據(jù)讀寫訪問速度。新的存儲系統(tǒng)配置為雙控制器，256GB高速緩存，8個16Gbps光纖接口，冗余電源等特性，存儲硬盤為6塊單盤1.92TB Flash固態(tài)閃存硬盤+8塊900GB 轉(zhuǎn)速為15000RPM的SAS硬盤，無論是從容量的擴展性還是系統(tǒng)CPU、緩存性能方面都有了較大提升，完全能夠滿足當前和未來五年內(nèi)的ERP數(shù)據(jù)量需求。專業(yè)知識應(yīng)用于生產(chǎn)實際的一次典型案例本次存儲系統(tǒng)升級過程中

5、的關(guān)鍵點是數(shù)據(jù)的在線遷移，而實現(xiàn)這一目標的是AIX操作系統(tǒng)下的LVM Mirror卷鏡像技術(shù)。這是從專業(yè)理論知識運用于生產(chǎn)實踐的一次典型案例，具有很強的指導(dǎo)意義。三、技術(shù)介紹LVM Mirror（Logical Volume Manager Mirror）：邏輯卷管理器的數(shù)據(jù)鏡像技術(shù)。這是一種雙磁盤系統(tǒng)數(shù)據(jù)同步復(fù)制機制，是基于IBM主機系統(tǒng)和IBM存儲系統(tǒng)相互配合使用的，是目前技術(shù)成熟度高，實施快速簡便，應(yīng)用行之有效的數(shù)據(jù)冗余方式。ERP系統(tǒng)原拓撲結(jié)構(gòu)：新增存儲設(shè)備后的拓撲：新映射的卷在AIX系統(tǒng)中通過HACMP高可用集群軟件加入到原來的VG卷組中，通過卷鏡像技術(shù)實現(xiàn)數(shù)據(jù)的同步復(fù)制。為了實現(xiàn)數(shù)

6、據(jù)的同步，我們利用數(shù)據(jù)鏡像功能LVM，為已有的磁盤A（下圖所示之“VG中原邏輯卷LV”）上的生產(chǎn)數(shù)據(jù)添加一個拷貝，并將其鏡像設(shè)備指定為磁盤B（下圖所示之“VG中新增邏輯卷LV”）。正常工作模式下，數(shù)據(jù)的寫入操作可以用下圖說明：生產(chǎn)系統(tǒng)對磁盤A數(shù)據(jù)的任何更新都實時地寫入磁盤B中，二者的更新方式可以選擇順序方式或者并行方式，建議使用并行方式（雙寫模式）以增加整體性能。四、 方案選型與設(shè)計1、技術(shù)路線考慮到之前舊存儲磁盤讀寫性能瓶頸問題，尤其是數(shù)據(jù)庫讀寫頻繁的情況下，數(shù)據(jù)庫所在hdisk的busy使用率一直居高不下。在選型中優(yōu)先考慮閃存盤。關(guān)于V7000升級到閃存，經(jīng)過調(diào)研了解，主要有三條路線如下：

7、成本較低，比較老的一代V7000可以新購5030F來滿足閃存功能；二代及以上V7000可以直接加閃盤升級為V7000F。如果用戶已有虛擬機的功能，可以升級到V7000G3（V9100低配版）來實現(xiàn)閃存功能。如果對閃存的性能要求較高，做長遠的規(guī)劃，可以購買起配容量較高的F900/FS9100（壓縮能力強），性價比高。2、適用場景V7000F：配置：最大八控制器；最大1024GB緩存；每控制器10核Intel CPU；64個前端FC接口；支持24塊盤2U擴展柜；支持96塊盤5U擴展柜；支持Flash。支持SAS、NL_SAS。適用于大部分的應(yīng)用場景，具有豐富的存儲功能。V7000F的性能與所配置的

8、閃存盤的數(shù)量有很大關(guān)系。由于其可以根據(jù)企業(yè)業(yè)務(wù)自身需求情況，配置閃存盤數(shù)量，所以對于業(yè)務(wù)壓力不是極端條件下的系統(tǒng)，此方案在性價比上非常不錯。V7000G3：關(guān)于V7000G3，沒有找到太多詳細資料，個人對此產(chǎn)品不是十分了解。在此就放上找到的兩種產(chǎn)品資料圖，作為代表。F900：全閃存F900適用于用戶需要極致的IO響應(yīng)速度，對于存儲功能要求少的場景，或者結(jié)合SVC來使用。F900特別適用于關(guān)鍵應(yīng)用加速、AI模型訓(xùn)練等場景。第一代F900配置12個模塊的SPC-1測試為40多萬IOPS，而且響應(yīng)時間都在0.5ms以內(nèi)。比較適合的場景如：在線交易處理（OLTP）在線分析處理（OLAP）虛擬桌面基礎(chǔ)架

9、構(gòu)（VDI）云規(guī)模的基礎(chǔ)架構(gòu)計算型應(yīng)用talkwithtrend社區(qū)（twt社區(qū)）內(nèi)有詳盡的F900技術(shù)手冊及應(yīng)用場景介紹，在此我就不進行過多介紹了，有興趣的可以在社區(qū)進行搜索。經(jīng)過充分考慮，在本方案中，新購一臺IBM V7000作為新的核心存儲系統(tǒng)，原存儲充分利舊，作為容災(zāi)備用存儲。新存儲中創(chuàng)建與原存儲具有相同容量和數(shù)量的存儲卷，影射給主機。在主機操作系統(tǒng)中通過HACMP高可用軟件將新增邏輯卷加入到原卷組VG中做LVM的卷鏡像，數(shù)據(jù)同步的過程可全程在線操作，數(shù)據(jù)復(fù)制在后臺完成，整個過程無需對業(yè)務(wù)進行停機。當數(shù)據(jù)初次復(fù)制完成后，新購存儲卷將與原來的存儲卷保持數(shù)據(jù)同步的一致性關(guān)系，新業(yè)務(wù)產(chǎn)生的數(shù)

10、據(jù)將在兩套存儲中各寫一份。五、具體實現(xiàn)1、遷移前的的準備工作：機房現(xiàn)狀梳理：主要是為了充分了解機房實際運行環(huán)境，規(guī)劃設(shè)備安裝位置，確定其他主機存儲設(shè)備狀態(tài)，包括小型機、光纖交換機等，收集交換機zone和端口狀態(tài)信息，并在了解當前和未來具體技術(shù)需求后，確認本次項目的技術(shù)實施方案，與業(yè)務(wù)單位協(xié)調(diào)實施計劃等。設(shè)備到貨安裝：新存儲到貨之后，協(xié)調(diào)倉庫驗貨簽收。在對設(shè)備進行初步外觀檢驗后，將設(shè)備運送至機房并拆箱上架安裝，將設(shè)備安裝至機柜，并連線到光纖交換機，對新設(shè)備進行加電初始化，在初始化步驟完成后，登錄存儲管理界面檢查系統(tǒng)硬件配置是否符合招標及合同要求。光纖交換機配置：在新V7000設(shè)備連線后，需要對現(xiàn)

11、有的兩臺B24交換機的zone進行配置，V7000的A控和B控分別連接兩臺光交，交換機端口使用12口和13口。V7000 A控1口連接B24_up的12口，2口連接B24_down的12口V7000 B控1口連接B24_up的13口，2口連接B24_down的13口在光交命令行中利用zonecreate命令進行端口配置，cfgadd命令配置config文件，最后cfgsave保存。1.1、根據(jù)原來存儲系統(tǒng)的配置情況，記錄劃分的卷、唯一標識號、與主機間的映射關(guān)系等。1.2、根據(jù)舊存儲上卷(LUN)的劃分情況，對新存儲進行相關(guān)配置。為方便做鏡像，劃分卷時容量大小與舊存儲上卷大小保持一致。如果需要擴

12、容，請新建卷。配置完成后映射給相關(guān)主機。新V7000的RAID配置：本次V7000實際配置硬盤包括：6塊1.92TB SSD硬盤，8塊900GB SAS硬盤。根據(jù)實際業(yè)務(wù)需求，分別創(chuàng)建兩個存儲池SSD_Pool和SAS_Pool。SSD硬盤和SAS硬盤分別保留一塊盤作為熱備盤，剩余硬盤分別創(chuàng)建RAID 5，然后分別加入至存儲池中。在RAID創(chuàng)建完成后，SSD存儲池可用容量約7TB，SAS存儲池可用容量約4.9TB。LUN配置：根據(jù)實際需求，在新V7000中創(chuàng)建LUN，用于后期LVM數(shù)據(jù)鏡像復(fù)制，故新創(chuàng)建的LUN大小和數(shù)量應(yīng)與現(xiàn)有V7000保持一致。如需擴容，可新增LUN。創(chuàng)建主機：在zone劃

13、分完成后，在每臺主機系統(tǒng)中運行cfgmgr命令掃描新光纖設(shè)備，而后在新V7000中創(chuàng)建主機，按照前期統(tǒng)計的每臺主機光纖卡的WWN號分別進行添加。存儲卷映射：將新創(chuàng)建的LUN按照現(xiàn)有V7000存儲的映射關(guān)系對每個LUN進行主機映射，映射操作完成后，在AIX操作系統(tǒng)中運行cfgmgr命令即可掃描發(fā)現(xiàn)新硬盤，在掃描到磁盤后，在主機系統(tǒng)中查看磁盤狀態(tài)和鏈路是否正常，lsdev Cc disk狀態(tài)應(yīng)為可用狀態(tài)，磁盤多路徑鏈路應(yīng)為自動聚合。微碼升級：為保障新購V7000存儲的后期穩(wěn)定運行，將新購V7000存儲的微碼進行升級，以降低存儲軟件運行故障風(fēng)險，升級存儲至最新穩(wěn)定版本7.8.1.7，升級過程約1個半

14、小時。至此，數(shù)據(jù)遷移前的各項準備工作已完成。為了數(shù)據(jù)安全及檢測硬件設(shè)備運行狀況是否穩(wěn)定，可讓新的V7000在沒有數(shù)據(jù)的情況下加電運行一周進行觀察。待一切都沒有問題后再進行數(shù)據(jù)遷移操作！2、數(shù)據(jù)遷移：本文以DB2數(shù)據(jù)庫數(shù)據(jù)同步為例，詳細講述整個操作過程：2.1、新存儲上劃分卷lun_db1lun_db2，卷容量大小建議與原存儲上卷相等，便于后面做鏡像。（圖中l(wèi)un_db3為以后擴容卷）按照規(guī)劃，DB01上的數(shù)據(jù)庫卷運行與SSD固態(tài)盤池中，其余文件系統(tǒng)運行于SAS普通盤池中。如果需要擴容，可以新建卷，等數(shù)據(jù)同步完畢后再擴容。2.2、根據(jù)HA高可用規(guī)則，將共享卷映射給主機DB01。2.3、DB01小

15、機AIX系統(tǒng)中運行cfgmgr v 刷新設(shè)備。lspv查看新映射過來的物理設(shè)備。新卷hdisk6和hdisk7無PVID號。此時，AP01已經(jīng)遷移完畢。hdisk2是原存儲上的apvg。hdisk5是新存儲上的卷。我們的目標是將新卷hdisk6和hdisk7添加到dbvg中，利用hdisk3和hdisk4做mirror鏡像。2.4、利用命令chdev l hdisk6(disk7) a pv=yes給新磁盤賦予PVID號。PVID號是磁盤的全局唯一ID號。2.5、利用命令bootinfo s hdisk6(hdisk7)可以查看每個磁盤的大小。當有多個大小不同的卷映射到同一小機時，借助此命令可

16、以幫助用戶區(qū)分不同的磁盤 。2.6、將hdisk6和hdisk7分別通過HA集群命令添加至dbvg中。 #smit cl_admin 進入ha選擇需要增加卷的VG根據(jù)PVID號選擇需要加入VG中的新卷hdisk6。再來一遍添加hdisk7，此處不能同時選擇兩個或多個卷。2.7、驗證是否已經(jīng)加入VG中。命令# lspv此時，也可以通過命令lsvg p dbvg 查看hdisk6和hdisk7的FREE PPs是否等于TOTAL PPs。（只是加入至dbvg中還沒有同步數(shù)據(jù)，所以全部空間空閑）2.8、dbvg內(nèi)部做鏡像，數(shù)據(jù)做同步。命令# smit cl_admin-Storage-Volume

17、Groups-Mirror a Volume Group選擇dbvg后，選擇需要同步的目標盤（新盤） hdisk6和hdisk7 同步模式的時候，選擇不同步no sync（此時，因為dbvg太大 最好/db2 、/db2backup分別進行同步）鏡像完成后，選擇同步。# lsvg -l dbvg查看vg中的lv個數(shù)，通過LV逐個進行數(shù)據(jù)同步。分別選擇db2lv、loglv01、db2backuplv進行同步。2.9、數(shù)據(jù)同步過程中驗證同步進度。# lspv查看同步進度 stale PPs圖為同步db2backuplv時的過程。stale PPs數(shù)逐漸變小，當stale PPs為0時，同步完成。同步過程中隨時關(guān)注磁盤性能：數(shù)據(jù)從hdisk4讀出，寫入至新卷hdisk7中。數(shù)據(jù)同步的過程中，新業(yè)務(wù)數(shù)據(jù)雙寫。同步完畢后狀態(tài)：LPs:PPs=1:22.10、觀察一段時間，驗證業(yè)務(wù)是否正常。2.11、unmirror vg，選擇dbvg中的原卷hdisk3和hdisk