版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
./WORD整理版飛康CDP容災(zāi)系統(tǒng)AIX平臺安裝手冊美國飛康公司<FalconStor>北京分公司北京XX區(qū)財(cái)富中心705Tel:
01065309505Fax:01065309509www.FalconS美國飛康軟件公司聲明Copyright?2011美國飛康軟件公司及其許可者版權(quán)所有,保留一切權(quán)利。未經(jīng)本公司書面許可,任何單位和個(gè)人不得擅自摘抄、復(fù)制本書內(nèi)容的部分或全部,并不得以任何形式傳播。由于產(chǎn)品版本升級或其他原因,本手冊內(nèi)容有可能變更。Falconstor保留在沒有任何通知或者提示的情況下對本手冊的內(nèi)容進(jìn)行修改的權(quán)利。本手冊僅作為使用指導(dǎo),Falconstor盡全力在本手冊中提供準(zhǔn)確的信息,但是Falconstor并不確保手冊內(nèi)容完全沒有錯(cuò)誤,本手冊中的所有陳述、信息和建議也不構(gòu)成任何明示或暗示的擔(dān)保。飛康CDP系統(tǒng)安裝手冊===============================================================文檔屬性屬性值最終客戶名稱:XXX公司集成商名稱項(xiàng)目名稱:XXX公司CDP系統(tǒng)文檔主標(biāo)題:XXX公司CDP容災(zāi)系統(tǒng)安裝手冊文檔版本:V1.0版本日期:文檔狀態(tài):正文變更過程版本修正日期修正人描述V1.02011.02.10Roger目錄1聲明12前言5文檔內(nèi)容5閱讀者53手冊目標(biāo)64實(shí)施概要性步驟和文檔概要64.1實(shí)施階段64.2文檔概要75災(zāi)備方案及實(shí)施環(huán)境85.1災(zāi)備方案架構(gòu)85.2主機(jī)信息統(tǒng)計(jì)05.3FC交換機(jī)的zoning規(guī)劃05.4CDP存儲設(shè)備規(guī)劃15.5CDPIP地址分配及命名25.6機(jī)柜和供電36實(shí)施前環(huán)境準(zhǔn)備階段36.1CDP上架并進(jìn)行網(wǎng)絡(luò)連接36.2業(yè)務(wù)系統(tǒng)數(shù)據(jù)備份46.3FC交換機(jī)的zoning設(shè)置46.4按規(guī)劃部署CDP后端存儲設(shè)備46.5實(shí)施主機(jī)環(huán)境確認(rèn)4確認(rèn)主機(jī)操作系統(tǒng)版本和主機(jī)名4確認(rèn)當(dāng)前設(shè)備容量使用狀況4確認(rèn)光纖卡的狀態(tài)和WWN5確認(rèn)生產(chǎn)主機(jī)有多少個(gè)生產(chǎn)VG6確認(rèn)每個(gè)生產(chǎn)VG的狀態(tài)信息7確認(rèn)主機(jī)硬件配置信息8檢查當(dāng)前HACMP已安裝文件的狀態(tài)107CDP項(xiàng)目實(shí)施階段117.1CDP加電117.2CDP的基本參數(shù)配置11CDP的主機(jī)名配置11CDP的IP地址配置12CDP用戶配置13HBA卡模式配置147.3中止應(yīng)用157.4CDP初始化設(shè)置15FC交換機(jī)分區(qū)激活15CDP存儲設(shè)備識別與配置15CDP端識別主機(jī)FC信息和SANclient創(chuàng)建24SAN邏輯資源與一致性組創(chuàng)建31SAN客戶端分配資源387.5生產(chǎn)主機(jī)端的配置部署49在生產(chǎn)主機(jī)上安裝飛康ipstordisk安裝包49重新掃描飛康CDP上的新加設(shè)備49將飛康CDP分配上來的硬盤加入到現(xiàn)有的生產(chǎn)卷組里49將現(xiàn)有的VG轉(zhuǎn)化成MirrorVG49修改MirrorVGQuorum值及及開機(jī)自動(dòng)加載參數(shù)50修改LV讀取模式50在第一臺主機(jī)上Varyoffvg50在第二臺主機(jī)上識別vg51在第二臺主機(jī)上檢查VG和LV的屬性51修改裸設(shè)備屬組和權(quán)限52鏡像數(shù)據(jù)初始同步527.6啟動(dòng)數(shù)據(jù)庫和應(yīng)用系統(tǒng)527.7CDP高級功能開啟55生產(chǎn)端TimeMark功能開啟55生產(chǎn)端Journal功能開啟607.7.3生產(chǎn)端SafeCache功能開啟62復(fù)制功能開啟65容災(zāi)端TimeMark功能開啟838數(shù)據(jù)庫及應(yīng)用驗(yàn)證878.1快照提取878.2快照分配888.3驗(yàn)證機(jī)驗(yàn)證操作929系統(tǒng)運(yùn)行維護(hù)規(guī)程9310風(fēng)險(xiǎn)防范93前言文檔內(nèi)容《飛康CDP安裝手冊》章節(jié)安排如下:文檔目標(biāo)環(huán)境調(diào)研飛康CDP部署規(guī)劃信息飛康CDPServer端配置飛康CDPClient端部署飛康CDP高級功能設(shè)置數(shù)據(jù)驗(yàn)證標(biāo)志說明本書采用各種醒目標(biāo)志來表示在操作過程中應(yīng)該特別注意的地方,這些標(biāo)志的意義如下:注意:提醒操作中應(yīng)注意的事項(xiàng),不當(dāng)?shù)牟僮骺赡軙?dǎo)致嚴(yán)重后果。警告:該標(biāo)志后的注釋需給予格外關(guān)注,不當(dāng)?shù)牟僮骺赡軙θ松碓斐蓚ΑUf明:對操作內(nèi)容的描述進(jìn)行必要的補(bǔ)充和說明。閱讀者本文檔主要適用于飛康CDP項(xiàng)目實(shí)施人員,指導(dǎo)實(shí)施人員對飛康CDP容災(zāi)項(xiàng)目進(jìn)行規(guī)劃部署及驗(yàn)證,合理設(shè)定飛康CDP的各項(xiàng)功能及相關(guān)的客戶端操作規(guī)程,及快速的恢復(fù)已保護(hù)的數(shù)據(jù)。任何進(jìn)行飛康CDP部署服務(wù)的人員需嚴(yán)格遵守本手冊規(guī)定的技術(shù)步驟。手冊目標(biāo)本手冊的目標(biāo)在于提供完整生產(chǎn)管理系統(tǒng)的基于飛康CDP技術(shù)的災(zāi)備系統(tǒng)的安裝指南、實(shí)施步驟以及CDP數(shù)據(jù)驗(yàn)證恢復(fù)步驟,實(shí)施人員應(yīng)嚴(yán)格按照手冊的要求進(jìn)行分步操作。本文檔以AIX系統(tǒng)的生產(chǎn)環(huán)境為樣板環(huán)境,其中的各類卷組/卷/資源等名稱均為樣板名稱,在具體生產(chǎn)環(huán)境需更新為實(shí)際名稱。警告:任何超越手冊的操作都不被許可,將可能導(dǎo)致無法預(yù)見的后果。如在本手冊規(guī)定的環(huán)境之外的實(shí)施準(zhǔn)則,請向飛康公司咨詢相關(guān)部署方法和可行性。實(shí)施概要性步驟和文檔概要實(shí)施階段飛康CDP災(zāi)備系統(tǒng)的安裝和實(shí)施分為以下幾個(gè)階段完成,由實(shí)施方為主進(jìn)行實(shí)施,用戶方提供必要配合。實(shí)施前的工作準(zhǔn)備,由用戶方和實(shí)施方共同完成,需達(dá)到實(shí)施條件。實(shí)施條件包括IP地址的分配、停機(jī)時(shí)段的分配、數(shù)據(jù)備份的完成、防火墻的開啟等等。實(shí)施方預(yù)先提供實(shí)施環(huán)境需求說明,并完成系統(tǒng)必要參數(shù)調(diào)研。實(shí)施方負(fù)責(zé)對上線前的飛康CDP進(jìn)行配置,如果飛康CDP外接第三方存儲設(shè)備,則進(jìn)入第三階段進(jìn)行交換機(jī)分區(qū)和資源劃分等工作。這時(shí),需用戶方指定存儲提供方與實(shí)施方共同進(jìn)行外接存儲設(shè)備的識別和連接。否則,第二階段完成飛康CDP的資源劃分和配置等工作。用戶方中止應(yīng)用,進(jìn)入核心系統(tǒng)的實(shí)施。用戶方應(yīng)指定存儲交換機(jī)提供方進(jìn)行交換機(jī)的相關(guān)分區(qū)設(shè)置。實(shí)施方進(jìn)行主機(jī)端設(shè)備識別。實(shí)施方負(fù)責(zé)對系統(tǒng)配置同步鏡像,并按照安裝步驟要求進(jìn)行有關(guān)參數(shù)前處理。如果系統(tǒng)停機(jī)時(shí)間具備初始數(shù)據(jù)同步需求,則停機(jī)階段進(jìn)行初始數(shù)據(jù)鏡像同步。如不具備長時(shí)間停機(jī)條件,可先開啟應(yīng)用系統(tǒng),進(jìn)行在線初始數(shù)據(jù)鏡像同步。所有參數(shù)處理須確保雙機(jī)系統(tǒng)的正確和完整識別方可進(jìn)入下一階段。實(shí)施方應(yīng)預(yù)先準(zhǔn)確估算初始鏡像時(shí)長。用戶方啟動(dòng)應(yīng)用,CDP實(shí)施方設(shè)置CDP高級功能。由用戶負(fù)責(zé)啟動(dòng)數(shù)據(jù)庫和應(yīng)用系統(tǒng),當(dāng)數(shù)據(jù)初始鏡像同步完成后,由CDP實(shí)施方負(fù)責(zé)在線開啟CDP的各項(xiàng)高級功能,比如:TimeMark功能,Journal<CDP>功能、SafaCache功能,復(fù)制功能、容災(zāi)中心快照功能等。用戶方與實(shí)施方共同進(jìn)行容災(zāi)站點(diǎn)的數(shù)據(jù)提取和驗(yàn)證,完成測試驗(yàn)收。文檔概要1AIX生產(chǎn)主機(jī)環(huán)境調(diào)研第一階段2飛康CDP設(shè)備上卷的分布和容量劃分第二階段3飛康CDP設(shè)備上組的創(chuàng)建第二階段4飛康CDP設(shè)備上組里卷的加載第二階段5中止應(yīng)用第三階段6光纖交換機(jī)分區(qū)第三階段7飛康CDP設(shè)備上SAN客戶端的創(chuàng)建第四階段8飛康CDP設(shè)備上SAN客戶端的卷的分配第四階段9AIX主機(jī)端飛康卷ipstordisk軟件包的安裝第四階段10檢查當(dāng)前VG狀態(tài)第四階段11在AIX主機(jī)端掃描飛康新加卷設(shè)備第四階段12在AIX主機(jī)端將飛康新加卷擴(kuò)展到相應(yīng)的VG里第四階段13在AIX主機(jī)端將原先的VG轉(zhuǎn)變成MirrorVG第四階段14修改MirrorVGQuorum值第四階段15修改LV讀取策略*說明:優(yōu)先從生產(chǎn)盤陣上進(jìn)行讀取數(shù)據(jù)。第四階段16檢查LV裸設(shè)備屬組合權(quán)限,并修改為與生產(chǎn)系統(tǒng)相同〔時(shí)間允許,可后臺同步數(shù)據(jù)第四階段17啟動(dòng)應(yīng)用〔并后臺同步初始化數(shù)據(jù)第五階段18在本地CDP上為該組或單獨(dú)的SAN資源創(chuàng)建快照和Journal<或SafeCache>空間并啟用快照和Journal〔或Safecache說明:Journal值:1h~30D第五階段19配置生產(chǎn)中心CDP和容災(zāi)中心CDP之間的復(fù)制策略第五階段20開啟容災(zāi)中心CDP的快照策略第五階段21驗(yàn)證數(shù)據(jù)庫和應(yīng)用第六階段災(zāi)備方案及實(shí)施環(huán)境災(zāi)備方案架構(gòu)請?zhí)峁┪锢斫Y(jié)構(gòu)圖,如下例:CDP物理結(jié)構(gòu)圖.主機(jī)信息統(tǒng)計(jì)本表用于遠(yuǎn)程容災(zāi)系統(tǒng)配置版本號:1.01.0填寫人員:xxx應(yīng)用名稱主機(jī)名IP地址操作系統(tǒng)AIXLVM使用存儲接口類型〔FC/內(nèi)置數(shù)據(jù)庫和版本Cluster方式需要保護(hù)的VG總數(shù)據(jù)量容災(zāi)要求核心數(shù)據(jù)庫P570AIX5300-07YesSANInformixHACMPdatavg800GB增量10分鐘核心數(shù)據(jù)庫備機(jī)P570AIX5300-07YesSANInformixHACMPappvg300GB增量10分鐘.FC交換機(jī)的zoning規(guī)劃飛康CDP容災(zāi)系統(tǒng)zoning規(guī)劃表規(guī)劃人員:xxx序號zone名稱成員1WWN端口ID成員2WWPN端口ID備注生產(chǎn)中心SW11db1_fcs0_CDP_T1db1_fcs0CDP_T12db2_fcs0_CDP_T1db2_fcs0CDP_T1生產(chǎn)中心SW21db1_fcs1_CDP_T3db1_fcs1CDP_T32db2_fcs1_CDP_T3db2_fcs1CDP_T3容災(zāi)中心SW11CDP_T1_YZ_fcs0YZ_fcs0CDP_T13CDP_I1_DA_ADA_ACDP_I1容災(zāi)中心SW21CDP_T2_YZ_fcs1YZ_fcs1CDP_T22CDP_I2_DA_BDA_BCDP_I2CDP的數(shù)據(jù)訪問FC端口需要與應(yīng)用主機(jī)的相對應(yīng)訪問端口建立一個(gè)專用的Zone。需要提前規(guī)劃zone名稱以及對應(yīng)端口。CDP訪問存儲設(shè)備的FC端品與存儲的FC端口需要建立專用的Zone,需要提前規(guī)劃Zone名稱以及對應(yīng)的端口。總體原則為:每個(gè)Zone只有兩個(gè)成員〔一個(gè)Initiator,一個(gè)TargetCDP連接存儲設(shè)備稱下行,每個(gè)一FC端口與連接在同一個(gè)產(chǎn)換機(jī)上的所有存儲的FC端口分別劃分在一個(gè)Zone中。CDP連接主機(jī)稱為上行,每一個(gè)FC端口與需保護(hù)的主機(jī)其中一個(gè)FC端口劃分在同一個(gè)Zone中。CDP端口連接拓?fù)鋱D說明:Zoning的設(shè)置需要由用戶方SAN交換機(jī)服務(wù)商或者用戶操作完成,CDP實(shí)施方只提供規(guī)劃要求。CDP存儲設(shè)備規(guī)劃飛康CDP存儲規(guī)劃及使用表填寫人員:xxx1、生產(chǎn)中心CDP配置名稱磁盤容量磁盤類型磁盤數(shù)量RAID設(shè)置〔磁盤數(shù)物理位置可用容量〔GB用途CDP-P450GBSAS6RAID10〔2Slot1~2——systemandsystemlogRAID10〔4Slot3~6840GBJournalPoolMD1000450GBSAS15RAID5〔7Slot1~7LUN1:900GBDataPoolLUN2:900GBfreeLUN3:780GBSanpshotPoolRAID5〔7Slot9~15LUN1:900GBDataPoolLUN2:900GBfreeLUN3:780GBSanpshotPoolhotspaceslot82、容災(zāi)中心CDP配置名稱磁盤容量磁盤類型磁盤數(shù)量RAID設(shè)置〔磁盤數(shù)物理位置可用容量〔GB用途CDP-DR450GBSAS6RAID10〔2Slot1~2——systemandsystemlogRAID5〔4Slot3~6840GBDS4700750GBSATA13RAID5<7>Slot1~7lun1:1000GBDataPoollun2:1000GBDataPoollun3:1000GBDataPoolRAID5<5>Slot8~12lun1:1000GBSanpshotPoollun2:1000GBSanpshotPoolhotspaceslot13CDPIP地址分配及命名XX銀行飛康CDP系統(tǒng)IP地址和連通性規(guī)劃版本號:1.0填寫人員:xxx序號設(shè)備設(shè)備用途以太網(wǎng)接口和IP網(wǎng)卡用途連通性要求備注一、生產(chǎn)中心1CDP-P保護(hù)生產(chǎn)中心AIX主機(jī)2臺eth0:
網(wǎng)關(guān):路由:54eth1:網(wǎng)關(guān):eth0:管理數(shù)據(jù)eth1:數(shù)據(jù)復(fù)制1、與被保護(hù)的2臺AIX主機(jī)P570_1和P570_2相通;
2、與容災(zāi)中心CDP相通
3、與飛康CDP控制臺相通2P570-1生產(chǎn)主機(jī)-主en5bootip3P570-2生產(chǎn)主機(jī)-備en5bootip4驗(yàn)證機(jī)生產(chǎn)中心驗(yàn)證主機(jī)eth0:02
網(wǎng)關(guān):路由:545控制臺管理xx和xx兩臺CDP設(shè)備eth0:00
網(wǎng)關(guān):路由:54與某地和某地兩臺CDP設(shè)備設(shè)備相通二、容災(zāi)中心1CDP-DR承接生產(chǎn)中心CDP-P復(fù)制來的數(shù)據(jù)eth0:管理eth1:數(shù)據(jù)復(fù)制1、與AIX驗(yàn)證主機(jī)相通;
2、與生產(chǎn)中心CDP
3、與飛康CDP控制臺相通2驗(yàn)證機(jī)容災(zāi)中心驗(yàn)證主機(jī)三、端口要求1CDP-P與CDP-DR之間ping和ssh開11576~11580雙向11762TCP/UDP雙向2CDP與CDPclient之間3CDP與CDPconsole之間機(jī)柜和供電本次XX銀行飛康CDP容災(zāi)系統(tǒng)機(jī)柜部署如下圖所示:實(shí)施前環(huán)境準(zhǔn)備階段CDP上架并進(jìn)行網(wǎng)絡(luò)連接將CDP管理器上架CDP管理器連接以太網(wǎng)CDP管理器連接到FC交換機(jī)上〔通過FC連接線具體連接如下圖:業(yè)務(wù)系統(tǒng)數(shù)據(jù)備份提示:請務(wù)必完成數(shù)據(jù)庫及相關(guān)數(shù)據(jù)的的全備份。FC交換機(jī)的zoning設(shè)置注意:準(zhǔn)備階段只在SAN交換機(jī)上進(jìn)行相關(guān)Zoning的配置,但不激活Zoning配置,確保CDP實(shí)施不影響用戶業(yè)務(wù)系統(tǒng)的正常運(yùn)行。按規(guī)劃部署CDP后端存儲設(shè)備根據(jù)業(yè)務(wù)需求,提供具有高隨機(jī)讀寫性能或者一般讀寫性能的存儲空間供不同的應(yīng)用使用。注意:本階段實(shí)施是按照前期存儲規(guī)劃進(jìn)行,需隨用戶業(yè)務(wù)的調(diào)整而調(diào)整。實(shí)施主機(jī)環(huán)境確認(rèn)在進(jìn)場實(shí)施部署開始前,需要再一次確認(rèn)需保護(hù)主機(jī)的配置信息,防止出現(xiàn)調(diào)研結(jié)束到實(shí)施前這一段時(shí)間中系統(tǒng)發(fā)生變更的情況。確認(rèn)主機(jī)操作系統(tǒng)版本和主機(jī)名#oslevel-r5300-11#hostnameHost1確認(rèn)當(dāng)前設(shè)備容量使用狀況:/>#df-mFilesystemMBblocksFree%UsedIused%IusedMountedon/dev/hd4512.00428.1417%61316%//dev/hd23072.001071.9666%4536316%/usr/dev/hd9var1536.001415.218%47272%/var/dev/hd32048.001992.683%3391%/tmp/dev/hd11024.001023.461%91%/home/proc-----/proc/dev/hd10opt512.00182.7865%637814%/opt/dev/backup5120.003707.5528%1441%/backup/dev/informix1024.00602.9542%50284%/informix/dev/tuxedo512.00330.0736%25044%/tuxedo/dev/see3072.003071.211%51%/see/dev/aix53114096.001457.7865%8261%/usr/sys/inst.images確認(rèn)光纖卡的狀態(tài)和WWN[host1:/#]lsdev-Ccadapter|grepfcsfcs0Available04-004GbFCPCIExpressAdapter<df1000fe>fcs1Available0B-004GbFCPCIExpressAdapter<df1000fe>[host1:/#]lscfg-vlfcs0fcs0U789D.001.DQD71CL-P1-C2-T14GbFCPCIExpressAdapter<df1000fe>PartNumber10N7249SerialNumber1C91708440Manufacturer001CECLevelD76626CustomerCardIDNumber5773FRUNumber10N7249DeviceSpecific.<ZM>3NetworkAddress10000000C9894258ROSLevelandID02E82752DeviceSpecific.<Z0>2057706DDeviceSpecific.<Z1>00000000DeviceSpecific.<Z2>00000000DeviceSpecific.<Z3>03000909DeviceSpecific.<Z4>FFE01212DeviceSpecific.<Z5>02E82752DeviceSpecific.<Z6>06E32715DeviceSpecific.<Z7>07E32752DeviceSpecific.<Z8>20000000C9894258DeviceSpecific.<Z9>ZS2.71A2DeviceSpecific.<ZA>Z1D2.70A5DeviceSpecific.<ZB>Z2D2.71A2DeviceSpecific.<ZC>00000000[host1:/#][host1:/#]lscfg-vlfcs1fcs1U789D.001.DQD73BR-P1-C2-T14GbFCPCIExpressAdapter<df1000fe>PartNumber10N7249SerialNumber1C91908239Manufacturer001CECLevelD76626CustomerCardIDNumber5773FRUNumber10N7249DeviceSpecific.<ZM>3NetworkAddress10000000C9898A9AROSLevelandID02E82752DeviceSpecific.<Z0>2057706DDeviceSpecific.<Z1>00000000DeviceSpecific.<Z2>00000000DeviceSpecific.<Z3>03000909DeviceSpecific.<Z4>FFE01212DeviceSpecific.<Z5>02E82752DeviceSpecific.<Z6>06E32715DeviceSpecific.<Z7>07E32752DeviceSpecific.<Z8>20000000C9898A9ADeviceSpecific.<Z9>ZS2.71A2DeviceSpecific.<ZA>Z1D2.70A5DeviceSpecific.<ZB>Z2D2.71A2DeviceSpecific.<ZC>00000000確認(rèn)生產(chǎn)主機(jī)有多少個(gè)生產(chǎn)VG[host1:/#]#lsvgrootvgdbvgcbsvgappvgsharevg[host1:/#]#lsvg-ocbsvgdbvgrootvg確認(rèn)每個(gè)生產(chǎn)VG的狀態(tài)信息[host1:/#]lsvgdbvgVOLUMEGROUP:dbvgVGIDENTIFIER:00cb7a0400004c0000000126741fdecdVGSTATE:activePPSIZE:128megabyte<s>VGPERMISSION:read/writeTOTALPPs:7840<1003520megabytes>MAXLVs:256FREEPPs:160<20480megabytes>LVs:13USEDPPs:7680<983040megabytes>OPENLVs:1QUORUM:1<Disabled>TOTALPVs:5VGDESCRIPTORS:5STALEPVs:5STALEPPs:3542ACTIVEPVs:5AUTOON:noMAXPPsperVG:32512MAXPPsperPV:1016MAXPVs:32LTGsize<Dynamic>:256kilobyte<s>AUTOSYNC:noHOTSPARE:noBBPOLICY:relocatable[host1:/#]lsvg-ldbvgdbvg:LVNAMETYPELPsPPsPVsLVSTATEMOUNTPOINTrootdbsraw15155closed/syncdN/Aphydbsraw15155closed/syncdN/Atempdbsraw65655closed/syncdN/Alogdbs1raw65655closed/syncdN/Alogdbs2raw65655closed/syncdN/Adatadbs01raw5005005closed/syncdN/Adatadbs02raw5005005closed/syncdN/Adatadbs03raw5005005closed/syncdN/Adatadbs04raw5005005closed/syncdN/Adatadbs05raw5005005closed/syncdN/Adatadbs06raw5005005closed/syncdN/Adatadbs07raw5005005closed/syncdN/Adatadbs08raw1151155closed/syncdN/A[host1:/#]lsvg-pdbvgdbvg:PV_NAMEPVSTATETOTALPPsFREEPPsFREEDISTRIBUTIONhdiskpower2active769100..00..00..00..01hdiskpower3active769100..00..00..00..01hdiskpower4active769100..00..00..00..01hdiskpower5active769100..00..00..00..01hdiskpower6active769100..00..00..00..01[host1:/#]lsvgcbsvgVOLUMEGROUP:cbsvgVGIDENTIFIER:00cb7a0400004c000000012674213a8cVGSTATE:activePPSIZE:128megabyte<s>VGPERMISSION:read/writeTOTALPPs:1568<200704megabytes>MAXLVs:256FREEPPs:36<4608megabytes>LVs:3USEDPPs:1532<196096megabytes>OPENLVs:0QUORUM:1<Disabled>TOTALPVs:1VGDESCRIPTORS:3STALEPVs:0STALEPPs:0ACTIVEPVs:1AUTOON:noMAXPPsperVG:32512MAXPPsperPV:1016MAXPVs:32LTGsize<Dynamic>:256kilobyte<s>AUTOSYNC:noHOTSPARE:noBBPOLICY:relocatable[host1:/#]lsvg-lcbsvgcbsvg:LVNAMETYPELPsPPsPVsLVSTATEMOUNTPOINTcbsjfs22402401closed/syncd/cbscbs_reportjfs25255251closed/syncd/cbs/reportloglv00jfs2log111closed/syncdN/A[host1:/#]lsvg-pcbsvgcbsvg:PV_NAMEPVSTATETOTALPPsFREEPPsFREEDISTRIBUTIONhdiskpower7active769300..00..00..00..03確認(rèn)當(dāng)前PV設(shè)備的數(shù)量和狀態(tài):/>#lspv確認(rèn)主機(jī)硬件配置信息host1:/#]prtconfSystemModel:IBM,9117-MMAMachineSerialNumber:06B7CF4ProcessorType:PowerPC_POWER6ProcessorImplementationMode:POWER6ProcessorVersion:PV_6_CompatNumberOfProcessors:8ProcessorClockSpeed:4704MHzCPUType:64-bitKernelType:64-bitLPARInfo:106-B7CF4MemorySize:31104MBGoodMemorySize:31104MBPlatformFirmwarelevel:EM340_075FirmwareVersion:IBM,EM340_075ConsoleLogin:enableAutoRestart:trueFullCore:falseNetworkInformationHostName:host1NameServer:DomainName:PagingSpaceInformationTotalPagingSpace:16384MBPercentUsed:1%VolumeGroupsInformation==============================================================================rootvg:PV_NAMEPVSTATETOTALPPsFREEPPsFREEDISTRIBUTIONhdisk0active54634485..00..41..109..109hdisk1active546376109..07..42..109..109==============================================================================INSTALLEDRESOURCELISTThefollowingresourcesareinstalledonthemachine.+/-=AddedordeletedfromResourceList.*=Diagnosticsupportnotavailable.ModelArchitecture:chrpModelImplementation:MultipleProcessor,PCIbus+sys0SystemObject。。。。。。檢查當(dāng)前HACMP已安裝文件的狀態(tài)[host1:/#]lslpp-l|grepclustercluster.doc.en_US.es.htmlCOMMITTEDHAESWeb-basedHTMLcluster.doc.en_US.es.pdfCOMMITTEDHAESPDFDocumentation-U.S.cluster.es.cfs.rteCOMMITTEDESClusterFileSystemSupportcluster.es.client.libCOMMITTEDESClientLibrariescluster.es.client.rteCOMMITTEDESClientRuntimecluster.es.client.utilsCOMMITTEDESClientUtilitiescluster.es.client.wsmCOMMITTEDWebbasedSmitcluster.es.cspoc.cmdsCOMMITTEDESCSPOCCommandscluster.es.cspoc.dshCOMMITTEDESCSPOCdshcluster.es.cspoc.rteCOMMITTEDESCSPOCRuntimeCommandscluster.es.plugins.dhcpCOMMITTEDESPlugins-dhcpcluster.es.plugins.dnsCOMMITTEDESPlugins-NameServercluster.es.server.cfgastCOMMITTEDESTwo-NodeConfigurationcluster.es.server.diagCOMMITTEDESServerDiagscluster.es.server.eventsCOMMITTEDESServerEventscluster.es.server.rteCOMMITTEDESBaseServerRuntimecluster.es.server.utilsCOMMITTEDESServerUtilitiescluster.es.worksheetsCOMMITTEDOnlinePlanningWorksheetscluster.licenseCOMMITTEDHACMPElectronicLicensecluster.msg.en_US.cspocCOMMITTEDHACMPCSPOCMessages-U.S.cluster.es.client.libCOMMITTEDESClientLibrariescluster.es.client.rteCOMMITTEDESClientRuntimecluster.es.cspoc.rteCOMMITTEDESCSPOCRuntimeCommandscluster.es.server.diagCOMMITTEDESServerDiagscluster.es.server.eventsCOMMITTEDESServerEventscluster.es.server.rteCOMMITTEDESBaseServerRuntimecluster.es.server.utilsCOMMITTEDESServerUtilitiescluster.man.en_US.es.dataCOMMITTEDESManPages-U.S.EnglishCDP項(xiàng)目實(shí)施階段CDP加電打開CDP的電源,啟動(dòng)。系統(tǒng)運(yùn)行正常進(jìn)入下一步。CDP的基本參數(shù)配置準(zhǔn)備一臺管理控制臺〔Windows操作系統(tǒng),安裝CDPConsole軟件,通過Console進(jìn)行CDP的各項(xiàng)設(shè)定和管理說明:CDP系統(tǒng)默認(rèn)的root用戶口令為:IPStor101CDP的主機(jī)名配置CDP主機(jī)名稱分配原則參見設(shè)計(jì)部分:5.5CDPIP地址分配及命名例如設(shè)置CDP主機(jī)名稱為CDP-PCDP的IP地址配置CDP主機(jī)名稱分配原則參見設(shè)計(jì)部分:5.5CDPIP地址分配及命名說明:CDPIP地址:01〔eth0CDPIP地址:〔eth1CDPIP地址:〔eth2CDPIP地址:〔eth3上述IP地址為飛康CDP出廠配置,用戶可根據(jù)需要修改為符合自身網(wǎng)絡(luò)需求的IP地址。例如設(shè)置CDP主機(jī)名稱為CDP用戶配置CDP系統(tǒng)預(yù)設(shè)了管理員,用戶名:admin,密碼:passwordHBA卡模式配置 通過Console按照事先約定的配置將CDP中相應(yīng)的FC端口置為Target模式和Initiator,參見設(shè)計(jì)圖:中止應(yīng)用CDP初始化設(shè)置注意:由HACMP或者手工停止數(shù)據(jù)庫及應(yīng)用程序應(yīng)用。終止應(yīng)用為系統(tǒng)計(jì)劃停機(jī)時(shí)間的開始點(diǎn),之前的所有操作可以不停機(jī)完成。FC交換機(jī)分區(qū)激活應(yīng)按照規(guī)劃,完成光纖交換機(jī)的分區(qū)設(shè)置和激活。完成設(shè)置后,應(yīng)在主機(jī)和CDP端進(jìn)行識別。CDP存儲設(shè)備識別與配置說明:本步驟設(shè)置取決于CDP后端存儲存儲設(shè)備的來源,如果是CDP自帶存儲,就可以在停機(jī)以前完成,如果是通過SAN環(huán)境識別的存儲,則要在SAN交換機(jī)配置完成后進(jìn)行。1飛康CDP對物理資源的識別點(diǎn)擊"物理資源"下的"物理適配器",可以看到CDP所能識別的所有SCSI和FC適配器;選中光纖通道適配器,可以在右邊欄里看到該適配器的WWN地址和設(shè)置模式"Target"〔用于與主機(jī)連接的端口;2飛康CDP創(chuàng)建虛擬設(shè)備選擇"物理設(shè)備"下的"光纖通道設(shè)備",點(diǎn)擊鼠標(biāo)右鍵,選擇"設(shè)置設(shè)備類別";點(diǎn)擊"下一步";選擇"虛擬化",點(diǎn)擊"下一步";選擇未分配的硬盤物理設(shè)備,點(diǎn)擊"下一步";點(diǎn)擊"完成";會提示一個(gè)警告,把未分配資源轉(zhuǎn)換成虛擬設(shè)備,其上原來的數(shù)據(jù)會丟失,輸入"YES";虛擬設(shè)備設(shè)置成功。點(diǎn)擊"確定";3飛康CDP創(chuàng)建存儲池飛康CDP提供存儲池來確保不同類應(yīng)用空間的獨(dú)立性和進(jìn)行權(quán)限管理。不同類型的物理設(shè)備應(yīng)首先分配在不同的存儲池中。說明:原則上,CDPData、snapshot、safcache、Journal〔錄像應(yīng)建立獨(dú)立存儲池,對于safecache和Journal存儲建議使用Raid1+0方式建立于高速存儲區(qū)域。Data存儲池根據(jù)應(yīng)用需求配置為RAID10或者RAID5。Sanpshot存儲池一般設(shè)置成RAID5選中"StoragePools",點(diǎn)擊鼠標(biāo)右鍵,選擇"New";輸入存儲池的名稱,選擇設(shè)備類型為"VirtualDevice",并選擇需要加入該存儲池里的設(shè)備,點(diǎn)擊"確定";創(chuàng)建完成一個(gè)組;4飛康CDP存儲池中添加存儲資源點(diǎn)擊鼠標(biāo)右鍵,選擇"Properties";選擇需要向該存儲池添加的設(shè)備,點(diǎn)擊"確定";CDP端識別主機(jī)FC信息和SANclient創(chuàng)建主機(jī)聯(lián)通性檢查注意:檢查所有應(yīng)用主機(jī)同CDP的連接情況,確保各主機(jī)均可訪問并使用CDP從CDPConsole中,查看到主機(jī)的FC卡的WWN號碼。另外,通過Ping測試確保IPStor與主機(jī)連通。通過上圖,可以看到CDP識別到的主機(jī)FC卡。2飛康CDP創(chuàng)建SAN客戶端選中SAN客戶端,點(diǎn)擊鼠標(biāo)右鍵,創(chuàng)建一個(gè)新客戶端,出現(xiàn)圖示如下圖,點(diǎn)擊"下一步";選擇客戶端的通訊協(xié)議,選擇"光纖通道",點(diǎn)擊"下一步";選擇客戶端主機(jī)的WWN地址,點(diǎn)擊"下一步";輸入客戶端的主機(jī)名稱,選擇客戶主機(jī)操作系統(tǒng)類型,輸入主機(jī)端的IP地址,選擇"CLUSTER",點(diǎn)擊"下一步";點(diǎn)擊"下一步";選擇"啟用永久保留",點(diǎn)擊"下一步";點(diǎn)擊"完成",一個(gè)客戶端到此創(chuàng)建完成;創(chuàng)建好后的狀態(tài);SAN邏輯資源與一致性組創(chuàng)建1SAN邏輯資源創(chuàng)建按照規(guī)劃在CDP上劃分與需保護(hù)對象上對應(yīng)數(shù)據(jù)庫或者應(yīng)用VG中磁盤大小一致的邏輯磁盤:選擇"邏輯資源"下的"SAN資源",點(diǎn)擊鼠標(biāo)右鍵選擇"新建";點(diǎn)擊"下一步";選擇創(chuàng)建SAN資源的類型,選擇"虛擬設(shè)備",點(diǎn)擊"下一步";在左邊一欄里選擇從哪個(gè)存儲池里創(chuàng)建,從右邊欄里選擇從該存儲池里的哪一個(gè)設(shè)備上創(chuàng)建該SAN資源,點(diǎn)擊"下一步";點(diǎn)擊"下一步";輸入該SAN資源創(chuàng)建的大小nnnGB,點(diǎn)擊"下一步";輸入創(chuàng)建SAN資源的名稱說明:SAN邏輯資源創(chuàng)建時(shí)可以設(shè)置該邏輯資源的名稱,為了管理方便,一般根據(jù)保護(hù)對象VG命名為VGName_001。點(diǎn)擊"完成",創(chuàng)建完成一個(gè)SAN資源;下圖提示是否要為該SAN資源分配一個(gè)SAN客戶端,點(diǎn)擊"否";2飛康CDP創(chuàng)建一致性組資源創(chuàng)建一致性組的目的,是將多個(gè)SAN資源下的資源分區(qū)關(guān)聯(lián)在一起,保證應(yīng)用系統(tǒng)各卷快照同步一致和一致性數(shù)據(jù)復(fù)制。選擇"組",點(diǎn)擊鼠標(biāo)右鍵,選擇新建;點(diǎn)擊"下一步";輸入組名稱,建議輸入主機(jī)名,方便標(biāo)識,點(diǎn)擊"下一步";點(diǎn)擊"完成";SAN客戶端分配資源注意:如果應(yīng)用中有一致性組,需要在組設(shè)置完成后按照組的方式進(jìn)行邏輯資源的分配,沒有組設(shè)置需求的資源可以在單個(gè)資源上進(jìn)行分配操作。選擇SAN客戶端下的主機(jī),選擇從光纖通道進(jìn)行SAN資源的分配,點(diǎn)擊"分配";點(diǎn)擊"下一步";選擇所需分配的資源,訪問類型選擇選擇"非獨(dú)占式讀/寫",點(diǎn)擊"下一步";提示是否選擇"非獨(dú)占式讀/寫"模式,點(diǎn)擊"是〔Y";選擇映射類型為"一對一",點(diǎn)擊"下一步";選擇生產(chǎn)主機(jī)的的光纖通道WWN地址,點(diǎn)擊"下一步";選擇從飛康CDP哪個(gè)光纖口進(jìn)行SAN資源的分配,點(diǎn)擊"下一步";確認(rèn)分配給SAN客戶端下的SAN資源的狀況,并注意每個(gè)SAN資源對應(yīng)的LUN號,點(diǎn)擊"下一步";確認(rèn)以上的配置信息,點(diǎn)擊"完成";SAN客戶端的資源分配結(jié)束,點(diǎn)擊"確定";生產(chǎn)主機(jī)端的配置部署在生產(chǎn)主機(jī)上安裝飛康ipstordisk安裝包說明:在AIX系統(tǒng),這項(xiàng)操作請務(wù)必進(jìn)行,不得省略。有關(guān)軟件請向飛康公司獲取。#installp–aFXdipstordiskrteall重新掃描飛康CDP上的新加設(shè)備例:#cfgmgr-vlfcs1#lsdev–Ccdisk將飛康CDP分配上來的硬盤加入到現(xiàn)有的生產(chǎn)卷組里例:#extendvgdbvghdiskx1hdiskx2hdiskx3hdiskx4hdiskx5***共5個(gè)hdisk#extendvgappvghdiskx6hdiskx7***共2個(gè)hdisk注意:請務(wù)必記錄所有CDP設(shè)備的PV設(shè)備號和PVID信息。后面在任何導(dǎo)入操作時(shí),一旦系統(tǒng)的PV設(shè)備被其他設(shè)備占用,請根據(jù)預(yù)留信息識別相關(guān)的飛康CDP設(shè)備,并盡量進(jìn)行修復(fù)處理,去除不良設(shè)備號,恢復(fù)原有PV設(shè)備號碼。將現(xiàn)有的VG轉(zhuǎn)化成MirrorVG#mirrorvg-m-sdbvghdiskx1hdiskx2hdiskx3hdiskx4hdiskx5***共5個(gè)hdisk#mirrorvg-m-sappvghdiskx6hdiskx7***共2個(gè)hdisk說明:采用"-s"方式,表示實(shí)際鏡像可以在后期使用syncvg或者啟動(dòng)應(yīng)用后進(jìn)行,如果停機(jī)時(shí)間允許在本時(shí)段完成鏡像,可以使用"-S"參數(shù)。修改MirrorVGQuorum值及及開機(jī)自動(dòng)加載參數(shù)注意:以下操作不得省略,任何省略都可能導(dǎo)致不良后果。#chvg-an-Qndbvg#lsvgdbvg#chvg-an-Qnappvg#lsvgappvg說明:Aix5300-06及以前系統(tǒng)中開機(jī)自動(dòng)加載參數(shù)不能自動(dòng)傳遞,當(dāng)HA或者RAC中主節(jié)點(diǎn)一端自動(dòng)加載參數(shù)是No時(shí),另一端執(zhí)行importvg命令得到的是Yes,并且Mirrorvg后也需要手工更改Quorum值。 Aix5300-07及以后版本,開機(jī)自動(dòng)加載參數(shù)可以自動(dòng)傳遞,當(dāng)HA或者RAC中主節(jié)點(diǎn)一端自動(dòng)加載參數(shù)是No時(shí),另一端執(zhí)行importvg命令得到的也是No,并且Mirrorvg后Vg的Quorum值被自動(dòng)設(shè)置為No。修改LV讀取模式注意:以下操作不得省略,任何省略都可能導(dǎo)致不良后果。修改系統(tǒng)中dbvg和appvg的lv的讀寫模式。如果LV數(shù)量較多,請建立批處理腳本進(jìn)行此項(xiàng)操作。#lsvg–ldbvg#chlv–dpslv_name#lsvg–lappvg#chlv–dpslv_name在第一臺主機(jī)上Varyoffvg#varyoffvgdbvg#varyoffvgappvg在第二臺主機(jī)上識別vg警告:參數(shù)在第一臺主機(jī)完成設(shè)置后,請務(wù)必在第二臺主機(jī)進(jìn)行參數(shù)設(shè)置和傳遞。缺少此步驟將可能導(dǎo)致后期運(yùn)行中的不良結(jié)果。#exportvgdbvg〔把系統(tǒng)原有dbvg信息從第二臺主機(jī)的ODM庫中清除#cfgmgr–vlfcsx#importvg-ydbvg-n–fhdiskx1#varyonvg–ndbvg#exportvgappvg〔把系統(tǒng)原有appvg信息從第二臺主機(jī)的ODM庫中清除#importvg-yappvg-n–fhdiskx6#varyonvg–nappvg警告:務(wù)必確保cfgmgr命令在此時(shí)執(zhí)行,如果在第一臺主機(jī)配置前識別了CDP磁盤,則會有PVID信息沒有傳輸過來的問題,importvg時(shí)會報(bào)錯(cuò)。說明:Importvg命令使用-n參數(shù)時(shí),importvg動(dòng)作執(zhí)行的時(shí)候不會對VG作Varyon Varyonvg命令使用-n參數(shù)時(shí),varyonvg動(dòng)作執(zhí)行時(shí)不會激活VG進(jìn)行數(shù)據(jù)sync在第二臺主機(jī)上檢查VG和LV的屬性#lsvgdbvg***檢查dbvg屬性,查看Quorum和自動(dòng)加載參數(shù)#lsvg–pdbvg#lspvhdiskx1***檢查dbvg中hdisk的屬性#lsvg–ldbvg#lslvlv_name***檢查dbvg中l(wèi)v的屬性,查看lv讀寫屬性#lsvgappvg***檢查appvg屬性,查看Quorum和自動(dòng)加載參數(shù)#lsvg–pappvg#lspvhdiskx6***檢查appvg中hdisk的屬性#lsvg–lappvg#lslvlv_name***檢查appvg中l(wèi)v的屬性,查看lv讀寫屬性修改裸設(shè)備屬組和權(quán)限說明:該步操作在數(shù)據(jù)庫使用了裸設(shè)備情況下執(zhí)行。如果數(shù)據(jù)庫使用了裸設(shè)備,在第二臺主機(jī)上使用importvg命令后,dbvg數(shù)據(jù)庫的裸設(shè)備屬組變?yōu)閞oot:system,需要變更為數(shù)據(jù)庫相應(yīng)的數(shù)據(jù)組:例:#cd/dev#chownoracle:oinstallraw_name 檢查裸設(shè)備權(quán)限,如果有更改,需設(shè)置成與主機(jī)1中裸設(shè)備相同的權(quán)限注意:上述屬性修改和權(quán)限修改一般被寫入了HACMP的啟動(dòng)腳本,在HACMP啟動(dòng)時(shí)自動(dòng)修改相關(guān)裸設(shè)備屬性和權(quán)限。鏡像數(shù)據(jù)初始同步在第二臺主機(jī)上檢查完成后,執(zhí)行syncvg命令開始執(zhí)行鏡像數(shù)據(jù)同步。同步完成后,varyoffvg,由HACMP啟動(dòng)數(shù)據(jù)庫。說明:如果數(shù)據(jù)初始同步的時(shí)間不足,需要先啟動(dòng)數(shù)據(jù)庫和應(yīng)用,讓Mirrorvg初始數(shù)據(jù)同步在后臺執(zhí)行完成,初始同步時(shí)會對數(shù)據(jù)庫和應(yīng)用系統(tǒng)性能有一定的影響,CDP項(xiàng)目實(shí)施方必須預(yù)先考慮并通報(bào)用戶方。啟動(dòng)數(shù)據(jù)庫和應(yīng)用系統(tǒng)工作機(jī):#smittyclstart 啟動(dòng)HA備份機(jī):#smittyclstart 啟動(dòng)HA具體使用說明:1使用范圍啟動(dòng)業(yè)務(wù)時(shí)需要,啟動(dòng)hacmp。開機(jī)時(shí),系統(tǒng)啟動(dòng)完成,啟動(dòng)hacmp。2啟動(dòng)順序啟動(dòng)hacmp時(shí),先啟動(dòng)數(shù)據(jù)庫服務(wù)器hacmp,啟動(dòng)完成后,再啟動(dòng)應(yīng)用服務(wù)器hacmp。3命令smittyclstartStartClusterServicesTypeorselectvaluesinentryfields.PressEnterAFTERmakingalldesiredchanges.[EntryFields]*Startnow,onsystemrestartorbothnow+StartClusterServicesonthesenodes[work2]+BROADCASTmessageatstartup?false+StartupClusterInformationDaemon?true+Reacquireresourcesafterforceddown?false+Ignoreverificationerrors?false+AutomaticallycorrecterrorsfoundduringInteractively+clusterstart?F1=HelpF2=RefreshF3=CancelF4=ListEsc+5=ResetEsc+6=CommandEsc+7=EditEsc+8=ImageEsc+9=ShellEsc+0=ExitEnter=Do4狀態(tài)驗(yàn)證檢查tail–f/tmp/hacmp.out文件。+exit0HACMPEventSummaryEvent:/usr/es/sbin/cluster/events/check_for_site_down_completework2gracefulStarttime:MonSep2218:20:042008Endtime:MonSep2218:20:052008Action:Resource:ScriptName:Noresourceschangedasaresultofthiseventclexit.rc:NormalterminationofclstrmgrES.Restartnow.0513-059TheclstrmgrESSubsystemhasbeenstarted.SubsystemPIDis28764.說明:上文為HACMP5.3及以前的hacmp.out文件存放位置,HACMP5.4的hacmp.out文件可能放置在/var/hacmp/log目錄下。5卷組信息檢查卷組lsvg–o數(shù)據(jù)庫服務(wù)器有rootvg和dbvg。應(yīng)用服務(wù)器有rootvg和appvg6網(wǎng)絡(luò)信息#Netstat–iCDP高級功能開啟生產(chǎn)端TimeMark功能開啟注:下圖為測試環(huán)境圖例,具體實(shí)施步驟與下圖所示相同,只是資源名稱和組名稱不同。當(dāng)生產(chǎn)系統(tǒng)需要在本地進(jìn)行數(shù)據(jù)丟失的現(xiàn)場恢復(fù)時(shí),可以在本地打開CDP的TimeMark的快照機(jī)制進(jìn)行快速備份和恢復(fù)。利用這一機(jī)制進(jìn)行恢復(fù)需要注意如下說明:本地生產(chǎn)系統(tǒng)需要提供一個(gè)查詢服務(wù)器,平臺與aix系統(tǒng)主機(jī)相同。Timemark機(jī)制打開后,按照時(shí)間點(diǎn)保存歷史數(shù)據(jù)時(shí),寫入性能會受到略微影響。當(dāng)利用Timemark的快照機(jī)制進(jìn)行恢復(fù)時(shí),數(shù)據(jù)庫在10分鐘以內(nèi)加載到查詢服務(wù)器。以下為Timemark的設(shè)置步驟:在CDP組"dbvg"上右鍵,選擇"TimeMark"啟用:選擇"下一步"選擇"下一步"去掉"啟用快照通知"選項(xiàng)的選擇,點(diǎn)擊"下一步"直接選擇"下一步"設(shè)置快照開始時(shí)間、快照執(zhí)行時(shí)間間隔和保留快照的最大數(shù)目。選擇"下
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 音樂啟蒙班游戲課程設(shè)計(jì)
- 自然風(fēng)力游戲課程設(shè)計(jì)
- 運(yùn)動(dòng)副 課程設(shè)計(jì)
- 足球課程設(shè)計(jì)的思路
- 通信原理matlab實(shí)驗(yàn)課程設(shè)計(jì)
- 插齒機(jī)機(jī)械原理課程設(shè)計(jì)
- 送貨上門課程設(shè)計(jì)
- 郵件收發(fā)程序Java課程設(shè)計(jì)
- 裝配式建筑施工課程設(shè)計(jì)
- 物流會計(jì)做賬課程設(shè)計(jì)
- 鷓鴣山隧道瓦斯地段專項(xiàng)施工方案
- HG∕T 2058.1-2016 搪玻璃溫度計(jì)套
- 九宮數(shù)獨(dú)200題(附答案全)
- 泌尿科一科一品匯報(bào)課件
- 白銅錫電鍍工藝
- 拜耳法氧化鋁生產(chǎn)工藝
- 2024年南京信息職業(yè)技術(shù)學(xué)院高職單招(英語/數(shù)學(xué)/語文)筆試歷年參考題庫含答案解析
- 部編版二年級下冊道德與法治第二單元《我們好好玩》全部教案
- 幼兒園利劍護(hù)蕾專項(xiàng)行動(dòng)工作方案總結(jié)與展望
- 合同信息管理方案模板范文
- 2024年大唐云南發(fā)電有限公司招聘筆試參考題庫含答案解析
評論
0/150
提交評論