版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、Informix 11.5 高可用集群技術(shù)及應(yīng)用實現(xiàn)本文主要介紹了 Informix 11.5 中提供的高可用集群技術(shù)及其安裝、配置、管理的基本方法,各種高可用集群技術(shù)的選擇及應(yīng)用場景,希望能夠使讀者能夠?qū)?Informix 11.5 高可用集群技術(shù)有一個比較全面的了解。概述用戶的關(guān)鍵業(yè)務(wù)系統(tǒng),特別是 OLTP 系統(tǒng),都要求提供 24X7 不間斷的應(yīng)用服務(wù),這就要求數(shù)據(jù)庫系統(tǒng)能夠提供強大的高可用能力。這種能力不僅僅體現(xiàn)在主機及備機的接管方面,同時要能夠提供遠程容災(zāi)能力,以及本地的負載均衡能力。針對上述對數(shù)據(jù)庫的要求,Informix 從版本 6 開始, 就提供了 HDR 技術(shù),它是通過數(shù)據(jù)庫的
2、事務(wù)日志的方式實現(xiàn)了主、備機互相接管的功能,當主機工作時,備機提供只讀功能,因此,備機可以提供查詢、報表等功能,實現(xiàn)負載分擔的功能,當主機發(fā)生故障,備機會自動接管,實現(xiàn)主機及備機的接管功能。從 Informix 7.2.2 版本開始,Informix 數(shù)據(jù)庫提供了 ER(Enterprise Replication) 數(shù)據(jù)庫復制技術(shù),它也是通過讀取數(shù)據(jù)庫日志的方式實現(xiàn)數(shù)據(jù)同步功能,當源數(shù)據(jù)庫數(shù)據(jù)發(fā)生變化后,Informix 數(shù)據(jù)庫通過讀取數(shù)據(jù)庫日志,將變化的數(shù)據(jù)及時同步到目標數(shù)據(jù)庫,采用 ER 的方式,和 HDR 不同,HDR 數(shù)據(jù)庫的接管是基于數(shù)據(jù)庫服務(wù)器的,也就是它的作用范圍是基于整個實例
3、的,而 ER 的作用范圍是作用于一個表,你可以靈活定義需要復制哪些數(shù)據(jù)列及數(shù)據(jù)行,而且可以靈活定義數(shù)據(jù)復制的方式,是采用主從方式、匯總方式還是雙向復制方式。從 Informix 11 開始,Informix 數(shù)據(jù)庫提供了 SDS(Shared Disk Secondary)、RSS(Remote Standalone Secondary)、CLR(Continuous Log Restore) 等高可用集群技術(shù),提供了更加強大的高可用能力。從 Informix 11.5 開始,HDR、SDS、RSS 備機都支持讀寫能力,提供了更強大的負載均衡能力。同時,從 Informix 11.5 開始,I
4、nformix 還提供了 Connection Manager 功能部件,它可以提供 SLA(Service Level Agreement) 功能,更好地實現(xiàn)負載均衡的能力,同時提供了 FOC(Fail Over Connection) 功能,實現(xiàn)透明故障接管能力,而且,所有這些對客戶端應(yīng)用來說是透明的。通過不斷的發(fā)展與創(chuàng)新,Informix 提供了業(yè)界領(lǐng)先的高可用集群技術(shù)。下邊,我們就具體講述一下 Informix 高可用集群技術(shù)特點、使用范圍及技術(shù)實現(xiàn),希望讀者能夠?qū)λ幸粋€更全面的理解。HDR 技術(shù)高可用性數(shù)據(jù)復制 HDR 技術(shù),從 Informix 6 版本就開始提供,它是采用一主、
5、一備方式,通過讀取數(shù)據(jù)庫邏輯日志方式,實現(xiàn)主備機互相切換功能。在 Informix 11.5 之前, HDR 備機支持只讀方式,我們通常會通過備機來完成數(shù)據(jù)查詢、報表功能,分擔主機系統(tǒng)的壓力。從 Informix 11.5 開始, HDR 備機支持讀寫操作,提供了更靈活的功能。 HDR 方式通常用來提供高可用性及 hot standby 功能。HDR 工作的基本原理圖 1. HDR 工作原理示例圖如圖中所示,當主數(shù)據(jù)庫服務(wù)器開始將共享內(nèi)存中的邏輯日志緩沖區(qū)的內(nèi)容刷新到磁盤上的邏輯日志時,數(shù)據(jù)庫服務(wù)器也將邏輯日志緩沖區(qū)的內(nèi)容復制到主數(shù)據(jù)庫服務(wù)器上的數(shù)據(jù)復制緩沖區(qū)。然后主數(shù)據(jù)庫服務(wù)器將這些邏輯日志
6、記錄發(fā)送至 HDR 輔助數(shù)據(jù)庫服務(wù)器。HDR 輔助數(shù)據(jù)庫服務(wù)器將來自主數(shù)據(jù)庫服務(wù)器的邏輯日志記錄接收到共享內(nèi)存接收緩沖區(qū)(數(shù)據(jù)庫服務(wù)器自動將接收緩沖區(qū)調(diào)節(jié)至適當?shù)拇笮∫赃m合正在發(fā)送的數(shù)據(jù)量)。然后輔助數(shù)據(jù)庫服務(wù)器在整個邏輯恢復中應(yīng)用邏輯日志記錄 , ,并將這些記錄應(yīng)用到其自己的數(shù)據(jù)庫空間。HDR 數(shù)據(jù)復制支持同步或異步兩種方式。 ONCONFIG 配置參數(shù) DRINTERVAL 的值確定數(shù)據(jù)庫服務(wù)器使用同步更新還是異步更新。如果將 DRINTERVAL 設(shè)置為 -1,那么對 HDR 輔助服務(wù)器的數(shù)據(jù)復制同步發(fā)生。一旦主數(shù)據(jù)庫服務(wù)器將邏輯日志緩沖區(qū)內(nèi)容寫入 HDR 緩沖區(qū),它會將那些記錄從緩沖區(qū)
7、發(fā)送至 HDR 輔助數(shù)據(jù)庫服務(wù)器。僅當主數(shù)據(jù)庫服務(wù)器接收到來自 HDR 輔助數(shù)據(jù)庫服務(wù)器的確認(已收到記錄)之后,主數(shù)據(jù)庫服務(wù)器上的邏輯日志緩沖區(qū)清倉才會完成。使用同步更新時,如果發(fā)生故障,那么在主數(shù)據(jù)庫服務(wù)器上提交的事務(wù)在 HDR 輔助數(shù)據(jù)庫服務(wù)器上不會仍未提交或部分提交。如果您將 DRINTERVAL 設(shè)置為除 -1 以外的任何值,那么數(shù)據(jù)復制將針對 HDR 輔助服務(wù)器異步發(fā)生。主數(shù)據(jù)庫服務(wù)器在將邏輯日志緩沖區(qū)內(nèi)容復制到 HDR 緩沖區(qū)之后會清倉邏輯日志緩沖區(qū)。(與上述操作無關(guān))當發(fā)生以下條件之一時,主數(shù)據(jù)庫服務(wù)器在整個網(wǎng)絡(luò)上發(fā)送 HDR 緩沖區(qū)的內(nèi)容:HDR 緩沖區(qū)變滿。自上次將記錄發(fā)送
8、至輔助數(shù)據(jù)庫服務(wù)器以后,DRINTERVAL 配置參數(shù)在主數(shù)據(jù)庫服務(wù)器上指定的時間間隔已過去。該更新方法可以提供比同步更新更好的性能。但是,可能會丟失事務(wù)。HDR 處理數(shù)據(jù)復制的線程主數(shù)據(jù)庫服務(wù)器啟動專門的線程來支持數(shù)據(jù)復制。如圖 2 所示,主數(shù)據(jù)庫服務(wù)器上名為 drprsend 的線程將整個網(wǎng)絡(luò)上主服務(wù)器緩沖區(qū)的內(nèi)容發(fā)送至輔助數(shù)據(jù)庫服務(wù)器上名為 drsecrcv 的線程。輔助數(shù)據(jù)庫服務(wù)器上名為 drsecapply 的線程將接收緩沖區(qū)的內(nèi)容復制到恢復緩沖區(qū)。 logrecvr 線程對恢復緩沖區(qū)的內(nèi)容執(zhí)行邏輯恢復,將邏輯日志記錄應(yīng)用到輔助數(shù)據(jù)庫服務(wù)器管理的數(shù)據(jù)庫空間。 OFF_RECVRY_T
9、HREADS 配置參數(shù)指定使用的 logrecvr 線程數(shù)。數(shù)據(jù)庫服務(wù)器啟動的其余線程是 drprping 和 drsecping 線程,它們負責發(fā)送和接收指示兩個數(shù)據(jù)庫服務(wù)器是否連接的消息。圖 2. HDR 數(shù)據(jù)復制線程示例圖HDR 主、備機之間采用半雙工通信協(xié)議,因此對網(wǎng)絡(luò)延遲非常敏感,通常要求網(wǎng)絡(luò)要非常穩(wěn)定,同時距離支持有限,通常在同一個大樓里面。HDR 配置實現(xiàn)HDR 對硬件和操作系統(tǒng)要求:運行主數(shù)據(jù)庫服務(wù)器和輔助數(shù)據(jù)庫服務(wù)器的計算機必須相同(相同的供應(yīng)商和體系結(jié)構(gòu))。運行主數(shù)據(jù)庫服務(wù)器和輔助數(shù)據(jù)庫服務(wù)器的計算機上的操作系統(tǒng)必須相同。運行主數(shù)據(jù)庫服務(wù)器和輔助數(shù)據(jù)庫服務(wù)器的硬件必須支持網(wǎng)
10、絡(luò)能力。分配給主數(shù)據(jù)庫服務(wù)器和輔助數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)庫空間的磁盤空間量必須相等。磁盤空間類型是不相關(guān)的;您可以在兩個數(shù)據(jù)庫服務(wù)器上使用任何原始或格式化的空間組合。HDR 對數(shù)據(jù)庫和數(shù)據(jù)要求:數(shù)據(jù)庫必須將事務(wù)日志記錄打開。數(shù)據(jù)必須駐留在數(shù)據(jù)庫空間或 Sb 空間中。HDR 對配置參數(shù)的要求:以下 ONCONFIG 參數(shù)在每個數(shù)據(jù)庫服務(wù)器上都必須具有相同值:ROOTNAMEROOTOFFSETROOTPATHROOTSIZEMIRROROFFSETMIRRORPATHPHYSDBSPHYSFILELTAPEBLKLTAPESIZETAPEBLKTAPESIZELOGFILESLOGSIZEDYNAM
11、IC_LOGS數(shù)據(jù)庫服務(wù)器記錄邏輯日志文件的添加。在主服務(wù)器上動態(tài)添加的邏輯日志文件將在輔助服務(wù)器上自動復制。盡管輔助服務(wù)器上的 DYNAMIC_LOGS 值不起作用,請保持主服務(wù)器上 DYNAMIC_LOGS 與值的同步,以免它們切換角色。HDR 配置參數(shù)在復制對中的兩個數(shù)據(jù)庫服務(wù)器上必須設(shè)置為相同的值:· DRAUTO· DRINTERVAL· DRTIMEOUTHDR 相關(guān)配置參數(shù)說明:· DRAUTO:用來控制主服務(wù)器和 HDR 備用服務(wù)器在出現(xiàn)故障時的行為。其取值范圍如下 :o 0 表示 OFF = 不要在 HDR 環(huán)境中自動切換服務(wù)器類型。o
12、 1 表示 RETAIN_TYPE = 在 HDR 故障期間自動從輔助切換到標準。在重新啟動 HDR 時切換回輔助。o 2 表示 REVERSE_TYPE= 在 HDR 故障時自動從輔助切換到標準。在重新啟動 HDR 時切換到主要(并將原來的主要切換為輔助)。· DRIDXAUTO:指定如果 HDR 輔助服務(wù)器檢測到了毀壞的索引,主服務(wù)器是否要自動啟動索引復制。其取值范圍如下 :o 0 - 禁用自動索引修復o 1 - 啟用自動索引修復· DRINTERVAL:指定高可用性數(shù)據(jù)復制緩沖區(qū)的清倉之間的最大時間間隔(秒)。其取值范圍如下 :o >= 0 - 異步更新o -1
13、 - 同步更新· DRLOSTFOUND:指定 dr.lostfound.timestamp 文件的路徑名。該文件包含當主數(shù)據(jù)庫服務(wù)器遇到故障時在主數(shù)據(jù)庫服務(wù)器上提交但未在輔助數(shù)據(jù)庫服務(wù)器上提交的事務(wù)。如果在主數(shù)據(jù)庫服務(wù)器和輔助數(shù)據(jù)庫服務(wù)器之間同步發(fā)生更新(即,如果 DRINTERVAL 設(shè)置為 -1),那么此參數(shù)不適用。· DRTIMEOUT:出現(xiàn)網(wǎng)絡(luò)超時的時間,以秒為單位。 DRAUTO 使用該參數(shù)檢測故障轉(zhuǎn)移。其取值范圍如下 :>= 0 秒 , 缺省為 30 秒向集群中添加 HDR 備用服務(wù)器向集群添加一個 HDR 備用服務(wù)器的具體步驟:步驟1:準備 SQLHO
14、STS 文件在主服務(wù)器更新 SQLHOSTS 文件,同時在 HDR 備用服務(wù)器中更新:production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp server_1 hdr1_tcp rss1 onsoctcp server_1 rss1_tcp clr1 onsoctcp server_1 clr1_tcp步驟2:配置 ONCONFIG 文件保證 HDR 備用服務(wù)器上的 DRAUTO、DRINTERVAL、DRTIMEOUT、與根 dbspace 相關(guān)的設(shè)置、與物理日志、邏輯日志相關(guān)的
15、ONCONFIG 配置參數(shù)同主服務(wù)器上保持一致。步驟3:備份主服務(wù)器在主服務(wù)器中,使用 0 級備份:ontape -s -L 0步驟4:將 HDR 備份服務(wù)器注冊到主服務(wù)器在主服務(wù)器中,運行:onmode -d primary hdr步驟5:準備 HDR 備用服務(wù)器的磁盤HDR 備用服務(wù)器使用的存儲必須匹配主服務(wù)器的存儲(例如,必須匹配 dbspace 的數(shù)量、塊的數(shù)量、塊大小、路徑名和偏移量)。步驟6:恢復 HDR 備用服務(wù)器上的備份在 HDR 服務(wù)器上,執(zhí)行 0 級備份的物理恢復:ontape -p Three questions will be asked. Answer as show
16、n below: Continue restore? (y/n) y Do you want to back up the logs? (y/n) n Restore a level 1 archive (y/n) n步驟7:使 HDR 備用服務(wù)器進入 online 模式完成恢復后,HDR 備用服務(wù)器將進入 recovery 模式。運行以下命令:onmode -d secondary productionHDR 狀態(tài)監(jiān)控onstat 命令每次執(zhí)行 onstat 時顯示的頭信息均有字段指示數(shù)據(jù)庫服務(wù)器正在作為主數(shù)據(jù)庫服務(wù)器還是輔助數(shù)據(jù)庫服務(wù)器運行。以下示例為作為復制對中的主數(shù)據(jù)庫服務(wù)器并且處于聯(lián)
17、機方式的數(shù)據(jù)庫服務(wù)器顯示頭信息:IBM Informix Dynamic Server Version 11.50.UC1 - On-Line (Prim) - Up 00:00:59 - 105120 Kbytes以下示例顯示作為復制對中的 HDR 輔助數(shù)據(jù)庫服務(wù)器并且處于讀寫方式的數(shù)據(jù)庫服務(wù)器:IBM Informix Dynamic Server Version 11.50.UC1 - Updatable (Sec) - Up 00:00:59 - 105120 Kbytes以下示例顯示不包含在 HDR 中的數(shù)據(jù)庫服務(wù)器的標題。該數(shù)據(jù)庫服務(wù)器的類型為標準類型。IBM Informix D
18、ynamic Server Version 11.50.UC1 - On-Line - Up 00:00:59 - 105120 Kbytesonstat -g dri 命令要獲得完整的 HDR 監(jiān)視信息,請執(zhí)行 onstat -g dri 選項。顯示以下字段:· 數(shù)據(jù)庫服務(wù)器類型(主類型、輔助類型或標準類型)· HDR 狀態(tài)(打開或關(guān)閉)· 成對的數(shù)據(jù)庫服務(wù)器· 最后一個 HDR 檢查點· HDR 配置參數(shù)的值oncheck pr 命令如果您的數(shù)據(jù)庫服務(wù)器正在運行 HDR,那么保留頁面 PAGE_1ARCH 和 PAGE_2ARCH 將保存
19、HDR 用于同步主數(shù)據(jù)庫服務(wù)器和輔助數(shù)據(jù)庫服務(wù)器的檢查點信息。下圖中給出相關(guān)的 oncheck -pr 輸出示例。運行 HDR 的數(shù)據(jù)庫服務(wù)器的 oncheck -pr PAGE_1ARCH 輸出 :Validating Informix Database Server reserved pages - PAGE_1ARCH & PAGE_2ARCH Using archive page PAGE_1ARCH. Archive Level 0 Real Time Archive Began 01/11/95 16:54:07 Time Stamp Archive Began 11913
20、 Logical Log Unique Id 3 Logical Log Position b018 DR Ckpt Logical Log Id 3 DR Ckpt Logical Log Pos 80018 DR Last Logical Log Id 3 DR Last Logical Log Page 128使用 SMI 表 sysdri查詢 sysmaster 數(shù)據(jù)庫中的 sysdri 表,同樣可以獲得完整的 HDR 監(jiān)視信息。 sysdri 表包含以下各列。列描述typeHDR 服務(wù)器類型stateHDR 服務(wù)器狀態(tài)name數(shù)據(jù)庫服務(wù)器名稱intvlHDR 緩沖區(qū)清空時間間隔tim
21、eout網(wǎng)絡(luò)超時lostfoundHDR lost+found 路徑名HDR 故障恢復HDR 的失敗是失去了復制對中數(shù)據(jù)庫服務(wù)器之間的連接。任一以下情況均可能導致數(shù)據(jù)復制失?。?#183; 一個數(shù)據(jù)庫服務(wù)器的站點上發(fā)生災(zāi)難性故障(如火災(zāi)或大地震)· 連接兩個數(shù)據(jù)庫服務(wù)器的聯(lián)網(wǎng)電纜被破壞· 一個數(shù)據(jù)庫服務(wù)器上的處理中延遲過長· 輔助數(shù)據(jù)庫服務(wù)器上發(fā)生磁盤故障(未通過鏡像塊解決)HDR 故障的檢測數(shù)據(jù)庫服務(wù)器將以下任何一種情況解釋為 HDR 失?。?#183; 超過了指定的超時值。在正常的 HDR 操作期間,數(shù)據(jù)庫服務(wù)器期待來自對中另一數(shù)據(jù)庫服務(wù)器的通信確認。對中的每
22、個數(shù)據(jù)庫服務(wù)器都具有一個 ONCONFIG 參數(shù) DRTIMEOUT,該參數(shù)指定秒數(shù)。如果來自對中另一數(shù)據(jù)庫服務(wù)器的確認沒有在 DRTIMEOUT 指定的秒數(shù)返回,那么數(shù)據(jù)庫服務(wù)器會假設(shè)發(fā)生了 HDR 失敗。· 主 輔助對中的另一數(shù)據(jù)庫服務(wù)器未響應(yīng)網(wǎng)絡(luò)上的定期消息傳遞(pinging)嘗試。無論主數(shù)據(jù)庫服務(wù)器是否向輔助數(shù)據(jù)庫服務(wù)器發(fā)送任何記錄,兩個數(shù)據(jù)庫服務(wù)器均會互相 ping 。如果主要 輔助對的一個數(shù)據(jù)庫服務(wù)器沒有響應(yīng)四個連續(xù)的 ping 嘗試,那么另一個數(shù)據(jù)庫服務(wù)器會假設(shè)發(fā)生了 HDR 失敗。當數(shù)據(jù)庫服務(wù)器檢測到 HDR 失敗時,它將寫一個消息到其消息日志(例如,DR: rec
23、eive error)并關(guān)閉數(shù)據(jù)復制。如果發(fā)生了 HDR 失敗,那么兩個數(shù)據(jù)庫服務(wù)器之間的 HDR 連接將斷開,并且輔助數(shù)據(jù)庫服務(wù)器將保持只讀方式。如果輔助數(shù)據(jù)庫服務(wù)器在 high-availability data-replication 失敗后保持聯(lián)機狀態(tài),并且 DRAUTO 配置參數(shù)設(shè)置為 1(RETAIN_TYPE),那么該數(shù)據(jù)庫服務(wù)器的類型將自動更改為標準。如果 DRAUTO 設(shè)置為 0(off),那么輔助數(shù)據(jù)庫服務(wù)器將頂事嘗試重新建立與主數(shù)據(jù)庫服務(wù)器的通信。如果 DRAUTO 設(shè)置為 2(REVERSE_TYPE),那么當舊的主服務(wù)器發(fā)生故障時(而非舊的主服務(wù)器重新啟動時),在連接
24、結(jié)束時,輔助數(shù)據(jù)庫服務(wù)器將立即成為主數(shù)據(jù)庫服務(wù)器。RSS 技術(shù)從 Informix 11 開始,Informix 數(shù)據(jù)庫提供了 RSS 、SDS、CLR 技術(shù),它擴展了以前 HDR 只支持主、備兩臺機器,系統(tǒng)可以支持多臺 RSS 、SDS 備機,進一步提高了高可用性。 Informix 11 提出了一種新的通信方式 SMX(Server Multiplexer) 用來建立節(jié)點之間的網(wǎng)絡(luò)連接。 SMX 采用全雙工的通信協(xié)議,支持異步通信方式,在低速網(wǎng)絡(luò)上提供更好的通信連接,簡化了節(jié)點之間的通信管理,支持加密傳輸,同一個 SMX 連接可以支持多個內(nèi)部功能傳輸。圖 3. SMX 通信示意圖RSS 自
25、動啟動 SMX 通信方式。RSS 工作的基本原理為支持 RS 輔助服務(wù)器,主服務(wù)器要進行檢查以查看是否連接了 RS 輔助服務(wù)器,如果連接,那么將頁面復制到用于將該頁面發(fā)送到 RS 輔助服務(wù)器的日志高速緩存。圖 4. RSS 數(shù)據(jù)復制線程示意圖RSS_Send 線程將日志頁面?zhèn)鬏數(shù)?RS 輔助服務(wù)器。很有可能需要發(fā)送的下一頁不在日志高速緩存中。在該情況下,RSS_Send 線程將直接從磁盤讀取日志頁。 RSS_Send 線程與 SMX 交互,以使用全雙工方式發(fā)送數(shù)據(jù)。有了全雙工通信,線程在發(fā)送下一個緩沖區(qū)之前不等待來自 RS 輔助服務(wù)器的確認。在主服務(wù)器需要來自 RS 輔助服務(wù)器的確認之前最多可
26、發(fā)送 32 個緩沖區(qū)傳輸。如果達到 32 個緩沖區(qū)的限制,那么發(fā)送線程將等待 RSS_Recv 線程接收來自 RS 輔助服務(wù)器的確認。在 RS 輔助服務(wù)器上,RSS_Recv 與 SMX 交互,以接收來自主服務(wù)器的日志頁。RSS 在很多方面都與 HDR 相似。將日志發(fā)送到 RSS 的方式與主服務(wù)器將日志發(fā)送到 HDR 輔助服務(wù)器的方式很相似。但是,RSS 采用 SMX 異步通信框架,因此其對主服務(wù)器的影響達到最小。出于該原因,主服務(wù)器和 RSS 輔助服務(wù)器之間事務(wù)落實或檢查點均不是同步進行的。換句話說,不保證在主服務(wù)器上落實的任何事務(wù)也在同一時間在 RSS 輔助服務(wù)器上得到落實。因為 RSS
27、輔助服務(wù)器是異步進行更新的,所以 RSS 輔助服務(wù)器不能直接提升為主服務(wù)器。相反,它可以提升為 HDR 輔助服務(wù)器,然后可提升為主服務(wù)器。另外,HDR 輔助服務(wù)器可降級為 RS 輔助服務(wù)器。盡管 RS 輔助服務(wù)器與 HDR 輔助服務(wù)器類似,但有某些操作是 HDR 輔助服務(wù)器可執(zhí)行但 RS 輔助服務(wù)器卻不支持,例如:· RS 輔助服務(wù)器不支持 SYNC 方式· RS 輔助服務(wù)器不支持 DRAUTO· RS 輔助服務(wù)器不具有同步檢查點· RS 輔助服務(wù)器不能直接轉(zhuǎn)換為主服務(wù)器RSS 備用服務(wù)器的主要作用是提供災(zāi)難恢復解決方案。如同在 HDR 中一樣,主服務(wù)器
28、不斷將其所有的邏輯日志記錄發(fā)送給 RS 備用服務(wù)器,不過 RS 使用的異步方式。與 HDR 不同,通信使用全雙工協(xié)議。因此 RS 對網(wǎng)絡(luò)延遲不是很敏感,并且可以更容易駐留在一個較遠的地理位置。同時,如果節(jié)點間通信線路比較差的情況下,頁經(jīng)常采用 RS 備用服務(wù)器方式。 RS 備用服務(wù)器的一個特點是主服務(wù)器并不和 RS 備用服務(wù)器同步檢查點,這一點和 SD 和 HDR 服務(wù)器不同。因此不能立即替代主服務(wù)器;必須首先切換為一個 HDR 服務(wù)器。RSS 配置實現(xiàn)硬件和軟件需求RS 輔助服務(wù)器維護物理數(shù)據(jù)庫的完整副本。出于此原因,以下內(nèi)容必須與主服務(wù)器相同:· 運行數(shù)據(jù)庫服務(wù)器的計算機硬件
29、183; 分配給數(shù)據(jù)庫空間的磁盤空間量· 創(chuàng)建數(shù)據(jù)庫空間時使用的物理設(shè)備中的偏移量索引頁日志記錄(LOG_INDEX_BUILDS)在創(chuàng)建索引時,索引頁日志記錄將各頁寫入到邏輯日志,以使高可用性環(huán)境中各服務(wù)器之間的索引創(chuàng)建同步。要使用 RS 輔助服務(wù)器,必須啟用索引頁日志記錄。索引頁日志記錄將完整索引寫入到日志文件,然后將該日志文件異步地傳輸?shù)捷o助服務(wù)器。輔助服務(wù)器可以是 RS 輔助服務(wù)器,也可以是 HDR 輔助服務(wù)器。然后,日志文件事務(wù)被讀入到輔助服務(wù)器上的數(shù)據(jù)庫,減少輔助服務(wù)器在恢復期間重新構(gòu)建索引的需求。對于 RS 輔助服務(wù)器,主服務(wù)器不等待來自輔助服務(wù)器的確認,這允許對主服務(wù)
30、器上索引的立即訪問。索引頁日志記錄是使用 onconfig 參數(shù) LOG_INDEX_BUILDS 進行控制的。如果 LOG_INDEX_BUILDS 設(shè)置為 1(已啟用),那么在主服務(wù)器上構(gòu)建索引然后將索引發(fā)送到輔助服務(wù)器。向集群中添加 RS 備用服務(wù)器向集群添加一個 RSS 備用服務(wù)器的具體步驟:步驟1:準備 SQLHOSTS 文件集群中的所有服務(wù)器必須具有針對其他服務(wù)器的 SQLHOSTS 條目。production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp server_1 hdr1
31、_tcp rss1 onsoctcp server_1 rss1_tcp clr1 onsoctcp server_1 clr1_tcp步驟2:在主服務(wù)器上,啟用索引頁面日志記錄onmode -wf LOG_INDEX_BUILDS=1步驟3:在主服務(wù)器上,注冊新的RS備用服務(wù)器onmode -d add RSS rss1步驟4:對主服務(wù)器采取0級備份ontape -s -L 0步驟5:在RS備用服務(wù)器中,恢復備份ontape -p Three questions will be asked. Answer as shown below: Continue restore? (y/n) y D
32、o you want to back up the logs? (y/n) n Restore a level 1 archive (y/n) n步驟6:使RS備用服務(wù)器進入online模式onmode -d RSS myprimRSS 狀態(tài)監(jiān)控onstat 命令每次執(zhí)行onstat時顯示的頭信息均有字段指示數(shù)據(jù)庫服務(wù)器正在作為主數(shù)據(jù)庫服務(wù)器還是輔助數(shù)據(jù)庫服務(wù)器運行。以下示例顯示作為復制對中的 RSS 輔助數(shù)據(jù)庫服務(wù)器并且處于讀寫方式的數(shù)據(jù)庫服務(wù)器:IBM Informix Dynamic Server Version 11.50.UC1 - Updatable (RSS)- Up 00:00
33、:59 - 105120 Kbytes onstat -g rss 命令我們可以在主服務(wù)器和 RSS 節(jié)點中分別運行 onstat -g rss 命令查看 RSS 節(jié)點狀態(tài)。 在主服務(wù)器和 RSS 節(jié)點上的輸出稍有不同。在主服務(wù)器上運行 onstat -g rss 命令輸出如下: Local server type: Primary Index page logging status: Enabled Index page logging was enabled at: 2007/02/20 18:10:01 Number of RSS servers: 3 RSS Server inform
34、ation: RSS Srv RSS Srv Connection Next LPG to send Supports name status status (log id,page) Proxy Writes cdr_ol_nag_1_c1 Active Connected 7,899 Y cdr_ol_nag_1_c2 Active Connected 7,899 Y其中:· Local server type:是 Primary 還是 RSS (remote standalone secondary) 服務(wù)器類型· Index page logging status:
35、 顯示索引頁日志記錄狀態(tài)是否被激活· Index page logging was enabled at:顯示索引頁日志記錄激活的時間· Number of RSS servers:連接到主服務(wù)器上 RSS 服務(wù)器的數(shù)量· RSS Srv name: RSS 服務(wù)器的名稱· RSS Srv status: 顯示 RSS 服務(wù)器數(shù)否活動· Connection status:顯示 RSS 服務(wù)器是否已經(jīng)連接· Next LPG sent (log id, page):最近發(fā)送的 LPG log ID and page· Sup
36、ports Proxy Writes:顯示輔助服務(wù)器是否可執(zhí)行 update 操作,Y 代表支持,N 不支持在輔助服務(wù)器上運行 onstat -g rss 命令輸出如下:IBM Informix Dynamic Server Version 11.50.UC1 - Read-Only (RSS) - Up 00:05:18 - 55296 Kbytes Local server type: RSS Server Status : Active Source server name: cdr_ol_nag_1 Connection status: Connected Last log page
37、received(log id,page): 7,877其中:· Local server type:是 Primary 還是 RSS (remote standalone secondary) 服務(wù)器類型· Server Status: 顯示 RSS 服務(wù)器是否活動· Source server name:主服務(wù)器名稱· Connection status:顯示 RSS 服務(wù)器是否已經(jīng)連接· Last log page received (log id,page):最近接受的 LPG log ID and pageRSS 故障切換在高可用集群
38、環(huán)境中,數(shù)據(jù)庫服務(wù)器主要包含下述三種工作方式:服務(wù)器方式說明標準方式不是數(shù)據(jù)復制系統(tǒng)的一部分。主要方式數(shù)據(jù)復制系統(tǒng)的主要方式??梢愿聰?shù)據(jù)。輔助方式數(shù)據(jù)復制系統(tǒng)的輔助方式。無法更新數(shù)據(jù),但是可以讀取數(shù)據(jù)。RSS 進行故障切換的基本原則:· RSS 節(jié)點不能升級為主節(jié)點· DRAUTO 對 RSS 不起作用· RSS 節(jié)點可以轉(zhuǎn)換為 HDR 輔助節(jié)點· HDR 輔助節(jié)點可以轉(zhuǎn)變?yōu)?RSS 節(jié)點· RSS 節(jié)點可以轉(zhuǎn)換為 standard nodeRSS 故障切換的基本方法及形式:將 RSS 節(jié)點升級為 HDR 輔助節(jié)點 :onmode d sec
39、ondary <primary>將 RSS 節(jié)點轉(zhuǎn)換為標準節(jié)點 :onmode d standard將 HDR 輔助節(jié)點裝換為 RSS 節(jié)點 :onmode d RSS <primary>除去 RSS 節(jié)點 :onmode -d delete RSS rss_servernameSDS 技術(shù)與 HDR、RSS 不同,SDS 采用和主機共享磁盤方式,避免了數(shù)據(jù)重復存儲的問題,節(jié)省了空間,同時安裝、配置更加簡單。而且,當主機發(fā)生故障后,它可以快速實現(xiàn)接管,另外,我們可以非常容易地配置多個 SDS,可以實現(xiàn)了負載均衡的功能。由于 SD 備用節(jié)點利用了主服務(wù)器的磁盤并且可以輕松
40、快速地啟動,因而非常適合規(guī)模擴展場景,由于 SD 備用服務(wù)器非常接近主服務(wù)器(即它們共享相同的磁盤),因此最適合在主服務(wù)器遇到問題時作為故障轉(zhuǎn)移服務(wù)器。SDS 工作的基本原理所有輔助服務(wù)器類型都使用日志從主服務(wù)器復制數(shù)據(jù)。對于 HDR 輔助服務(wù)器和 RS 輔助服務(wù)器可通過生成日志時使主服務(wù)器將其所有邏輯日志記錄發(fā)送到輔助服務(wù)器,從而在輔助服務(wù)器上復制對主服務(wù)器所作的更新。 HDR 輔助服務(wù)器和 RS 輔助服務(wù)器接收在主服務(wù)器上生成的邏輯日志記錄,并將這些記錄應(yīng)用到其自己的數(shù)據(jù)庫空間。對于 SD 輔助服務(wù)器,如圖所示,同 HDR 輔助服務(wù)器和 RS 輔助服務(wù)器不同,主服務(wù)器不是將整個日志進行發(fā)送
41、,而只是將邏輯日志頁的日志位置發(fā)送到 SD 輔助服務(wù)器。通過使用從主服務(wù)器接收到的日志位置,SD 輔助服務(wù)器從磁盤讀取邏輯日志頁,并將其應(yīng)用于內(nèi)存數(shù)據(jù)緩沖區(qū)。圖 5. SDS 數(shù)據(jù)復制示意圖SD 輔助服務(wù)器不會向共享磁盤塊中寫任何東西,不會將共享內(nèi)存的數(shù)據(jù)刷新到磁盤,即使是發(fā)生 checkpoint 操作也一樣。如果 SD 輔助服務(wù)器需要刷新共享內(nèi)存數(shù)據(jù),他們會備寫到臨時的 paging file 中,直到下一次 checkpoint 操作才清空 paging file 。同時,如下圖所示,主服務(wù)器不會清倉共享內(nèi)存中的數(shù)據(jù)頁,直到確認 SDS 不在需要該數(shù)據(jù)頁才會清倉到磁盤上。下圖顯示了啟動
42、SD 輔助服務(wù)器的基本過程:SD 輔助服務(wù)器首先創(chuàng)建到主服務(wù)器的 SMX 連接,之后,SD 輔助服務(wù)器向主服務(wù)器發(fā)出 checkpoint 請求,主服務(wù)器響應(yīng) SD 輔助服務(wù)器的 checkpoint 請求,并將相應(yīng) LSN 發(fā)送給 SD 輔助服務(wù)器,SD 輔助服務(wù)器啟動必要的恢復操作,之后,主服務(wù)器開始不斷向 SD 輔助服務(wù)器發(fā)送當前的 LSN,SD 輔助服務(wù)器也開始不斷向主服務(wù)器發(fā)送 ACK 確認信息。圖 6. SDS 數(shù)據(jù)復制工作原理示意圖SDS 配置實現(xiàn)輔助服務(wù)器的硬件和軟件需求除了磁盤需求(與主服務(wù)器共享),硬件和軟件需求與 HDR 輔助服務(wù)器的需求相同。此外,具有數(shù)據(jù)庫服務(wù)器的計算
43、機之間必須共享主磁盤系統(tǒng)。這表示從 SD 輔助服務(wù)器到數(shù)據(jù)庫空間的路徑必須與主服務(wù)器的數(shù)據(jù)庫空間路徑相同。SDS 相關(guān)配置參數(shù)說明· SDS_ENABLE:用來啟用 SD 輔助服務(wù)器功能。您必須在主服務(wù)器及 SD 輔助服務(wù)器中將 SDS_ENABLE 都設(shè)置為 1(啟用),才能啟用 SD 輔助服務(wù)器功能。其取值范圍:o 0 - 禁用 SDS 功能o 1 - 啟用 SDS 功能· SDS_PAGING: 指定了兩個要作為緩存器調(diào)頁文件的文件的位置。如果未設(shè)置 SDS_PAGING,SD 輔助服務(wù)器可能無法啟動。在 SD 輔助服務(wù)上設(shè)置該值。其取值范圍:< 分頁文件 1
44、的絕對路徑 >,< 分頁文件 2 的絕對路徑 >· SDS_TEMPDBS:指定 SD 輔助服務(wù)器用于動態(tài)創(chuàng)建臨時數(shù)據(jù)庫空間的信息。為了啟動 SD 輔助服務(wù)器,SD 輔助服務(wù)器的 ONCONFIG 文件中至少出現(xiàn)一次 SDS_TEMPDBS,最多可以配置為 16 SDS_TEMPDBS 條目。在 SD 輔助服務(wù)上設(shè)置該值,主服務(wù)器上不使用 SDS_TEMPDBS 。其取值范圍:<dbspace_name>、< 路徑 >、< 頁面大小以 KB 為單位 >、< 偏移量以 KB 為單位 >、< 大小 >示例:SD
45、S_TEMPDBS sdstmpdbs1, /work/dbspaces/sdstmpdbs1,2,0,16000· SDS_TIMEOUT:該配置參數(shù)用于主服務(wù)器確定要從 SD 服務(wù)器獲得確認需要等待多長時間,如果沒有獲得確認,主服務(wù)器將停止 SD 服務(wù)器。在主服務(wù)器上設(shè)置該值。其取值范圍:>= 0 秒,默認值為 20 秒。向集群中添加 SD 備用服務(wù)器向集群添加一個 SDS 備用服務(wù)器的具體步驟:步驟1:準備SQLHOSTS文件確保 SQHOSTS 文件在主服務(wù)器和 SDS 節(jié)點都具有另一個服務(wù)器的條目:production onsoctcp server_1 prod_t
46、cp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp server_1 hdr1_tcp rss1 onsoctcp server_1 rss1_tcp clr1 onsoctcp server_1 clr1_tcp注意這里使用的組是可選的。步驟2:將主服務(wù)器設(shè)置為共享磁盤的所有者在主服務(wù)器中,運行:onmode -d set SDS primary myprim步驟3:配置SD備用服務(wù)器· 確保以下參數(shù)匹配主服務(wù)器的 ONCONFIG:ROOTNAME、ROOTPATH、ROOTOFFSET、ROOTSIZE、PHYSDBS、PHYSFI
47、LE、LOGFILES 和 LOGSIZE 。· 將 SDS_ENABLE 設(shè)置為 1 。· 配置 SDS_PAGING 和 SDS_TEMPDBS 。例如:SDS_ENABLE 1 SDS_PAGING /ids/sds/dbspaces/page_1,/ids/sds/dbspaces/page_2 SDS_TEMPDBS sdstmpdbs1,/ids/sds/dbspaces/sdstmpdbs1,2,0,16000 REDIRECTED_WRITES 1 TEMPTAB_NOLOG 1步驟4:啟動SD備用服務(wù)器oninitSDS 狀態(tài)監(jiān)控onstat 命令每次執(zhí)行
48、onstat時顯示的頭信息均有字段指示數(shù)據(jù)庫服務(wù)器正在作為主數(shù)據(jù)庫服務(wù)器還是輔助數(shù)據(jù)庫服務(wù)器運行。以下示例顯示作為復制對中的 SDS 輔助數(shù)據(jù)庫服務(wù)器并且處于讀寫方式的數(shù)據(jù)庫服務(wù)器:IBM Informix Dynamic Server Version 11.50.UC1 - Updatable (SDS)- Up 00:00:59 - 105120 Kbytesonstat -g sds 命令您可以使用onstat -g sds命令來查看 SD 輔助服務(wù)器統(tǒng)計信息。 onstat 實用程序的輸出取決于實用程序是在主服務(wù)器還是在輔助服務(wù)器上運行。onstat-g sds 命令輸出基本包括:
49、183; Local server type:是 Primary 還是 SDS (shared disk secondary) 服務(wù)器類型· Number of SDS servers:連接到主服務(wù)器上 SDS 服務(wù)器的數(shù)量· SDS Srv name: SDS 服務(wù)器的名稱· SDS Srv status: 顯示 SDS 服務(wù)器數(shù)否活動· Connection status:顯示 SDS 服務(wù)器是否已經(jīng)連接· Last LPG sent (log id, page):最近發(fā)送的 LPG log ID and page· Suppor
50、ts Proxy Writes:顯示輔助服務(wù)器是否可執(zhí)行 update 操作,Y 代表支持,N 不支持下邊是執(zhí)行 onstat -g sds 命令的輸出:Local server type: Primary Number of SDS servers:1 SDS server information SDS srv SDS srv Connection Last LPG sent Supports name status status (log id,page) Proxy Writes C_151162 Active Connected 554,4998使用 SMI 表查詢 syssrcsd
51、s 表可獲取關(guān)于主服務(wù)器上共享磁盤統(tǒng)計信息的信息。查詢 systrgsds 表可獲取關(guān)于輔助服務(wù)器上共享磁盤統(tǒng)計信息的信息。SDS 故障切換輔助服務(wù)器環(huán)境中的災(zāi)難恢復在當前主服務(wù)器連接到新的主服務(wù)器時執(zhí)行故障轉(zhuǎn)移當高可用性環(huán)境處于活動狀態(tài)時,新的主服務(wù)器將通知舊主服務(wù)器它將采取共享磁盤的所有權(quán)。然后,舊的主服務(wù)器將回滾所有打開的事務(wù),并將其自身切換為輔助狀態(tài)。在舊的主服務(wù)器完成該過程之后,它將通知新的主服務(wù)器回滾完成。這將成為新的主服務(wù)器繼續(xù)操作的信號??赏ㄟ^在新的主服務(wù)器上發(fā)出onmode -d set sds primary命令來執(zhí)行此過程。在當前主服務(wù)器未連接到新的主服務(wù)器時執(zhí)行故障轉(zhuǎn)移
52、在此場景中,新舊主服務(wù)器之間的連接不存在。在這種情況下,我們需要強制執(zhí)行轉(zhuǎn)換。這可通過發(fā)出onmode -d set sds primary force命令完成。僅當在確定原始主服務(wù)器不活動時才能發(fā)出該命令。因為強制關(guān)鍵字會使新的主服務(wù)器在不與舊主服務(wù)器通信的情況下成為源服務(wù)器,所以如果舊的主服務(wù)器仍然處于活動狀態(tài),它很可能導致數(shù)據(jù)庫毀壞。當高可用性集群中的所有節(jié)點不可用時執(zhí)行故障轉(zhuǎn)移這是在所有服務(wù)器出現(xiàn)故障而且未能啟動現(xiàn)有主服務(wù)器后嘗試故障轉(zhuǎn)移時的唯一問題。該問題的原因是主服務(wù)器必須能夠連接以啟動高可用性集群中的輔助服務(wù)器。如果主服務(wù)器不處于活動狀態(tài),那么無法建立連接,因此無法啟動輔助服務(wù)器
53、。如果無法啟動輔助服務(wù)器,那么用于更改主服務(wù)器的 onmode 命令將不會起作用。要避免該問題,請使用 oninit -SDS=<new alias>,其中 <new alias> 是新的主服務(wù)器上的 TCP 別名。這允許啟動現(xiàn)有輔助服務(wù)器,并使其能夠同時采取環(huán)境的所有權(quán)。僅當啟動集群內(nèi)的第一個服務(wù)器時才能使用 oninit 命令的該選項。SDS 故障切換的基本方法及形式將 SD 輔助服務(wù)器提升為主服務(wù)器可通過在 SD 輔助服務(wù)器上發(fā)出以下命令來將 SD 輔助服務(wù)器轉(zhuǎn)換為主服務(wù)器:onmode -d set SDS primary <alias>請注意:SD
54、 輔助服務(wù)器不能轉(zhuǎn)換為標準服務(wù)器。禁用 SD 輔助服務(wù)器環(huán)境中的主服務(wù)器可使用以下命令禁用主服務(wù)器:在主服務(wù)器上,輸入以下命令: onmode -d clear SDS primary <alias>該命令將使主服務(wù)器成為標準服務(wù)器,并禁用共享磁盤環(huán)境。SD 輔助服務(wù)器環(huán)境中的災(zāi)難恢復的建議如果主服務(wù)器發(fā)生故障,那么故障轉(zhuǎn)移的順序應(yīng)該是:· 轉(zhuǎn)移到 SD 輔助服務(wù)器· 轉(zhuǎn)移到 HDR 輔助服務(wù)器· 轉(zhuǎn)移到 RS 輔助服務(wù)器集群環(huán)境下災(zāi)難恢復的各種方式對比可在任何類型的輔助服務(wù)器上運行 onmode -d make primary 命令以將該服務(wù)器提升為
55、主服務(wù)器。下表說明了每個服務(wù)器類型是如何受到影響的。如果新的主服務(wù)器是:那么該類型的對等服務(wù)器:受該方式的影響:SD 輔助服務(wù)器SD 輔助服務(wù)器連接到新的主服務(wù)器并繼續(xù)RS 輔助服務(wù)器連接到新的主服務(wù)器并繼續(xù)HDR 輔助服務(wù)器連接到新的主服務(wù)器并繼續(xù)舊的主服務(wù)器關(guān)閉HDR 輔助服務(wù)器SD 輔助服務(wù)器關(guān)閉RS 輔助服務(wù)器連接到新的主服務(wù)器并繼續(xù)HDR 主服務(wù)器取決于用戶操作RS 輔助服務(wù)器SD 輔助服務(wù)器關(guān)閉HDR 輔助服務(wù)器關(guān)閉RS 輔助服務(wù)器關(guān)閉CLR 技術(shù)有的時候,遠程災(zāi)備服務(wù)器和主機服務(wù)器要實現(xiàn)物理隔離,或者數(shù)據(jù)網(wǎng)絡(luò)非常不穩(wěn)定,這種情況下,Informix 11 提供了 CLR (Con
56、tinuous Log Restore)技術(shù),它是通過邏輯日志備份的方式,將數(shù)據(jù)庫的邏輯日志人工傳送到遠程災(zāi)備服務(wù)器,通過數(shù)據(jù)庫邏輯日志恢復的方式保持和主數(shù)據(jù)庫數(shù)據(jù)同步的方式。圖 7. CLR 數(shù)據(jù)復制工作原理示意圖CLR 方式,就是我們常說的 log shipping 方式,CLR 服務(wù)器一直處于 fast recover 狀態(tài),不斷接收新的邏輯日志,當需要恢復時,執(zhí)行 ontape l X 命令,數(shù)據(jù)庫會轉(zhuǎn)變?yōu)殪o態(tài)模式,之后就可以正常使用了。CLR 方式,主要用于遠程災(zāi)備服務(wù)器和主機服務(wù)器采用物理隔離,或者數(shù)據(jù)網(wǎng)絡(luò)非常不穩(wěn)定的情況下實現(xiàn)災(zāi)難恢復的場景。CLR 工作的基本原理主服務(wù)器通過定期
57、或連續(xù)進行邏輯日志備份,并將日志備份數(shù)據(jù)手工的方式傳送到 CLR 服務(wù)器端, CLR 服務(wù)器不斷采用 ontape -l C 命令前滾日志, CLR 處于 logical roll-forward 模式,當需要使用 CLR 服務(wù)器時,采用 ontape l X 命令,數(shù)據(jù)庫會轉(zhuǎn)變?yōu)殪o態(tài)模式,之后就可以正常使用了。CLR 配置實現(xiàn)向集群中添加 CLR 備用服務(wù)器向集群添加一個 CLR 備用服務(wù)器的具體步驟:步驟 1 :準備 SQLHOSTS 文件集群中的所有服務(wù)器必須具有針對其他服務(wù)器的 SQLHOSTS 條目。production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp se
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024中國銀行國家助學貸款保證合同
- 2024室內(nèi)裝修施工合同范本模板
- 2024年度軟件開發(fā)及許可協(xié)議
- 2024年度知名品牌餐飲連鎖加盟合同
- 成本制勝課件教學課件
- 2024年度供貨合同范本
- 2024年大型風力發(fā)電項目施工合同
- 2024年度市場營銷策劃與執(zhí)行合同
- 2024年建筑工地安全協(xié)議
- 2024年度醫(yī)療服務(wù)提供合同
- 人教版數(shù)學五年級上冊課本習題(題目)
- 鋼筋合格證(共6頁)
- BIM技術(shù)全過程工程管理及應(yīng)用策劃方案
- 彎扭構(gòu)件制作工藝方案(共22頁)
- 水利工程填塘固基、堤身加固施工方法
- 中醫(yī)針灸的骨邊穴怎樣定位
- 人教版八年級上冊英語單詞表默寫版(直接打印)
- 電脫水、電脫鹽講解
- 江西省科技創(chuàng)新平臺建設(shè)(PPT課件)
- 違約損失率(LGD)研究
- 溝槽回填施工方案(完整版)
評論
0/150
提交評論