版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、Oraclle 100g RAAC應(yīng)用分分析高性能服務(wù)務(wù)器產(chǎn)品部部 徐斌斌2008-12-112目 錄TOC o 1-3 h z u HYPERLINK l _Toc216942937 引 言 PAGEREF _Toc216942937 h 1 HYPERLINK l _Toc216942938 一、什么是是ORACCLE RRAC? PAGEREF _Toc216942938 h 2 HYPERLINK l _Toc216942939 二、Oraacle RAC體體系結(jié)構(gòu) PAGEREF _Toc216942939 h 2 HYPERLINK l _Toc216942940 1Oraacle
2、集集群件 PAGEREF _Toc216942940 h 3 HYPERLINK l _Toc216942941 2硬件體體系結(jié)構(gòu) PAGEREF _Toc216942941 h 3 HYPERLINK l _Toc216942942 3文件系系統(tǒng)和卷管管理 PAGEREF _Toc216942942 h 4 HYPERLINK l _Toc216942943 4虛擬互互聯(lián)網(wǎng)協(xié)議議地址(VVIP) PAGEREF _Toc216942943 h 4 HYPERLINK l _Toc216942944 5集群驗驗證實用程程序 PAGEREF _Toc216942944 h 5 HYPERLINK
3、 l _Toc216942945 6遠距離離集群RAAC PAGEREF _Toc216942945 h 5 HYPERLINK l _Toc216942946 三、ORAACLE RAC的的優(yōu)勢 PAGEREF _Toc216942946 h 6 HYPERLINK l _Toc216942947 1高可用用性 PAGEREF _Toc216942947 h 6 HYPERLINK l _Toc216942948 2可伸縮縮性 PAGEREF _Toc216942948 h 7 HYPERLINK l _Toc216942949 四、管理OORACLLE真正應(yīng)應(yīng)用集群數(shù)數(shù)據(jù)庫 PAGEREF
4、 _Toc216942949 h 8 HYPERLINK l _Toc216942950 1Entterprrise Manaager 10g PAGEREF _Toc216942950 h 8 HYPERLINK l _Toc216942951 2滾動補補丁應(yīng)用 PAGEREF _Toc216942951 h 9 HYPERLINK l _Toc216942952 3滾動版版本升級支支持 PAGEREF _Toc216942952 h 9 HYPERLINK l _Toc216942953 五、使用真真正應(yīng)用集集群進行負負載管理 PAGEREF _Toc216942953 h 10 HYPE
5、RLINK l _Toc216942954 1服務(wù) PAGEREF _Toc216942954 h 10 HYPERLINK l _Toc216942955 2連接負負載均衡 PAGEREF _Toc216942955 h 11 HYPERLINK l _Toc216942956 3快速應(yīng)應(yīng)用程序通通知(FAAN) PAGEREF _Toc216942956 h 11 HYPERLINK l _Toc216942957 4負載均均衡顧問程程序 PAGEREF _Toc216942957 h 11 HYPERLINK l _Toc216942958 六、Oraacle RAC并并行服務(wù)器器與雙機
6、熱熱備份的比比較 PAGEREF _Toc216942958 h 12 HYPERLINK l _Toc216942959 七、總結(jié) PAGEREF _Toc216942959 h 14 HYPERLINK l _Toc216942960 八、部分官官方技術(shù)問問答 PAGEREF _Toc216942960 h 14 HYPERLINK l _Toc216942961 1為什么么說Oraacle Reall Appplicaationn Cluusterrs 100g 要遠遠遠超過它它的競爭對對手? PAGEREF _Toc216942961 h 14 HYPERLINK l _Toc2169
7、42962 2Oraacle RAC的的典型硬件件配置是什什么樣的? PAGEREF _Toc216942962 h 15 HYPERLINK l _Toc216942963 3SQLL Serrver和和IBM DB2都都有acttive-actiive的故故障切換方方式,為什什么我要采采用Oraacle Reall Appplicaationn Cluusterr 10gg? PAGEREF _Toc216942963 h 15 HYPERLINK l _Toc216942964 4我的分分布式應(yīng)用用 系統(tǒng)運行行非常好,為為什么我要要把我的數(shù)數(shù)據(jù)庫進行行集中? PAGEREF _Toc21
8、6942964 h 15 HYPERLINK l _Toc216942965 5我們已已經(jīng)有了集集群硬件環(huán)環(huán)境,并且且可以進行行應(yīng)用的切切換,為什什么我還需需要Oraacle Reall Appplicaationn Cluusterrs 100g? PAGEREF _Toc216942965 h 16 HYPERLINK l _Toc216942966 6我們使使用Datta Guuard來來實現(xiàn)故障障切換,為為什么我還還需要Orraclee Reaal Apppliccatioon Cllusteers 110g? PAGEREF _Toc216942966 h 16 HYPERLINK
9、l _Toc216942967 7為什么么選擇Liinux?為什么選選擇Linnux環(huán)境境下的Orraclee Reaal Apppliccatioon Cllusteers 110g? PAGEREF _Toc216942967 h 17引 言使用Oraacle真真正應(yīng)用集集群(RAAC),OOraclle數(shù)據(jù)庫庫可跨一組組集群服務(wù)務(wù)器運行任任何打包的的或自定義義的應(yīng)用程程序,不需需對這些應(yīng)應(yīng)用程序做做任何改動動。這就提提供了最高高的可用性性和最靈活活的可伸縮縮性。如果果集群中的的一個服務(wù)務(wù)器故障,OOraclle可繼續(xù)續(xù)在其余的的服務(wù)器上上運行。當當我們需要要更多的處處理能力時時,只需添添
10、加服務(wù)器器即可,無無需用戶下下線。為保保證低成本本,我們可可使用標準準化的普通通硬件組建建出最高端端的系統(tǒng)。Oraclle RAAC為Oraccle的企企業(yè)網(wǎng)格計計算體系結(jié)結(jié)構(gòu)提供了了基礎(chǔ)。OOraclle RAAC技術(shù)可可為這一低低成本硬件件平臺提供供支持,使使其提供優(yōu)優(yōu)質(zhì)的服務(wù)務(wù),并達到到或超出昂昂貴的大型型SMP計算算機所能提提供的可用用性和可伸伸縮性等級級。通過顯顯著降低管管理成本和和提供出色色的管理靈靈活性,OOraclle為企業(yè)業(yè)網(wǎng)格環(huán)境境提供了強強有力的支支持。本文從技術(shù)術(shù)層面對OOraclle 100g RAAC進行了了概述,著著重介紹了了涉及為企企業(yè)應(yīng)用程程序提供高高可用性和
11、和高可伸縮縮性方面的的功能和特特性,并與與雙機熱備備份架構(gòu)的的服務(wù)平臺臺進行了比比較,最后后給出了部部分官方技技術(shù)問答,希希望對大家家了解與銷銷售Oraacle RAC能能夠有所幫幫助。什么是ORRACLEE RACC?Oraclle RAAC是Orraclee數(shù)據(jù)庫的的一個組件件選項,在在Oraccle 99i中首次次推出。OOraclle RAAC現(xiàn)已發(fā)發(fā)展成一項項成熟的技技術(shù),其用用戶過千,遍遍及各個行行業(yè),涉及及各類應(yīng)用用程序。OOraclle RAAC為伸縮縮應(yīng)用程序序以超越單單個服務(wù)器器的能力限限制提供了了一個選擇擇。這使得得用戶可以以利用低成成本的普通通硬件來降降低他們的的總體擁
12、有有成本,并并提供一個個可伸縮的的計算環(huán)境境來支持其其應(yīng)用程序序負載。Oraclle RAAC體系結(jié)結(jié)構(gòu)RAC數(shù)據(jù)據(jù)庫是一個個集群數(shù)據(jù)據(jù)庫。集群群是一組獨獨立的服務(wù)務(wù)器,協(xié)同同合作如同同一個系統(tǒng)統(tǒng)。集群提提供了比單單對稱多處處理器(SSMP)系系統(tǒng)更好的的容錯和模模塊增量系系統(tǒng)。發(fā)生生系統(tǒng)故障障時,集群群可確保向向客戶提供供高可用性性。對關(guān)鍵鍵任務(wù)數(shù)據(jù)據(jù)的訪問不不會丟失。冗余的硬硬件組件(如如額外的節(jié)節(jié)點、互聯(lián)聯(lián)和磁盤)使使得集群能能夠提供高高可用性。此類冗余余硬件體系系結(jié)構(gòu)避免免了單點故故障并提供供了異常故故障恢復(fù)。在Oraccle RRAC中,我我們將Orraclee實例(運運行在一個個服
13、務(wù)器中中的流程和和內(nèi)存結(jié)構(gòu)構(gòu),以充許許數(shù)據(jù)訪問問)與Orraclee數(shù)據(jù)庫(駐駐留在存儲儲器上的實實際用于保保存數(shù)據(jù)的的物理結(jié)構(gòu)構(gòu),通常稱稱為數(shù)據(jù)文文件)進行行了分離。集群數(shù)據(jù)據(jù)庫是一個個可由多個個實例訪問問的數(shù)據(jù)庫庫。每個實實例運行于于集群中的的一個獨立立服務(wù)器上上。當需要要更多的資資源時,可可以在不停停機的情況況下輕松地地向集群中中添加節(jié)點點和實例。當啟動新新實例后,應(yīng)應(yīng)用程序可可立即使用用這一新實實例,無需需對應(yīng)用程程序或應(yīng)用用服務(wù)器進進行任何改改動。真正應(yīng)用集集群是Orraclee數(shù)據(jù)庫的的一個擴展展,所以它它利用了OOraclle數(shù)據(jù)庫庫10g的的可管理性性、可靠性性和安全性性特性。
14、1Oraacle集集群件Oraclle數(shù)據(jù)庫庫10g開開始提供有有Oraccle集群群件,Orraclee集群件是是一個專門門針對Orraclee數(shù)據(jù)庫而而集成和設(shè)設(shè)計的可移移植集群件件解決方案案。您不必必再為構(gòu)建建一個RAAC數(shù)據(jù)庫庫而去購買買第三方的的集群件。Oraccle集群群件與Orraclee DBAA熟悉的OOraclle Unniverrsal Insttalleer進行了了集成。支支持也比以以往更為簡簡便,因為為現(xiàn)在有一一個專門的的組織處理理涉及集群群件和集群群數(shù)據(jù)庫的的支持問題題。您可以以選擇使用用第三方集集群件來運運行Oraacle RAC,OOraclle產(chǎn)品可可與經(jīng)認證
15、證的第三方方集群件共共同使用,但但Oraccle集群群件必須管管理所有的的RAC數(shù)數(shù)據(jù)庫。Oraclle集群件件用于監(jiān)管管真正應(yīng)用用集群數(shù)據(jù)據(jù)庫。當集集群中的一一個節(jié)點啟啟動時,所所有實例、監(jiān)聽程序序和服務(wù)都都將自動啟啟動。如果果一個實例例出現(xiàn)故障障,集群件件將自動重重啟該實例例,這樣通通??稍诠芄芾韱T發(fā)現(xiàn)現(xiàn)前恢復(fù)該該服務(wù)。在Oraccle數(shù)據(jù)據(jù)庫l0gg第2版中中,Oraacle提提供了高可可用性APPI,這樣樣可使用OOraclle集群件件內(nèi)高可用用性框架來來控制非OOraclle的流程程。當向OOraclle集群件件注冊流程程時,需要要提供如何何啟動、終終止和監(jiān)控控這些流程程的信息。您還
16、可以以指定當執(zhí)執(zhí)行流程的的節(jié)點出現(xiàn)現(xiàn)故障時,是是否將該流流程轉(zhuǎn)移到到另一個節(jié)節(jié)點。2硬件體體系結(jié)構(gòu)Oraclle RAAC是一個個全共享的的體系結(jié)構(gòu)構(gòu)。集群中中的所有服服務(wù)器必須須共享用于于RAC數(shù)數(shù)據(jù)庫的所所有存儲器器。存儲用用的磁盤類類型可以是是網(wǎng)絡(luò)連接接存儲(NNAS)、存儲區(qū)域域網(wǎng)絡(luò)(SSAN)、或是SCCSI磁盤盤。存儲器器的選擇受受限于所選選用的服務(wù)務(wù)器硬件及及硬件供應(yīng)應(yīng)商所支持持的存儲器器類型。選選擇存儲器器的關(guān)鍵之之處在于選選擇一個可可向您的應(yīng)應(yīng)用程序提提供可伸縮縮I/O的的存儲系統(tǒng)統(tǒng),一個在在向集群中中添加服務(wù)務(wù)器時可進進行伸縮的的I/O系系統(tǒng)。對于數(shù)據(jù)庫庫服務(wù)器所所連入的局
17、局域網(wǎng)(LLAN),集集群還需要要另外一個個網(wǎng)絡(luò)連入入該局域網(wǎng)網(wǎng),用于應(yīng)應(yīng)用程序連連接。集群群還需要一一個專用的的網(wǎng)絡(luò),即即通常所說說的互聯(lián)。Oraccle建議議您對這一一網(wǎng)絡(luò)使用用兩個網(wǎng)絡(luò)絡(luò)接口,以以實現(xiàn)高用用性。我們們需要使用用不屬于OOraclle的網(wǎng)絡(luò)絡(luò)接口來提提供故障切切換和負載載均衡。集集群使用這這一互聯(lián)來來進行節(jié)點點間消息傳傳遞。RAAC則使用用這一互聯(lián)聯(lián)來實施緩緩存融合技技術(shù)。對于于集群互聯(lián)聯(lián),Oraacle建建議使用UUDP,不不建議使用用GigEE。在實際際應(yīng)用環(huán)境境中,RAAC數(shù)據(jù)庫庫不支持將將交叉線纜纜用作互聯(lián)聯(lián)。集群由1到到多個服務(wù)務(wù)器組成,每每個服務(wù)器器有一個LLA
18、N連接接、一個互互聯(lián)連接,必必須連接到到共享存儲儲器。在OOraclle數(shù)據(jù)庫庫10g第第2版中,OOraclle集群件件和真正應(yīng)應(yīng)用集群可可支持多達達100個個集群節(jié)點點。集群中中的每個服服務(wù)器不需需要完全相相同,但是是必須使用用同樣的操操作系統(tǒng)和和同一版本本的Oraacle產(chǎn)產(chǎn)品。所有有服務(wù)器必必須支持同同一體系結(jié)結(jié)構(gòu),如全全部為322位或全部部為64位位。3文件系系統(tǒng)和卷管管理因為RACC是一個全全共享式的的體系架構(gòu)構(gòu),卷管理理和文件系系統(tǒng)必須能能夠識別集集群。Orraclee建議使用用自動存儲儲器管理(ASM),它是OOraclle數(shù)據(jù)庫庫10g包包含的一個個特性,能能夠自動管管理用于
19、數(shù)數(shù)據(jù)庫的存存儲器。使使用ASMM可以方便便地管理文文件系統(tǒng),提提供異步II/O的性性能。ASSM通過跨跨所有可用用資源分配配I/O負負載來優(yōu)化化性能,且且免除了手手動調(diào)整II/O的需需要。Oraclle也支持持原始設(shè)備備和某些集集群文件系系統(tǒng),如OOraclle集群文文件系統(tǒng)(OOCFS),這這一文件系系統(tǒng)可用于于Winddows、Linuux和Soolariis(用于于Solaaris的的OCFSS將于Orraclee數(shù)據(jù)庫110g第22版之后推推出)。4虛擬互互聯(lián)網(wǎng)協(xié)議議地址(VVIP)Oraclle真正應(yīng)應(yīng)用集群110g要求求集群中的的每個服務(wù)務(wù)器都使用用一個虛擬擬IP地址。虛擬IPP
20、地址即是是與局域網(wǎng)網(wǎng)所屬子網(wǎng)網(wǎng)相同的子子網(wǎng)中的一一個未使用用的IP地址。應(yīng)用程序序使用這一一地址連接接RAC數(shù)據(jù)據(jù)庫。如果果一個節(jié)點點出現(xiàn)故障障,該虛擬擬IP將自動動切換到集集群中的另另一個節(jié)點點,這樣就就可以快速速響應(yīng)針對對故障節(jié)點點的連接請請求。這提提升了應(yīng)用用程序的可可用性,因因為他們的的連接請求求可自動切切換到集群群中的另一一個實例,此此前不再需需要等待網(wǎng)網(wǎng)絡(luò)超時。5集群驗驗證實用程程序Oraclle數(shù)據(jù)庫庫10g第22版引入了了一個新的的集群配置置驗證工具具。該集群群驗證工具具通過對前前后安裝步步驟和/或或配置變化化進行驗證證,避免發(fā)發(fā)生錯誤。它還可用用于現(xiàn)有的的集群驗證證。該工具具
21、可以通過過命令行接接口調(diào)用,也也可由其它它程序通過過API進行行調(diào)用,如如Oraccle UUniveersall Insstalller (OUI)程序。6遠距離離集群RAAC在遠距離集集群RACC這一體系系結(jié)構(gòu)中,集集群中的各各節(jié)點位于于不同的地地理位置。遠距離集集群RACC提供了非非??焖俚牡恼军c故障障恢復(fù),允允許所有站站點中的所所有節(jié)點作作為單個數(shù)數(shù)據(jù)庫集群群的一部分分主動進行行事務(wù)處理理。當該體體系結(jié)構(gòu)受受到世人矚矚目并成功功實施后,關(guān)關(guān)鍵是要了了解這一體體系結(jié)構(gòu)最最適用的情情形距離、延延遲時間,及及其提供的的保護程度度。延遲時間會會產(chǎn)生巨大大的影響,所所以距離便便對這一體體系結(jié)構(gòu)的
22、的適用情形形有一些實實際限制。這一體系系結(jié)構(gòu)適用用于2個數(shù)數(shù)據(jù)中心間間的距離相相對較?。ㄐ⌒∮诘扔?100公里里),且有有資金在兩兩個站點間間建立帶專專用通道的的直連線纜纜的情況。遠距離集群群RAC提供供了比本地地RAC更高高的可用性性,但并不不能達到企企業(yè)所需的的完全災(zāi)難難恢復(fù)要求求。合理分分區(qū)可以很很好地防御御某些災(zāi)難難事件(局局部斷電、飛機失事事、機房被被淹),但但并不是所所有災(zāi)難事事件。如地地震、颶風風、區(qū)域性性洪災(zāi)會影影響更大的的區(qū)域??涂蛻魬?yīng)通過過分析確定定一個災(zāi)難難事件是否否會同時影影響兩個站站點。要實實現(xiàn)全面的的災(zāi)難防御御(包括防防御數(shù)據(jù)出出錯和區(qū)域域性災(zāi)難),Oracle建議
23、用戶結(jié)合Data Guard使用RAC,如Oracle高可用性體系結(jié)構(gòu)文檔中所述。Data Guard還提供了其它的一些功能,如支持跨Oracle版本進行滾動升級。遠距離集群群的配置也也較本地集集群復(fù)雜。需要精心心考慮節(jié)點點的布局、表決磁盤盤和數(shù)據(jù)磁磁盤的布置置.妥善實實施這一體體系結(jié)構(gòu)后后,它將提提供比本地地RAC數(shù)據(jù)據(jù)庫更高的的可用性。Oraccle集群群件、Orraclee真正應(yīng)用用集群和自自動存儲器器管理可用用于構(gòu)建遠遠距離集群群。ORACLLE RAAC的優(yōu)勢勢1高可用用性O(shè)raclle真正應(yīng)應(yīng)用集群110g提供供了實現(xiàn)數(shù)數(shù)據(jù)中心高高可用性的的基礎(chǔ)架構(gòu)構(gòu)。它還是是Oraccle高可可
24、用性體系系結(jié)構(gòu)不可可或缺的一一部分,提提供了構(gòu)建建高可用性性數(shù)據(jù)管理理解決方案案的最佳實實踐。Orraclee真正應(yīng)用用集群針對對高可用性性解決方案案的主要特特性提供了了保護功能能??煽啃設(shè)Oraclle數(shù)據(jù)庫庫以其穩(wěn)定定性著稱。真正應(yīng)用用集群將這這一優(yōu)點發(fā)發(fā)揚光大,能能夠以單點點故障方式式移除服務(wù)務(wù)器。如果果一個實例例故障,集集群中的其其它實例將將仍然保持持運行和活活動狀態(tài)?;謴?fù)能力Oraccle數(shù)據(jù)據(jù)庫包含許許多有助于于從各類故故障中輕松松恢復(fù)的功功能。如果果RAC數(shù)據(jù)據(jù)庫中的一一個實例出出現(xiàn)故障,集集群中的另另外一個實實例將察覺覺到這一故故障,隨后后自動進行行故障恢復(fù)復(fù)。利用快快速應(yīng)用程
25、程序通知,快快速連接故故障轉(zhuǎn)移和和透明應(yīng)用用程序故障障切換這三三個功能,應(yīng)應(yīng)用程序可可以很方便便地掩藏組組件故障,使使用戶無法法察覺。錯誤檢測Oraccle集群件件自動監(jiān)控控RAC數(shù)數(shù)據(jù)庫并可可對環(huán)境中中的錯誤進進行快速檢檢測。在用用戶不知不不覺中自動動完成故障障恢復(fù)。使使用快速應(yīng)應(yīng)用程序通通知功能,應(yīng)應(yīng)用程序能能夠在集群群組件出現(xiàn)現(xiàn)故障出現(xiàn)現(xiàn)時立即得得到通知,然然后將事務(wù)務(wù)切換至無無故障節(jié)點點,從而掩掩藏這一故故障,讓用用戶無法察察覺。持續(xù)運行使用真正正應(yīng)用集群群,在計劃劃和意外停停機期間仍仍可持續(xù)提提供服務(wù)。如果一個個節(jié)點(或或?qū)嵗┏龀霈F(xiàn)故障,數(shù)數(shù)據(jù)庫將仍仍然保持運運行狀態(tài),應(yīng)應(yīng)用程序仍
26、仍可訪問數(shù)數(shù)據(jù)。大多多數(shù)的數(shù)據(jù)據(jù)庫維護操操作可在不不中斷運行行的情況下下完成,并并且對用戶戶透明。其其它維護任任務(wù)可以通通過滾動方方式完成,所所以可將應(yīng)應(yīng)用程序中中斷時間降降至最少,或或完全消除除??焖賾?yīng)應(yīng)用程序通通知和快速速連接故障障切換可幫幫助應(yīng)用程程序達到服服務(wù)水平和和掩藏組件件故障。2可伸縮縮性O(shè)raclle真正應(yīng)應(yīng)用集群提提供了獨一一無二的應(yīng)應(yīng)用程序伸伸縮技術(shù)。傳統(tǒng)上,當當服務(wù)器容容量不足時時,我們會會使用更大大的新服務(wù)務(wù)器來替換換它。但服服務(wù)器容量量越大,其其價格也愈愈加昂貴。而對于使使用了RAAC的數(shù)據(jù)據(jù)庫,我們們可選擇其其它方法進進行增容。原先運行行于大型SSMP服務(wù)務(wù)器上的應(yīng)
27、應(yīng)用程序可可移植到小小型服務(wù)器器集群中運運行。或者者,您也可可以選擇保保留現(xiàn)有硬硬件的投資資,在集群群中加入新新服務(wù)器(或或創(chuàng)建一個個集群)來來增加容量量。通過OOraclle集群件件和RACC向集群中中添加服務(wù)務(wù)器時并不不需要停機機,且在啟啟動新實例例后,應(yīng)用用程序就可可立即利用用這些增加加的容量。集群中的的所有服務(wù)務(wù)器必須使使用同一操操作系統(tǒng)和和相同版本本的Oraalce軟軟件,但其其容量不需需要一樣?,F(xiàn)在,客客戶可以根根據(jù)自己的的需要來選選擇集群,可可以是由每每臺服務(wù)器器含2個cpuu的普通服服務(wù)器組成成的集群,也也可以是每每臺服務(wù)器器含32或或64個cpu的服服務(wù)器組成成的集群。Ora
28、clle真正應(yīng)應(yīng)用集群可可以自動適適應(yīng)快速變變化的業(yè)務(wù)務(wù)要求和由由此帶來的的負載變化化。應(yīng)用程程序用戶,或或中層應(yīng)用用程序服務(wù)務(wù)器客戶端端可使用服服務(wù)名連接接到數(shù)據(jù)庫庫。Oraacle 可在集集群中的多多個節(jié)點中中自動進行行負載均衡衡。在不同同節(jié)點上的的真正應(yīng)用用集群數(shù)據(jù)據(jù)庫實例訂訂閱了所有有或部分數(shù)數(shù)據(jù)庫服務(wù)務(wù)。這樣DDBA就可可以靈活地地選擇某個個連接到特特定數(shù)據(jù)庫庫服務(wù)是否否可以連接接到某個或或所有數(shù)據(jù)據(jù)庫節(jié)點。當應(yīng)用需需求上升時時,管理員員可以很方方便地增添添處理能力力。RACC的緩存融融合體系結(jié)結(jié)構(gòu)可立刻刻使用新節(jié)節(jié)點的CPPU和內(nèi)存存資源。DDBA不需需要手動對對數(shù)據(jù)進行行重新分區(qū)
29、區(qū)。在Oraccle數(shù)據(jù)據(jù)庫中分配配負載的另另一個方法法通過Orraclee數(shù)據(jù)庫的的并行執(zhí)行行特性。并并行執(zhí)行(如如并行查詢詢或并行DDIIL)在在多個進程程間劃分SSQL語句句執(zhí)行工作作。在Orraclee真正應(yīng)用用集群環(huán)境境中,可在在多個實例例間均衡分分配這些進進程。Orraclee提供了基基于成本的的優(yōu)化程序序,它以并并行執(zhí)行作作為其基礎(chǔ)礎(chǔ)元素來制制定最佳的的執(zhí)行方案案。在真正正應(yīng)用集群群環(huán)境中,明明智的決策策都要考慮慮到節(jié)點內(nèi)內(nèi)和節(jié)點間間的并行性性。例如,完完成某個查查詢需要66個查詢進進程,本地地節(jié)點中(用用戶連接到到的節(jié)點)有有6個閑置的的CPU,則則只需使用用本地資源源來處理該
30、該查詢即可可。這演示示了高效的的結(jié)點間并并行性,且且消除了在在多個節(jié)點點間協(xié)調(diào)查查詢的開銷銷。但是,如如果該本地地結(jié)點中只只有兩個CCPU,那那么就由這這兩個CPPU再加上上其它節(jié)點點中的4個CPU來處處理這一查查詢。這樣樣就利用了了節(jié)點內(nèi)和和節(jié)點間并并行性來加加快查詢的的處理。管理ORAACLE真真正應(yīng)用集集群數(shù)據(jù)庫庫為便于配置置和管理,OOraclle真正應(yīng)應(yīng)用集群提提供了一個個系統(tǒng)鏡像像。用戶可可在一個位位置完成RRAC數(shù)據(jù)據(jù)庫的安裝裝、配置和和管理。用用于管理數(shù)數(shù)據(jù)庫的工工具和實用用程序都可可識別集群群,從Orraclee Uniiverssal IInstaallerr (OUUI)
31、到EEnterrprisse Maanageer,包括括數(shù)據(jù)庫配配置助理(DBCAA)、數(shù)據(jù)據(jù)庫升級助助理(DBBUA)、網(wǎng)絡(luò)配置置助理(NNETCAA)和命令令行,如ssrvcttl。1Entterprrise Manaager 10gEnterrprisse Maanageer 100g Daatabaase CContrrol是OOraclle提供的的一個用于于管理Orraclee數(shù)據(jù)庫的的GUI管理理工具。在在創(chuàng)建數(shù)據(jù)據(jù)庫時,DDBCA會會自動配置置Dataabasee Conntroll。Entterprrise Manaager 10g GGrid Conttrol是是Oraccl
32、e提供供的一個用用于管理企企業(yè)的GUUI管理工工具。用戶戶可通過OOraclle數(shù)據(jù)庫庫CD包內(nèi)的的一張CDD來安裝該該Gridd Conntroll。這些工工具都可識識別集群且且提供了一一個中央控控制臺來管管理您的集集群數(shù)據(jù)庫庫。在Clusster Dataabasee Pagge中,您您可以:查看整體系系統(tǒng)狀態(tài),例例如,集群群數(shù)據(jù)庫內(nèi)內(nèi)節(jié)點的數(shù)數(shù)量及其當當前的狀態(tài)態(tài)。查看所有實實例的警報報,同時詳詳細觀察每每一警報的的根源和其其它信息。在集群數(shù)據(jù)據(jù)庫基礎(chǔ)上上設(shè)置警報報閾值。監(jiān)視所有實實例的性能能標準或逐逐個顯示,以以便逐個進進行比較,或或在需要時時了解更詳詳細的信息息。監(jiān)視集群緩緩存一致性
33、性情況(例例如:全局局緩存獲取取等)。執(zhí)行集群數(shù)數(shù)據(jù)庫操作作,包括啟啟動備份與與恢復(fù),以以及開始/停止實例例等。管理服務(wù),執(zhí)執(zhí)行創(chuàng)建、更改、啟啟動/終止止、啟用/禁用等操操作,重新新部署服務(wù)務(wù)并監(jiān)控服服務(wù)性能。Oraclle Ennterpprisee Mannagerr 10gg Griid Coontrool還提供供了一個集集群頁面來來查看集群群硬件和整整個操作系系統(tǒng)的狀態(tài)態(tài)。在集群群支持多個個數(shù)據(jù)庫時時,這一特特性非常實實用。用戶戶可以輕松松了解整體體集群平臺臺狀態(tài),同同時也可根根據(jù)需求詳詳細了解每每個獨數(shù)據(jù)據(jù)庫的性能能。Oraclle Ennterpprisee Mannagerr 1
34、0gg Relleasee 2 GGrid Conttrol中中提供了一一個實用工工具,該工工具可用于于自動將OOraclle數(shù)據(jù)庫庫實例轉(zhuǎn)換換為RACC數(shù)據(jù)庫實實例。Orraclee Entterprrise Manaager 10g Releease 2 Grrid CContrrol還提提供了其他他簡化真正正應(yīng)用集群群供應(yīng)的功功能。使用用Enteerpriise MManagger可以以輕松地完完成創(chuàng)建集集群時涉及及的一些工工作,如部部署Oraacle homee、配置集集群件。OOraclle Hoome軟件件可以置于于Enteerpriise MManagger中作作為“黃金鏡像像”
35、,該軟件件也可以從從其它已知知的基準主主機中獲得得?!包S金鏡像像”使用一個個已知正常常的Oraacle Clussterwware 10g Releease 2或Oraccle RReal Appllicattion Clussterss 10gg Relleasee 2環(huán)境境實施副本本創(chuàng)建而成成。在Grrid CContrrol 110g RReleaase 22中,該克克隆應(yīng)用程程序?qū)⒅С殖謩?chuàng)建完全全的端到端端新RACC和Oraccle集群群件軟件,包包括執(zhí)行超超級用戶操操作(rooot.ssh)和可可自定義的的前期和反反續(xù)步驟。在向當前前集群中添添加新節(jié)點點時也可以以使用它。對Linuu
36、x操作系系統(tǒng),Orraclee還可以向向裸節(jié)點供供應(yīng)“鏡像”。該鏡像像可以由操操作系統(tǒng)、Oraccle EEnterrprisse Maanageer代理、Oraccle集群群件和帶真真正應(yīng)用集集群的Orraclee數(shù)據(jù)庫組組成。該鏡鏡像可以和和硬件配置置文件關(guān)聯(lián)聯(lián)。這一鏡鏡像的各部部分都將作作為“黃金鏡像像”存儲在Ennterpprisee Mannagerr中。用戶戶可以使用用向?qū)С绦蛐騺磉x擇硬硬件并將所所有鏡像供供給新硬件件。該新節(jié)節(jié)點將自動動添加到這這一集群中中。2滾動補補丁應(yīng)用Oraclle現(xiàn)在支支持以滾動動方式向RRAC數(shù)據(jù)據(jù)庫的節(jié)點點應(yīng)用補丁丁,而不需需要停機。補丁一次次應(yīng)用到一
37、一個節(jié)點,而而RAC系統(tǒng)統(tǒng)中的其它它節(jié)點可正正常運行和和操作。這這要求每個個節(jié)點都有有獨立的OOraclle Hoome。根根據(jù)補丁所所做的更改改,將補丁丁標記為是是否作為滾滾動升級進進行安裝。一些更改改實例間共共享的公共共結(jié)構(gòu)或數(shù)數(shù)據(jù)庫內(nèi)容容的補丁將將不會標記記為以滾動動升級方式式安裝。此此外,只能能滾動升級級單個的補補丁,而不不是補丁集集。這一功功能最早在在Oraccle 99.2.00.2中提提供。所有有Oraccle集群群件補丁都都可以滾動動方式應(yīng)用用。3滾動版版本升級支支持Oraclle集群件件支持從第第1版(即CClustter RReadyy Serrvicees)滾動動升級到第
38、第2版。這就就可以在集集群不停止止服務(wù)的情情況下升級級集群件,實實現(xiàn)全天候候的業(yè)務(wù)運運行。Oraclle RAAC 100g第2版支持使使用Datta Guuard SQL Applly以滾動動方式進行行數(shù)據(jù)庫軟軟件升級(從從Oraccle數(shù)據(jù)據(jù)庫10gg第1版的補丁丁集1起),幾幾乎無需數(shù)數(shù)據(jù)庫停機機。這些步步驟包括將將邏輯備用用數(shù)據(jù)庫升升級到下一一個版本、在一種混混合的模式式下運行,以以測試和驗驗證升級、通過切換換到已升級級的數(shù)據(jù)庫庫來執(zhí)行角角色轉(zhuǎn)換,然然后最終升升級舊的主主數(shù)據(jù)庫。當為了測測試而運行行在一種混混合模式下下時,可以以終止升級級,降級軟軟件,而不不會有數(shù)據(jù)據(jù)丟失。為為了在這些
39、些步驟中提提供額外的的數(shù)據(jù)保護護,可以使使用第二個個備用數(shù)據(jù)據(jù)庫。通過支持具具有最小停停機時間的的滾動升級級,Datta Guuard縮縮小了一般般包含許多多管理任務(wù)務(wù)的大維護護窗口,并并實現(xiàn)了全全天候的業(yè)業(yè)務(wù)運行。使用真正應(yīng)應(yīng)用集群進進行負載管管理使用RACC數(shù)據(jù)庫的的應(yīng)用程序序需要跨集集群管理負負載。Orraclee真正應(yīng)用用集群100g提供了了創(chuàng)新的技技術(shù)來管理理工作負載載,通過對對應(yīng)用程序序進行妥善善配置并實實現(xiàn)高可用用性,可提提供最好的的應(yīng)用程序序吞吐能力力。1服務(wù)負載管理依依賴于服務(wù)務(wù)的使用,服服務(wù)是Orraclee數(shù)據(jù)庫的的10g的的特性。服服務(wù)通過提提供一個系系統(tǒng)鏡像來來管理負
40、載載,隱藏了了RAC數(shù)據(jù)據(jù)庫的復(fù)雜雜性。服務(wù)務(wù)使得應(yīng)用用程序能夠夠獲益于集集群的穩(wěn)定定性。通常常,數(shù)據(jù)庫庫提供一個個服務(wù)且該該名稱即是是賦予SQQL*NEET的連接接數(shù)據(jù)。使使用Oraacle數(shù)數(shù)據(jù)庫100g,DBBA可以定定義多達1100個由由一個數(shù)據(jù)據(jù)庫提供的的數(shù)據(jù)庫服服務(wù)。這使使得您可以以基于業(yè)務(wù)務(wù)需求(如如服務(wù)水平平和優(yōu)先級級)將應(yīng)用用程序的負負載分解為為可管理的的部分。服服務(wù)與Orraclee數(shù)據(jù)庫100g的許多多特性進行行了集成。應(yīng)用程序序用戶可以以自動分配配到一個RResouurce Manaager用用戶組,這這一用戶組組限制了成成員可使用用的資源,如如cpu。批量作業(yè)業(yè)可基于
41、其其服務(wù)分配配到特定的的作業(yè)類。在使用OOraclle Sttreamms Addvancced QQueuiing時,可可使用服務(wù)務(wù)來實現(xiàn)隊隊列的位置置透明性。一個服務(wù)可可以跨越一一個Oraacle數(shù)數(shù)據(jù)庫的一一個或多個個實例,一一個實例可可以支持多多個服務(wù)。提供服務(wù)務(wù)的實例數(shù)數(shù)量是由DDBA動態(tài)態(tài)控制的,獨獨立于該應(yīng)應(yīng)用程序。當發(fā)生故故障時,服服務(wù)將自動動恢復(fù)到正正常運行的的實例中。當實例恢恢復(fù)后,任任何未運行行的服務(wù)都都將自動恢恢復(fù)。2連接負負載均衡Oraclle Neet Seervicces為數(shù)數(shù)據(jù)庫連接接提供了連連接負載均均衡??蛻魬舳素撦d均均衡跨集群群中所有監(jiān)監(jiān)聽程序進進行連接請
42、請求均衡,方方法是將集集群中的所所有服務(wù)器器列入客戶戶連接字符符的地址表表。SQLL*NETT將隨機選選擇其中的的一個服務(wù)務(wù)器。如果果選中的服服務(wù)器不可可用,將嘗嘗試列表中中的下一個個服務(wù)器。服務(wù)器端端負載均衡衡是在監(jiān)聽聽程序中實實現(xiàn)的。每每個監(jiān)聽程程序會識別別出集群中中刺探每個個服務(wù)的所所有實例?;跒榉?wù)定義的的目標,監(jiān)監(jiān)聽程序會會選擇與目目標最符合合的實例,然然后連接到到該實例。3快速應(yīng)應(yīng)用程序通通知(FAAN)快速應(yīng)用程程序通知提提供了RAAC數(shù)據(jù)庫庫和應(yīng)用程程序間的集集成。利用用這一特性性,應(yīng)用程程序能夠識識別任意給給定時間下下的集群當當前配置,從從而僅連接接至可響應(yīng)應(yīng)當前應(yīng)用用程
43、序請求求的實例。當集群內(nèi)內(nèi)的狀態(tài)改改變時,OOraclle RAAC 100g高可用用性框架將將快速地發(fā)發(fā)出一個FFAN事件件。集成客戶端端收到這些些事件后迅迅速做出響響應(yīng)。對于于故障事件件,通過清清除到故障障實例的連連接可以將將應(yīng)用程序序中斷降至至最低,進進行中的事事務(wù)中斷后后,將向應(yīng)應(yīng)用程序返返回一個出出錯提示。嘗試連接接的應(yīng)用程程序?qū)H指指向活動實實例。服務(wù)務(wù)器端調(diào)出出可用于記記錄故障單單或頁,通通知管理員員出現(xiàn)故障障。對于正正常運行事事件,將創(chuàng)創(chuàng)建一個新新連接,讓讓應(yīng)用程序序立即利用用新增的資資源。Orraclee JDBBC、ODDP.NEET和OCI客戶戶端與FAAN進行了了集成。
44、其其它應(yīng)用程程序可以利利用FANN,方法是是使用應(yīng)用用程序編程程接口直接接訂閱FAAN事件。4負載均均衡顧問程程序數(shù)據(jù)庫負載載會隨著時時間而變化化,集群配配置也可以以更改,因因此,基于于最新信息息創(chuàng)建和分分配數(shù)據(jù)庫庫連接很重重要。Orraclee Reaal Apppliccatioon Cllusteers 110g第2版提供了了一個負載載均衡顧問問程序。通通過由每個個實例刺探探服務(wù),RRAC始終終不停的監(jiān)監(jiān)視針對每每個服務(wù)執(zhí)執(zhí)行的負載載。該信息息將通過FFAN事件件發(fā)布到AAutommaticc Worrkloaad Reeposiitoryy和應(yīng)用程程序。FAAN事件包包含當前所所提供的
45、服服務(wù)水平,并并建議了指指向每個實實例的連接接的百分比比。集成的Orraclee客戶端使使用這些事事件合理地地進行應(yīng)用用程序請求求負載均衡衡。當應(yīng)用用程序要獲獲取一個連連接時,大大多數(shù)的連連接池使用用隨機或循循環(huán)算法從從池中選出出一個空閑閑連接。使使用來自負負載均衡顧顧問程序的的FAN事件件,連接池池將選擇當當前提供最最佳服務(wù)的的連接。OOraclle JDDBC和ODP.NET通通過集成負負載均衡顧顧問程序來來均衡運行行時連接負負載。Oraclle RAAC并行服服務(wù)器與雙雙機熱備份份的比較在Clusster(集群)多機系統(tǒng)統(tǒng)平臺上,常常用的高可可用性技術(shù)術(shù)有兩種:雙機熱備備份和并行行服務(wù)器
46、。這兩種方方式采用的的機制不同同,實現(xiàn)的的效果也不不同。Reeal AAppliicatiion CClustter實現(xiàn)現(xiàn)的是并行行服務(wù)器方方式。雙機熱備份份方式如上圖所示示,在雙機機熱備份方方式下,數(shù)數(shù)據(jù)庫系統(tǒng)統(tǒng)平時只能能在一臺服服務(wù)器(例如服務(wù)務(wù)器A) 上運行,另另一臺服務(wù)務(wù)器無法直直接訪問數(shù)數(shù)據(jù)庫,自自然也無法法進行負載載分擔。當當服務(wù)器AA由于故障障失效時,由由相應(yīng)的操操作系統(tǒng)軟軟件控制,將將服務(wù)器AA管理的存存儲設(shè)備(如硬盤)轉(zhuǎn)交給服服務(wù)器B控制,同同時在服務(wù)務(wù)器B上啟動另另一個數(shù)據(jù)據(jù)庫進程,管管理數(shù)據(jù)庫庫。這種切切換并啟動動新的數(shù)據(jù)據(jù)庫核心的的過程一般般需要幾十十秒到幾分分鐘。這種
47、方式的的主要缺點點在于:由于需要重重新啟動數(shù)數(shù)據(jù)庫核心心進程,無無法保證數(shù)數(shù)據(jù)庫系統(tǒng)統(tǒng)連續(xù)不間間斷地運行行;在系統(tǒng)切換換的過程中中,客戶端端與服務(wù)器器之間的數(shù)數(shù)據(jù)庫連接接會中斷,需需要重新進進行數(shù)據(jù)庫庫的連接和和登錄工作作;由于數(shù)據(jù)庫庫系統(tǒng)只能能在一臺服服務(wù)器上運運行,另一一臺服務(wù)器器無法分擔擔系統(tǒng)的負負載,實際際上造成了了客戶投資資的浪費。在有些系系統(tǒng)中,為為了解決雙雙機負載分分擔的問題題,將應(yīng)用用系統(tǒng)人為為分割為兩兩個數(shù)據(jù)庫庫系統(tǒng),分分別在兩臺臺服務(wù)器上上運行。這這種方式在在一定程度度上解決了了負載分擔擔的問題,但但給系統(tǒng)管管理、統(tǒng)計計分析等業(yè)業(yè)務(wù)處理帶帶來了很多多額外的復(fù)復(fù)雜性。并行服務(wù)
48、器器(Reaal Apppliccatioon Cllusteer)方式式在并行服務(wù)務(wù)器方式下下,兩臺(或多臺)服務(wù)器上上各自運行行一個數(shù)據(jù)據(jù)庫核心進進程,但共共同管理、操作一個個數(shù)據(jù)庫。客戶端無無論連接到到哪個服務(wù)務(wù)器都可以以在數(shù)據(jù)庫庫中進行操操作。當服服務(wù)器A由于故障障失效時,數(shù)數(shù)據(jù)庫系統(tǒng)統(tǒng)本身并未未停止工作作,連接在在服務(wù)器BB上的客戶戶端還可以以繼續(xù)進行行正常工作作。同時,服服務(wù)器B上也不需需要再啟動動新的數(shù)據(jù)據(jù)庫服務(wù)器器進程,因因此也沒有有“切換時間間”。對于一些特特殊應(yīng)用中中嚴格要求求前端應(yīng)用用不能中斷斷的情況,Oracle并行服務(wù)器還提供了一種“預(yù)連接(pre-connect)”
49、方式,以這種方式連接的客戶端當服務(wù)器端發(fā)生故障時,客戶端與數(shù)據(jù)庫服務(wù)器的連接不會中斷,會被Oracle并行服務(wù)器軟件自動轉(zhuǎn)接到還在正常工作的其它服務(wù)器上,不需要重新輸入用戶名及口令。與雙機熱備備份方式相相比,Orraclee10g RReal Appllicattion Clusster并并行服務(wù)器器方式有以以下優(yōu)點:各服務(wù)器共共享一個數(shù)數(shù)據(jù)庫,在在正常運行行時可以進進行負載分分擔,無需需考慮應(yīng)用用數(shù)據(jù)的人人為分割;并行服務(wù)器器方式對應(yīng)應(yīng)用完全透透明,在應(yīng)應(yīng)用程序設(shè)設(shè)計和開發(fā)發(fā)的過程中中也不需要要進行特殊殊編程,簡簡化了開發(fā)發(fā)的復(fù)雜程程度,同時時今后系統(tǒng)統(tǒng)擴展也無無需修改應(yīng)應(yīng)用程序;不需要重新
50、新啟動數(shù)據(jù)據(jù)庫核心進進程,縮短短了故障造造成的停機機時間??偨Y(jié)Oraclle RAAC實現(xiàn)了了高可用性性和可伸縮縮性。通過過預(yù)防硬件件和軟件故故障,Orraclee RACC提供了系系統(tǒng)高可用用性,保障障了持續(xù)的的數(shù)據(jù)訪問問。其橫向向和縱向伸伸縮特性提提供了一個個可在任何何方向上進進行擴展的的平臺,可可支持企業(yè)業(yè)業(yè)務(wù)增長長。Oraacle RAC提提供的透明明性讓現(xiàn)有有的應(yīng)用程程序和許多多新開發(fā)的的應(yīng)用程序序獲益匪淺淺。應(yīng)用程程序的開發(fā)發(fā)和管理及及更改管理理因此變得得更為簡單單,從而降降低了總體體擁有成本本。Oraacle真真正應(yīng)用集集群憑借其其功能和性性能成為市市場中獨一一無二的產(chǎn)產(chǎn)品。它在
51、在全球擁有有上千名用用戶,遍及及所有行業(yè)業(yè),涉及任任務(wù)關(guān)鍵和和許多其它它應(yīng)用環(huán)境境。部分官方技技術(shù)問答1為什么么說Oraacle Reall Appplicaationn Cluusterrs 100g 要遠遠遠超過它它的競爭對對手?最基本的不不同是,OOraclle Reeal AAppliicatiion CClustters 10g中中所有服務(wù)務(wù)器都可以以直接訪問問數(shù)據(jù)庫中中的所有數(shù)數(shù)據(jù),其他他的數(shù)據(jù)庫庫在開放系系統(tǒng)中都做做不到這點點,正是由由于這個原原因,您可可以非常方方便地根據(jù)據(jù)需求隨時時增加服務(wù)務(wù)器來擴充充您的系統(tǒng)統(tǒng),無需重重新分布數(shù)數(shù)據(jù)和應(yīng)用用。Reaal Apppliccati
52、oon Cllusteers像一一個單一的的系統(tǒng)一樣樣工作,任任何節(jié)點的的故障都不不會影響其其他節(jié)點對對數(shù)據(jù)的訪訪問。所以以說增加服服務(wù)器就增增加了系統(tǒng)統(tǒng)的可靠性性。另外一一點,對用用戶來說RRAC是一一個數(shù)據(jù)庫庫系統(tǒng),對對它的維護護管理如同同單機一樣樣簡單方便便。2Oraacle RAC的的典型硬件件配置是什什么樣的?首先我們知知道RACC選件支持持所有的OOraclle數(shù)據(jù)庫庫支持的平平臺,如:Winddows,Linuux,Solaaris,HP-UUX等等。所以無論論您選擇什什么樣的系系統(tǒng),RAAC都可以以非常好的的運行。如如果是系統(tǒng)統(tǒng)選型,那那要取決于于您的應(yīng)用用需求。我我們可以看看
53、到Winndowss和Linuux平臺都都是常用的的基于Inntel架架構(gòu)的平臺臺,RACC在這些平平臺都有很很好的表現(xiàn)現(xiàn),這意味味著您可以以以低成本本得到更高高的可用性性、可靠性性和伸縮性性。同時,RAC可以在任何價位上獲得良好的性能,您可以在HP SuperDomes、Sun boxes或Linux/Windows Intel服務(wù)器上非常方便地配置RAC。3SQLL Serrver和和IBM DB2都都有acttive-actiive的故故障切換方方式,為什什么我要采采用Oraacle Reall Appplicaationn Cluusterr 10gg?其他的數(shù)據(jù)據(jù)庫系統(tǒng)都都無法真正正的支持aactivve-acctivee方式的集集群系統(tǒng),即即集群的兩兩個節(jié)點可可以支持同同樣的應(yīng)用用。實際上上,他們只只能支持雙雙向的acctivee-p
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 場所機械租賃合同范例
- 2025水暖工程合同大全
- 教育機構(gòu)中介合同范例
- 2025合同結(jié)算流程(試行)
- 石材純安裝合同范例
- 2025飯店承包經(jīng)營合同
- 公司合作合同范例4篇
- 報關(guān)咨詢服務(wù)合同范例
- 銅陵職業(yè)技術(shù)學(xué)院《中學(xué)物理專題訓(xùn)練與研究》2023-2024學(xué)年第一學(xué)期期末試卷
- 完整版100以內(nèi)加減法混合運算4000道46
- 高考英語單項選擇題題庫題
- 檢驗檢測機構(gòu)資質(zhì)認定現(xiàn)場評審日程表及簽到表
- 完整版高低壓開關(guān)柜投標文件技術(shù)標
- 蘭州市行政區(qū)劃代碼表
- 鐵路貨場平面圖和縱斷面CAD(共3頁)
- 管鮑之交-歷史劇劇本(共4頁)
- [交流][jtag]跟我學(xué)jtag協(xié)議破解——第一彈初識jtagtap狀態(tài)機
- 尼康FM2說明書25頁
- You-are-My-Sunshine中英文歌詞
- 甲醇制氫裝置冷凝器(E0103)設(shè)計
- 學(xué)校德育活動安排表
評論
0/150
提交評論