AIX6.1操作系統(tǒng)部署方案設計和安裝配置指南(V1.1)_第1頁
AIX6.1操作系統(tǒng)部署方案設計和安裝配置指南(V1.1)_第2頁
AIX6.1操作系統(tǒng)部署方案設計和安裝配置指南(V1.1)_第3頁
AIX6.1操作系統(tǒng)部署方案設計和安裝配置指南(V1.1)_第4頁
AIX6.1操作系統(tǒng)部署方案設計和安裝配置指南(V1.1)_第5頁
已閱讀5頁,還剩48頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、aix6.1aix6.1 操作系統(tǒng)部署方案設計和安操作系統(tǒng)部署方案設計和安裝裝配置指南配置指南(v1.1v1.1)北京數(shù)據(jù)中心開放系統(tǒng)平臺管理部北京數(shù)據(jù)中心開放系統(tǒng)平臺管理部2010-3目目 錄錄1前言前言.51.1編寫目的.51.2預期讀者.52系統(tǒng)部署模式系統(tǒng)部署模式.62.1單機模式.62.2基于系統(tǒng)技術的 ha 方案;.62.2.1active-standby主備方式.72.2.2active-active 互備方式.72.2.3一備二模式.72.2.4循環(huán)備份模式.82.2.5concurrent并行處理模式.92.3基于軟件技術的cluster方案.92.4基于網(wǎng)絡硬件設備的負載均

2、衡方案.93應用部署建議應用部署建議.104系統(tǒng)設計考慮的因素系統(tǒng)設計考慮的因素.114.1用戶.114.2相關命名.114.3存儲/本地盤容量限制.114.4系統(tǒng)網(wǎng)絡.124.5參數(shù)設置.124.6軟件安裝.124.7空間規(guī)劃.134.8安全加固.134.9時鐘同步.145命名規(guī)范命名規(guī)范.155.1資源分配原則.155.1.1設備分檔.155.1.2資源調整.155.2機器及機柜的編號規(guī)則.155.2.1機柜的命名和編號規(guī)則.155.3分區(qū)使用規(guī)范.165.3.1分區(qū)的部署原則.165.3.2分區(qū)資源的分配原則.165.4主機命名原則.185.5用戶及用戶組命名.195.5.1目標.195

3、.5.2指導方針.195.5.3用戶組.205.5.4用戶.215.5.5用戶和組id的分配情況.225.6應用 vg、lv 和文件系統(tǒng).235.6.1應用vg.235.6.2應用lv的命名.245.6.3lv條帶化.255.6.4應用文件系統(tǒng)的使用規(guī)范.375.6.5patrol監(jiān)控使用的文件系統(tǒng).385.7軟件安裝路徑.255.7.1數(shù)據(jù)庫.255.7.2中間件.255.7.3應用系統(tǒng).255.8hacmp命名.265.8.1命名規(guī)則.265.8.2配置舉例.266aix 設計規(guī)范設計規(guī)范.286.1操作系統(tǒng)的內核.286.2軟件包安裝規(guī)范.286.2.1aix系統(tǒng)需要安裝的軟件包.286

4、.2.2字符集安裝要求.296.3系統(tǒng)補丁的安裝規(guī)范.296.3.1操作系統(tǒng).296.3.2adapter 微碼.306.4操作系統(tǒng)參數(shù)的設置.306.4.1基本操作參數(shù)系統(tǒng)環(huán)境.306.4.2vmm參數(shù).316.4.3io參數(shù).326.4.4網(wǎng)絡參數(shù).336.4.5security參數(shù).346.4.6hacmp相關參數(shù).346.5系統(tǒng)主要文件系統(tǒng)的使用方法.356.5.1/tmp .356.5.2/var.366.5.3/usr .366.5.4/ .366.5.5/home.366.5.6aix文件系統(tǒng)建議值.376.6系統(tǒng)轉儲空間和交換區(qū)的設置.386.6.1dump設置.386.6.2

5、pagingspace設置.386.7用戶權限設置.396.7.1用戶文件權限規(guī)范.396.7.2用戶資源限制.396.8口令使用規(guī)范.396.8.1口令設置規(guī)范.396.8.2口令保存規(guī)范.406.8.3用戶口令限制.406.8.4root用戶口令使用規(guī)范.416.9系統(tǒng)安全加固.416.9.1系統(tǒng)安全加固的原則.416.9.2aix系統(tǒng)安全加固.416.9.3 用戶path搜索路徑.416.10系統(tǒng)網(wǎng)絡設置規(guī)范.466.10.1ip地址申請.466.10.2網(wǎng)卡速率的設置.496.10.3網(wǎng)卡綁定的設置.496.10.4系統(tǒng)靜態(tài)路由的設置.496.10.5網(wǎng)絡端口的使用.506.11系統(tǒng)監(jiān)

6、控.506.12系統(tǒng)備份的相關規(guī)定.516.13nfs 的使用 .511前言前言1.1 編寫目的編寫目的為總結我中心開放系統(tǒng)建設的成果,加強開放系統(tǒng)平臺建設工作的規(guī)范化管理,我們梳理了開放系統(tǒng)平臺基礎設施設計的相關文檔,并進行了深化、細化,力求結合實際的設計、實施工作,對設計、實施起到規(guī)范、指導作用。本指南主要從一個設計者的角度進行闡述,相關章節(jié)也按此思路編寫。作為一個設計者,首先要了解產(chǎn)品可實現(xiàn)的部署模式,如何選擇部署模式,其次要考慮設計涉及到的因素,有針對性地做好 ibm 操作系統(tǒng)的設計等;在界線的劃分上,基礎產(chǎn)品只涉及本產(chǎn)品的設計,上層應用產(chǎn)品對基礎產(chǎn)品的需求放在應用產(chǎn)品中,例如,ora

7、cle 部署對 aix 的要求,放在oracle 設計指導中。在編寫過程中,特別關注可操作性,不僅僅是要求,而是提出建議,盡量覆蓋設計工作中涉及的工作要點。本指南中參數(shù)建議值是對系統(tǒng)設計時的指導,是合理的經(jīng)驗值,但由于應用系統(tǒng)的復雜性,每個系統(tǒng)有自己的特點,建議按建議值進行系統(tǒng)的初始配置,在壓力測試和系統(tǒng)上線后根據(jù)實際需要做相應的調整。1.2 預期讀者預期讀者項目基礎設施可行性研究、設計和實施人員,項目組應用系統(tǒng)設計人員,相關運行維護技術人員。2系統(tǒng)部署模式系統(tǒng)部署模式對于業(yè)務中斷時間要求高的系統(tǒng)和服務,應該提供高可用性保護。對于業(yè)務中斷時間要求不高的應用系統(tǒng),可以考慮采用單機或冷備機方式進行

8、部署。針對網(wǎng)絡的不同層次,我們提供了不同的高可用性保護方式。包括:1、基于系統(tǒng)技術的 ha 方案;2、基于軟件技術的 cluster 方案;3、基于網(wǎng)絡硬件設備的負載均衡方案;4、基于數(shù)據(jù)庫技術的并行處理模式2.1 單機模式單機模式對于業(yè)務中斷恢復時間要求比較低的非關鍵系統(tǒng),可以采用單機的部署模式,單機部署具有以下特點。優(yōu)點優(yōu)點1、 硬件成本低。單節(jié)點,硬件投入較低,滿足非重要系統(tǒng)的需求。2、 安裝配置簡單,管理維護成本低。缺點缺點1、 可用性不高,由于是單臺服務器,沒有備機,故障恢復時間較長。2、 擴展性差。2.2 基于系統(tǒng)技術的基于系統(tǒng)技術的 ha 方案;方案;ha 方案方案是服務器生產(chǎn)廠

9、商或第三方提供的,基于硬件設備的系統(tǒng)級軟件。它可以提供系統(tǒng)失效接管的自動解決方案,在系統(tǒng)失效后,自動將應用相關資源交由備份機接管,并可以自動恢復業(yè)務的運行。應用相關資源包括:網(wǎng)絡地址,應用代碼、存儲和業(yè)務數(shù)據(jù),進程及相關內存區(qū),相關服務。ha 解決方案的缺點是:技術復雜,需要一整套硬件設施來提供失效接管的冗余結構,包括服務器、網(wǎng)絡鏈路、存儲鏈路、存儲空間等,其開銷是比較大的,另外,維護成本也相應提高;ha 方案的優(yōu)點是:業(yè)務恢復的時間短,自動化程度高,不需要人工干預。此方案適合部署了數(shù)據(jù)庫軟件的服務器使用,對于單數(shù)據(jù)庫、多數(shù)據(jù)庫、并行數(shù)據(jù)庫都適用。部署方式主要有:2.2.1 active-st

10、andby 主備方式主備方式主備方式主備方式 一臺服務器為生產(chǎn)機,另一臺服務器為備份機,備機平時不提供任何服務。這種方式適用于服務器在故障切換后,要求備機處理能力不能下降的重要系統(tǒng)。對于采用 ha 方式的數(shù)據(jù)庫軟件代碼、中間件代碼、應用代碼要求部署在本地,數(shù)據(jù)部分部署在共享存儲上。2.2.2 active-active 互備方式互備方式一般由于服務器數(shù)量限制,但又有高可用保護需求的系統(tǒng),如只有兩臺服務器的系統(tǒng)一臺為 ap,一臺為 db 服務器。ap 與 db 服務器配置成互為備份,ap 服務器平時提供應用服務,db 平時提供數(shù)據(jù)庫服務,當任一臺服務器故障時,其上的服務會切換到另一臺健康的服務器

11、上,繼續(xù)對外提供服務。此時由于 ap、db 同時運行在一臺服務器上,服務器的處理能力會明顯下降。這種方式適用于服務器負載相對空閑的系統(tǒng)。部署時還要考慮切換后兩個服務使用一臺服務器的 cpu、內存資源,由于資源的減少,當 db 服務切換到 ap 服務器上,啟動數(shù)據(jù)庫時,需要減小 db 的 sga 區(qū)分配等操作(oracle) ,以滿足數(shù)據(jù)庫對資源的需求。2.2.3 一備二模式一備二模式 一備二模式類似于主備模式,只是備份服務器同時承擔兩臺生產(chǎn)機的備份工作,優(yōu)點是可以節(jié)省一臺備份服務器。如 a 為生產(chǎn)主機,b 為生產(chǎn)主機,c為備份機,c 機同時備份 a 機及 b 機??紤]數(shù)據(jù)存儲的安全,配置一備二

12、的系統(tǒng),a、b 兩臺生產(chǎn)機的存儲設備不需共享,即不識別對方的存儲設備。2.2.4 循環(huán)備份模式循環(huán)備份模式a-b-c 均為生產(chǎn)機,c 機備份 a 機,c 機備份 b 機,a 機又備份 c 機。這種方式適用于服務器資源緊張的非關鍵應用,又有高可用保護要求的系統(tǒng),缺點是只有一臺生產(chǎn)服務器發(fā)生故障時備機可以接管,當兩臺服務器同時發(fā)生故障時備機無法正常接管。注意:對于采用一備二或者循環(huán)備份方式的系統(tǒng)需要考慮兩個因素,一是實施要求,集群中的所有服務器需要部署在相同網(wǎng)段;二是維護要求,由于所有服務器均在同一個集群 cluster 中,如果其中的一臺主機進行配置變更需要 ha 同步配置時,整個集群中的服務器

13、都需要停下來同步 ha,因此最好是同一套應用系統(tǒng),且可以同時啟停的系統(tǒng)采用一備多的方式。2.2.5 concurrent 并行處理模式并行處理模式適用于 oracle 數(shù)據(jù)庫的 rac 方式等,詳細內容見 oracle 設計規(guī)范部分。2.3 基于軟件技術的基于軟件技術的 cluster 方案方案基于軟件技術的基于軟件技術的 cluster 方案方案,是利用中間件等應用平臺軟件本身具有的集群功能,將應用部署到多臺設備上,在某臺設備出現(xiàn)故障時,由其它正常的設備將出現(xiàn)故障的設備上的客戶訪問請求接管過來,繼續(xù)提供服務。 (如tuxedo、weblogic、websphere 的集群技術)cluster

14、 方案的缺點是:需要購買額外的 license;配置比較復雜,增加了管理難度;此方案的優(yōu)點是:不需要購置額外的網(wǎng)絡鏈路、存儲鏈路,也不需要額外的存儲空間,業(yè)務恢復的時間比較短,只有連接故障服務器的客戶需要重新登錄;此方案適合那些部署了帶有集群功能軟件的設備使用,主要適合應用層的中間件服務器使用。2.4 基于網(wǎng)絡硬件設備的負載均衡方案基于網(wǎng)絡硬件設備的負載均衡方案基于網(wǎng)絡硬件設備的負載均衡方案基于網(wǎng)絡硬件設備的負載均衡方案,是利用網(wǎng)絡負載均衡設備,根據(jù)一定的負載均衡算法,將客戶端訪問請求分配到若干臺服務器上,其中任何一臺服務器出現(xiàn)故障都不影響業(yè)務的正常運行。這種解決方案的優(yōu)點是:服務器上不需要配

15、置任何冗余部件,也不需要進行任何額外的軟件配置,控制簡單,服務器擴展平滑簡單。缺點是:只能對少數(shù)類型的服務提供負載均衡功能。此方案尤其適合 web 服務。3應用部署建議應用部署建議在三層架構中,居于中心位置的是業(yè)務數(shù)據(jù)。相對于業(yè)務代碼和 web 服務,業(yè)務數(shù)據(jù)的規(guī)模比較大,業(yè)務數(shù)據(jù)一旦丟失,整個業(yè)務都將陷于停頓,并且難以恢復。因此,應該重點保護業(yè)務數(shù)據(jù)。應用邏輯是重要性相對低一些的部分,恢復相對容易,所以在三層架構中是次要保護對象。重要性最低的是數(shù)據(jù)展現(xiàn)層,該層沒有自己獨立的數(shù)據(jù)和業(yè)務邏輯,完全被動地展現(xiàn)經(jīng)業(yè)務邏輯層過濾后的業(yè)務數(shù)據(jù),因此,它的恢復是最容易的,不需要花費太大的力量進行保護。根據(jù)

16、上述分析,結合三層應用架構的特點,我們建議:1、為數(shù)據(jù)庫服務器提供最高級別的可用性保護,也就是基于系統(tǒng)技術的ha 保護。如果業(yè)務明確提出,數(shù)據(jù)重要程度很低或易于恢復,業(yè)務對恢復時間的要求也不高,也可以不進行 ha 保護。2、應用層服務器進行基于軟件技術的 cluster 保護。因業(yè)務邏輯相對容易恢復,所以,我們建議選用 cluster 解決方案。3、針對最簡單的 web 層服務器,我們建議用網(wǎng)絡負載均衡設備實現(xiàn)服務的高可用性。4系統(tǒng)設計考慮的因素系統(tǒng)設計考慮的因素4.1 用戶用戶用戶分數(shù)據(jù)庫用戶、中間件用戶、應用用戶、應用監(jiān)控用戶、應用維護用戶等,不同的用戶劃分不同的權限及組,避免同一用戶擁有

17、不同角色的權限。原則上:1、 應用用戶不能屬于數(shù)據(jù)庫組也不能屬于中間件組2、 用戶的 rwx 權限限制,應用監(jiān)控用戶不能對應用程序及配置文件有寫和執(zhí)行權限3、 應用用戶不能有啟停數(shù)據(jù)庫的權限4、 規(guī)范用戶口令設置,登陸權限5、 合理設置用戶資源限制 limits4.2 相關命名相關命名統(tǒng)一命名規(guī)則,需要統(tǒng)一的命名的內容包括:機柜、主機、分區(qū)、操作系統(tǒng)、用戶、用戶組、id、文件系統(tǒng)、卷組、邏輯卷、目錄、集群 ha 等。4.3 存儲存儲/本地盤容量限制本地盤容量限制單個分區(qū)本地磁盤一般配置為 2 到 4 塊 146gb 的 scsi 硬盤,用于rootvg、軟件代碼安裝。外置存儲:1、 數(shù)據(jù)庫服務

18、器、數(shù)據(jù)加工處理類服務器、需要存儲空間很大的系統(tǒng)及有共享需求的系統(tǒng)可以連接外接存儲設備。2、 數(shù)據(jù)庫一般使用劃分為 raid10 的磁盤,文件系統(tǒng)一般使用劃分為raid5 的磁盤。3、 為了合理利用存儲及交換機資源,應用服務器、web 服務器、windows服務器一般不連接存儲設備。4.4 系統(tǒng)網(wǎng)絡系統(tǒng)網(wǎng)絡系統(tǒng)網(wǎng)絡設置:1、 對于沒有 ha 保護的服務器系統(tǒng),為了提高可用性,網(wǎng)卡配置為雙網(wǎng)卡綁定工作,模式為主備模式,兩塊網(wǎng)卡分別連接主備兩臺交換機。2、 網(wǎng)卡的速率設置需要與網(wǎng)絡部門共同確定,需要與交換機的端口設置保持一致,要求采用自適應模式(包括光口和電口) 。3、 網(wǎng)絡參數(shù),根據(jù)安裝的軟件需

19、求,進行合理的設置,以滿足應用部署需求。4.5 參數(shù)設置參數(shù)設置服務器參數(shù)設置首先滿足其上部署的數(shù)據(jù)庫或中間件對操作系統(tǒng)的參數(shù)設置要求,再根據(jù) ibm 的建議值進行設置。參數(shù)設置包括1、 pagingspace2、 vmm3、 網(wǎng)絡4、 io5、 操作系統(tǒng)位數(shù)6、 異步 io7、 時區(qū)(使用東八區(qū))8、 語言環(huán)境(中文環(huán)境)4.6 軟件安裝軟件安裝數(shù)據(jù)庫、中間件、應用等軟件的代碼安裝在本地磁盤的文件系統(tǒng)上,安裝目錄統(tǒng)一命名,并建立相應文件系統(tǒng),不能使用系統(tǒng)的文件系統(tǒng)作為軟件安裝目錄。例:數(shù)據(jù)庫軟件安裝在 /home/db/informix中間件安裝在/home/mw/weblogic應用軟件/

20、home/ap/ocrm4.7 空間規(guī)劃空間規(guī)劃1、 系統(tǒng)級文件系統(tǒng)大小設置2、 非系統(tǒng)級文件系統(tǒng)的空間大小根據(jù)實際需要進行設置,如/home/db/oracle 10gb/home/db/informix 5gb/home/mw/weblogic 2gb3、 存儲空間一般按滿足業(yè)務數(shù)據(jù)半年到一年的增長需求進行分配4.8 安全加固安全加固ibm aix 主機操作系統(tǒng)安全加固技術主要是通過對操作系統(tǒng)本身模塊和組件的增加,修改或裁剪等技術,屏蔽和消除操作系統(tǒng)自身缺陷和安全漏洞,確保操作系統(tǒng)安全穩(wěn)定運行,滿足業(yè)務系統(tǒng)穩(wěn)定、安全運行的要求。遵循以下原則:1、組件服務最少 最小的服務和組件。 區(qū)分服務器

21、的用途和角色,禁止安裝不必要的服務和組件。 服務內部組件也應采用上述原則進行裁減。2、最小賬戶 進行嚴格的賬戶管理,實施嚴格的賬戶策略。 嚴格控制增加、修改和刪除系統(tǒng)中的賬戶、群組。 刪除所有系統(tǒng)上不使用的賬戶和數(shù)據(jù)中心組。3、最小權限 盡可能的降低系統(tǒng)服務、群組和賬戶的權限。 對操作系統(tǒng)提供權限的授予進行嚴格限制。 禁止不必要的賬戶訪問不需要的資源。4、專用原則 盡量避免利用一臺主機實現(xiàn)多種服務的角色功能。 分區(qū)專用,隔離系統(tǒng)、應用和數(shù)據(jù)所在的分區(qū)。安裝 openssh 軟件,禁用 telnet 服務。定期檢查 ibm 發(fā)布的 security 補丁建議,補丁鏈接地址:http:/ 時鐘同步

22、時鐘同步時間保持一致非常重要,一是便于各個系統(tǒng)管理員的設置系統(tǒng)的時候有一個統(tǒng)一的時間標準;同時也是各個系統(tǒng),包括操作系統(tǒng)、數(shù)據(jù)庫、中間件、網(wǎng)絡、存儲等產(chǎn)生的日志有一個統(tǒng)一的時間戳,這樣便于分析日志之間的關系。對于有時鐘同步需求的系統(tǒng),配置成時鐘同步服務器的客戶端,與時鐘服務器進行時鐘同步。在沒有時鐘同步服務器的情況下可以采用系統(tǒng)內部服務器之間進行時間同步。5命名規(guī)范命名規(guī)范5.1 資源分配原則資源分配原則5.1.1 設備分檔設備分檔 設備分檔僅考慮小型機系統(tǒng); ibm 小型機分三檔:p595/590(p690) 、p570(p670) 、p550; 高端設備的配置不小于 16c32g,中端設備

23、的配置不大于 16c32g,低端設備的配置為 4c8g; 高端、中端設備進行分區(qū),分區(qū)數(shù)不多于 4 個,低端設備不分區(qū);5.1.2 資源調整資源調整 高端設備分區(qū)的初始配置為 8c16g 或是 16c32g,當資源不夠時,以 2c4g 為單位進行縱向調整; 中端設備分區(qū)的初始配置為 8c16g(試點階段)或 16c32g(推廣階段) ,當資源不夠時,以 1c2g 或是 2c4g 為單位進行縱向調整; 低端設備的配置為 4c8g,當資源不夠時,進行至中端設備的遷移或是進行橫向擴展。 橫向擴展的節(jié)點數(shù)不大于 4 個。 整體的 buffer 冗余量保持在 20%,當冗余量低于 10%時,考慮進行設備

24、擴容。5.2 機器及機柜的編號規(guī)則機器及機柜的編號規(guī)則5.2.1 機柜的命名和編號規(guī)則機柜的命名和編號規(guī)則原則上,機柜和機器從進入生產(chǎn)序列,直到退出生產(chǎn)序列,分配的編號始終不變。機柜規(guī)則機柜規(guī)則:區(qū)號(3 位)序列號(5 位) 區(qū)號規(guī)則如下:1、這里涉及的區(qū)號只包括一級分行以上的城市的編號某個城市的區(qū)號與該城市的電話區(qū)號相同;2、如果同一城市有多個建行機構,例如:總行機構、開發(fā)中心、一級分行,那么,以第一位區(qū)分。0:總行機構;a:開發(fā)中心;b:一級分行舉例:北京數(shù)據(jù)中心 5 樓 010 0 5079 5.3 分區(qū)使用規(guī)范分區(qū)使用規(guī)范5.3.1 分區(qū)的部署原則分區(qū)的部署原則需要進行分區(qū)的生產(chǎn)環(huán)境

25、設備共分為以下幾種 ibm 設備:高端 p690 590 中端 p670 570 高端服務器理論上是用來部署數(shù)據(jù)庫分區(qū)的,但必須預留出一定得資源用于以后的擴展;同時從資源的高利用率來考慮,還可以先在這類服務器上部署少量的不適用外置存儲的 ap 服務器,當不要時,可方便的將它們遷移出來。 中端服務器主要用于部署 ap 及少量的 db。5.3.2 分區(qū)資源的分配原則分區(qū)資源的分配原則cpu 資源分配原則(包括內存):1、為了統(tǒng)一管理 cpu 和內存等資源,每個分區(qū)最低將按照 4 到 8 個 cpu 進行配置供不同的應用使用,這樣配置將便于將來對資源的整合和調整;2、cpu 與內存在分區(qū)內將按照 1

26、:2 的原則進行部署,將對有特殊要求的應用項目根據(jù)實際需求確定;3、提供給每個應用系統(tǒng)的 cpu 和內存資源將按照分期部署的原則,根據(jù)業(yè)務發(fā)展的速度,逐步為應用系統(tǒng)提供充足的資源;關于服務器的 i/o 配置原則:4、生產(chǎn)服務器:2 到 4 塊內置硬盤,做鏡像;3 塊網(wǎng)卡(2 塊為生產(chǎn)用,1塊作為管理和備份使用) ;3 塊 fc hba 卡(2 塊連接 san 中的磁盤系統(tǒng),一塊連接磁帶庫系統(tǒng)) 。5.3.3 分區(qū)硬件資源的冗余劃分分區(qū)硬件資源的冗余劃分對于型號為 p570、p590、p595 的設備,需要劃分分區(qū)使用時,為了做到板卡冗余配置,如果硬板背板或總線出問題將會影響整個系統(tǒng)運行。為了避

27、免硬件的單點故障,建議遵循以下原則進行板卡劃分。1、rootvg 的兩塊鏡像磁盤,分布到不同背板的 i/o 插槽內2、連接存儲設備的兩塊 hba 卡,分布到不同背板的 i/o 插槽內3、網(wǎng)卡的主、備卡,分布到不同背板的 i/o 插槽內不同背板的 i/o 插槽,對于 p59x,背板 p1、p2 是指不同背板或者分布在上下 i/o 抽屜內;對于 p570 不同背板指的是不同的抽屜(滿配的 p570 有 4 個抽屜):p59xp59x 的的 p1p1、p2p2p570p570 背板分布圖(背板分布圖(4 4 個抽屜)個抽屜)背背板板1背背板板2背背板板3背背板板45.4 主機命名原則主機命名原則主機

28、名命名規(guī)則為: 行名編碼(2 位)+ 環(huán)境編號(1 位)+ 應用名編碼(3 位)+服務器用途碼(2 位)+序號(2 位) 說明:說明: 行名編碼為一級分行的企業(yè)網(wǎng)代碼,總行機構與一級分行在同一城市的,也使用該一級分行編碼。 只有總行使用的系統(tǒng)才使用該環(huán)境編號,如果是分行使用的系統(tǒng),則不使用環(huán)境編號。環(huán)境編號規(guī)則如下:生產(chǎn)環(huán)境編號:1災備環(huán)境編號:2測試環(huán)境編號:3開發(fā)環(huán)境編號:4 項目縮寫的長度為 3 位,全部是英文字符;公共資源類設備的主機名中前三位的規(guī)則與機柜編號中區(qū)號規(guī)則相同。 服務器用途標志長度為 2 位,全部是英文字符,詳細說明如下:db(database server):數(shù)據(jù)庫服務

29、器ap(application server):應用服務器wb(web server):web 服務器rp(report server):報表服務器op(operation server):監(jiān)控服務器ws(workstations):工作站 pr(printers):打印機 ts(terminal servers ):終端服務器dc(domain controllers ):域控制器mx(mail servers):郵件服務器ss(sms servers):sms 服務器 序號取值范圍從 01-99; 例:bj1ocrdb015.5 用戶及用戶組命名用戶及用戶組命名5.5.1 目標目標確保管理

30、員在定義用戶 id 的規(guī)則一致為用戶 id 密碼文件或存儲此類信息的文件的規(guī)則一致為將來提供全局用戶目錄服務提供基礎對不同應用用戶及不同項目組提供一致的用戶 id為 lv 提供一個有效的命名思路5.5.2 指導方針指導方針主機分配用戶的標準是:用戶的名字跟在姓氏的后面,例如張三= zhangsan。如果存在兩個名字相同的用戶需要為他們的登錄或管理任務創(chuàng)建用戶 id,應該在名字后面加一個數(shù)字,例如 zhangsan2。雖然這里使用了大寫字母,但用戶名稱應該只使用小寫字母。用戶 id 不能超過 10 個字母和數(shù)字。應該為所有服務器都創(chuàng)建一個具有備份權限的特殊用戶,該用戶的唯一權限是執(zhí)行軟件備份。其

31、用戶名應該為“xxxxxx” (填入一個名字) 。該名稱不應該是組織中的任何用戶,名字的命名要與該用戶的工作相關。5.5.3用戶組用戶組為了保證系統(tǒng)操作的安全性,用戶的建立和權限授予應該遵循以下原則:1、 “權限最小化”的原則。2、每個運維人員“建立一個組 id”的原則。除操作系統(tǒng)缺省的用戶組外,還應根據(jù)應用系統(tǒng)需要,建立不同的用戶組,確保訪問的安全性。主要有以下幾種用戶組:用戶組用戶組權限權限數(shù)據(jù)庫系統(tǒng)管理員組該組用戶擁有數(shù)據(jù)庫實例的所有權限。要求在建立時,每個數(shù)據(jù)庫實例建立一個數(shù)據(jù)庫系統(tǒng)管理員組。應用數(shù)據(jù)庫管理員組該組用戶具有數(shù)據(jù)庫的 dbadm 權限。要求在建立時,每個應用系統(tǒng)數(shù)據(jù)庫建立

32、一個應用數(shù)據(jù)庫管理員組,對于同一應用系統(tǒng)的數(shù)據(jù)庫可以建立一個應用數(shù)據(jù)庫管理員組。中間件用戶組該組用戶是生產(chǎn)用戶,具有中間件的管理權限。要求在建立時,每個產(chǎn)品一個中間件用戶組。應用系統(tǒng)用戶組該組用戶是生產(chǎn)用戶,具有應用系統(tǒng)用戶的管理權限。要求每個應用系統(tǒng)建立一個應用系統(tǒng)用戶組。維護管理用戶組該組用戶是管理用戶,完成對數(shù)據(jù)庫、中間件和應用系統(tǒng)的監(jiān)控維護管理。要求每臺服務器建立一個維護管理用戶組。監(jiān)控用戶組在實際實施過程中,根據(jù)上表的指導,再結合應用系統(tǒng)及應用系統(tǒng)選擇的數(shù)據(jù)庫和中間件的要求,完成最終的用戶組的建立。這些用戶組的命名規(guī)則如下:用戶組用戶組組名稱組名稱備注備注數(shù)據(jù)庫系統(tǒng)管理員組infor

33、mix、dba中間件用戶組mqm、mqbrkrs、tuxedo、weblogic、websphere應用管理/維護用戶組xxxmtnxxx 是三位的應用縮寫,縮寫的規(guī)則見 2.6.1監(jiān)控用戶組xxxmonxxx 是三位的應用縮寫5.5.4 用戶用戶ps1 用戶登錄提示符設置用戶登錄提示符設置vi /etc/profile 文件,增加下面一行:ps1=whoamihostname:$pwd設置后,登陸時提示符會顯示如:數(shù)據(jù)庫軟件屬主數(shù)據(jù)庫軟件屬主用戶名:采用數(shù)據(jù)庫英文名稱,例如:informix路徑: /home/db/數(shù)據(jù)庫英文名稱,例如:/home/db/info

34、rmix用戶 id: 數(shù)據(jù)庫的用戶 id 從 300 開始分配,如 informix 用戶組 id 為 300,informix 用戶的 id 為 301,以下依次類推。具體數(shù)據(jù)庫用戶及其文件系統(tǒng)情況見后續(xù)章節(jié)。中間件用戶中間件用戶用戶名:中間件名稱,例如:websphere 、weblogic路徑:/home/mw /中間件名稱,例如:/home/mw/websphere用戶 id:中間件的用戶 id 從 400 開始分配,如 websphere 用戶組 id 為 400,websphere 用戶的 id 為 401,mqm 用戶組 id 為 410,mqm 用戶的 id 為

35、411,以下依次類推。應用系統(tǒng)用戶應用系統(tǒng)用戶用戶名:應用系統(tǒng)英文簡稱,例如:bdb路徑:/home/ap/應用系統(tǒng)英文簡稱,例如:/home/ap/bdb用戶 id:應用系統(tǒng)的用戶 id 從 500 開始分配,其它應用類似。用戶名稱用戶名稱用戶角色用戶角色文件權限文件權限組組xxx應用管理用戶(屬主) rwx管理組(xxx 是應用英文簡稱,見2.2.5)xxxmtn應用維護用戶rw管理組xxxmon應用監(jiān)控用戶r監(jiān)控組監(jiān)控用戶監(jiān)控用戶、1、監(jiān)控用戶用戶名:sfmon、路徑:/home/ap/sfmon、用戶 id:監(jiān)控用戶 id 從 901 開始分配,組 id 從

36、 900 開始分配。2、patrol 監(jiān)控用戶、用戶名:patrol、路徑:/home/ap/patrol (為用戶建立單獨的文件系統(tǒng)) 、用戶 id:監(jiān)控用戶 id 從 911 開始分配,組 id 從 910 開始分配。5.5.5 用戶和組用戶和組 id 的分配情況的分配情況數(shù)據(jù)庫用戶 informix 數(shù)據(jù)庫其他用戶:在 302-309 之間 oracle 數(shù)據(jù)庫其他用戶:在 312-319 之間 db2 其他用戶:在 323-329 之間中間件用戶 websphere 其他用戶:在 402-409 之間 mqm 其他用戶:在 412-419 之間 tuxedo 其他用戶:在 422-42

37、9 之間 weblogic 其他用戶:在 432-439 之間mqbrkrs 其他用戶:在 442-449 之間監(jiān)控用戶:監(jiān)控用戶的名稱為 patrol,用戶 id 為 911,組名稱為 patrol,組 id 為 910。各項目組應用用戶的分配情況見用戶 id 分配表。系統(tǒng)環(huán)境中,用戶和組 id 分配情況見用戶 id 分配表 。5.6應用應用 vg、lv 和文件系統(tǒng)和文件系統(tǒng)5.6.1 應用應用 vg應用應用 vg 命名命名不同項目的 vg 名稱必須不同同一項目內不同應用的 vg 也必須不同 vg 命名格式三位項目縮寫+vg+2 位數(shù)字,對于磁盤數(shù)量多的系統(tǒng)參見

38、應用 vg 的劃分各項目三位縮寫參見 2.2.6 的表格。兩位數(shù)字編號從 01 開始,編號 00 為根卷組保留,這個編號通常在邏輯卷命名時使用。例如:eaivg01同一項目內的卷組統(tǒng)一編號。使用 mkvg 命令創(chuàng)建卷組時,請使用 the -b-b or -s-s flag 參數(shù)以突破每個卷組255 logical volumes and 32 physical volumes (disks)的限制。卷組物理分區(qū)大小的規(guī)定卷組物理分區(qū)大小的規(guī)定根卷組的 pp 大小為:aix 系統(tǒng),physical partition size(pp)設置為256m。為避免空間的浪費,也為避免 pp

39、 太多造成管理難度加大,所以應用卷組的 pp大小不應太大或太小,以 128m/pp 或 256m/pp 為宜。應用應用 vg 的劃分的劃分對于大型數(shù)據(jù)庫系統(tǒng),為數(shù)據(jù)庫劃分卷組時,盡量將數(shù)據(jù)按不同的功能區(qū)分卷組,以便于管理。這些卷組依據(jù)下列規(guī)定單獨命名,可以遵從以下的規(guī)則:xxxyy(nn) (p)tttvgmmxxx 是項目縮寫yy 代表數(shù)據(jù)庫用途,詳見數(shù)據(jù)庫規(guī)范數(shù)據(jù)庫命名部分的規(guī)定。nn 代表數(shù)據(jù)庫編號,詳見數(shù)據(jù)庫規(guī)范數(shù)據(jù)庫命名部分的規(guī)定。p 代表數(shù)據(jù)是分區(qū)數(shù)據(jù)或不分區(qū)數(shù)據(jù),如果數(shù)據(jù)庫沒有分區(qū)表,該標志可以不設置;p 代表分區(qū)數(shù)據(jù)或索引;ttt 代表數(shù)據(jù)類型dat 代表數(shù)據(jù);i

40、dx 代表索引;sys 代表數(shù)據(jù)庫系統(tǒng)用數(shù)據(jù);mm 代表同類卷組的編號;例如:oracle 數(shù)據(jù)庫劃分卷組時可以分為:ecipdsysvg01 數(shù)據(jù)庫系統(tǒng)表空間使用卷組ecipddatvg01 應用分區(qū)數(shù)據(jù)表空間ecipdidxvg01 用戶非分區(qū)索引表空間5.6.2 應用應用 lv 的命名的命名 lv 命名目標:通過特定的 lv 名字知道此 lv 在哪個 vg 上通過特定的 lv 名字知道此 lv 的用途若此 lv 為文件系統(tǒng),則通過 lv 名字可知道此 lv 的 mount 點 lv 的均給予以下格式命名:xv0ylzx,代表卷組名字中字母 vg 之前的部分,例如 ecipddatvg01

41、,x 就應該是ecipdat;y 為一位,與 0 一起標識 vg, 如 v00 表示系統(tǒng) vg,v01 表示第一個應用 vg 等等。z 為 45 位數(shù)字(與用戶 id 有關) ,00-09 為文件系統(tǒng),其余為其他設備。z 與特定用戶(組)的 id 相關;如和 informix 相關的 lv 編號從 3000-3099,其中 300-309 為 informix 用戶范圍;3000-3009 為此數(shù)據(jù)庫需要用到的文件系統(tǒng),裸設備的 lv 編號從 3010 開始。5.6.3 lv 條帶化條帶化為了提高磁盤 i/o 性能,數(shù)據(jù)庫裸設備 lv 需要做條帶化。條帶寬度一般不超過 4 塊磁盤。存儲系統(tǒng)上創(chuàng)

42、建的文件系統(tǒng)使用的 lv,原則上應該做條帶化。文件系統(tǒng)使用的邏輯卷的條帶寬度以不超過 3 塊磁盤比較合適,將來擴展時也比較方便。1、對于日立存儲設備 hds,條帶大小設置 1mb。2、對于 emc 存儲設備,條帶大小設置 512kb。5.7 軟件安裝路徑軟件安裝路徑不管是數(shù)據(jù)庫、中間件還是應用軟件,建議建立單獨的文件系統(tǒng),且文件系統(tǒng)的 mount 點不要直接建立在根目錄下,且不能直接建文件系統(tǒng)/xxx,應該建在/home/ap/xxx 文件系統(tǒng)。5.7.1數(shù)據(jù)庫數(shù)據(jù)庫路徑: /home/db/數(shù)據(jù)庫英文名稱,例如:/home/db/informix。若安裝文件不能定制安裝路徑,實例配置信息應存

43、放于上述目錄。5.7.2 中間件中間件路徑:/home/mw/中間件英文名稱,例如:/home/mw/websphere。若安裝文件不能定制安裝路徑,實例配置信息應存放于上述目錄。5.7.3 應用系統(tǒng)應用系統(tǒng)路徑:/home/ap/應用系統(tǒng)英文簡稱,例如:/home/ap/bdb 等。5.8 hacmp 命名命名5.8.1 命名規(guī)則命名規(guī)則集群名集群名:xxxyyzz 其中 xxx 代表項目名縮寫,yy 代表功能,cl 代表 cluster ,例如 ocrdbcl節(jié)點名節(jié)點名:與主機名一致網(wǎng)絡網(wǎng)絡:ip 網(wǎng)絡 etherx x=1-9,串口網(wǎng)絡 rsx x=1-9ipip labellabel

44、:label xxx+yy+1 位編號+用途,xxx 代表項目縮寫,yy 代表功能,編號 1-9,用途有 boot、svc、stb、tty資源組資源組:xxx+yy+1 位編號+res;xxx 代表項目縮寫,yy 代表功能,編號 1-9應用服務應用服務:xxx+yy+1 位編號+app;xxx 代表項目縮寫,yy 代表功能,編號 1-9啟停腳本路徑及命名啟停腳本路徑及命名:1、 在根目錄下創(chuàng)建 /hacmp 目錄,用于存放啟停腳本2、 啟動腳本,xxx+yy+zzz+1 位數(shù)字+start.sh 例如 ocrdbapp1start.sh3、 停止腳本 xxx+yy+zzz+1 位數(shù)字+stop

45、.sh 例如 ocrdbapp1stop.sh4、 啟停腳本的權限設置為 rw-r-r5.8.2 配置舉例配置舉例拓撲配置clustercluster namenameocrdbclocrdbclnode namebj1ocrdb01bj1ocrdb02ip labelocrdb1bootocrdb1svcocrdb1stbocrdb1ttyocrdb2bootocrdb2svcocrdb2stbocrdb2ttynetwork typeethernetethernetethernetrs232ethernetethernetethernetrs232network attributepubl

46、icpublicpublicserialpublicpublicpublicserialnetwork nameether1ether1ether1rs1ether1ether1ether1rs1ip addressadp. id-/dev/tty0-/dev/tty0adp. func.bootservicestdbyservicebootservicestdbyservice資源組劃分res.res. grp.grp. namenamenodenode rel.rel.part.part. nodenode namenameocrdb1rescascadingbj1ocrdb01,bj1o

47、crdb02ocrdb2rescascadingbj1ocrdb02,bj1ocrdb01建立 app 應用服務器appapp namenamestartstart scriptscriptstopstop scriptscriptocrdb1app/hacmp/ocrdb1appstart.sh/hacmp/ocrdb1appstop.shocrdb2app/hacmp/ocrdb2appstart.sh/hacmp/ocrdb2appstop.sh配置資源組res.res. grp.grp. namenameserviceservice ipipfilesystemsfilesystems

48、volumevolume groupgroupapplicationapplication serversserversocrdb1resocrdb1svcocrvg01ocrdb1appccrdb2resocrdb2svcocrvg02ocrdb2app6aix 設計規(guī)范設計規(guī)范6.1 操作系統(tǒng)的內核操作系統(tǒng)的內核aix 系統(tǒng)應使用 64 位的內核及 smt 功能。1、 硬件平臺為 64 位,且應用沒有特殊要求的情況下安裝 64 位操作系統(tǒng);2、 硬件平臺為 32 位,或應用需要 32 位平臺的情況下,安裝 32 位操作系統(tǒng);6.2 軟件包安裝規(guī)范軟件包安裝規(guī)范6.2.1 aix 系統(tǒng)需要安

49、裝的軟件包系統(tǒng)需要安裝的軟件包1、需要安裝的 bundles 軟件包包括:app-devcdegraphicsserverperftools2、安裝的其它軟件包:安裝完上述 bundle 之后,請核對下列軟件包是否存在,如果不存在,請安裝。需要核對的軟件包包括:patbos.datax11.adtx.tcp.serverbos.rte.srcbos.rte.libcbos.rte.libcfgbos.rte.libcurbos.rte.libpthreadsbos.rte.odm 如果您要安裝并行的資源組,還要安裝下面的包:cluster.es.clvm.rtebos.clvm.enh.6.2

50、.2 字符集安裝要求字符集安裝要求字符集系統(tǒng)的 primary language 語言環(huán)境設置采用默認的 en_us,除了英文環(huán)境還要安裝中文環(huán)境,add additional language environments,需要安裝中文環(huán)境包括:ibm-euccn chinese (simplified euc) zh_cnutf-8 chinese (simplified utf) zh_cngb18030 s-chinese (gb18030) zh_cn6.3 系統(tǒng)補丁的安裝規(guī)范系統(tǒng)補丁的安裝規(guī)范6.3.1 操作系統(tǒng)操作系統(tǒng)需要安裝的補丁包括:補丁包,補丁包中不包含的其它系統(tǒng)軟件的補丁,補

51、丁包中不包含的其它已知 bug 的緊急補丁。1、補丁包每個新上線項目安裝補丁包時,應該安裝次新的 tl 版本,最新的 sp。2、其它補丁其它系統(tǒng)軟件的補丁包括:rsct 的最新補丁。hacmp 的最新補丁。3、緊急補丁ibm 通知的、或已經(jīng)在生產(chǎn)環(huán)境中碰到的 bug 的補丁,在安裝的 csp 補丁包中不包含的緊急補丁。補丁升級策略詳見aix 操作系統(tǒng)版本升級策略.doc6.3.2 adapter 微碼微碼為了更好的與存儲設備兼容,對于光纖卡,微碼使用最新原則,參見 ibm 網(wǎng)站上發(fā)布的最新補丁根據(jù)光纖卡的 feature code 和 part number 確定光纖卡型號??梢杂妹?lsc

52、fg vl fcsx 查到,z9 field will have the firmware level?;?lsmcodelsmcode -d-d fcsxfcsx鏈接地址:http:/ 操作系統(tǒng)參數(shù)的設置操作系統(tǒng)參數(shù)的設置以下參數(shù)是針對操作系統(tǒng) aix6.1 進行的設置。在應用沒有特殊要求的情況下,操作系統(tǒng)參數(shù)按照下面的規(guī)定進行設置,表中的參數(shù)值為通用值,對 ap和 bd 均適用。在需要按裝某種特定軟件(例如,oracle、informix、was、tuxedo、weblogic 等)的情況下,操作系統(tǒng)參數(shù)的設置應該根據(jù)這些軟件或應用的實際要求進行設置。6.4.1 基本操作參數(shù)系統(tǒng)環(huán)境基本操

53、作參數(shù)系統(tǒng)環(huán)境序號序號參數(shù)參數(shù)參數(shù)名稱參數(shù)名稱defaultdefault建議值建議值調整原則及注釋調整原則及注釋1用戶最大進程數(shù)maxuproc1288192+如果應用實際需要啟動的進程數(shù)大于這個值,根據(jù)實際需求數(shù)調整。2系統(tǒng)資源限制情況ulimit/etc/security/limits 文件設置: fsize = 2097151 core = 2097151 cpu = -1 data = 262144 rss = 65536 stack = 65536 nofiles = 2000對數(shù)據(jù)庫及應用用戶無限制,設置為 -1;對其它維護用戶、監(jiān)控用戶等非關鍵用戶采用默認值。1,如果限制 da

54、ta, rss, stack 的大小,有可能使應用因為內存資源不足而意外中止。2,如果限制fsize,nofiles ,有可能因為文件大小的受限制或者打開多于限制之上的文件數(shù)量而導致應用失?。?,設置成無限制后,當應用程序異常,打開大量的文件時,沒有限制打開的文件數(shù),直到消耗所有系統(tǒng)資源。3交換空間paging space系統(tǒng)默認配置和內存大小相關根據(jù)內存需求和使用率設置合理的 paging space 值;1、內存配置在 16g 以下:與內存大小一致;2、內存配置在 16g 以上,交換區(qū)初始大小設置為 16g,以后根據(jù)實際使用情況進行調整;設置合理的paging space 值以防內存耗盡而

55、導致系統(tǒng) hung 4dump 設備dump device和內存大小相關運行/usr/lib/ras/dumpcheck p 來檢查并設置合理的 dump lv 的大小一旦系統(tǒng)崩潰,可以得到完整的 dump 數(shù)據(jù)5總是允許系統(tǒng)轉儲的選項always allow dump關閉開啟總是允許系統(tǒng)轉儲的選項:# sysdumpdev -k開啟該選項后,在系統(tǒng)未異常宕機但是處于 hang機狀態(tài)的情況下,可以通過一些特殊的外部干預方式產(chǎn)生轉儲數(shù)據(jù),以幫助分析 hang 機的原因。6.4.2 vmm 參數(shù)參數(shù)序號序號參數(shù)參數(shù)參數(shù)名稱參數(shù)名稱defaultdefault建議值建議值調整原則及注釋調整原則及注釋

56、1空閑列表中可接受的實際內存頁面幀的最小數(shù)量maxfree108810882空閑列表中可接受的實際內存頁面幀的最大數(shù)量minfree960960不正確的配置會引起 vmm換頁問題;1.maxfree=minfree + (#cpus x maxpgahead) / memory pool;2.minfree=max(960, #cpu x120) /memory pool3.memory pool 確定 vmstat -v|grep memory pool4.maxpgahead 確定 ioo a|grep head3用于緩存非maxperm%90%90%1.可以消除因高文件頁面計算性分頁的最

57、大內存量用于緩存非計算性分頁的最小內存量minperm%3%3% 用于緩存非計算性客戶端分頁的最大內存量的限制maxclient%90%90%lru 算法lru_file_repage00訪問率而導致的計算內存被換頁;2.minperm%值,如果數(shù)據(jù)庫服務器為單純的db,沒有其它應用或文件類操作,可以設置更小值如:5%rbroffonmount filesystem with the release-behind-when-reading capability. when sequential reading of a file in this filesystem is detected,

58、the real memory pages used by the file will be released once the pages are copied to internal buffers. set this option when backup a filesystem to other device, e.g: tape avoid running out of working memory4日志類一次性讀寫類文件系統(tǒng) mount 參數(shù)rwboffonmount filesystem with the release-behind-when-writing capabilit

59、y. when sequential writing of a file in this filesystem is detected, the real memory pages used by the file will be released once the pages written to disk. set this option when a filesystem is used for data backupavoid running out of working memory.6.4.3 io 參數(shù)參數(shù)序號序號參數(shù)參數(shù)參數(shù)名稱參數(shù)名稱defaultdefault建議值建議值調

60、整原則及注釋調整原則及注釋1異步 ioaioononrequired by databasecio onon2文件系統(tǒng)mountfsfastpath11對于基于文件系統(tǒng)創(chuàng)建的數(shù)據(jù)庫,建議用 cio 來mount,以提高性能。同時enable fsfastpath ,命令是:aioo -o fsfastpath=16.4.4 網(wǎng)絡參數(shù)網(wǎng)絡參數(shù)序號序號參數(shù)參數(shù)參數(shù)名稱參數(shù)名稱defaultdefault建議值建議值調整原則及注釋調整原則及注釋1clean_partial_connsclean_partial_conns01clean_partial_conns 用途:啟動 clean_partia

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論