版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、 紅旗廠存儲(chǔ)解決方案 - 1 - 紅旗廠紅旗廠 存儲(chǔ)及容災(zāi)方案建議書存儲(chǔ)及容災(zāi)方案建議書 美國美國 emcemc 公司公司 2007 年 2 月 紅旗廠存儲(chǔ)解決方案 - 2 - 目目 錄錄 第一章第一章綜述綜述.- 3 - 1.1前言 .- 3 - 1.2先進(jìn)的體系結(jié)構(gòu),卓越的系統(tǒng)性能 .- 4 - 1.3突出的高性能 .- 4 - 1.4完美的互操作性 .- 4 - 1.5高可靠性與安全性 .- 5 - 1.6完整的管理方案 .- 5 - 第二章第二章方案設(shè)計(jì)原則方案設(shè)計(jì)原則.- 7 - 2.1數(shù)據(jù)的安全性和系統(tǒng)的高可靠性 .- 7 - 2.2系統(tǒng)的高性能 .- 7 - 2.3系統(tǒng)的可擴(kuò)展性
2、/可擴(kuò)充性 .- 7 - 2.4系統(tǒng)的多平臺(tái)支持能力 .- 7 - 2.5靈活性和系統(tǒng)管理的簡單性 .- 8 - 2.6數(shù)據(jù)共享要求 .- 8 - 第三章第三章網(wǎng)絡(luò)存儲(chǔ)技術(shù)介紹網(wǎng)絡(luò)存儲(chǔ)技術(shù)介紹.- 9 - 3.1san 技術(shù)發(fā)展分析 .- 9 - 3.2nas 技術(shù)發(fā)展分析 .- 11 - 3.3存儲(chǔ)整合的必要性 .- 12 - 3.4san+nas 集成優(yōu)勢.- 13 - 3.5iscsi 技術(shù)發(fā)展分析.- 14 - 第四章第四章存儲(chǔ)系統(tǒng)詳細(xì)設(shè)計(jì)方案存儲(chǔ)系統(tǒng)詳細(xì)設(shè)計(jì)方案.- 16 - 4.1用戶需求分析 .- 16 - 4.2系統(tǒng)設(shè)計(jì)方案 .- 16 - 4.3方案技術(shù)特點(diǎn) .- 18 -
3、4.4網(wǎng)絡(luò)存儲(chǔ)解決方案優(yōu)勢 .- 21 - cx3為客戶提供的優(yōu)于競爭對手的五大技術(shù)優(yōu)勢.- 21 - cx3為客戶提供的優(yōu)于競爭對手的的五大價(jià)值優(yōu)勢.- 21 - celerra ns350 主要技術(shù)特點(diǎn)優(yōu)勢.- 22 - 4.5emc 方案優(yōu)勢特點(diǎn)總結(jié).- 23 - 第五章第五章emc 產(chǎn)品介紹產(chǎn)品介紹.- 25 - 5.1emc cx-3 產(chǎn)品簡介.- 25 - 5.2emc clariion cx3 機(jī)型 40 網(wǎng)絡(luò)存儲(chǔ)系統(tǒng) - 中端巨無霸.- 27 - 5.3emc cx 軟件系統(tǒng)特性 .- 28 - 5.4emc powerpath 軟件簡介.- 32 - 5.5ns350 網(wǎng)絡(luò)存
4、儲(chǔ)系統(tǒng)介紹.- 33 - 第六章第六章emc cx 系列產(chǎn)品的部分成功案例系列產(chǎn)品的部分成功案例.- 39 - 5.1emc 成功案例-公安部金盾工程 .- 39 - 5.2上海財(cái)稅同城容災(zāi)項(xiàng)目emc mirrorview.- 43 - 5.3黑龍江電力-災(zāi)難備份案例.- 44 - 5.4emc 成功案例-新華社信息中心選用 emc 構(gòu)建核心信息存儲(chǔ)平臺(tái).- 45 - 第七章第七章emc 公司介紹公司介紹.- 47 - 紅旗廠存儲(chǔ)解決方案 - 3 - 綜述綜述 1.11.1前言前言 emcemc 公司非常榮幸能參與本次的項(xiàng)目建議!公司非常榮幸能參與本次的項(xiàng)目建議! 作為全球最大的專業(yè)存儲(chǔ)產(chǎn)品及
5、解決方案供應(yīng)商,emc 為全球金融、電力、電信、政府、教育等 重要用戶提供一流的存儲(chǔ)產(chǎn)品、技術(shù)和服務(wù),并在各種應(yīng)用領(lǐng)域有著領(lǐng)先的技術(shù)以及多年的實(shí)施經(jīng)驗(yàn)。 在本方案建議書中,emc 公司推薦了一套先進(jìn)的存儲(chǔ)系統(tǒng)方案,并充分考慮了系統(tǒng)的實(shí)用性、高可用 性、安全性、可管理性以及靈活擴(kuò)展能力。emc 希望以自己服務(wù)于全球各大企業(yè)的經(jīng)驗(yàn)和技術(shù),尤其 在 it 信息系統(tǒng)架構(gòu)設(shè)計(jì)和整合以及容災(zāi)系統(tǒng)等建設(shè)上積累的豐富經(jīng)驗(yàn),為此次存儲(chǔ)系統(tǒng)建設(shè)做出貢 獻(xiàn)。 “統(tǒng)一規(guī)劃、統(tǒng)一管理”是貫徹在本次建設(shè)項(xiàng)目始終的指導(dǎo)思想。emc 認(rèn)為,作為最重要的 it 基礎(chǔ)的存儲(chǔ)平臺(tái),應(yīng)當(dāng)能夠全面實(shí)現(xiàn)這一指導(dǎo)思想。而且不僅僅是在項(xiàng)目建
6、設(shè)實(shí)施階段,還應(yīng)該覆蓋 在系統(tǒng)運(yùn)行、維護(hù)、升級擴(kuò)展等整個(gè)生命階段。一個(gè)好的 it 架構(gòu),必定是一個(gè)層次清晰,模塊嚴(yán)謹(jǐn) 的結(jié)構(gòu)。作為 it 基礎(chǔ)設(shè)施中最重要的存儲(chǔ)平臺(tái),emc 的方案具有良好的模塊化特性;具有十分出色 的連接和支持能力。emc 提供的存儲(chǔ)基礎(chǔ)平臺(tái)具有豐富的功能特點(diǎn),不但能夠滿足本次項(xiàng)目建設(shè)的各 項(xiàng)要求,還為未來的發(fā)展打下良好的基礎(chǔ)。 業(yè)務(wù)的發(fā)展將越來越多地把更多的數(shù)據(jù)和管理應(yīng)用整合在統(tǒng)一的物理平臺(tái)上。emc 的方案正符合 這樣的趨勢:支持存儲(chǔ)網(wǎng)絡(luò)技術(shù),可使得整個(gè)存儲(chǔ)基礎(chǔ)設(shè)施具有很好的擴(kuò)展能力 - 隨著業(yè)務(wù)的發(fā)展, 可以通過擴(kuò)展網(wǎng)絡(luò)支持更多的服務(wù)器、通過擴(kuò)展存儲(chǔ)可以提供更多的存儲(chǔ)空
7、間以及 i/o 處理能力。 要支持大規(guī)模信息的集中訪問,存儲(chǔ)基礎(chǔ)平臺(tái)還必須具有足夠的處理能力;在 it 系統(tǒng)當(dāng)中, i/o 性能往往會(huì)成為整個(gè)系統(tǒng)的性能瓶頸;而 emc 采用的領(lǐng)先技術(shù)使得存儲(chǔ)系統(tǒng)能夠完全消除這種瓶 頸,支持大規(guī)模的數(shù)據(jù)集中訪問。 首先,emc 的智能存儲(chǔ)設(shè)備當(dāng)中具有強(qiáng)大的處理能力,在 emc 推薦的存儲(chǔ)設(shè)備當(dāng)中,配置強(qiáng)大處 理能力的 cpu。而在這些 cpu 上運(yùn)行的,是經(jīng)過多年充分優(yōu)化的 cache 資源管理軟件,這一軟件實(shí)現(xiàn) 的復(fù)雜的 cache 算法使得在用戶的實(shí)際應(yīng)用環(huán)境下,100%的寫操作和 70%左右的讀操作均通過 cache 完成,從而大幅提高應(yīng)用軟件性能。em
8、c 推薦的存儲(chǔ)設(shè)備采用的 cpu 是目前存儲(chǔ)工業(yè)中處理能力最強(qiáng) 的。 其次,emc 所關(guān)心的是最終應(yīng)用系統(tǒng)的性能,因此,消除服務(wù)器和存儲(chǔ)網(wǎng)絡(luò)上存在的 i/o 性能瓶 頸,也是 emc 存儲(chǔ)方案中的一個(gè)重要部分:emc 可提供 powerpath 軟件,具有業(yè)界獨(dú)一無二的負(fù)載均 衡能力,它能夠智能地選擇服務(wù)器上的 i/o 接口、存儲(chǔ)網(wǎng)絡(luò)路徑以及智能存儲(chǔ)的端口,使得 i/o 操作 充分利用所有存儲(chǔ)處理資源,降低 i/o 等待時(shí)間。 紅旗廠存儲(chǔ)解決方案 - 4 - 總之,emc 提供的存儲(chǔ)系統(tǒng)平臺(tái)完全能夠支持大規(guī)模的數(shù)據(jù)集中訪問。不但能夠滿足本系統(tǒng)目前 業(yè)務(wù)的需要,而且能夠滿足未來不斷擴(kuò)大的需求。
9、我們認(rèn)為,emc 方案向貴公司提供的這些功能,是其他的替代方案無法充分滿足的。 在此,我們針對此次存儲(chǔ)項(xiàng)目,向各位尊敬的領(lǐng)導(dǎo)和專家進(jìn)行概括介紹。 1.21.2先進(jìn)的體系結(jié)構(gòu),卓越的系統(tǒng)性能先進(jìn)的體系結(jié)構(gòu),卓越的系統(tǒng)性能 存儲(chǔ)系統(tǒng)的處理能力已經(jīng)成為整個(gè)系統(tǒng)性能表現(xiàn)的關(guān)鍵。存儲(chǔ)系統(tǒng)性能的限制,造成業(yè)務(wù)處理 速度降低;同時(shí)對系統(tǒng)今后的擴(kuò)展能力形成制約。對于業(yè)務(wù)運(yùn)營系統(tǒng)來說,面對龐大的用戶數(shù),復(fù)雜 并發(fā)的數(shù)據(jù)訪問和查詢,如果設(shè)計(jì)不當(dāng),存儲(chǔ)系統(tǒng)的性能問題將更加突出。 1.31.3突出的高性能突出的高性能 emc 存儲(chǔ)的另一重要特點(diǎn)是,系統(tǒng)配置有強(qiáng)大的運(yùn)算處理能力。本期推薦的設(shè)備配置多顆多顆高性能 cpu
10、。這些 cpu 將 emc 經(jīng)過 10 余年不斷完善優(yōu)化的 cache 資源管理算法的性能發(fā)揮到極致,在 cx 體 系結(jié)構(gòu)的支持下,使得大量的應(yīng)用 io 均實(shí)現(xiàn) cache 命中,極大加快了 io 響應(yīng)時(shí)間。 除了領(lǐng)先的硬件平臺(tái),emc 還提供全面的系統(tǒng)性能優(yōu)化方案,emc 通過 powerpath 等軟件,實(shí)現(xiàn) 從服務(wù)器 i/o 通道、san 連接、存儲(chǔ)處理器直到后端硬盤的整個(gè) io 路徑端到端的負(fù)載均衡。emc 的方 案大大簡化了用戶使用存儲(chǔ)系統(tǒng)時(shí)對系統(tǒng)的優(yōu)化配置工作,使其在復(fù)雜的實(shí)際應(yīng)用環(huán)境下,性能表現(xiàn) 依舊出色。 在此,我們需要再次指出,上述這些技術(shù)特點(diǎn),是其他的產(chǎn)品所不具有的,emc
11、 的這些技術(shù)優(yōu)勢, 將更好地為業(yè)務(wù)運(yùn)營支撐系統(tǒng)的平穩(wěn)運(yùn)行和用戶數(shù)的不斷增長提供保障。 1.41.4完美的互操作性完美的互操作性 emc 作為全球最大的專業(yè)存儲(chǔ)產(chǎn)品及解決方案供應(yīng)商,其產(chǎn)品均具有良好的多平臺(tái)支持性和互操 作性,能夠支持主流的各種主機(jī)系統(tǒng)和群集系統(tǒng)平臺(tái)。emc 在美國總部投資 31 億美金建立了全球最 大的存儲(chǔ)互操作實(shí)驗(yàn)室,保證任何 emc 推薦的存儲(chǔ)解決方案均經(jīng)過實(shí)驗(yàn)室實(shí)際測試。關(guān)于 emc 互操作 實(shí)驗(yàn)室的詳細(xì)信息可查閱 emc 公開網(wǎng)站:http:/ 的這種測試 實(shí)實(shí)在在地保護(hù)了用戶投資,它使得用戶不必?fù)?dān)心未來的服務(wù)器型號不能接入本次建設(shè)的存儲(chǔ)平臺(tái)。 emc 不但嚴(yán)格遵循標(biāo)準(zhǔn)
12、,而且模擬用戶環(huán)境測試這樣的標(biāo)準(zhǔn)。從根本上消除了廠商經(jīng)常采用的所謂 “遵循標(biāo)準(zhǔn)、理論上能夠連接”的托辭。 本項(xiàng)目中,emc 存儲(chǔ)平臺(tái)能夠支持幾乎所有的主流操作系統(tǒng)平臺(tái)包括 microsoft windows nt/2000;sun solaris;hp-ux;ibm aix;novell netware;compaq tru64 unix;sgi irix;red hat linux 等;emc 支持的群集系統(tǒng)包括:hp mc/serviceguard,ibm hacmp, sun cluster,cpq 紅旗廠存儲(chǔ)解決方案 - 5 - trucluster,novell netware cl
13、uster,veritas cluster server,aviion dg/ux cluster ,sgi failsafe,windows mscs cluster 等等。 1.51.5高可靠性與安全性高可靠性與安全性 系統(tǒng)業(yè)務(wù)數(shù)據(jù)的重要性和關(guān)鍵程度在此無需贅言。在對核心數(shù)據(jù)提供絕對可靠的保護(hù)的同時(shí), 提高核心數(shù)據(jù)的使用頻率,是存儲(chǔ)系統(tǒng)應(yīng)具有的最基本功能。 emc 存儲(chǔ)通過其功能強(qiáng)大的存儲(chǔ)服務(wù)軟件,為業(yè)務(wù)系統(tǒng)的核心數(shù)據(jù)提供靈活方便的快速數(shù)據(jù)復(fù)制、 恢復(fù)功能。這些功能不僅能夠幫助用戶提高數(shù)據(jù)訪問效率,而且能夠快速恢復(fù)業(yè)務(wù)數(shù)據(jù),大幅度減少 系統(tǒng)停機(jī)時(shí)間。 1.61.6完整的管理方案完整的管理方
14、案 坦率地講,目前國內(nèi)企業(yè)的核心業(yè)務(wù)系統(tǒng)當(dāng)中,對存儲(chǔ)資源缺乏有效的管理手段。這和存儲(chǔ)系 統(tǒng)在整個(gè) it 系統(tǒng)中的地位是不相符的。存儲(chǔ)系統(tǒng)的性能,往往是 it 平臺(tái)的性能瓶頸,可是用戶沒有 管理工具從應(yīng)用的角度檢測系統(tǒng)的性能表現(xiàn)、定位性能瓶頸、找出優(yōu)化方案。存儲(chǔ)系統(tǒng)中的數(shù)據(jù),是 整個(gè)系統(tǒng)當(dāng)中最重要的部分,可用戶同樣沒有管理工具確認(rèn)其存儲(chǔ)的安全有效,及時(shí)發(fā)現(xiàn)故障隱患。 存儲(chǔ)資源,已成為 it 系統(tǒng)當(dāng)中最緊迫的資源,應(yīng)用數(shù)據(jù)量快速增長,存儲(chǔ)空間總處于緊張狀態(tài),而 目前的管理工具無法幫助用戶分析業(yè)務(wù)增長和空間消耗之間的關(guān)系,無法在不同的應(yīng)用系統(tǒng)間靈活方 便的調(diào)配存儲(chǔ)資源。 以上,我們概要介紹了此次項(xiàng)目
15、中 emc 的存儲(chǔ)解決方案。以上四部分內(nèi)容,既是 emc 存儲(chǔ)方案 解決的主要技術(shù)問題,也是 emc 區(qū)別于其他方案和技術(shù)的特點(diǎn)。 emc 在此項(xiàng)目中所推薦的獨(dú)一無二的解決方案,最終的愿望是通過部署這些先進(jìn)的技術(shù)幫助客戶 更加有效地使用信息資產(chǎn)達(dá)到加快占據(jù)市場份額,確保領(lǐng)先優(yōu)勢的目標(biāo)。emc 是世界上領(lǐng)先的信息架 構(gòu)獨(dú)立供應(yīng)商。本方案中提供的解決方案將在貴公司內(nèi)給各職能部門有效、高速地提供關(guān)鍵業(yè)務(wù)信息, 幫助貴公司適應(yīng)業(yè)務(wù)的快速變化,簡化貴公司的運(yùn)作。同時(shí),emc 通過在貴公司整個(gè)企業(yè)中進(jìn)行標(biāo)準(zhǔn) 化的信息管理、保護(hù)和共享,為貴公司降低了風(fēng)險(xiǎn),并節(jié)約成本。 這些效應(yīng)主要體現(xiàn)在下面三個(gè)方 面: 經(jīng)
16、濟(jì)效應(yīng)經(jīng)濟(jì)效應(yīng)本方案中提供的信息架構(gòu)是為在貴公司最大化地放大企業(yè)存儲(chǔ)系統(tǒng)的效率而設(shè)計(jì)。 emc 提供業(yè)界最好的性能,提高貴公司服務(wù)器和網(wǎng)絡(luò)的使用效率,延長服務(wù)器和網(wǎng)絡(luò)的使用壽命。 emc 解決方案無可匹敵的伸縮性降低了未來系統(tǒng)升級的成本。emc 的信息共享能力消除了存儲(chǔ)資源 的浪費(fèi)。 運(yùn)作效應(yīng)運(yùn)作效應(yīng) emc 解決方案使貴公司具有輕松處理變化的能力,而不是像以前一樣當(dāng)變化發(fā)生后 被動(dòng)地做出反應(yīng)。使用 emc,貴公司所有的信息可以使用相同的方式來管理、保護(hù)、共享。傳統(tǒng)的 紅旗廠存儲(chǔ)解決方案 - 6 - 信息管理需要大量的 it 人員,現(xiàn)在可以大大地減少。大量的 it 人力資源被釋放出來,投入到能
17、為貴 公司帶來更大效益的工作中,提高了整個(gè)企業(yè)的生產(chǎn)力。 商業(yè)效應(yīng)商業(yè)效應(yīng) 使用 emc 方案可以直接幫助貴公司在重要的業(yè)務(wù)目標(biāo)中產(chǎn)生效應(yīng),如:業(yè)務(wù)的加速 發(fā)展,應(yīng)用系統(tǒng)的快速開發(fā)。幫助貴公司快速地產(chǎn)生業(yè)務(wù)營收,在貴公司向新的業(yè)務(wù)模式轉(zhuǎn)換中起著 樞紐作用。 希望能和您共同成功!希望能和您共同成功! 紅旗廠存儲(chǔ)解決方案 - 7 - 第一章第一章方案設(shè)計(jì)原則方案設(shè)計(jì)原則 可以看出,本項(xiàng)目的核心在于存儲(chǔ)系統(tǒng),在于完成數(shù)據(jù)整合和容災(zāi)保護(hù),建立堅(jiān)實(shí)的信息基礎(chǔ) 設(shè)施,在統(tǒng)一的信息存儲(chǔ)平臺(tái)上高效的完成業(yè)務(wù)處理。存儲(chǔ)系統(tǒng)的可靠性,可用性和可擴(kuò)展性將直接影 響整個(gè)系統(tǒng)的運(yùn)行,進(jìn)而影響到整個(gè)系統(tǒng)的正常運(yùn)做.按照前
18、述的需求分析,我們可以總結(jié)出未來的存 儲(chǔ)系統(tǒng)設(shè)計(jì)的基本原則如下: 2.12.1數(shù)據(jù)的安全性和系統(tǒng)的高可靠性數(shù)據(jù)的安全性和系統(tǒng)的高可靠性 本系統(tǒng)負(fù)責(zé)完成對業(yè)務(wù)系統(tǒng)的支持,對系統(tǒng)的高可靠性有著很高的要求。作為該系統(tǒng)核心的 存儲(chǔ)平臺(tái)的高可靠性則更是重中之重。由于采用了集中存儲(chǔ)的方案,所有的信息存儲(chǔ),信息管理及信 息共享均集中存儲(chǔ)于統(tǒng)一的平臺(tái)之上,存儲(chǔ)平臺(tái)的任何故障會(huì)造成巨大的影響。因此存儲(chǔ)平臺(tái)的數(shù)據(jù) 安全性和系統(tǒng)高可靠性尤為重要。 2.22.2系統(tǒng)的高性能系統(tǒng)的高性能 存儲(chǔ)系統(tǒng)要存儲(chǔ)大量的在線數(shù)據(jù)信息,支持更多服務(wù)器的在線業(yè)務(wù)并發(fā)寫要求。由于總的數(shù)據(jù) 量會(huì)很大,如何在這么大數(shù)據(jù)量情況下滿足這么多客戶
19、機(jī)的并發(fā)訪問,整個(gè)存儲(chǔ)系統(tǒng)的性能也是一個(gè) 非常關(guān)鍵的要求。而且考慮到將來業(yè)務(wù)的增長,數(shù)據(jù)量還會(huì)持續(xù)增加,客戶機(jī)的數(shù)量也會(huì)繼續(xù)增加, 系統(tǒng)的性能還應(yīng)能很好的適應(yīng)未來的擴(kuò)充和擴(kuò)展的需要 2.32.3系統(tǒng)的可擴(kuò)展性系統(tǒng)的可擴(kuò)展性/ /可擴(kuò)充性可擴(kuò)充性 作為集中存儲(chǔ)的基本要求,存儲(chǔ)系統(tǒng)應(yīng)能支持巨大的存儲(chǔ)容量,可以集中存儲(chǔ)不同平臺(tái)的企 業(yè)數(shù)據(jù),從而使企業(yè)在保留分布式處理好處的同時(shí)實(shí)現(xiàn)核心信息的集中存儲(chǔ)和集中管理. 隨著時(shí)間的推移、技術(shù)的發(fā)展以及環(huán)境的變化,業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量會(huì)飛速增長,許多新業(yè)務(wù) 系統(tǒng)會(huì)不斷產(chǎn)生,因此對存儲(chǔ)系統(tǒng)的可擴(kuò)展性有很高要求。盡管我們在本方案中已經(jīng)充分考慮了系統(tǒng) 存儲(chǔ)容量空間的預(yù)留,
20、但隨著業(yè)務(wù)的發(fā)展,對存儲(chǔ)系統(tǒng)的可擴(kuò)展性要求仍將非常迫切。這主要表現(xiàn)在 對存儲(chǔ)系統(tǒng)容量的平滑擴(kuò)充以及對新的主機(jī)(host)系統(tǒng)的平滑連接,以盡量減少對已有正常業(yè)務(wù)的 影響。 2.42.4系統(tǒng)的多平臺(tái)支持能力系統(tǒng)的多平臺(tái)支持能力 本系統(tǒng)是一個(gè)多層的體系結(jié)構(gòu),在集中的存儲(chǔ)平臺(tái)之上要為數(shù)據(jù)庫服務(wù)器,應(yīng)用服務(wù)器和其 他服務(wù)器提供統(tǒng)一的存儲(chǔ)方案。這不可避免的涉及到存儲(chǔ)系統(tǒng)的多平臺(tái)支持能力。作為應(yīng)用服務(wù)器可 紅旗廠存儲(chǔ)解決方案 - 8 - 能會(huì)采用 unix 服務(wù)器,作為其它服務(wù)器可能會(huì)采用的是 windows 等。作為集中存儲(chǔ)的基本要求,存 儲(chǔ)系統(tǒng)必須能夠同時(shí)連接不同的服務(wù)器平臺(tái),以滿足數(shù)據(jù)集中的需要。
21、2.52.5靈活性和系統(tǒng)管理的簡單性靈活性和系統(tǒng)管理的簡單性 由于存儲(chǔ)系統(tǒng)的數(shù)據(jù)量非常大,如何有效的管理大量的數(shù)據(jù),包括數(shù)據(jù)備份/恢復(fù),都對存儲(chǔ) 系統(tǒng)的管理提出了巨大的挑戰(zhàn)。系統(tǒng)管理人員需要有高效的方法實(shí)現(xiàn)全面的存儲(chǔ)系統(tǒng)監(jiān)控,包括實(shí)時(shí) 數(shù)據(jù)性能監(jiān)視、錯(cuò)誤監(jiān)測、錯(cuò)誤狀態(tài)識別等等。另外作為集中的存儲(chǔ)平臺(tái),由于前端需要連接的服務(wù) 器數(shù)量很多,如何在多個(gè)服務(wù)器平臺(tái)之間對容量進(jìn)行靈活的劃分和調(diào)度也是為存儲(chǔ)系統(tǒng)的管理提出了 巨大的挑戰(zhàn)。 2.62.6數(shù)據(jù)共享要求數(shù)據(jù)共享要求 統(tǒng)一的信息需要讓前端的多臺(tái)業(yè)務(wù)服務(wù)器共享存取.作為集中存儲(chǔ)的最大優(yōu)勢就是可以對集中 后的信息進(jìn)行統(tǒng)一的信息管理,信息保護(hù)和信息共享.
22、整個(gè)系統(tǒng)包括多個(gè)組成部分,所有這些子系統(tǒng)需 要共享統(tǒng)一的集中存儲(chǔ)系統(tǒng)來建立流暢的工作流程,保證業(yè)務(wù)部門工作的順利進(jìn)行。因此共享要求可 以說也是共享系統(tǒng)的一個(gè)核心要求。 這一階段的存儲(chǔ)方案除了要滿足當(dāng)前應(yīng)用系統(tǒng)的需要外,還要為未來的的業(yè)務(wù)處理系統(tǒng)和信息 處理系統(tǒng)打下一個(gè)良好的基礎(chǔ)。 紅旗廠存儲(chǔ)解決方案 - 9 - 第二章第二章網(wǎng)絡(luò)存儲(chǔ)技術(shù)介紹網(wǎng)絡(luò)存儲(chǔ)技術(shù)介紹 信息技術(shù)發(fā)展至今經(jīng)歷了三次大的技術(shù)浪潮,分別為: 第一次數(shù)字信息浪潮計(jì)算機(jī)技術(shù) 第二次數(shù)字信息浪潮網(wǎng)絡(luò)技術(shù) 第三次數(shù)字信息浪潮存儲(chǔ)技術(shù) 伴隨這三次技術(shù)浪潮的是軟件技術(shù)的發(fā)展,軟件是這些技術(shù)的靈魂,并對這些技術(shù)的發(fā)展起到推 波助瀾的作用。 3
23、.13.1sansan 技術(shù)發(fā)展分析技術(shù)發(fā)展分析 與 cpu(代表計(jì)算)技術(shù)、network(代表分布、聯(lián)接和共享)技術(shù)一樣,storage(代表數(shù)據(jù)存 儲(chǔ))技術(shù)自計(jì)算機(jī)與信息技術(shù)發(fā)展的初始,就成為 it 技術(shù)體系中不可或缺的最基礎(chǔ)構(gòu)件之一。 cpu、network、storage 技術(shù)的交替發(fā)展和相互交融共同推進(jìn)了 it 行業(yè) 30 多年的繁榮發(fā)展,并為人 類社會(huì)帶來了不可記數(shù)的財(cái)富。尤其是近 10 年以來,計(jì)算領(lǐng)域發(fā)生了巨大的變化, cpu、network、storage 技術(shù)的迅猛發(fā)展使得他們之間原本分明的技術(shù)領(lǐng)域界線被打破,取而代之的 是一種被稱為計(jì)算能力或服務(wù)能力的技術(shù)體系(如:網(wǎng)格
24、技術(shù))。但是無論計(jì)算機(jī)與信息技術(shù)如何發(fā) 展,有一樣?xùn)|西的重要性決不會(huì)改變,那就是數(shù)據(jù)。一旦數(shù)據(jù)丟失或毀壞,所有的計(jì)算能力或服務(wù)能 力都毫無價(jià)值。數(shù)據(jù)的重要性迫使人們重新思考并意識到,數(shù)據(jù)其實(shí)一個(gè)自由存在的、不屬于任何特 定系統(tǒng)的獨(dú)立實(shí)體,正是數(shù)據(jù)在 cpu、network、storage 之間不斷的流動(dòng)才使得他們體現(xiàn)出整體的計(jì) 算或服務(wù)能力。數(shù)據(jù)是一種可以共同享用的財(cái)富,需要特別的加以保護(hù)和存儲(chǔ)。 在這樣的認(rèn)識下,網(wǎng)絡(luò)化存儲(chǔ)的概念孕育而生,并得到了極其迅速的發(fā)展。到今天,網(wǎng)絡(luò)化存儲(chǔ) 系統(tǒng)在技術(shù)架構(gòu)上主要被分成了 san(storage area network,存儲(chǔ)區(qū)域網(wǎng)絡(luò))、nas(netw
25、ork attached storage,網(wǎng)絡(luò)附加存儲(chǔ))以及 soip(storage over ip,基于 ip 的網(wǎng)絡(luò)存儲(chǔ))三大類。 其中,san(storage area network,存儲(chǔ)區(qū)域網(wǎng))是目前處于市場領(lǐng)導(dǎo)地位的主流網(wǎng)絡(luò)化存儲(chǔ)技術(shù)。 根據(jù)國際網(wǎng)絡(luò)工業(yè)協(xié)會(huì)(snia, storage network industry association)的定義:“san存 儲(chǔ)區(qū)域網(wǎng)絡(luò)是一個(gè)高性能網(wǎng)絡(luò),它的基本目的是使存儲(chǔ)設(shè)備與計(jì)算機(jī)系統(tǒng)或存儲(chǔ)設(shè)備與存儲(chǔ)設(shè)備之間 通信”。簡而言之,san 是指在網(wǎng)絡(luò)服務(wù)器群的后端,采用 fibre channel 等存儲(chǔ)專用協(xié)議聯(lián)接成高 速專用網(wǎng)絡(luò),使網(wǎng)絡(luò)服
26、務(wù)器與多種存儲(chǔ)設(shè)備直接連接。san 的最大特點(diǎn)就是可以實(shí)現(xiàn)網(wǎng)絡(luò)服務(wù)器與存 儲(chǔ)設(shè)備之間的多對多連接,而且,這種連接是本地的高速連接。 san 架構(gòu)的優(yōu)勢在于: (1)集中存儲(chǔ))集中存儲(chǔ) 紅旗廠存儲(chǔ)解決方案 - 10 - 隨著數(shù)據(jù)需求的增長,管理成千上百臺(tái)的主機(jī)和管理連接到這些主機(jī)的本地硬盤變得越來越困難。 而且,系統(tǒng)管理員經(jīng)常遇到這樣一個(gè)問題:雖然已經(jīng)擁有了足夠的存儲(chǔ)資源,但存儲(chǔ)資源利用率很低, 企業(yè)是會(huì)處于總是沒有足夠的存儲(chǔ)資源的窘地。 通過使用 san 架構(gòu),巨大的、集中的磁盤存儲(chǔ)陣列可以被多個(gè)主機(jī)所分享,這樣極大提高了存 儲(chǔ)資源的利用率,并將分散的本地存儲(chǔ)設(shè)備的費(fèi)用和對其的管理集中合并為集
27、中存儲(chǔ)設(shè)備的費(fèi)用和對 存儲(chǔ)設(shè)備的管理。 (2)提高數(shù)據(jù)的訪問)提高數(shù)據(jù)的訪問速度速度 san 的關(guān)鍵是速度,除了速度,還是速度。作為一個(gè)數(shù)據(jù)塊級訪問協(xié)議,封裝于光纖通道協(xié)議 (fcp)的 scsi 協(xié)議是從存儲(chǔ)設(shè)備到主機(jī)間的數(shù)據(jù)傳輸速度最快、效率最高的數(shù)據(jù)傳輸協(xié)議。對比 scsi 總線的速率為 ultra-wide scsi 40mb/s,ultra-2 scsi 80mb/s 以及 ultra-3 scsi 160mb/s, 目前 san 提供了 200 mb/s 的網(wǎng)絡(luò)傳輸速率,而 400mb/s 或 1000mb/s 的 fc san 即將推出了。 (3)高可用性支持高可用性支持 san
28、 的最主要的特征之一在于多個(gè)服務(wù)器可以訪問所有 san 上的存儲(chǔ)設(shè)備或子系統(tǒng)即實(shí)現(xiàn) 了存儲(chǔ)集中化,因而可以支持高可用性的群集系統(tǒng)。 在 san 中的備份工作是目前最基本也是影響最大的應(yīng)用,它將備份數(shù)據(jù)流從數(shù)據(jù)網(wǎng)絡(luò)轉(zhuǎn)移到專 用的存儲(chǔ)網(wǎng)絡(luò)中,這種方按被稱之為 lan-free 備份。另外,還可以在 san 中設(shè)置獨(dú)立的單元代表服 務(wù)器和備份管理程序提供設(shè)備到設(shè)備的操作,這種方法稱為 server-less 備份。 san 技術(shù)的另一個(gè)主要優(yōu)勢就是它的高性能遠(yuǎn)距離傳輸能力。san 的這項(xiàng)特性轉(zhuǎn)而被用在解決 容災(zāi)的問題上來:就是即使有非常大的災(zāi)難發(fā)生,也能保證業(yè)務(wù)的正常、持續(xù)的運(yùn)行。 數(shù)據(jù)中心之間通過
29、 fc 光纖或者是其他 wan 鏈路,連續(xù)不斷地在各自獨(dú)立的運(yùn)行系統(tǒng)間進(jìn)行數(shù) 據(jù)共享和數(shù)據(jù)復(fù)制(鏡像),這樣如果災(zāi)難發(fā)生,所有信息依然都是最新并且可用的。 (4)san 的接口技術(shù)的接口技術(shù) 與傳統(tǒng)的 scsi(small computer system interface)或 escon 等存儲(chǔ)接口技術(shù)相比,光纖通 道 fc(fibre channel)協(xié)議是一種高度可靠、千兆位的互連技術(shù),除了開放的標(biāo)準(zhǔn)以外,它為多種 將來能以兆兆位/秒的數(shù)量級升級到系統(tǒng)帶寬的拓?fù)涮峁┗ミB系統(tǒng)。針對 fc-al(fibre channel 仲裁 環(huán)路-fibre channel arbitrated loo
30、p)的技術(shù)規(guī)范允許 1 千兆位、2 千兆位和 4 千兆位的速度。目前, fibre channel 端口的最大傳輸速率為 200 兆字節(jié)/秒,這也是全速接口的鏈接速率。光纖通道也提供 了多種拓?fù)浣Y(jié)構(gòu):除點(diǎn)到點(diǎn)以外,還有交換方式和令牌環(huán)方式。與 escon 僅僅執(zhí)行 ccw 命令不同, 光纖通道可以使用多種不同的 io 命令,除 hippi 和 ipi 外還有 scsi,另外還采用多種其他協(xié)議如 ip 等。 (5)san 的可擴(kuò)展性的可擴(kuò)展性 紅旗廠存儲(chǔ)解決方案 - 11 - san 技術(shù)是構(gòu)建在光纖通道技術(shù) fibre channel 基礎(chǔ)之上。比其傳統(tǒng)的 scsi 技術(shù),其中一個(gè)最 大的優(yōu)勢
31、是它的可連接性及可擴(kuò)充性。能夠被連接到 san 上的設(shè)備數(shù)目取決于所使用的技術(shù),光纖 通道環(huán)網(wǎng)能支持多達(dá) 126 臺(tái)設(shè)備,而具有交換功能的網(wǎng)絡(luò)在結(jié)構(gòu)上能夠連接約 1600 萬個(gè)設(shè)備,通過 交換機(jī)的級聯(lián)可輕易的擴(kuò)充網(wǎng)絡(luò)的存儲(chǔ)容量。 san 的優(yōu)勢表明,就信息系統(tǒng)而言,尤其是數(shù)據(jù)庫系統(tǒng)、pdm/mrpii、oa 辦公系統(tǒng)、三維和 二維設(shè)計(jì)和 email 等關(guān)鍵系統(tǒng),san 完全符合其對數(shù)據(jù)存儲(chǔ)、傳輸、整合、高可用性以及備份等方 面的需求。具體見下表。 表 1 san 技術(shù)與需求匹配 san 技術(shù)特征技術(shù)特征指標(biāo)指標(biāo)存儲(chǔ)需求存儲(chǔ)需求需求匹配需求匹配 大容量存儲(chǔ) 可高達(dá)數(shù)十 tb 以上,并可以隨時(shí) 擴(kuò)
32、展 至少需要有 2 個(gè) tb 的集中在線 存儲(chǔ)容量 完全匹配 高速高帶寬 i/o 吞吐率單通道為 2gbits/s,多 通道幾乎倍數(shù)增加 以最快速度訪問數(shù)據(jù),加快數(shù)據(jù) 處理速度 完全匹配 高度可擴(kuò)展 環(huán)網(wǎng) 127 個(gè)設(shè)備,而交換網(wǎng)支持 上百萬個(gè)設(shè)備 還有其他新的應(yīng)用系統(tǒng)和主機(jī)平 臺(tái)不斷上線 完全匹配 高可用性 高速共享存儲(chǔ),冗余網(wǎng)絡(luò)通道,完 全支持高可用性應(yīng)用 信息系統(tǒng)工作時(shí)間內(nèi)絕不能宕機(jī) 完全匹配 易管理 數(shù)據(jù)集中存儲(chǔ),多種存儲(chǔ)服務(wù)提供, 多種數(shù)據(jù)管理服務(wù)提供 海量數(shù)據(jù)管理完全匹配 容災(zāi) 高性能遠(yuǎn)距離傳輸數(shù)據(jù)能力,實(shí)現(xiàn) 在線實(shí)時(shí)數(shù)據(jù)容災(zāi) 數(shù)據(jù)異地保存容災(zāi)完全匹配 3.23.2nasnas 技
33、術(shù)發(fā)展分析技術(shù)發(fā)展分析 nas 是傳統(tǒng)網(wǎng)絡(luò)文件服務(wù)器技術(shù)的發(fā)展延續(xù),是專用的網(wǎng)絡(luò)文件服務(wù)器,是代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)文件 服務(wù)器市場的新技術(shù)新產(chǎn)品,這是信息技術(shù)發(fā)展的必然,它提高了文件系統(tǒng)的處理能力、可靠性、訪 問連續(xù)性和可擴(kuò)展性,使用 nas 代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)文件服務(wù)器是滿足用戶對性能及可靠性需求的必然之 路。 網(wǎng)絡(luò)文件服務(wù)器技術(shù)是建立在網(wǎng)絡(luò)技術(shù)發(fā)展成熟基礎(chǔ)之上的。因此它的訪問協(xié)議是通用的 tcp/ip,今天的 nas 產(chǎn)品也是基于 tcp/ip 協(xié)議的文件訪問機(jī)制。 傳統(tǒng)的網(wǎng)絡(luò)文件服務(wù)器總體可以分為主要兩大類: (1)unix 網(wǎng)絡(luò)文件服務(wù)器,即支持 nfs 服務(wù)器 (2)nt 網(wǎng)絡(luò)文件服務(wù)器,即支持
34、cifs 服務(wù)器 紅旗廠存儲(chǔ)解決方案 - 12 - 網(wǎng)絡(luò)文件服務(wù)器的出發(fā)點(diǎn)是數(shù)據(jù)共享及保護(hù),但上述的兩類網(wǎng)絡(luò)文件服務(wù)器之間較難共享;一個(gè) 網(wǎng)絡(luò)文件服務(wù)器系統(tǒng)支持的網(wǎng)絡(luò)訪問能力有限,因此當(dāng)一個(gè)網(wǎng)絡(luò)文件服務(wù)器不能滿足性能需求時(shí)必須 再添加新的網(wǎng)絡(luò)文件服務(wù)器,但過多的網(wǎng)絡(luò)文件服務(wù)器造成管理維護(hù)的困難及資源浪費(fèi);同時(shí)傳統(tǒng)網(wǎng) 絡(luò)文件服務(wù)器對數(shù)據(jù)保護(hù)能力也非常有限(一般是單一主機(jī)連接存儲(chǔ)介質(zhì)構(gòu)成網(wǎng)絡(luò)文件服務(wù)器,存在 單點(diǎn)故障,但又很少采用 ha 模式,可靠性因而很差),丟失數(shù)據(jù)幾乎是很難避免的。 由于傳統(tǒng)網(wǎng)絡(luò)文件服務(wù)器以上幾個(gè)方面的問題,同時(shí)隨著信息技術(shù)的不斷發(fā)展,對跨平臺(tái)文件共 享、高性能文件訪問、高可
35、靠性、高擴(kuò)展性的網(wǎng)絡(luò)文件服務(wù)器的需求不斷加強(qiáng),nas 產(chǎn)品和技術(shù)便 是滿足這一需求的新技術(shù)新產(chǎn)品。使用 nas 代替?zhèn)鹘y(tǒng)文件服務(wù)器是滿足用戶對性能及可靠性需求的 必然之路。 目前市場上的 nas 產(chǎn)品基本上可以分成兩種模式:專業(yè)存儲(chǔ)廠商 nas 產(chǎn)品及主機(jī)廠商 nas 產(chǎn) 品。 客觀講,專業(yè)存儲(chǔ)廠商的 nas 產(chǎn)品是真正的 nas 產(chǎn)品,因?yàn)樗麄兌荚?nas 引擎的微碼中內(nèi)置 了 nfs 和 cifs 的支持,是真正的專業(yè)網(wǎng)絡(luò)文件服務(wù)器:nas。目前主要專業(yè) nas 廠商有 emc 和 netapp, emc 的 nas 產(chǎn)品基于其高可靠性,高性能主要面對的是商業(yè)用戶;netapp 的 nas
36、 產(chǎn)品由于自身特點(diǎn)主要面向中低端用戶。 主機(jī)廠商 nas 產(chǎn)品不是真正的 nas 產(chǎn)品,基本都是采用兩臺(tái) nt(或 unix)服務(wù)器做 nas 的 引擎,實(shí)際是包裝過的傳統(tǒng)網(wǎng)絡(luò)文件服務(wù)器,因此對 cifs(nfs)支持較好,但對 nfs(cifs)采 用模擬方式,因此在性能上沒有很好的擴(kuò)充性,無法大規(guī)模文件共享的需求。 3.33.3存儲(chǔ)整合的必要性存儲(chǔ)整合的必要性 目前,san 技術(shù)和 nas 技術(shù)都是信息整合的手段,二者各有特點(diǎn),適合不同的市場需求。能 否將二者有機(jī)結(jié)合在一起,滿足不同應(yīng)用的需求,充分發(fā)揮網(wǎng)絡(luò)存儲(chǔ)的優(yōu)勢成為廣大客戶迫切需要。 目前用戶一般擁有多臺(tái)服務(wù)器。由于所有的服務(wù)器采購時(shí)
37、間較早,其存儲(chǔ)系統(tǒng)都是直連的模式, 而且大部分存儲(chǔ)系統(tǒng)都是低檔的 jbod 產(chǎn)品,這種現(xiàn)狀是和以主機(jī)為核心設(shè)計(jì) it 架構(gòu)的年代相適應(yīng) 的,但隨著時(shí)間的推移,這種構(gòu)架的問題已經(jīng)顯現(xiàn)出來,其問題主要表現(xiàn)如下: 首先,由于目前的存儲(chǔ)系統(tǒng)是不能實(shí)現(xiàn)信息網(wǎng)絡(luò)存儲(chǔ)的低檔產(chǎn)品,這樣造成各個(gè)業(yè)務(wù)系統(tǒng)信息無 法方便共享。在這樣的結(jié)構(gòu)下如果 a 業(yè)務(wù)系統(tǒng)存儲(chǔ)容量不足,而 b 業(yè)務(wù)系統(tǒng)即使還有許多剩余空間 可用,也不能有效地將 b 系統(tǒng)的容量共享給 a 系統(tǒng),因而必須對 a 系統(tǒng)存儲(chǔ)擴(kuò)容。因此這樣的架構(gòu) 是實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的多主機(jī)共享的障礙,對其整合勢在必行。 紅旗廠存儲(chǔ)解決方案 - 13 - 第二,由于分散的獨(dú)立存
38、儲(chǔ),各個(gè)業(yè)務(wù)系統(tǒng)的存儲(chǔ)各自獨(dú)立,對其管理必須透過其主機(jī)系統(tǒng),造 成存儲(chǔ)管理上的復(fù)雜性增大。而且當(dāng)用戶同時(shí)通過不同主機(jī)平臺(tái)管理其存儲(chǔ)設(shè)備時(shí),增大了人為失誤 的可能性。如果采用網(wǎng)絡(luò)存儲(chǔ)可以大大簡化存儲(chǔ)系統(tǒng)管理,提高 it 人員的勞動(dòng)生產(chǎn)率。 第三,這樣分散的獨(dú)立存儲(chǔ)系統(tǒng)不能實(shí)現(xiàn)有效信息共享,這樣一來在最初配置各自直連系統(tǒng)時(shí)必 須在系統(tǒng)擴(kuò)展性和系統(tǒng)投資之間權(quán)衡利弊,不能兼顧。而且在日后使用中不可避免造成某些業(yè)務(wù)系統(tǒng) 在日后出現(xiàn)存儲(chǔ)容量擴(kuò)展能力不夠的情況,解決這樣問題以前必須再采購另外的一個(gè)直連的存儲(chǔ),不 能有效使用連接到其它服務(wù)器的存儲(chǔ),這是很明顯的浪費(fèi),而如果實(shí)現(xiàn)網(wǎng)絡(luò)存儲(chǔ)就可以避免這種投資 浪費(fèi)。
39、 第四,造成目前分散的獨(dú)立存儲(chǔ)系統(tǒng)現(xiàn)狀是過去的技術(shù)限制,但是在考慮未來系統(tǒng)建設(shè)時(shí)應(yīng)該是 面向未來的,也就是應(yīng)該采用網(wǎng)絡(luò)存儲(chǔ)技術(shù),通過網(wǎng)絡(luò)存儲(chǔ)實(shí)現(xiàn)信息的有效共享,方便管理,便于擴(kuò) 展,建設(shè)高性能,高可靠,高擴(kuò)展,高兼容的信息存儲(chǔ)基礎(chǔ)架構(gòu)。 第五,我們在規(guī)劃信息系統(tǒng)基礎(chǔ)架構(gòu)時(shí),廣大用戶都認(rèn)識到應(yīng)該采用網(wǎng)絡(luò)存儲(chǔ)技術(shù),即采用 san 或 nas 技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)存儲(chǔ)。但是 san 和 nas 只是技術(shù)手段,不是最終目的,網(wǎng)絡(luò)存儲(chǔ)的最終 目的是數(shù)據(jù)整合。因?yàn)槿绻麤]有數(shù)據(jù)整合的意識,孤立地采用分散的 san 或 nas 解決方案,最終 的結(jié)果和傳統(tǒng)的直連模式?jīng)]有本質(zhì)區(qū)別,長期發(fā)展也會(huì)造成各種各樣的問題。 3.
40、43.4san+nassan+nas 集成優(yōu)勢集成優(yōu)勢 san 是存儲(chǔ)域的網(wǎng)絡(luò),是網(wǎng)絡(luò)存儲(chǔ)技術(shù)的核心,業(yè)務(wù)系統(tǒng)中的核心部分需要高性能、高可靠的 數(shù)據(jù)訪問方式,這是 san 技術(shù)特長。采用 san 技術(shù),在關(guān)鍵業(yè)務(wù)系統(tǒng)的主機(jī)和存儲(chǔ)設(shè)備之間通過 san 交換機(jī)連接起來,構(gòu)成網(wǎng)絡(luò)存儲(chǔ),這就保證了核心業(yè)務(wù)系統(tǒng)的高性能、高可靠性數(shù)據(jù)訪問需求 及未來擴(kuò)展的靈活性。 紅旗廠存儲(chǔ)解決方案 - 14 - 但是客戶業(yè)務(wù)系統(tǒng)除了核心的關(guān)鍵業(yè)務(wù)之外還有更多的非關(guān)鍵業(yè)務(wù),這些業(yè)務(wù)系統(tǒng)也需要存儲(chǔ)空 間,將這些非關(guān)鍵業(yè)務(wù)系統(tǒng)的主機(jī)也接入 san 結(jié)構(gòu)是不現(xiàn)實(shí)的。一方面,這樣做造價(jià)太大,需要配 置多個(gè)大型的 san 交換機(jī),
41、每個(gè)接入的主機(jī)都必須配置較昂貴的 hba 卡,復(fù)雜龐大的 san 管理也 將導(dǎo)致投資加大;另一方面,這些非主要業(yè)務(wù)系統(tǒng)主機(jī)對存儲(chǔ)系統(tǒng)訪問的性能需求一般較低,訪問頻 率也較低,如果全部接入 san 對 san 網(wǎng)絡(luò)的資源也是一種浪費(fèi)。 同時(shí)大部分非主要的邊緣業(yè)務(wù)系統(tǒng)都是以文件形式訪問數(shù)據(jù)的,是 nas 技術(shù)的特長。但如果采 用純 nas 技術(shù),將導(dǎo)致客戶有一個(gè)核心 san 網(wǎng)絡(luò)存儲(chǔ)平臺(tái)及一個(gè)核心 nas 網(wǎng)絡(luò)存儲(chǔ)平臺(tái),客戶在 nas 存儲(chǔ)和 san 存儲(chǔ)之間無法實(shí)現(xiàn)存儲(chǔ)資源的動(dòng)態(tài)調(diào)配、信息有效共享,實(shí)際上造成兩個(gè)明顯的信 息孤島,不符合信息系統(tǒng)整合的客觀需求。 因此能否將 nas 技術(shù)和 san
42、 技術(shù)集成起來成為滿足廣大客戶需求的關(guān)鍵。如果能夠?qū)崿F(xiàn) nas 引擎和其它主要業(yè)務(wù)主機(jī)系統(tǒng)共享統(tǒng)一的磁盤陣列存儲(chǔ)資源,那么就從根本上消除了兩個(gè)信息孤島各 自為政的局面,從而使成熟的 san 技術(shù)和成熟的 nas 技術(shù)完美集成,實(shí)現(xiàn)真正的信息整合。 san+nas 集成解決方案就是在統(tǒng)一的 san 架構(gòu)下,添加 nas 引擎,nas 引擎和其他主要業(yè) 務(wù)系統(tǒng)主機(jī)共享統(tǒng)一 san 架構(gòu)下的存儲(chǔ)資源,從而實(shí)現(xiàn)在滿足主要業(yè)務(wù)系統(tǒng)的高性能、高可靠數(shù)據(jù) 訪問需求的同時(shí),通過添加的 nas 引擎兼顧大量邊緣業(yè)務(wù)系統(tǒng)對存儲(chǔ)資源的需求,實(shí)現(xiàn)真正的存儲(chǔ) 信息整合。emc 的 san+nas 就是這樣解決方案。 許
43、多廠商也在嘗試探索 san 和 nas 整合的解決方案,但直到目前為止,只有作為獨(dú)立存儲(chǔ)廠 商的 emc 公司的工作取得實(shí)效,早在多年前就推出了這樣的 san 和 nas 集成的解決方案并在實(shí)際 中獲得廣泛應(yīng)用。 3.53.5iscsiiscsi 技術(shù)發(fā)展分析技術(shù)發(fā)展分析 iscsi(internet scsi)標(biāo)準(zhǔn)協(xié)議定義了通過 tcp/ip 網(wǎng)絡(luò)接收、發(fā)送數(shù)據(jù)塊級(block)的存儲(chǔ) 數(shù)據(jù)的規(guī)則和方法。發(fā)送端通過把數(shù)據(jù)和 scsi 指令封裝成 ip 包,然后通過 tcp/ip 網(wǎng)絡(luò)進(jìn)行傳輸; 接收端收到這些 ip 包后對其進(jìn)行解析得到數(shù)據(jù)和 scsi 指令,然后執(zhí)行得到的 scsi 指令并
44、對接收 到的數(shù)據(jù)進(jìn)行操作;最后再由接收端把返回的數(shù)據(jù)和 scsi 再次封裝成 ip 包并發(fā)回發(fā)送端。 就目前的技術(shù)而言,iscsi 技術(shù)還只是實(shí)現(xiàn) san 架構(gòu)的一種技術(shù),在性能、擴(kuò)展性、兼容性等方面 還無法與 fc san 相比。與之相比,nas 技術(shù)的跨平臺(tái)數(shù)據(jù)共享能力仍然沒有受到任何挑戰(zhàn)。而且 就實(shí)施和維護(hù)成本來說,nas 似乎比 iscsi 更具優(yōu)勢。 數(shù)據(jù)碰撞及支持性低等問題成為 iscsi 推展阻力 分析看看 iscsi 到底有哪些缺陷: 紅旗廠存儲(chǔ)解決方案 - 15 - 1. 擾人的噪聲碰撞問題:由于 iscsi 走的是 ip 網(wǎng)絡(luò),其中當(dāng)然充斥著來自全球各地的龐大數(shù)據(jù)及噪 聲,
45、所以碰撞情形也就在所難免了,如此一來,在數(shù)據(jù)傳輸?shù)倪^程中,就很容易導(dǎo)致延遲的情形發(fā)生, 大大影響了傳輸?shù)男埽踔翑?shù)據(jù)的正確性。 2. 仍有改進(jìn)空間的效能瓶頸:這方面可分成下列幾項(xiàng)來討論。 (1) 傳輸頻寬問題:前文已提到,目前的 1gb 頻寬,尚不及 fc 的 2gb、4gb。因此,性能仍然是 iscsi 最大的問題。 (2) 流量控制問題:這方面也沒有 fc 來得好。 (3) i/o 端的速度限制:iscsi 在 host 主機(jī)及 target 存儲(chǔ)設(shè)備兩處的 i/o 端速度一直提不上來,所以 即使 10gb 以太網(wǎng)絡(luò)真的普及,i/o 端的速度瓶頸仍然會(huì)拖跨這個(gè)傳輸效能。 (4) 軟件 i
46、scsi initiator 效能不彰:如果不采用硬件 iscsi 適配卡,其透過軟件仿真來執(zhí)行 scsi 指令, 所以會(huì)耗費(fèi)掉大量的 cpu 資源,造成整體效能的低落。這個(gè)問題雖然可以透過安裝頻率較高的 cpu 來解決,但相對地便會(huì)有額外的成本支出,得不償失。 3. 硬件 iscsi 適配卡較貴:如果想要讓整體效能有好的表現(xiàn),那么就必須添置較貴的 iscsi hba 卡 或稍貴的 toe hba 卡(tcp offload engine),整體成本會(huì)因而大幅攀升。但不論是 fc hba 卡或 fc 交換機(jī)的價(jià)格都在逐步調(diào)降中,同時(shí)該公司會(huì)推出價(jià)格頗為低廉的 fc 交換機(jī),如此一來,在尋 求高
47、效能的前提下,iscsi 的成本優(yōu)勢會(huì)相對減少。 4. 支援的平臺(tái)及軟硬件仍少:雖然目前 windows、linux 都已陸續(xù)推出軟硬件的 initiator,但數(shù)量及 完備性仍不足,尤其是版本特多的 linux,目前只有 suse 及 redhat 有解決方案;其中,suse 只 有軟件、redhat 只有硬件。此外,對于 unix 更是沒有成熟的支持軟件,而且一些平臺(tái)上的設(shè)定十 分復(fù)雜困難。換句話說,目前只有微軟 windows 平臺(tái)具備最完備的支持性。但是目前業(yè)界及政府機(jī) 構(gòu)的數(shù)據(jù)中心,有相當(dāng)數(shù)量是采用非 windows 平臺(tái)系統(tǒng),再加上也有不少公司內(nèi)部系統(tǒng)是屬于多種 作業(yè)平臺(tái)環(huán)境,所以
48、各平臺(tái)解決方案的提出,仍是 iscsi 不能解決的重要課題。 5. 令人質(zhì)疑的安全性:ip 網(wǎng)絡(luò)環(huán)境復(fù)雜,再加上懂 ip 的人相對的多,所以安全性也相對地令人質(zhì)疑。 6. 無法兼顧效能及跨平臺(tái)性:前面已提到 iscsi initiator 可分為三種,亦即軟件 initiator 驅(qū)動(dòng)程序、 硬件的 toe hba 卡及 iscsi hba 卡。就效能而言,initiator 驅(qū)動(dòng)程序最差、toe 居中、iscsi hba 卡最佳。但是 iscsi hba 只能走 iscsi 協(xié)議,而無法透過 nfs(network file system,sun 制定) 或 cifs(common inte
49、rnet file system,微軟制定)等檔案系統(tǒng)協(xié)議與應(yīng)用服務(wù)器溝通。但 紅旗廠存儲(chǔ)解決方案 - 16 - initiator 驅(qū)動(dòng)程序及 toe 則同時(shí)支持 iscsi、nfs 及 cifs 三種協(xié)議。 iscsi 最大的特點(diǎn)在于其對成熟的以太網(wǎng)絡(luò)的借用,這種借用體現(xiàn)在實(shí)施成本和管理維護(hù)的難度最大的特點(diǎn)在于其對成熟的以太網(wǎng)絡(luò)的借用,這種借用體現(xiàn)在實(shí)施成本和管理維護(hù)的難度 方面無疑是一個(gè)優(yōu)勢,所以對于性能、安全性和可靠性要求較低的環(huán)境,采用方面無疑是一個(gè)優(yōu)勢,所以對于性能、安全性和可靠性要求較低的環(huán)境,采用 iscsi 是一種性價(jià)比是一種性價(jià)比 較好的選擇,較好的選擇,emc 為了滿足用
50、戶同時(shí)對低成本連接的要求,對中端的為了滿足用戶同時(shí)對低成本連接的要求,對中端的 cx 陣列在提供光纖通道的同陣列在提供光纖通道的同 時(shí)也集成了時(shí)也集成了 iscsi 接口,給用戶更全面的選擇。接口,給用戶更全面的選擇。 第三章第三章存儲(chǔ)系統(tǒng)詳細(xì)設(shè)計(jì)方案存儲(chǔ)系統(tǒng)詳細(xì)設(shè)計(jì)方案 本章重點(diǎn)講述西安商泰存儲(chǔ)系統(tǒng)的具體設(shè)計(jì)方案和技術(shù)特點(diǎn) 4.14.1用戶需求分析用戶需求分析 西安商泰現(xiàn)有狀況:西安商泰現(xiàn)有狀況: 1、 unix 服務(wù)器 6 臺(tái),windows 服務(wù)器 10 臺(tái)。 2、 當(dāng)前的存儲(chǔ)環(huán)境為服務(wù)器內(nèi)置硬盤存放數(shù)據(jù),由于數(shù)據(jù)分散存儲(chǔ),不利于數(shù)據(jù)的集中管理和統(tǒng)一 備份保護(hù)。 3、 無備份系統(tǒng)和容災(zāi)系
51、統(tǒng),無法保證生產(chǎn)系統(tǒng)的高可用。 4.24.2系統(tǒng)設(shè)計(jì)方案系統(tǒng)設(shè)計(jì)方案 按照用戶的需求分析和技術(shù)要求,emc 對存儲(chǔ)系統(tǒng)的設(shè)計(jì)提出以下方案建議: 數(shù)據(jù)中心數(shù)據(jù)整合方案:數(shù)據(jù)中心數(shù)據(jù)整合方案: 推薦的硬件設(shè)備為美國 emc 公司第 8 代全光纖存儲(chǔ)陣列 clariionclariion cx-340fcx-340f,該存儲(chǔ)系統(tǒng)采用 業(yè)界領(lǐng)先的 4gb 的光纖通道技術(shù),存儲(chǔ)為光纖直連,為主機(jī)進(jìn)行大量的數(shù)據(jù)訪問和遷移提供了高速可 靠的雙通道,現(xiàn)配置存儲(chǔ)容量為每臺(tái)磁盤陣列 4tb 左右容量的光纖硬盤。 由于西安商泰的服務(wù)器數(shù)量較多,且數(shù)據(jù)的類型和重要性也有很大差別,所以按照投資性價(jià) 比的原則,在考慮集中
52、數(shù)據(jù)存儲(chǔ)的方案是采用分級存儲(chǔ)的思想,即對服務(wù)器的數(shù)據(jù)類型進(jìn)行分類: 1針對非常重要的服務(wù)器數(shù)據(jù),對存儲(chǔ)的性能和可靠性要求較高,采用光纖 san 的存 儲(chǔ)方式,該服務(wù)器配置 hba 光纖卡,連接到光纖通道交換機(jī),再訪問 cx340f 的存儲(chǔ)。 紅旗廠存儲(chǔ)解決方案 - 17 - 2為保證核心存儲(chǔ)的高可用,再配置 1 套容災(zāi)存儲(chǔ)系統(tǒng),與當(dāng)前核心存儲(chǔ)系統(tǒng)實(shí)現(xiàn)同 步鏡像的方式,達(dá)到容災(zāi)的目的。 3針對文件類型的應(yīng)用,有大量的文件數(shù)據(jù)存放于共享文件系統(tǒng)上,可考慮配置 nas 設(shè)備,實(shí)現(xiàn)多用戶的共享文件的高速訪問。 具體配置為: emc clariion cx340f 2 臺(tái),分別配置臺(tái),分別配置 14 塊
53、塊 300gb 的光纖硬盤(容量達(dá)到的光纖硬盤(容量達(dá)到 4tb) 配置配置 2 臺(tái)臺(tái) emc 16 口口 san 存儲(chǔ)光纖交換機(jī)存儲(chǔ)光纖交換機(jī) , 每臺(tái)交換機(jī)配每臺(tái)交換機(jī)配 4 個(gè)長波模塊個(gè)長波模塊 兩臺(tái)兩臺(tái) cx340 f 上增加遠(yuǎn)程數(shù)據(jù)鏡像軟件上增加遠(yuǎn)程數(shù)據(jù)鏡像軟件 mirrorview/s 軟件,實(shí)現(xiàn)容災(zāi)軟件,實(shí)現(xiàn)容災(zāi) 生產(chǎn)中心生產(chǎn)中心 cx340f 配置配置 snapview 快照軟件,存儲(chǔ)管理軟件等快照軟件,存儲(chǔ)管理軟件等 針對針對 nas 系統(tǒng)的需求,配置系統(tǒng)的需求,配置 1 臺(tái)臺(tái) emc 專用專用 nas 設(shè)備設(shè)備 ns351,(配置,(配置 4tb 容量)容量) 配置集中數(shù)據(jù)
54、備份軟件,備份系統(tǒng)將在專門的備份方案中講述配置集中數(shù)據(jù)備份軟件,備份系統(tǒng)將在專門的備份方案中講述 方案的拓?fù)浣Y(jié)構(gòu)圖如下:方案的拓?fù)浣Y(jié)構(gòu)圖如下: m mi ir rr ro or rv vi ie ew w 數(shù)數(shù)據(jù)據(jù)同同步步鏡鏡像像 西西安安商商泰泰存存儲(chǔ)儲(chǔ)容容災(zāi)災(zāi)系系統(tǒng)統(tǒng)結(jié)結(jié)構(gòu)構(gòu)圖圖 emc 磁磁盤盤陣陣列列 數(shù)數(shù)據(jù)據(jù)庫庫服服務(wù)務(wù)器器容容災(zāi)災(zāi)服服務(wù)務(wù)器器 光光纖纖直直連連 2 20 0k km m emc磁磁盤盤陣陣列列 clariion cx3-40f cx340f 磁磁帶帶庫庫 其其他他服服務(wù)務(wù)器器 備備份份主主軟軟件件 備備份份 服服務(wù)務(wù)器器 備備份份軟軟件件代代理理模模塊塊 生生產(chǎn)產(chǎn)卷
55、卷 快快照照卷卷 snapview 快快照照 光光纖纖交交換換機(jī)機(jī) 生生產(chǎn)產(chǎn)中中心心 容容災(zāi)災(zāi)中中心心 n na as s 系系統(tǒng)統(tǒng) n ns s3 35 50 0 4.34.3方案技術(shù)特點(diǎn)方案技術(shù)特點(diǎn) 核心存儲(chǔ)核心存儲(chǔ):本次項(xiàng)目中我們建議的聯(lián)機(jī)存儲(chǔ)系統(tǒng)采用 emc clariion cx3-40ff 存儲(chǔ)產(chǎn)品,服務(wù) 器和存儲(chǔ)系統(tǒng)的連接采用先進(jìn)的 san(存儲(chǔ)局域 紅旗廠存儲(chǔ)解決方案 - 18 - 網(wǎng)結(jié)構(gòu)),此方式可充分保證存儲(chǔ)系統(tǒng)的訪問帶寬,并同時(shí)保持極高的可擴(kuò)充性,能滿足用戶未來長 期的 it 平臺(tái)發(fā)展要求。san 存儲(chǔ)系統(tǒng)使得客戶將來在應(yīng)用擴(kuò)展,增加服務(wù)器和存儲(chǔ)容量的情況下, 能夠輕松的
56、在現(xiàn)有系統(tǒng)上進(jìn)行升級。 光纖交換機(jī)光纖交換機(jī):在本次項(xiàng)目中采用兩臺(tái) 16 口的 san 光纖交換機(jī)作為冗余光纖網(wǎng)絡(luò)。此方式增加了 冗余性和穩(wěn)定性,通過 emc 提供的 powerpath 透明通道軟件,可以實(shí)現(xiàn)在主機(jī)到磁盤陣列的多條數(shù)據(jù) 通道上實(shí)現(xiàn)負(fù)載均衡和失效切換,即如果一條通道 fail 時(shí),主機(jī)能自動(dòng)通過其他 active 的通道能自 動(dòng)分擔(dān)那條通道上的 i/o,而用戶感覺不到在訪問 clariion 陣列上的數(shù)據(jù)上有任何的問題。因此實(shí) 現(xiàn)了數(shù)據(jù)的始終在線。 nasnas 系統(tǒng):系統(tǒng):采用一臺(tái) emc celerra ns351(產(chǎn)品詳細(xì)描述詳見產(chǎn)品介紹章節(jié)),ns350 支持 2 個(gè)
57、data mover,采用主-備(active-standby)高可用模式,在一個(gè) data mover 出現(xiàn)故障時(shí),另一個(gè) data mover 可以自動(dòng)接管,在很短的時(shí)間內(nèi)繼續(xù)恢復(fù)提供服務(wù),沒有任何性能損失。另外該系統(tǒng)還 支持基于 tcp/ip 的遠(yuǎn)程管理(支持加密的 gui 圖形界面和 cli 命令行方式),并可自動(dòng)通過 email 方 式預(yù)警。emc celerra ns350 系統(tǒng)還可以通過標(biāo)配的 modem(需要用戶提供電話線)自動(dòng)呼叫 emc 服 務(wù)中心預(yù)警或通過 modem 遠(yuǎn)程撥入方式實(shí)施遠(yuǎn)程管理。服務(wù)端口:每個(gè) data mover 配置 4 個(gè) 10/100/1000mb
58、ps 自適應(yīng)以太網(wǎng)網(wǎng)絡(luò)接口,支持網(wǎng)絡(luò) trunk 和 failsafe,提供網(wǎng)絡(luò)接口的鏈路聚合、 負(fù)載均衡和高可用;還提供 2 個(gè) 2gbps 后端光纖通道存儲(chǔ)網(wǎng)絡(luò)接口,用于連接后端磁盤存儲(chǔ)系統(tǒng)。容 量:配置 14 塊高速 300gb 10000rpm fc 光纖硬盤,裸容量 4tb。 cx340cx340 方案技術(shù)特點(diǎn):方案技術(shù)特點(diǎn): 我們建議的 clariion cx3-40f 存儲(chǔ)系統(tǒng)具有極高的性能,cx3-40f 隨機(jī)讀寫能夠超過 500000 iops 能力,順序讀寫能夠達(dá)到 1520mb/s;cx3-40f 采用全冗余結(jié)構(gòu)設(shè)計(jì),完全沒有任何單點(diǎn)故障; cx3-40f 除了能夠滿足本
59、次系統(tǒng)的基本需求外,還能夠?qū)崿F(xiàn)未來建設(shè)容災(zāi)環(huán)境的需要;cx3-40f 支持 存儲(chǔ)系統(tǒng)的業(yè)務(wù)持續(xù)性卷和數(shù)據(jù)快照功能,能夠幫助用戶實(shí)現(xiàn)業(yè)務(wù)不停頓測試、備份;cx3-40f 具有 先進(jìn)的 cache destage 功能,能夠在存儲(chǔ)系統(tǒng)掉電的情況下,將 cache 中的數(shù)據(jù)全部寫回硬盤防止任 何 cache 數(shù)據(jù)丟失;cx3-40f 具有先進(jìn)的 sniffer 功能,自動(dòng)對系統(tǒng)的各個(gè)部分進(jìn)行不間斷的檢測, 在系統(tǒng)失效發(fā)生前就提前發(fā)現(xiàn)問題,及時(shí)采取保護(hù)措施。 高速交換機(jī)作為交換核心高速交換機(jī)作為交換核心帶寬高、響應(yīng)快、方便在線擴(kuò)展帶寬高、響應(yīng)快、方便在線擴(kuò)展 多通道可并發(fā)傳輸數(shù)據(jù)多通道可并發(fā)傳輸數(shù)據(jù)解
60、放解放 ipip 網(wǎng)絡(luò)資源,減輕服務(wù)器傳輸壓力網(wǎng)絡(luò)資源,減輕服務(wù)器傳輸壓力 emcemc cx3-40fcx3-40f 性能卓越、擴(kuò)展容易、適合海量存儲(chǔ)和性能卓越、擴(kuò)展容易、適合海量存儲(chǔ)和 oltpoltp 應(yīng)用應(yīng)用 本方案采用 brocade 4gbps 光纖交換機(jī)作為連接核心,具有高帶寬,i/o 響應(yīng)迅速的特點(diǎn), 易于實(shí)現(xiàn)多異構(gòu)主機(jī)跨平臺(tái)共享存儲(chǔ)與備份設(shè)備。 本方案數(shù)據(jù)傳輸速率高、擴(kuò)展性好,采用 san 存儲(chǔ)架構(gòu),具有一定的前沿性和良好的擴(kuò)展性。 可以很好解決服務(wù)器因響應(yīng)大量數(shù)據(jù)而造成的性能低下、磁盤空間緊張的問題。本套系統(tǒng)主機(jī)與存儲(chǔ) 設(shè)備間均為 4gbps 通道連接,雙端口并發(fā)可達(dá)到 紅
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 旅行社員工心理素質(zhì)提升方案
- 商場公廁衛(wèi)生管理方案
- 物流倉庫出入管理制度
- 能源項(xiàng)目成本控制與管理方案
- 商用廚房消防通風(fēng)排煙設(shè)施施工方案
- 2024至2030年銅版工藝畫項(xiàng)目投資價(jià)值分析報(bào)告
- 旅游行業(yè)網(wǎng)絡(luò)意識形態(tài)推廣方案
- 城市污水處理煙氣脫硫方案
- 智能制造項(xiàng)目結(jié)算與移交方案
- 2024年羊絨原料項(xiàng)目可行性研究報(bào)告
- GB/T 41837-2022溫泉服務(wù)溫泉水質(zhì)要求
- 夏商周考古課件 第4章 殷墟文化(1-3節(jié))
- HY/T 0289-2020海水淡化濃鹽水排放要求
- GB/T 34049-2017智能流量儀表通用技術(shù)條件
- GB/T 26593-2011無損檢測儀器工業(yè)用X射線CT裝置性能測試方法
- 介紹濟(jì)寧的英語ppt
- GB/T 20721-2022自動(dòng)導(dǎo)引車通用技術(shù)條件
- 外包施工人員入場安全培訓(xùn)考試卷(項(xiàng)目經(jīng)理)
- 產(chǎn)科理論題庫含答案
- 纖維素的分子結(jié)構(gòu)課件
- 2023年泰安市泰山文化旅游集團(tuán)有限公司招聘筆試模擬試題及答案解析
評論
0/150
提交評論