企業(yè)集中數據保護技術方案建議書_第1頁
企業(yè)集中數據保護技術方案建議書_第2頁
企業(yè)集中數據保護技術方案建議書_第3頁
企業(yè)集中數據保護技術方案建議書_第4頁
企業(yè)集中數據保護技術方案建議書_第5頁
已閱讀5頁,還剩46頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、企業(yè)集中數據保護技術方案建議書目 錄 TOC o 1-4 h z u HYPERLINK l _Toc535142804 一、 企業(yè)數據保護系統(tǒng)建設背景及技術路線 PAGEREF _Toc535142804 h 4 HYPERLINK l _Toc535142805 2.1建設背景 PAGEREF _Toc535142805 h 4 HYPERLINK l _Toc535142806 2.2建設技術路線 PAGEREF _Toc535142806 h 6 HYPERLINK l _Toc535142807 2.3集中數據保護系統(tǒng)建設原則 PAGEREF _Toc535142807 h 6 HY

2、PERLINK l _Toc535142808 二、 企業(yè)集中數據保護解決方案 PAGEREF _Toc535142808 h 8 HYPERLINK l _Toc535142809 3.1集中數據保護系統(tǒng)拓撲圖 PAGEREF _Toc535142809 h 8 HYPERLINK l _Toc535142810 3.2集中數據保護系統(tǒng)硬件設備部署描述 PAGEREF _Toc535142810 h 8 HYPERLINK l _Toc535142811 3.3集中數據保護系統(tǒng)數據保護實現描述 PAGEREF _Toc535142811 h 9 HYPERLINK l _Toc5351428

3、12 3.4宏杉科技存儲產品優(yōu)勢及客戶價值 PAGEREF _Toc535142812 h 10 HYPERLINK l _Toc535142813 3.4.1宏杉科技數據中心級專業(yè)存儲優(yōu)勢 PAGEREF _Toc535142813 h 10 HYPERLINK l _Toc535142814 .最佳硬件平臺 PAGEREF _Toc535142814 h 10 HYPERLINK l _Toc535142815 .最先進磁盤管理的技術-CRAID PAGEREF _Toc535142815 h 10 HYPERLINK l _Toc535142816 .最具擴展性的硬件架構 PAGEREF

4、 _Toc535142816 h 10 HYPERLINK l _Toc535142817 .自主研發(fā)、國內唯一 PAGEREF _Toc535142817 h 10 HYPERLINK l _Toc535142818 .最周到的研發(fā)級現場服務 PAGEREF _Toc535142818 h 10 HYPERLINK l _Toc535142819 3.4.2客戶價值 PAGEREF _Toc535142819 h 11 HYPERLINK l _Toc535142820 三、 企業(yè)保護系統(tǒng)建設存儲配置清單 PAGEREF _Toc535142820 h 12 HYPERLINK l _Toc

5、535142821 四、 宏杉科技團隊成功案例 PAGEREF _Toc535142821 h 13 HYPERLINK l _Toc535142822 5.1.宏杉團隊部分法院客戶典型實踐 PAGEREF _Toc535142822 h 13 HYPERLINK l _Toc535142823 5.1.1新疆高級人民法院集中存儲系統(tǒng) PAGEREF _Toc535142823 h 13 HYPERLINK l _Toc535142824 5.1.2唐山市中級法院數字法庭系統(tǒng) PAGEREF _Toc535142824 h 13 HYPERLINK l _Toc535142825 5.1.3甘

6、肅正寧縣法院數字法庭項目 PAGEREF _Toc535142825 h 14 HYPERLINK l _Toc535142826 5.1.4喀什法院庭審錄像存儲系統(tǒng) PAGEREF _Toc535142826 h 14 HYPERLINK l _Toc535142827 5.2.宏杉團隊華西區(qū)災備中心建設典型實踐 PAGEREF _Toc535142827 h 15 HYPERLINK l _Toc535142828 5.2.1中國兵器工業(yè)集團總公司西安災備中心 PAGEREF _Toc535142828 h 15 HYPERLINK l _Toc535142829 5.2.2西安市政府共享

7、式災備系統(tǒng) PAGEREF _Toc535142829 h 15 HYPERLINK l _Toc535142830 5.2.3中航集團西安千山電子遠程數據災備系統(tǒng) PAGEREF _Toc535142830 h 16 HYPERLINK l _Toc535142831 5.2.4中鋼集團西安重機有限公司存儲保護系統(tǒng) PAGEREF _Toc535142831 h 16 HYPERLINK l _Toc535142832 5.3.宏杉團隊災備系統(tǒng)建設成功案例列表 PAGEREF _Toc535142832 h 17 HYPERLINK l _Toc535142833 五、 宏杉科技方案產品技術

8、介紹 PAGEREF _Toc535142833 h 18 HYPERLINK l _Toc535142834 6.1.宏杉科技關鍵技術1全局緩存智能調度技術 PAGEREF _Toc535142834 h 18 HYPERLINK l _Toc535142835 6.2.宏杉科技關鍵技術2CRAID技術 PAGEREF _Toc535142835 h 20 HYPERLINK l _Toc535142836 6.2.1CRAID基于Cell的重建功能 PAGEREF _Toc535142836 h 21 HYPERLINK l _Toc535142837 6.2.2快速重建 PAGEREF

9、_Toc535142837 h 21 HYPERLINK l _Toc535142838 6.2.3局部重建 PAGEREF _Toc535142838 h 22 HYPERLINK l _Toc535142839 6.2.4優(yōu)化重建 PAGEREF _Toc535142839 h 23 HYPERLINK l _Toc535142840 6.2.5全盤重建 PAGEREF _Toc535142840 h 23 HYPERLINK l _Toc535142841 6.3.MacroSAN MS5000磁盤陣列介紹 PAGEREF _Toc535142841 h 24 HYPERLINK l _

10、Toc535142842 6.3.1產品概述 PAGEREF _Toc535142842 h 24 HYPERLINK l _Toc535142843 6.3.2產品特點 PAGEREF _Toc535142843 h 25 HYPERLINK l _Toc535142844 6.3.3產品規(guī)格 PAGEREF _Toc535142844 h 31 HYPERLINK l _Toc535142845 六、 宏杉科技項目實施及售后服務體系 PAGEREF _Toc535142845 h 34 HYPERLINK l _Toc535142846 7.1.項目實施流程 PAGEREF _Toc535

11、142846 h 34 HYPERLINK l _Toc535142847 7.2.1項目組織結構 PAGEREF _Toc535142847 h 34 HYPERLINK l _Toc535142848 7.2.2工程實施流程 PAGEREF _Toc535142848 h 35 HYPERLINK l _Toc535142849 7.2.3項目工程保證 PAGEREF _Toc535142849 h 36 HYPERLINK l _Toc535142850 7.2.售后服務體系 PAGEREF _Toc535142850 h 37 HYPERLINK l _Toc535142851 7.3

12、.1MacroSAN公司全球技術服務部 PAGEREF _Toc535142851 h 37 HYPERLINK l _Toc535142852 7.3.2MacroSAN客戶服務呼叫中心 PAGEREF _Toc535142852 h 37 HYPERLINK l _Toc535142853 MacroSAN技術支持中心 PAGEREF _Toc535142853 h 38 HYPERLINK l _Toc535142854 MacroSAN備件中心 PAGEREF _Toc535142854 h 38 HYPERLINK l _Toc535142855 .MacroSAN培訓中心 PAGE

13、REF _Toc535142855 h 38 HYPERLINK l _Toc535142856 MacroSAN公司服務代理商 PAGEREF _Toc535142856 h 39 HYPERLINK l _Toc535142857 MacroSAN公司服務機構網絡備件庫 PAGEREF _Toc535142857 h 39 HYPERLINK l _Toc535142858 7.3.3組織機構 PAGEREF _Toc535142858 h 40 HYPERLINK l _Toc535142859 7.3.4最終供貨地的服務能力 PAGEREF _Toc535142859 h 41 HYP

14、ERLINK l _Toc535142860 7.3.5宏杉科技技術有限公司售后服務網點 PAGEREF _Toc535142860 h 43 HYPERLINK l _Toc535142861 7.3.6電話支持 PAGEREF _Toc535142861 h 46 HYPERLINK l _Toc535142862 7.3.7現場服務 PAGEREF _Toc535142862 h 47 HYPERLINK l _Toc535142863 7.3.8設備維修與更換 PAGEREF _Toc535142863 h 48 HYPERLINK l _Toc535142864 7.3.9系統(tǒng)故障報

15、告和預防 PAGEREF _Toc535142864 h 49 HYPERLINK l _Toc535142865 7.3.10軟件版本升級與增強 PAGEREF _Toc535142865 h 49 HYPERLINK l _Toc535142866 7.3.11保修期滿后的技術支持 PAGEREF _Toc535142866 h 50企業(yè)數據保護系統(tǒng)建設背景及技術路線建設背景企業(yè)在多年的信息化建設過程中,建立了多個復雜的系統(tǒng),產生了大量的關鍵、寶貴的數據資產,這些數據資產都是7*24小時運行,不能允許因認為誤刪除、數據中毒、黑客攻擊、自然災害等因素導致的數據丟失帶來的聲譽損失及嚴重的負面社

16、會影響。因此,亟待建立一套完善的數據保護體系,杜絕以上情況的出現。信息化系統(tǒng)現狀企業(yè)內部信息系統(tǒng)的核心組成部分包括案件審判系統(tǒng)、OA辦公系統(tǒng)、信訪系統(tǒng)、訴訟系統(tǒng)及檔案管理系統(tǒng)等,見下圖:企業(yè)信息化系統(tǒng)組網示意圖數據故障種類及應對策略現今,數據故障中,44%以上為數據中心硬件故障,49%以上為軟件故障、認為誤刪除、數據中毒等導致的數據故障,以上93%以上的數據故障可以通過建立本地數據保護系統(tǒng),采用數據鏡像、數據復制、數據快照、數據保護等數據的本地CDP保護功能來避免。除此之外的7%的數據故障為自然災害而導致的數據丟失,這種情況可以通過建立遠程數據災備中心,實現保護級災備、數據級災備以及應用級災備

17、。建設目標企業(yè)業(yè)務系統(tǒng)擔負著案件審判、案件訴訟、檔案管理及辦公等法院核心業(yè)務,而業(yè)務系統(tǒng)中的數據,更是核心中的核心,數據的安全性關系到整個系統(tǒng)能否正常的運行,最終關系到這能否向上層提供正常的數據讀寫服務。所以對整個系統(tǒng)的數據做好數據保護是至關重要的,是法院保證向社會公眾提供正常的案件處理服務的最后一道防線。目前業(yè)內對數據的保護有多種方法,包括快照、復制、鏡像、保護和數據容災等。而其中的數據保護是目前應用得最廣泛、最有效的數據保護手段。同時,保護的方法也很多,有手工保護、自動保護、LAN保護、LAN-Free保護等。不同的保護方法,其效果不同,主要表現在性能、自動化程度、對現有系統(tǒng)應用的影響程度

18、、管理、可擴展性等方面。我們制定本建設方案的目的就是要不斷推進信息化系統(tǒng)在公檢法行業(yè)的應用與發(fā)展,以信息化的技術來促進業(yè)務管理效率的提高和業(yè)務管理手段的變革,從而推進行業(yè)運作模式的變化,能夠更好地對人力、設備、材料以及各項資源進行計劃和控制,優(yōu)化業(yè)務管理、提供決策調度等。建設技術路線企業(yè)的網絡基礎結構是基于Windows平臺,現在已經擁有超過16臺服務器和多個客戶端用戶,網絡核心應用包括了采用雙機模式的審判系統(tǒng)、OA辦公系統(tǒng)、訴訟系統(tǒng)、信訪系統(tǒng)等信息管理系統(tǒng),另外還有用于檔案管理的文件服務器,通過這些信息化系統(tǒng)的協同運作,為企業(yè)的日常辦公提供了強有力的信息化支持。企業(yè)的業(yè)務保護系統(tǒng)有以下幾個明

19、顯特點:全自動化、無人值守的數據保護:整個數據中心的數據需要通過保護管理軟件進行快速自動的數據保護管理;同一界面實現數據及操作系統(tǒng)保護管理:支持Windows、Linux平臺的集中數據保護管理和災難恢復;數據庫在線不停機數據保護:支持Sqlserver數據庫聯機熱保護、邏輯保護,支持頻繁的數據庫日志文件保護;生產數據有多個保護點:支持文件服務器的持續(xù)保護,并且支持文件多歷史版本的保護;快速恢復數據及操作系統(tǒng):要求能實現快速的系統(tǒng)災難恢復功能,保障業(yè)務系統(tǒng)正常運行;不停機靈活擴展升級:保護管理系統(tǒng)必須有靈活良好的擴展性,能夠滿足信息系統(tǒng)隨中院的發(fā)展不斷擴充和升級的需求。綜上所述,整個保護管理具有

20、跨平臺統(tǒng)一性、開放性、高效性、易用性、可維護性和可擴展性的特點,并且要根據不同的網絡應用服務設置和數據存儲容量設計相對應的保護策略。集中數據保護系統(tǒng)建設原則安全性和可用性原則在方案設計上必須保證系統(tǒng)的安全性和高可用性。在實施的過程中,能在線安裝和部署,避免對現有的生產系統(tǒng)的影響。同時,存儲系統(tǒng)安全性和可用性能應在數據的傳輸,生命周期管理和應用存儲系統(tǒng)管理員等各個層次得到體現。系統(tǒng)高性能與可管理性原則保護存儲設備必須具備高性能、彈性管理、高安全性等行業(yè)內先進的存儲技術。為保證數據存儲的可管理性,減少管理的復雜性,采用先進的存儲技術和存儲系統(tǒng)軟件,采用統(tǒng)一的管理機制,保證數據安全和業(yè)務連續(xù)。設備可

21、擴展性原則保護存儲設備需采用先進技術,在保證數據保護系統(tǒng)安全穩(wěn)定高效運行的基礎,必須考慮整個系統(tǒng)的平滑升級。系統(tǒng)必須具備良好的擴展性,包括容量、主機接口、緩存、軟件功能模塊等方面的擴展,保證三到五年之內的技術連續(xù)性,擴展時必須基于已部署的軟硬件平臺,不能對前期投資造成浪費。系統(tǒng)可擴展性原則宏杉科技的整個數據保護系統(tǒng)具備優(yōu)秀的系統(tǒng)可擴展性,支持一對一模式、多對一模式、多跳模式等多種數據保護模式,很好的符合了中國信息化系統(tǒng)的建設模型。多對一的數據保護模式可以滿足大量下屬單位數據想上級單位進行保護的需求,且最大支持64對1的數據保護,很好的滿足了國內諸多公檢法用戶的建設需求。系統(tǒng)可靠性原則集中數據保

22、護系統(tǒng)必須穩(wěn)定可靠,不能存在單點故障,所有部件必須提供冗余的保護機制,對于磁盤安全、緩存數據安全必須采用最可靠、最先進的技術手段。投資有效原則系統(tǒng)方案應具有高性能價格比,具有較高實用性和擴展性,保護現有投資。企業(yè)集中數據保護解決方案集中數據保護系統(tǒng)拓撲圖企業(yè)集中數據保護系統(tǒng)建設整體拓撲圖集中數據保護系統(tǒng)硬件設備部署描述第一步:部署冗余的FC-SAN存儲區(qū)域網絡:企業(yè)信息中心本地部署FC交換機,架設FC-SAN存儲區(qū)域網絡,為了降低數據存儲鏈路故障導致系統(tǒng)停機的概率,提供高性能的數據訪問能力,本方案部署兩套FC交換機,構建冗余的FC-SAN 存儲區(qū)域網絡,最大程度的保證了系統(tǒng)的數據傳輸連續(xù)性以及

23、其他各項業(yè)務的穩(wěn)定運行,大大提高了整個信息化系統(tǒng)集中存儲平臺的穩(wěn)定性。第二步:部署信息化數據保護存儲平臺:企業(yè)保護中心本地部署一臺MacroSAN企業(yè)級中高端企業(yè)級數據保護存儲磁盤陣列MS5020,構建集中數據保護平臺,形成高性能、高安全、大容量、易管理的信息化辦公系統(tǒng)核心數據保護平臺。緩存配置:配置24GB高速緩存,最大可擴展至72GB,滿足數據保護系統(tǒng)的讀寫訪問的需求。磁盤容量:配置16塊600GB的高性能15000 rpm SAS硬盤。通過配置高性能15000 rpm 高速SAS硬盤,滿足整個信息化數據集中保護平臺的數據高速讀寫訪問的需求。主機接口:配置2個1Gb iSCSI主機接口,8

24、個8Gb FC主機接口,構建冗余的FC-SAN存儲保護區(qū)域網絡,同時,配置多個主機接口可以保證后期系統(tǒng)擴展的需要。緩存鏡像:MS5020主存儲系統(tǒng)采用緩存鏡像機制防范單個控制器緩存故障導致的數據丟失,當存儲設備意外掉電時,采用緩存數據下刷到磁盤RAID組中的方式進行保護,確保緩存內數據的安全可靠。CRAID技術:對于存儲系統(tǒng)的關鍵部件機械硬盤來說,需要采用較傳統(tǒng)RAID機制更好的保護手段,當RAID5和RAID6等出現三塊及三塊以上磁盤發(fā)生介質錯誤時,系統(tǒng)仍然能夠保證RAID組正常運行和數據安全。從而從根本上大大得提高存儲數據的安全性和整個信息化系統(tǒng)的可靠性,保證了信息化系統(tǒng)的持續(xù)、高效、穩(wěn)定

25、運行。此外,從系統(tǒng)安全的角度出發(fā),考慮到企業(yè)的應用和存儲系統(tǒng)需要關鍵設備冗余設計,建立合理的集群機制,做好負載均衡,以保證日常辦公和業(yè)務正常運行。集中數據保護系統(tǒng)數據保護實現描述企業(yè)信息中心部署高性能、高安全的集中數據保護存儲平臺,數據采用主機卷鏡像,并在數據保護存儲系統(tǒng)中做數據快照的方式對核心業(yè)務數據進行保護,保證數據的高安全,業(yè)務的持續(xù)穩(wěn)定運行。核心業(yè)務數據在服務器端通過主機卷鏡像管理軟件,產生一份鏡像數據卷,生產數據卷與鏡像數據卷同時通過FC-SAN網絡存儲到后端存儲設備上,生產數據卷存儲到后端的原生產存儲上,鏡像數據卷存儲到后端數據保護存儲上,同時,在數據保護存儲上通過數據快照功能,通

26、過預先設定的策略每隔一段時間產生數據快照卷,宏杉科技的數據快照功能最多能夠支持512個點的快照,當生產存儲上的數據在任意時間發(fā)生丟失或錯誤時,可以快速的實現數據的恢復及業(yè)務的重啟。此外,通過主機卷鏡像及數據快照的方式進行數據保護,可以實現最大程度上的備份數據與生產數據的實時性,一旦發(fā)生系統(tǒng)錯誤,相對與普通備份方式來說,主機卷鏡像及數據快照的方式丟失的數據量非常有限,能夠最大程度的保障核心業(yè)務數據的安全、業(yè)務的連續(xù)運行。宏杉科技存儲產品優(yōu)勢及客戶價值宏杉科技數據中心級專業(yè)存儲優(yōu)勢最佳硬件平臺宏杉科技系列存儲系統(tǒng)創(chuàng)新性地采用了業(yè)界最先進的技術,包括Intel Jasper存儲專用處理器、超大緩存擴

27、展、PCI-E 2.0、SAS 2.0、SSD等,構建了端到端的高性能存儲硬件平臺,端到端的帶寬達到了96Gbps,完全滿足了客戶未來5-10年的存儲平臺建設需求。最先進磁盤管理的技術-CRAID宏杉科技帶來新一代CRAID技術,創(chuàng)新性地對傳統(tǒng)RAID進行深度改進和提升。CRAID技術大幅度提升了系統(tǒng)對磁盤介質錯誤的容錯和處理能力,CRAID允許RAID5和RAID6等出現三塊或三塊以上磁盤發(fā)生介質錯誤時,系統(tǒng)仍然能夠保證數據不丟失、業(yè)務不停頓。CRAID技術可以使系統(tǒng)因磁盤故障而導致的宕機時間減少90%以上,同時,能夠大比例降低磁盤介質錯誤引發(fā)RAID重建的機率,平均可以將磁盤重建時間降低8

28、0-85%,有效改善RAID重建對業(yè)務應用帶來的性能影響,顯著降低磁盤損壞未及時更換帶來的數據丟失風險。最具擴展性的硬件架構宏杉科技系列存儲系統(tǒng)具有超強的擴展性,這種擴展能力體現在縱向和橫向兩個方面,縱向是指在單個存儲系統(tǒng)通過擴充磁盤來擴展存儲容量和性能,設備最大可擴展1016塊磁盤,最大存儲容量達到3PB級別;橫向擴展是通過增加IP存儲來擴展存儲容量,系統(tǒng)理論上最大可支持16128個設備。用戶完全可以根據最迫切的需求購買產品,并隨著業(yè)務發(fā)展的要求不斷地、持續(xù)地進行擴展。自主研發(fā)、國內唯一宏杉科技是一家專注于企業(yè)級存儲系統(tǒng)及解決方案研發(fā)、生產與銷售的中國本土化廠商,所有軟硬件全部自主研發(fā),對所

29、生產的全線存儲產品具有完全的知識產權,真正達到自主可控。MS系列專業(yè)存儲設備超過百萬條的軟件代碼全部由宏杉科技自主編寫,能夠提供開放的編程接口(API),支持功能特性植入,并能根據客戶需求進行二次開發(fā)。最周到的研發(fā)級現場服務宏杉科技杭州總部設有完備的技術支援平臺,在全國30個省市建立了售后服務中心,擁有規(guī)模超過80人的專業(yè)技術支援體系,同時還在各省市派遣有售后服務工程師。相比于其他外國廠商,宏杉科技能提供724小時的研發(fā)級現場服務,客戶有任何存儲方面的問題,宏杉科技都能派研發(fā)級別的工程師及時、有效的為客戶解決,保障客戶的數據安全和業(yè)務連續(xù)??蛻魞r值宏杉科技為用戶提供一個領先的數據集中保護與恢復

30、解決方案,將為用戶帶來如下利益:投資回報最大化:宏杉科技高可用性項目管理專家豐富的知識和經驗,結合廣泛驗證的方法和設計技術將大大縮短實現容災方案的時間,降低方案實施過程中對現有業(yè)務系統(tǒng)的影響。風險最小化:宏杉科技通過采用高可用性容災技術和完善的人員組織建設和培訓,以及周密的流程設計和測試演練,建立起一套可行的災難恢復流程,最大限度的降低突發(fā)性災難對您關鍵業(yè)務環(huán)境的影響。改善性能:通過全面而客戶化的系統(tǒng)配置和災難恢復流程文檔以及有針對性的知識移交過程,確保您的IT支持人員能在方案實施結束后對整個容災系統(tǒng)進行有效管理。增加靈活性:宏杉科技還提供后期的關鍵業(yè)務容災系統(tǒng)的支持服務,提供包括快速響應,及

31、時修復等針對容災設備的支持,還可以提供定期的容災系統(tǒng)評估和災難恢復演習的服務,確??蛻舻娜轂南到y(tǒng)可以隨時待命,并且恢復流程切實可行。企業(yè)保護系統(tǒng)建設存儲配置清單保護存儲系統(tǒng)建議配置描述:MacroSAN MS5020數量宏杉科技MS5020企業(yè)級智能存儲保護系統(tǒng),配置Intel Jasper高性能存儲專用處理器、PCI-E 2.0總線、SAS2.0接口,配置Active-Active雙活冗余控制器,雙電源、風扇,緩存保護電池套件,所有部件均冗余;本次配置SAN控制器緩存24GB,可擴展最大緩存為72GB(緩存不包括NAS控制器緩存、SSD、閃存);采用緩存鏡像技術,支持斷電緩存保護,緩存斷電時

32、采用緩存降落技術將緩存數據下刷到硬盤,永久保留;本次配置2個1Gb iSCSI主機接口,8個8Gb FC主機接口;配置4個24Gb SAS2.0寬端口磁盤通道,合計通道帶寬96G;支持SAS、NL-SAS、SATA磁盤,支持不同磁盤類型在同一磁盤柜內混插;本次配置16塊3.5寸15000轉600GB SAS磁盤;支持的最大磁盤數為1016塊;支持的RAID級別:RAIDCRAID 0、1、10、5、6,CRAID技術允許RAID5磁盤組的三塊及三塊以上磁盤發(fā)生介質錯誤,支持RAID普通重建、局部重建、快速重建;支持專用熱備、全局熱備、空閑磁盤熱備;提供圖形化中文管理界面,支持集中式GUI管理界

33、面,在單一管理界面實現監(jiān)控,性能分析,支持SNMP,支持EventLog、指示燈告警、控制臺告警、蜂鳴器告警、SNMP告警、郵件告警、短信告警等多種告警機制;配置主機卷鏡像管理軟件,配置數據快照功能,且支持最大512個快照點;提供三年原廠研發(fā)級保修服務和三年現場維護服務(包括人工和備件,含備件先行),軟件免費升級維護服務;1套宏杉科技團隊成功案例宏杉團隊部分法院客戶典型實踐新疆高級人民法院集中存儲系統(tǒng)唐山市中級法院數字法庭系統(tǒng)甘肅正寧縣法院數字法庭項目喀什法院庭審錄像存儲系統(tǒng)宏杉團隊華西區(qū)災備中心建設典型實踐中國兵器工業(yè)集團總公司西安災備中心西安市政府共享式災備系統(tǒng)中航集團西安千山電子遠程數據

34、災備系統(tǒng)中鋼集團西安重機有限公司存儲保護系統(tǒng)數據災備中心建設典型實踐中國科學技術研究院五地云災備國家工商總局兩地三中心數據保護系統(tǒng)中國科學院自動化研究所保護存儲項目中國兵器工業(yè)集團遠程災備中船408廠數據集中災備網通集團共享災備中鋼集團西安重機有限公司張家口城管局保護存儲項目寧夏電力營銷系統(tǒng)災備項目青海市電信共享災備項目湖北709所遠程容災項目四川電信共享災備浙江省余杭供電局杭州電信共享災備浙江省計生委集中保護上海滬東重機保護系統(tǒng)環(huán)境保護部華南環(huán)境科學研究所數據保護項目 增城市人民醫(yī)院數據保護項目天河區(qū)教育城域網數據存儲保護項目廣州鴻利光電股份有限公司數據保護項目惠州市第三人民醫(yī)院HIS/PA

35、CS在線/保護存儲系統(tǒng)東莞市第一市區(qū)人民檢察院異地容災系統(tǒng)云天化國際富瑞分公司數據保護平臺克拉瑪依職業(yè)技術學院保護存儲項目蘇州電信共享災備中石油廊坊管道局災備項目河南省電力試驗院存儲項目中銀國際證券全國容災項目陜西省電力公司EMSOMS遠程容災中國人保資產管理有限公司遠程容災中信銀行北京分行災備項目廊坊網通共享災備宏杉團隊災備系統(tǒng)建設成功案例列表宏杉科技方案產品技術介紹宏杉科技關鍵技術1全局緩存智能調度技術傳統(tǒng)的存儲系統(tǒng)是一個存儲系統(tǒng)為若干個應用提供一個公共的存儲平臺,其中端口、邏輯卷可以針對不同應用進行分配和優(yōu)化,但是作為存儲系統(tǒng)中對性能影響非常大的cache資源卻無法進行有效的分配,所有應

36、用系統(tǒng)都共享同一cache資源。在某些應用系統(tǒng)的業(yè)務量突然增加時,對存儲系統(tǒng)的cache資源使用量激增,以滿足應用系統(tǒng)對性能的需求。此時,其他應用系統(tǒng)的存儲cache資源就會被占用,系統(tǒng)性能受到影響。圖無分區(qū)功能的存儲系統(tǒng)后來,出現了帶緩存分區(qū)管理功能的存儲系統(tǒng),將不同應用系統(tǒng)所針對的存儲緩存資源進行分區(qū)隔離,以保證單個LUN的應用性能。但是,緩存分區(qū)技術在突發(fā)應用情況下,無法動態(tài)增加緩存的數量,對突發(fā)性應用系統(tǒng),可能存在間歇性的性能瓶頸。MS3000一體化業(yè)務系統(tǒng)中包括很多應用,這些系統(tǒng)都是基于數據庫技術開發(fā)的,所以從系統(tǒng)重要性和對存儲系統(tǒng)的性能等方面考慮,這些應用系統(tǒng)的QoS要得到保證。針

37、對上述情況,宏杉科技創(chuàng)新性地開發(fā)出全局緩存智能調度機制,其核心思想是:根據實際情況動態(tài)調整讀、寫緩存的大小,以滿足LUN的實時變化的性能需求。圖全局性緩存調度示意圖具體實現如下圖所示:將讀、寫緩存被劃分為預留、共享、突發(fā)三大區(qū)塊。預留(Reserved)區(qū):每個LUN初始分配的緩存區(qū)域,平均分配 ;共享(Share)區(qū):活動狀態(tài)的LUN可用的緩存區(qū)域,應對穩(wěn)定的大流量 ;突發(fā)(Burst)區(qū):非活動狀態(tài)的LUN的突發(fā)流量緩存駐留區(qū)域,應對臨時性的大流量。在這種機制下,能夠保證:LUN在大壓力下獲得大緩存空間,在小壓力下獲得小緩存空間;單個LUN不存在性能瓶頸,整個系統(tǒng)的緩存利用率高 ;寫緩存根

38、據實際情況分配,不需要按照物理大小平均分配 ;兩個控制器的業(yè)務壓力無需對稱,可充分發(fā)揮控制器的性能 。圖緩存按需分配舉例來說,月底,各企事業(yè)在進行員工工資發(fā)放時,一體化業(yè)務系統(tǒng)可能面臨突發(fā)的數據訪問情況,全局智能緩存調度機制能夠保證在業(yè)務高峰時段動態(tài)增加緩存數量,以應對業(yè)務壓力。宏杉科技關鍵技術2CRAID技術據統(tǒng)計,存儲系統(tǒng)的硬件故障90%以上是磁盤故障,而故障磁盤中,只有12%是完全的物理損壞,88%屬于部分/完全可用。如果磁盤發(fā)生錯誤后立即被踢出陣列,一方面客戶需要為100%的故障磁盤買單,另外一方面客戶還需要承擔故障磁盤被踢出陣列到被更換過程中其他磁盤再次故障所導致的數據丟失風險。OD

39、SP存儲軟件平臺在分層次、模塊化設計的基礎上,對多個層次上進行了磁盤錯誤處理。Cell,形象稱之為“細胞”,指帶“活性”的數據單元,是存儲資源管理的基本單位。引入Cell的概念后,資源管理層次如下圖所示,在具體的實現上,首先用物理磁盤創(chuàng)建RAID,然后把RAID的可用空間根據指定長度(默認1GB)劃分為多個Cell,創(chuàng)建LUN時,系統(tǒng)自動分配空閑Cell,破除了LUN與RAID、Disk之間的捆綁關系,使RAID的最小維護單位由原來的磁盤變成了更小更靈活的Cell,實現了完全的虛擬化存儲架構。CRAID基于Cell的重建功能按照Cell維護健康狀態(tài),突破了傳統(tǒng)RAID對可容忍的磁盤數目的限制。

40、比如,傳統(tǒng)的RAID5支持1塊磁盤故障,第2塊磁盤故障時,RAID失效,不能繼續(xù)使用。在ODSP存儲軟件平臺的實現中,只要磁盤出錯區(qū)域不在同一個Cell內,RAID中的數據仍然可以訪問,即RAID可容忍非同一個Cell內多個磁盤發(fā)生介質錯誤,在極端的情況下,可能出現RAID中所有的成員磁盤上都存在介質錯誤,但是數據仍然可以訪問,提高了存儲產品對硬盤的容錯性以及業(yè)務連續(xù)性。同時,針對多個磁盤出錯區(qū)域在同一個Cell內的情況,ODSP存儲軟件平臺繼承了物理的處理方式,即這些磁盤錯誤僅影響當前的Cell,其他Cell仍然可以繼續(xù)訪問,使得錯誤的影響范圍降到最小??焖僦亟▍^(qū)別于傳統(tǒng)RAID先踢盤再重建

41、的方式,CRAID的快速重建可只重建錯誤磁盤上的損壞數據塊,未發(fā)生錯誤的區(qū)域直接使用拷貝方式將數據塊復制到熱備盤,重建完成后,再將錯誤磁盤轉移至IDDC磁盤診斷中心處理,該方式可明顯降低重建過程對RAID組性能造成的影響。 傳統(tǒng)RAID組重建時,最消耗性能和時間的原因是需要調用所有磁盤進行異或校驗。快速重建由于將全盤校驗改成了按Cell校驗+磁盤復制,其校驗任務只有傳統(tǒng)全盤重建的幾百分一或千分之一,校驗時間幾乎可以忽略不記,而磁盤復制的速度可以達到磁盤讀寫的最大值。以1TB的SATA磁盤為例,在15塊盤的RAID中,全盤重建時間約30小時,而快速重建的時間差最快可以達到6小時。 局部重建類似于

42、快速重建,但不是重建熱備盤,而是只對原盤的變化部分進行重建,使其同步。適用于磁盤未損壞,但發(fā)生過閃斷或人為誤操作,短時間內拔出又插回的情況。該方法可重建5分鐘內磁盤不在位過程中所丟失的數據,重建時間短,極大降低RAID組受影響程度。優(yōu)化重建僅重建被LUN使用的Cell,未使用的Cell不重建,如下圖,僅重建Cell1、2、3、4,Cell5、6不需重建;重建調度時,優(yōu)先重建存在介質錯誤的Cell,然后再使用拷貝的方式重建其他Cell,以盡可能的避免該Cell所處的其它磁盤發(fā)生故障導致的Cell損壞;支持多重重建,可同時重建多個故障磁盤,如一個RAID組中的兩塊磁盤所處的不同Cell存在壞塊,可

43、以兩個Cell并發(fā)重建,提高重建總體效率。全盤重建與傳統(tǒng)RAID組一樣,適用于磁盤被拔走或者磁盤嚴重故障不能繼續(xù)使用的情況使用。MacroSAN MS5000磁盤陣列介紹產品概述MacroSAN MS5000是宏杉科技推出的新一代面向云計算的中高端存儲產品,其采用先進的設計理念和技術架構,面向大、中型數據中心提供高性能的、安全可靠的、資源彈性部署的存儲平臺。在云計算帶來新一代數據中心技術融合和技術變革的背景下,終端的多樣化與海量化、應用的虛擬化與分布化、數據中心的大型化對存儲系統(tǒng)帶來巨大挑戰(zhàn)。傳統(tǒng)存儲系統(tǒng)在新一代數據中心需求面前捉襟見肘:半手工式使用和管理、低速低并發(fā)訪問性能的硬件結構,單一存

44、儲介質的技術成本局限、預設和固定的應用與存儲資源綁定、封閉式數據管理等缺陷都嚴重制約著數據中心的發(fā)展。以云計算為代表的新一代應用系統(tǒng)對存儲系統(tǒng)軟硬件設計提出了嚴峻挑戰(zhàn),要求數十倍地提高性能、實現動態(tài)配置和自動化管理、實現應用驅動和智能化管理、大幅降低一次性采購成本、能耗和人員維護管理成本。局部功能的增加和改進已無法應對,必須對傳統(tǒng)存儲軟硬件架構進行變革性設計和根本性創(chuàng)新。在硬件架構上,MS5000創(chuàng)新性地采用最新芯片技術,設計出高性能和高可靠的硬件結構,為海量應用并發(fā)提供了大緩存、高帶寬、高處理能力的百G級硬件平臺。在資源管理上,MS5000采用基于Cell的虛擬化技術,通過創(chuàng)新的ICMT管理

45、機制,實現資源的彈性部署。在可靠性上,MS5000除了采用雙控全冗余模塊化設計、提供豐富的數據保護特性外,還通過創(chuàng)新的CRAID技術和IDDC磁盤診斷安全機制,將磁盤故障導致的宕機時間和機率減少80%。此外,MS5000基于開放式數據存儲平臺(ODSP),能夠通過接口開放、規(guī)格功能定制、行業(yè)特性開發(fā)移植等方式,將存儲系統(tǒng)真正與用戶業(yè)務系統(tǒng)無縫融合。按照產品配置的不同,MS5000可分為MS5020、MS5040、MS5080三個型號。本方案采用的是MS5020設備。MS5000存儲控制器MS5000整機視圖DSU 1516磁盤柜(3.5英寸)DSU 1525磁盤柜(2.5英寸)產品特點(一)高

46、性能體系架構在架構設計上,MS5000采用了業(yè)界最先進的技術,包括Intel Jasper專用存儲處理器、超大緩存擴展、PCI-E 2.0、SAS 2.0、SSD等,構建了端到端的的高性能存儲平臺。(1)Intel Jasper Forest處理器Jasper Forest是Intel新一代面向專業(yè)存儲的高性能處理器,相對于上一代至強處理器而言,Jasper Forest處理器引入了大量的創(chuàng)新技術,在性能上得到了數倍的提升。硬件RAID加速:Jasper Forest首次在處理器內部集成XOR引擎,實現了RAID硬件加速處理,不僅顯著提升RAID處理效率,而且降低了處理器的工作負擔。直接內存訪

47、問:傳統(tǒng)架構的處理器和內存之間的數據通信,需要通過主板上的北橋連接實現。Jasper Forest處理器集成了內存控制器,處理器和內存之間直接通信,不僅訪問速度大幅提升,而且通信帶寬高達256Gb/s。大容量緩存支持:Jasper Forest處理器支持9根內存插槽,在采用16GB內存的配置下,雙控制器的緩存容量可達到288GB。(2)100Gb總線技術QPI總線技術:Jasper Forest處理器的QPI(QuickPath Interconnect)高速連接總線通常用于處理器之間的高速互連,通信帶寬超過100Gbps。在MS5000的控制器設計上,MacroSAN在業(yè)內首創(chuàng)將QPI總線用

48、于連接主機接口卡,在從內部總線上保障了前端主機接口的高速帶寬的同時,也為后端磁盤通道和緩存鏡像通道預留了足夠的帶寬。PCI-E 2.0技術:在每個控制器的內部,MS5000采用了16個PCI-E 2.0通道。單個PCI-E2.0通道的帶寬為5.0Gb/s,16個PCI-E2.0通道的總帶寬達到80Gbps。由于采用了QPI總線連接前端主機端口,所以后端磁盤通道及緩存鏡像通道可以各獨占8個PCI-E2.0通道,從而保障整個系統(tǒng)端到端的性能匹配。SAS 2.0技術:SAS技術近幾年在帶寬、穩(wěn)定性、兼容性、效率等方面都超越了FC技術,已經成為存儲陣列的主流架構。而SAS 2.0技術的成熟商用,使得S

49、AS的領先優(yōu)勢更為明顯。在SAS 2.0標準中,單個SAS通道的帶寬達到6Gbps,四路寬端口的帶寬達到24Gbps。MS5000采用SAS 2.0技術構建后端磁盤架構,每個控制器自帶2個四路SAS寬端口,總帶寬達到96Gbps。(3)大容量智能緩存管理緩存調度是存儲陣列的核心機制,也是影響存儲控制器性能的最主要因素之一。由于技術上的限制,傳統(tǒng)存儲陣列的緩存容量小,擴展困難,而且調優(yōu)管理非常復雜。在云計算環(huán)境下,存儲的并發(fā)I/O訪問量快速增長,數據存取熱點變動頻繁,對存儲緩存的容量要求也急劇增長。與此同時,大容量緩存對于存儲的緩存管理也提出了更高的要求。MS5000在支持超大容量緩存的同時,采

50、用業(yè)界領先的智能緩存管理機制,大大提升了緩存的效率。容量按需配置:緩存大小是決定存儲陣列檔次的重要標準,通過增加緩存能夠顯著的提升存儲性能。在緩存大小上,MS5000支持24-288GB的靈活配置,用戶可根據實際的應用需求來選擇。相對于采用更高的產品型號來增加性能的傳統(tǒng)方式,這種通過擴展緩存來提高性能的方式,具有更高的性價比。 全局智能調度:MS5000采用智能緩存調度機制,對全局性緩存進行管理。不僅單個控制器內的讀、寫緩存可根據實際情況動態(tài)調整, 而且兩個控制器的緩存也無需對稱分配,以充分發(fā)揮控制器的性能。在具體調度策略上,讀、寫緩存被劃分為預留、共享、突發(fā)三大區(qū)塊,以滿足LUN的實時變化的

51、性能需求。在這種機制下,LUN在大壓力下獲得大緩存空間,在小壓力下獲得小緩存空間,既保證單個LUN不存在性能瓶頸,也使得整個系統(tǒng)的緩存使用非常高效。數據安全可靠:在緩存數據的安全性上,不僅采用了緩存鏡像機制,而且具備掉電保護功能。在外部電源故障的情況下,寫緩存里的數據能夠被下刷保存到存儲陣列的前四塊磁盤(保留磁盤)里。當供電恢復后,能夠從保留磁盤中將數據恢復回來。(4)高性能SAS/SSD磁盤SAS磁盤技術:SAS磁盤是磁盤領域的一次技術變革。SAS磁盤在繼承SCSI磁盤穩(wěn)定、可靠性等優(yōu)點的基礎上,還具備大量新的特性,比如6.0Gb接口速率、雙冗余接口、全雙工模式、兼容SATA磁盤等。由于這些

52、優(yōu)勢,SAS磁盤已經成為了主流的磁盤技術,并且將服務器、存儲陣列兩個不同領域的磁盤進行了統(tǒng)一。如今的SAS磁盤不僅同時支持15000/10000/7200轉三種速率,而且還支持2.5/3.5二種尺寸,給用戶帶來了更多的選擇。高性能SSD磁盤:SSD磁盤的高性能已經獲得了業(yè)界的一致認可,MS5000將這一領先的磁盤技術融入高性能體系架構之中,大幅提升磁盤的IO響應能力。此外,通過自動分層存儲和自動數據遷移機制,能夠將數據熱點與SSD磁盤進行完美的融合,使存儲陣列只需要配置少量的SSD磁盤,卻能獲得整體性能的大幅提升。(二)基于Cell的智能資源管理Cell,形象稱之為“細胞”,指帶“活性”的數據

53、單元,是MS5000進行存儲資源管理的基本單位。MS5000采用Cell機制從數據塊底層改變了傳統(tǒng)的卷(LUN)管理機制,并在此基礎上構建了完全的存儲虛擬化架構,實現了資源的精細化管理和彈性調度。傳統(tǒng)意義的存儲邏輯資源管理是以卷(LUN)為基本的操作單元。LUN、RAID、磁盤三者是串行關系,一旦LUN分配之后,LUN所在的空間就被牢牢固化到具體的RAID類型和磁盤之上,不僅性能、容量難以擴展,而且配置改動困難。任何一次資源配置的改動都是“傷筋動骨”,最嚴重的情況是整個應用需要重做。ICMT(Intelligent Cell Management Technology,基于Cell的智能資源管

54、理技術)是宏杉科技的一項創(chuàng)新技術。采用ICMT技術后,LUN所對應的不再是一整塊的RAID空間,而是由多個Cell組成的一個邏輯空間。LUN不關心Cell采用的是何種的RAID方式,也無需知道Cell所在的實際位置。MS5000以Cell為核心來進行邏輯資源的管理,徹底破除LUN與RAID、Disk之間的捆綁關系,在存儲陣列內部形成完全的虛擬化架構。容量彈性配置:初始空間分配時,系統(tǒng)自動在Cell池中獲取存儲空間,無需管理員指定。此后,再通過自動精簡配置技術實現空間的自動增長。比如:應用系統(tǒng)需要1TB的邏輯空間,存儲陣列初始只為其分配500GB的物理空間,當應用的實際容量接近或達到500GB時

55、,會按照預設策略為應用系統(tǒng)分配新的物理空間,比如再分配200GB,使得實際的物理空間達到700GB。通過ICMT和自動精簡配置技術,應用系統(tǒng)只需向存儲陣列提出空間需求,而不關心資源的空間限制和物理位置,由存儲系統(tǒng)自動進行容量的彈性配置和管理。自動分層存儲:采用ICMT技術后,LUN與RAID、磁盤之間沒有綁定關系。通過基于Cell的數據拷貝和遷移,可以依據數據的訪問頻度,實現數據在不同的磁盤介質上的自由流動,從而實現自動的分層/分級存儲。比如對于熱點的數據,將其放置在SSD磁盤上;對于非熱點的在線數據,將其放置在高速SAS盤上;對于歸檔/備份數據,將其放置在低速SAS盤上,并將其休眠。通過IC

56、MT和自動分層存儲策略,徹底解決動態(tài)數據熱點的性能問題。(三)創(chuàng)新的CRAID技術傳統(tǒng)的RAID機制是以磁盤為基本的操作單元,當磁盤內出現少量壞塊后,整塊磁盤會被作為問題磁盤“踢”出RAID組,然后在熱備盤上對整塊磁盤的數據進行重建。隨著磁盤容量的急劇增大,這種粗顆粒度的RAID機制遇到了巨大的挑戰(zhàn),不僅數據重建過程漫長,而且會消耗大量的系統(tǒng)資源。例如,1塊2TB的SATA磁盤的RAID5重建時間,在無流量壓力的情況下需要20個小時,在有流量壓力下需要數天甚至超過一個星期的時間。CRAID(基于Cell的RAID技術)是宏杉科技在RAID機制上的一項創(chuàng)新技術。在CRAID環(huán)境中,建立傳統(tǒng)的RA

57、ID組之后,系統(tǒng)會再將RAID空間劃分成一個個的小數據塊,稱之為Cell,然后以Cell為單元進行資源的管理。比如當磁盤內出現部分數據壞塊時,其影響的只是壞數據塊所在的Cell,系統(tǒng)只會針對這個Cell進行數據重建,而磁盤的其它數據部分不會受到影響。CRAID通過Cell來實現對磁盤的精細化管理,不僅提高了對硬盤故障的容忍度,而且將數據重建的效率提高了數倍,具體包括:同一RAID組允許多塊磁盤出現介質故障:在RAID組內,只要同一Cell內的兩個數據塊不同時出現故障,RAID組允許多塊磁盤發(fā)生介質損壞,而數據不會丟失;只重建數據Cell:如果磁盤出現嚴重故障(比如物理故障)需要數據重建時,CR

58、AID只對已有數據的Cell進行重建,空閑Cell不重建。局部重建:如果磁盤發(fā)生暫時性故障(比如被拔出后快速插回), CRAID只重建數據發(fā)生變化的Cell,不對整個硬盤進行重建??焖僦亟ǎ喝绻脖P發(fā)生不完全損壞(存在部分介質錯誤),CRAID只對發(fā)生介質錯誤的Cell進行校驗重建,其它數據通過拷貝的方式重建。(四)完善的磁盤安全策略傳統(tǒng)意義的存儲安全,主要關注系統(tǒng)冗余性、數據保護二個方面,對磁盤安全的關注度不高。但是,據統(tǒng)計,存儲系統(tǒng)的硬件故障90%以上都是由磁盤故障引發(fā)的。可以說,磁盤的安全才是存儲安全的根本。在磁盤安全方面,MS5000建立了一整套完善的機制,通過主動式磁盤診斷中心(ID

59、DC),在磁盤檢測、故障修復、故障處理三個環(huán)節(jié)實現了對磁盤故障的主動預防、快速修復和減少誤判,以達到將硬盤故障導致的宕機時間減少80%的目標。主動式磁盤檢測:傳統(tǒng)的磁盤故障處理是一種事后模式,即在發(fā)生故障后進行修復。MS5000的磁盤診斷機制是一種故障前的主動檢測。在系統(tǒng)正常運行過程中,磁盤檢測模塊會周期性的檢測數據盤的RAID校驗信息和對空白盤、熱備盤進行全盤掃描,從而能夠比應用系統(tǒng)更早感知到磁盤故障,并提前啟動對應的修復措施??焖俟收闲迯停涸跈z測到磁盤故障后,MS5000支持多種數據修復策略。對于磁盤的假性故障,可以通過自動的磁盤上/下電等操作進行修復;對于磁盤的少量壞塊,可以采用磁盤的R

60、emap和RAID/CRAID機制進行壞塊替換;對于磁盤的大量壞塊,可以通過CRAID技術進行快速重建。磁盤故障確診:磁盤的故障誤判,在存儲系統(tǒng)中是一種常見的現象。為了減少對磁盤故障的誤判,對于發(fā)生初次檢測發(fā)生故障的磁盤,會在磁盤檢測中心再次進行磁盤檢測和修復,將磁盤故障的誤判減到最低。(五)雙控全冗余高可靠設計在硬件架構上,MS5000采用雙控全冗余模塊化設計,不僅實現了數據通道的端到端冗余,而且主要模塊均支持即插即用和快速更換。雙冗余架構:數據從服務器寫入磁盤,會經過主機通道、控制器、緩存、磁盤通道、磁盤柜、磁盤等組件。在這整個數據的通道上,MS5000采用了完全冗余的架構,保障系統(tǒng)的可靠

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論