![(售后服務)服務器虛擬化實施方案_第1頁](http://file4.renrendoc.com/view/0adaca1f7438871ce11beb75d662ed8b/0adaca1f7438871ce11beb75d662ed8b1.gif)
![(售后服務)服務器虛擬化實施方案_第2頁](http://file4.renrendoc.com/view/0adaca1f7438871ce11beb75d662ed8b/0adaca1f7438871ce11beb75d662ed8b2.gif)
![(售后服務)服務器虛擬化實施方案_第3頁](http://file4.renrendoc.com/view/0adaca1f7438871ce11beb75d662ed8b/0adaca1f7438871ce11beb75d662ed8b3.gif)
![(售后服務)服務器虛擬化實施方案_第4頁](http://file4.renrendoc.com/view/0adaca1f7438871ce11beb75d662ed8b/0adaca1f7438871ce11beb75d662ed8b4.gif)
![(售后服務)服務器虛擬化實施方案_第5頁](http://file4.renrendoc.com/view/0adaca1f7438871ce11beb75d662ed8b/0adaca1f7438871ce11beb75d662ed8b5.gif)
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
(售后服務)服務器虛擬化實施方案(售后服務)服務器虛擬化實施方案(售后服務)服務器虛擬化實施方案全文共47頁,當前為第1頁。
服務器虛擬化實施方案(售后服務)服務器虛擬化實施方案全文共47頁,當前為第1頁。(草案)陜西智維中興電子科技有限公司(售后服務)服務器虛擬化實施方案全文共47頁,當前為第2頁。2013年11月
目錄(售后服務)服務器虛擬化實施方案全文共47頁,當前為第2頁。TOC\o"1-4"\h\z\u1 項目背景 42 需求分析 52.1 系統(tǒng)分析 52.2 整合IT基礎服務器 52.3 整合重要應用服務器 53 VMware實施計劃 63.1 實施計劃 63.2 實施系統(tǒng)拓撲圖 74 實施規(guī)劃 84.1 集群規(guī)劃 84.2 硬件規(guī)劃 94.3 網(wǎng)絡規(guī)劃 94.4 相關軟件說明 105 安裝ESXiserver 105.1 相關設置規(guī)劃表 105.2 安裝前準備工作 115.3 ESXi安裝 126 安裝VC 226.1 前提條件 22(售后服務)服務器虛擬化實施方案全文共47頁,當前為第3頁。6.2 安裝DB2 22(售后服務)服務器虛擬化實施方案全文共47頁,當前為第3頁。6.3 配置ODBC 326.4 安裝VC 356.5 安裝VClient 437 創(chuàng)建數(shù)據(jù)中心 467.1 創(chuàng)建數(shù)據(jù)中心 467.2 配置主機 467.2.1 添加主機 467.2.2 配置時間和NTP服務 497.3 配置license 517.3.1 配置ESXLicense 517.3.2 檢查VmwareLicense 517.3.3 配置vCenterServerLicense 537.4 網(wǎng)絡設置 547.4.1 VMware網(wǎng)絡介紹 547.4.2 管理網(wǎng)絡設置 557.4.3 虛擬機網(wǎng)絡設置 587.4.4 VMotionKernel網(wǎng)絡設置 597.5 存儲設置 627.5.1 存儲和交換機設置 627.5.2 添加存儲配置 62(售后服務)服務器虛擬化實施方案全文共47頁,當前為第4頁。7.5.3 存儲擴容配置 66(售后服務)服務器虛擬化實施方案全文共47頁,當前為第4頁。7.6 創(chuàng)建主機群集 677.6.1 配置主機通信 677.6.2 配置網(wǎng)絡環(huán)境 677.6.3 配置集群 687.6.4 測試 717.7 創(chuàng)建只讀用戶appmon 728 虛擬機部署 748.1 新建虛擬機 748.1.1 創(chuàng)建虛擬機 748.1.2 安裝操作系統(tǒng) 818.1.3 設置虛擬機自動啟動 848.2 模板部署虛擬機 868.2.1 創(chuàng)建模板 868.2.2 模板部署虛擬機 898.2.3 自定義規(guī)則 918.3 克隆部署虛擬機 989 converter4.3軟件使用 989.1 VMwareconverterstandalone軟件安裝 999.2 P2V物理服務器至虛擬化架構 1049.2.1 熱P2VWindows2003物理服務器 105(售后服務)服務器虛擬化實施方案全文共47頁,當前為第5頁。9.2.2 熱P2VLINUX物理服務器 115(售后服務)服務器虛擬化實施方案全文共47頁,當前為第5頁。9.2.3 冷P2VWindows2003物理服務器 1249.2.4 冷P2VLinux物理服務器 137(售后服務)服務器虛擬化實施方案全文共47頁,當前為第6頁。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第6頁。項目背景公司服務器眾多,服務器利用率低,會造成資源浪費:通常為了保證系統(tǒng)安全性和可靠性,數(shù)據(jù)庫服務器一般采用雙機熱備的方式,應用服務器一般采用負載均衡或冷備方式,導致服務器數(shù)量眾多。安全性和可靠性雖然得到提高,但備機系統(tǒng)資源平時并沒有利用到,浪費了備機系統(tǒng)資源,資源利用率低,同時也增加了維護成本以及維護工作量。部份生產(chǎn)服務器系統(tǒng)壓力低,系統(tǒng)資源沒有得到充分利用。開發(fā)機資源利用率低,由于每套系統(tǒng)均需建立一套開發(fā)環(huán)境、測試環(huán)境及生產(chǎn)環(huán)境,所需開發(fā)、測試服務器數(shù)量多,同時由于開發(fā)、測試跟業(yè)務需求有關,沒有業(yè)務應用系統(tǒng)需求時,開發(fā)、測試服務器資源利用率不高。硬件故障維護、升級或者擴容時候需要停機進行操作,造成應用系統(tǒng)中斷,影響了正常業(yè)務應用系統(tǒng)使用及開展。生產(chǎn)和開發(fā)服務器數(shù)量多,成本高,耗電量大,不符合綠色IT概念。新應用服務器的上線部署時間久、周期長。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第7頁。為解決服務器數(shù)量增加所帶來的問題,提高服務器資源的使用率,降低設備采購成本,提高業(yè)務的連續(xù)性以及為將來新應用系統(tǒng)建設提供一個靈活的資源使用平臺,需對現(xiàn)有服務器進行虛擬化整合。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第7頁。需求分析系統(tǒng)分析XXXX公司現(xiàn)有各種品牌的服務器 XX臺,各種應用和業(yè)務系統(tǒng)分布在各服務器上面。為了最大限度的利用現(xiàn)有的服務器資源,進行了VMwareCapacityPlanner的評估,根據(jù)評估報告,現(xiàn)有的各個服務器資源利用率很低,造成大量服務器資源、電力、維護人力的浪費。因此需要利用VMware對服務器進行整合。整合IT基礎服務器IT基礎應用的服務器大多數(shù)是Intel架構的服務器,這一類的應用通常需求為文件和打印服務器,活動目錄,網(wǎng)頁服務器等。雖然大多數(shù)服務器系統(tǒng)資源的利用率在10%-15%,但是安全和兼容性方面的問題導致必須指定不同的物理平臺來運行。導致管理、安裝補丁和添加安全策略花去大量的時間。另外,服務器的衍生組件將導致設備,動力和散熱方面的成本上升。整合重要應用服務器使用服務器TCO模型分類和計算成本,分析VMWARE服務器軟件可以幫助這些企業(yè)實現(xiàn):減少28%-53%的硬件成本(售后服務)服務器虛擬化實施方案全文共47頁,當前為第8頁。減少72%-79%的運作成本(售后服務)服務器虛擬化實施方案全文共47頁,當前為第8頁。減少29%-64%的綜合成本(售后服務)服務器虛擬化實施方案全文共47頁,當前為第9頁。
(售后服務)服務器虛擬化實施方案全文共47頁,當前為第9頁。VMware實施計劃實施計劃VMware的實施與傳統(tǒng)系統(tǒng)的搭建不同,包括基礎環(huán)境的搭建和虛擬機的實施;同時,VMware內置了虛擬機交換機和存儲多路徑軟件,可以靈活實現(xiàn)虛擬化系統(tǒng)中網(wǎng)絡環(huán)境和存儲環(huán)境的共享和隔離。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第10頁。表1、實施計劃表(售后服務)服務器虛擬化實施方案全文共47頁,當前為第10頁。序號項目內容備注1實施前相關硬件設備準備設備到場就位、完成設備上架上電、網(wǎng)絡環(huán)境準備、存儲環(huán)境準備等2編寫設計文檔詳細規(guī)劃數(shù)據(jù)中心、群集、資源池、主機、網(wǎng)絡、存儲等3基礎環(huán)境實施ESXi服務器安裝vCenterServer服務器安裝添加主機,配置主機網(wǎng)絡、存儲配置虛擬架構集群4虛擬機實施創(chuàng)建虛擬機,安裝虛擬機操作系統(tǒng)通過模板部署虛擬機P2V實施物理機到虛擬機轉換5完成實施文檔完成實施文檔(售后服務)服務器虛擬化實施方案全文共47頁,當前為第11頁。
實施系統(tǒng)拓撲圖(售后服務)服務器虛擬化實施方案全文共47頁,當前為第11頁。虛擬化環(huán)境中,采用VMwareHA技術構架高可用集群,其中關鍵要素有:共享存儲:只有將VMware的虛擬機部署在共享存儲上,(包括操作系統(tǒng)即其他數(shù)據(jù)盤),才能實現(xiàn)VMware的高可用。主機配置:需要物理配置相同的主機,進行相同的網(wǎng)絡配置和存儲配置,才能構成可實現(xiàn)在線遷移的高可用集群。VCenter管理:必須將所有主機和虛擬機使用相同的VCenter管理,才能實現(xiàn)高可用集群。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第12頁。
實施規(guī)劃(售后服務)服務器虛擬化實施方案全文共47頁,當前為第12頁。集群規(guī)劃此虛擬化環(huán)境,主要使用VMwareHA技術,組成多個VMware集群,滿足新系統(tǒng)上線和單點改造的需求。已經(jīng)上線的集群包括:APP01:生產(chǎn)環(huán)境,第一個APP服務器集群APP02:生產(chǎn)環(huán)境,第二個APP服務器集群WEB01:生產(chǎn)環(huán)境,第一個WEB服務器集群IAM-CLUSTER:集中用戶管理的服務器集群OFFICE01:辦公環(huán)境,第一個服務器集群每個集群中,需要使用3-4臺高配置服務器,通過VMwareHA技術,組成VMware集群。具體要求如下:硬件設置:這四臺主機具有相同的CPU、內存、內置網(wǎng)卡、外置網(wǎng)卡、光纖卡設置。網(wǎng)絡設置:四臺主機連接相同數(shù)量的網(wǎng)線,物理交換機上配置相同的IP和信息點;虛擬交換機上配置相同的虛擬交換機和相同名稱的端口組。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第13頁。存儲設置:規(guī)劃一個1T的共享存儲上的LUN;在交換端,為這四臺主機和共享存儲劃分相同的Zone;在存儲端,將這四臺主機配置為一個主機組,并mapping以上的主機。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第13頁。硬件規(guī)劃使用四臺XX公司的XXXX,型號XXXXXXX。CPU:X個XXCPU,每個CPUXX核,共XX核內存:XXG內存HBA卡:X個雙口HBA卡網(wǎng)卡:每臺服務器內置XX個XX口的網(wǎng)卡,外置XX塊XX口的網(wǎng)卡,共XX個網(wǎng)口。本地硬盤:XX個XXG本地硬盤,配置為RAIDXXX存儲設備:XXXXX網(wǎng)絡規(guī)劃ESXiserver物理機:XXXXX每臺服務器內置XX個XX口的網(wǎng)卡,外置XX塊XX口的網(wǎng)卡,共XX個網(wǎng)口,對應XX個虛擬網(wǎng)卡。以下已MIS01為例,說明虛擬交換機的配置:Vmnic0(內置的第一個網(wǎng)口)+Vmnic4(外置第一塊網(wǎng)卡的上口):管理網(wǎng)絡和VMotion(遷移網(wǎng)絡)21.244.20.*(售后服務)服務器虛擬化實施方案全文共47頁,當前為第14頁。Vmnic1(內置的第二個網(wǎng)口)+Vmnic5(外置第一塊網(wǎng)卡的下口):業(yè)務網(wǎng)段21.244.72.*(售后服務)服務器虛擬化實施方案全文共47頁,當前為第14頁。Vmnic2(內置的第三個網(wǎng)口)+Vmnic6(外置第二塊網(wǎng)卡的上口):業(yè)務網(wǎng)段21.244.40.*vCenterServer服務器:虛擬機vClient服務器::虛擬機00相關軟件說明軟件產(chǎn)品版本ESXiserver4.1Update1vCenterServer4.1Vmwareconverterstandalone4.3安裝ESXiserver相關設置規(guī)劃表ESXiserver安裝在XX臺XXXXX服務器上。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第16頁。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第15頁。表2、服務器配置規(guī)劃表(售后服務)服務器虛擬化實施方案全文共47頁,當前為第16頁。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第15頁。說明設備安裝軟件主機名App01lXXXXXESXi4.1U1esx01XXXXXESXi4.1U1esx02XXXXX7ESXi4.1U1esx03XXXXXESXi4.1U1esx04VC虛擬機Windows2003DB29.7vCenterServervca001安裝前準備工作1、設置主機BIOS,升級至最新BIOS2、服務器啟動,配置RAID對于有2塊硬盤的服務器,建議配置為RAID1.對于多于2塊硬盤的服務器,建議配置為RAID5.3、對于服務器,關閉CPU節(jié)能開關服務器1:BIOS>Advanced>ProcessorConfguration:關閉以下開關:CPUCState、ProcessorC3、ProcessorC6;服務器2:BIOS>Advanced>CPUConfguration:關閉以下開關:C1ESupport、IntelC-STATEtech、CStatepackagelimitsetting、C1AutoDemotion、C3AutoDemotion;4、打開CPU的VT(VirtualizationTechnology)這是必須的對于使用了IntelCPU。VMware要求必須打開VT開關,以支持64位操作系統(tǒng)。方法:進入BIOS->Advanced->Processor->VirtualizationTechnology->設置為enable。5、關閉內存NUMA開關(僅對聯(lián)想R680等機型)這是必須的對于聯(lián)想680,如果配置了128G內存,需要關閉NUMA開關,否則報錯不能識別內存。方法:進入BIOS->Advanced->Memory->MemoryRAS->NUMAOptimizedEnabled->設置為disable。ESXi安裝提前準備好ESXi安裝介質,在ESXi安裝期間,必須要拔掉所有與存儲連接的光纖線1、使用ESXiServer4.1U1的安裝光盤引導服務器。在顯示初始引導屏幕時按【Enter】鍵開始進行安裝2、單擊F11繼續(xù)(售后服務)服務器虛擬化實施方案全文共47頁,當前為第17頁。3、選擇一塊本地硬盤,然后單擊Enter繼續(xù)。由于VMware有2T磁盤大小的限制,如果內置硬盤大于2T,將顯示為2塊硬盤。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第17頁。4、點擊F11開始安裝5、安裝完成后點擊Enter重新啟動6、在主頁面點擊F27、輸入root的密碼,默認為空,點擊Enter8、進入ESX的配置主界面,選擇Configurepassword:修改esxi主機密碼;9、選中ConfigureManagementNetwork,點擊Enter選擇NetworkAdapters:將看這臺服務器的網(wǎng)卡清單。這里,一個網(wǎng)口對應一個VMware網(wǎng)卡,名稱是“vmnicN”的形式,從0開始編號。連接了網(wǎng)絡的網(wǎng)卡,將顯示為“Connected”,否則顯示為“disconnected”。DeviceName HardwareLabel Status[]vmnic0 NA[e8:e9:0f:bd:d2:88]Connected[]vmnic1 NA[e8:e9:0f:bd:d2:88]disconnected[]vmnic2 NA[e8:e9:0f:bd:d2:88]disconnected[]vmnic3 NA[e8:e9:0f:bd:d2:88]Connected[]vmnic4 NA[e8:e9:0f:bd:d2:88]disconnected可以通過一根網(wǎng)線,同時連接兩個網(wǎng)口,得到vmware網(wǎng)卡和物理網(wǎng)絡的對照關系。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第18頁。9、選中IPConfiguration,點擊Enter(售后服務)服務器虛擬化實施方案全文共47頁,當前為第18頁。10、輸入相關IP地址11、選中DNSConfiguration,點擊Enter12、輸入相關DNS(如果有),同時輸入事先規(guī)劃好的主機名13、選中TroubleshootingOptions,點擊Enter14、點擊Enter,可以分別開啟本地命令行模式和遠程SSH登錄模式選擇EnableRemoteTechSupport(SSH)按<Enter>修改,將打開esxi遠程SSH服務選擇EnableLocalTechSupport按<Enter>修改,將打開esxi本地SSH服??梢酝ㄟ^按“Alt+F1”鍵,進行文字型的管理界面,按“Alt+F2”鍵,將切換回圖形化的管理界面。安裝VC前提條件1、在群集Cluster中創(chuàng)建一個虛擬機,分配2個虛擬CPU,4G內存,60G硬盤空間,安裝windows2003R2操作系統(tǒng),安裝DB2數(shù)據(jù)庫,配置好相關網(wǎng)絡連接。2、準備好VC安裝介質,安裝到虛擬機上(售后服務)服務器虛擬化實施方案全文共47頁,當前為第19頁。3、在VC中使用的用戶名和密碼都是安裝VC的這臺服務器windows操作系統(tǒng)的administrator用戶和它的密碼。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第19頁。安裝DB21、以Administrator用戶身份登錄VirtualCenter系統(tǒng)(也就是剛剛安裝的windows2003)2、把DB2安裝介質載入光驅,開始安裝DB2。3、點擊下一步4、選擇典型安裝,點擊【下一步】5、選擇安裝文件夾,然后點擊【下一步】6、設置用戶信息,點擊【下一步】7、配置DB2對象啟用系統(tǒng)安全性,然后點擊【下一步】8、開始安裝DB2,安裝完成后點擊完成9、增加vcx用戶,設置密碼。注意,密碼中不能有“;”等特殊字符。10、新增DBSYSMON組,并把vcx用戶加入到這個組中,同時把vcx加DB2USERSDB2ADMIN用戶組12、打開DB2命令工具13、運行以下命令(售后服務)服務器虛擬化實施方案全文共47頁,當前為第20頁。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第20頁。db2startdb2setDB2_ATS_ENABLE=YESdb2setDB2_SKIPINSERTED=ONdb2setDB2_EVALUNCOMMITTED=ONdb2setDB2_SKIPDELETED=ONdb2stopforcedb2startdb2setDB2CODEPAGE=120814、使用DB2腳本創(chuàng)建VCDB數(shù)據(jù)庫:notepadC:\ProgramFiles\IBM\SQLLIB\BIN\vcdbcreate.sq15、把下面內容復制到vcdbcreate.sql文件中,并運行db2–svtfvcdbcreate.sqlCREATEDATABASEVCDBAUTOMATICSTORAGEYESON'C:\'DBPATHON'C:\'USINGCODESETUTF-8TERRITORYUSCOLLATEUSINGSYSTEMPAGESIZE4096;(售后服務)服務器虛擬化實施方案全文共47頁,當前為第21頁。UPDATEDBCFGFORVCDBUSINGAUTO_MAINTON;(售后服務)服務器虛擬化實施方案全文共47頁,當前為第21頁。UPDATEDBCFGFORVCDBUSINGAUTO_TBL_MAINTON;UPDATEDBCFGFORVCDBUSINGAUTO_RUNSTATSON;UPDATEDBCFGFORVCDBUSINGlogprimary32logsecond6logfilsiz2048;UPDATEALERTCFGFORDATABASEONVCDBUSINGdb.db_backup_reqSETTHRESHOLDSCHECKEDYES;UPDATEALERTCFGFORDATABASEONVCDBUSINGdb.tb_reorg_reqSETTHRESHOLDSCHECKEDYES;UPDATEALERTCFGFORDATABASEONVCDBUSINGdb.tb_runstats_reqSETTHRESHOLDSCHECKEDYES;CONNECTTOVCDB;grantselectonsysibmadm.applicationstouservcx;CREATEBUFFERPOOLVCBP_8KIMMEDIATESIZE250AUTOMATICPAGESIZE8K;CREATELARGETABLESPACEVCTS_8kPAGESIZE8KMANAGEDBYAUTOMATICSTORAGEEXTENTSIZE32(售后服務)服務器虛擬化實施方案全文共47頁,當前為第22頁。OVERHEAD12.67PREFETCHSIZE32TRANSFERRATE0.18BUFFERPOOLVCBP_8K;(售后服務)服務器虛擬化實施方案全文共47頁,當前為第22頁。CREATEBUFFERPOOLVCBP_16KIMMEDIATESIZE250AUTOMATICPAGESIZE16K;CREATELARGETABLESPACEVCTS_16kPAGESIZE16KMANAGEDBYAUTOMATICSTORAGEEXTENTSIZE32OVERHEAD12.67PREFETCHSIZE32TRANSFERRATE0.18BUFFERPOOLVCBP_16K;CREATEBUFFERPOOLVCBP_32KIMMEDIATESIZE250AUTOMATICPAGESIZE32K;CREATELARGETABLESPACEVCTS_32kPAGESIZE32KMANAGEDBYAUTOMATICSTORAGEEXTENTSIZE32OVERHEAD12.67PREFETCHSIZE32TRANSFERRATE0.18BUFFERPOOLVCBP_32K;CREATETABLESPACESYSTOOLSPACEINIBMCATGROUPMANAGEDBYAUTOMATICSTORAGEEXTENTSIZE4;CREATEUSERTEMPORARYTABLESPACESYSTOOLSTMPSPACEINIBMCATGROUPMANAGEDBYAUTOMATICSTORAGEEXTENTSIZE4;CREATESYSTEMTEMPORARYTABLESPACEVCTEMPTS_8KPAGESIZE8KMANAGEDBYAUTOMATICSTORAGE(售后服務)服務器虛擬化實施方案全文共47頁,當前為第23頁。BUFFERPOOLVCBP_8K;(售后服務)服務器虛擬化實施方案全文共47頁,當前為第23頁。CREATESYSTEMTEMPORARYTABLESPACEVCTEMPTS_16KPAGESIZE16KMANAGEDBYAUTOMATICSTORAGEBUFFERPOOLVCBP_16K;CREATESYSTEMTEMPORARYTABLESPACEVCTEMPTS_32KPAGESIZE32KMANAGEDBYAUTOMATICSTORAGEBUFFERPOOLVCBP_32K;GRANTUSEOFTABLESPACEVCTS_16KTOUSERvcxWITHGRANTOPTION;GRANTUSEOFTABLESPACEVCTS_32KTOUSERvcxWITHGRANTOPTION;GRANTUSEOFTABLESPACEVCTS_8KTOUSERvcxWITHGRANTOPTION;commitwork;connectreset;terminate;配置ODBC1、在VC系統(tǒng)中,從Windows工具欄單擊【開始】【管理工具】【數(shù)據(jù)源(ODBC)】。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第24頁。2、屏幕上將顯示【ODBC數(shù)據(jù)源管理器】對話框。選擇【系統(tǒng)DSN)】選項卡。單擊【添加】,選擇【DB2COPY1】。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第24頁。3、彈出創(chuàng)建DB2的新數(shù)據(jù)源窗口,在【名稱】里面輸入【vcdb】(數(shù)據(jù)源名稱,可自己定義),服務器選擇DB2服務器。然后點擊【確認】。4、輸入描述和建立好的用戶名和密碼,點擊點擊,測試成功后完成配置安裝VC1、設置完成ODBC以后,重啟動windows2003操作系統(tǒng),然后把VC安裝光盤載入到光驅,安裝程序會自動運行,如沒有自動運行,就要進入光驅,雙擊根目錄下的autorun.exe進行安裝,單擊vCenterServer。2、選擇安裝語言,默認是中文。點擊【確定】,開始安裝。3、顯示【歡迎使用】,單擊【下一步】,顯示【許可證協(xié)議】屏幕中,選擇【接受該許可證協(xié)議】。單擊【下一步】4、在【客戶信息】屏幕中輸入信息,其中密鑰可在此時輸入,也可在安裝完成后單獨編輯設置(評估模式)。單擊【下一步】。5、在下圖中首先選擇【使用現(xiàn)有的數(shù)據(jù)庫服務器】,然后在下面選擇我們在【建立ODBC連接】中設置的【數(shù)據(jù)源名稱(DSN)】完成后單擊【下一步】。6、在顯示下圖時,保持默認直接單擊【下一步】。7、VC服務,帳戶信息,保持默認,直接單擊【下一步】。8、選擇安裝文件夾,默認就可以。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第25頁。9、vCenterServer鏈接模式,選擇【創(chuàng)建獨立的VMwarevCenterServer實例】。單擊【下一步】。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第25頁。10、顯示下圖時,更改鏈接使用端口,建議保持默認,直接單擊【下一步】。11、選擇默認,直接單擊【下一步】12、配置完成后,顯示如下圖,直接單擊【安裝】。進行正式安裝。13、進入正式安裝后,根據(jù)服務器配置,安裝所需時間長短不定,請耐心等待安裝完成。14、重新啟動windows操作系統(tǒng),重新啟動完成后,在windows操作系統(tǒng)的服務功能里面,查看VMwareVirtrualCenterManagementWebservices和VMwareVirtualCenterServer服務。這兩個服務是VC的關鍵進程,必需要啟動。安裝VClient安裝VClient前,將自動安裝.netframework3.0,依次將出現(xiàn)以下界面。其中關于“正在下載”、“安裝過程中遇到問題”兩個提示信息可以忽略。提示Framework安裝完成。提示VClient安裝完成。創(chuàng)建數(shù)據(jù)中心創(chuàng)建數(shù)據(jù)中心(售后服務)服務器虛擬化實施方案全文共47頁,當前為第26頁。 使用VMwareClient,文件菜單中,選擇新建數(shù)據(jù)中心,輸入數(shù)據(jù)中心名字。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第26頁。配置主機添加主機 1、根據(jù)IP添加主機,輸入主機的用戶名和密碼忽略以下的安全提示。2、點擊下一步3、分配相關許可密鑰,點擊下一步,完成配置時間和NTP服務開通VMware管理網(wǎng)絡到NTP服務器的訪問控制。Vclient連接虛擬機后,點中ESX服務器,“配置”頁面中,選擇“時間配置”,點擊“屬性”。點擊“屬性”,可以設置時間和NTP。在NTP配置中,點擊選項,可以設置NTP。配置license配置ESXLicense點中ESX虛擬機,在“配置”頁中,選擇“已獲得許可的功能”,點擊“編輯”,可以添加License。檢查VmwareLicense(售后服務)服務器虛擬化實施方案全文共47頁,當前為第27頁。點中ESX虛擬機,在“配置”頁中,選擇“已獲得許可的功能”,將看到當前的License類型。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第27頁。對于EnterprisePlus版本,包含以下功能:產(chǎn)品功能:最大內存為256GB最多8路虛擬SMPESXServer的vCenter代理vStorageAPIVMsafeDVfilterVMwareHA可熱插拔的虛擬硬件vMotionVMwareFTDataRecoveryvShieldZonesVMwareDRSStoragevMotion(售后服務)服務器虛擬化實施方案全文共47頁,當前為第28頁。MPIO/第三方多路徑(售后服務)服務器虛擬化實施方案全文共47頁,當前為第28頁。遠程虛擬串行端口集中器配置vCenterServerLicense1、登錄vCenterServer,點擊主頁2、點擊vCenterServer設置3.選擇“向vCenterServer分配新的許可證密鑰”4、點擊輸入密鑰,輸入相應的license,點擊確定,即可激活vCenterServer網(wǎng)絡設置VMware網(wǎng)絡介紹VMwareESXi有三種網(wǎng)絡類型:管理網(wǎng)絡,VMkernel網(wǎng)絡,虛擬機網(wǎng)絡。1.管理網(wǎng)絡:虛擬機默認的網(wǎng)絡,用于內部管理,默認未開啟vmotion功能。2.VMkernel網(wǎng)絡:是VMware實現(xiàn)連接iscsi存儲、vMotion功能的基礎網(wǎng)絡類型,要實現(xiàn)以上功能先創(chuàng)建此網(wǎng)絡類型。3.虛擬機網(wǎng)絡:虛擬機對外通信的網(wǎng)絡,如果要為生產(chǎn)虛擬機提供網(wǎng)絡連接,則必須要創(chuàng)建該類型的端口組。對于我行系統(tǒng),為了簡化管理,將“管理網(wǎng)絡”的“將此端口組用于Vmotion”的開關打開,從而避免創(chuàng)建單獨的“VMkernel網(wǎng)絡”。管理網(wǎng)絡設置(售后服務)服務器虛擬化實施方案全文共47頁,當前為第29頁。1.修改網(wǎng)絡標簽,從“VMNetwork”,修改為“Internal”,以區(qū)別于用于生產(chǎn)的業(yè)務網(wǎng)絡。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第29頁。2.選中“將此端口組用于Vmotion”
3.設置網(wǎng)卡雙活。選擇主機,點擊配置,選擇網(wǎng)絡在虛擬交換機旁,點擊屬性。選擇vSwitch,點擊“編輯”選擇“網(wǎng)卡綁定”,通過上移按鈕,將兩塊網(wǎng)卡都放置在“活動的適配器”下。修改后,將看到兩塊網(wǎng)線都顯示為“全雙工”。虛擬機網(wǎng)絡設置1、點擊添加網(wǎng)絡,選擇虛擬機:2、輸入相關網(wǎng)絡標簽和VLANID,點擊下一步我行系統(tǒng)中使用該網(wǎng)絡的網(wǎng)段做為標簽名,比如“-255”“-255”VLANID,是當物理交換機做了trunk時才設置。3、點擊完成VMotionKernel網(wǎng)絡設置說明:我行系統(tǒng)中,將管理網(wǎng)絡中打開了“Vmotion”功能,所以一般不需要再單獨創(chuàng)建VMKernel網(wǎng)絡。1、點擊添加網(wǎng)絡,選擇VMkernel(售后服務)服務器虛擬化實施方案全文共47頁,當前為第30頁。2、輸入網(wǎng)絡標簽,勾選將此端口組用于vMotion(售后服務)服務器虛擬化實施方案全文共47頁,當前為第30頁。3、輸入IP地址和相應子網(wǎng)掩碼,點擊下一步4、點擊否,完成存儲設置存儲和交換機設置1.VMware中,選擇主機–》屬性–》存儲卡,記錄該主機的WWN號。2.將準備配置成集群的主機都接入相同的2臺光纖交換機中,在交換機中,將以上主機劃入相同的zone中。3.在存儲中,將以上主機化為一組,進行相同的mapping。劃分LUN,為LUN同一命名,比如ESXA_OS_LUN_1,記錄LUN號。添加存儲配置 1、在以上的主機組中,選取一臺主機,選擇添加存儲器,選定磁盤/LUN2、選擇相應的LUN,注意顯示的“LUN號”應該為存儲中顯示的LUN號相同。3、擇下一步4、此時,該LUN是空白的,將提述輸入存儲,建議和存儲中定義的LUN名相同。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第31頁。5、選擇相應的塊大小,默認大小為1M,支持的最大單個文件為256G,根據(jù)所需單個文件的最大值,來選擇相應的塊大小。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第31頁。1M的塊支持的單個文件最大為256G2M的塊支持的單個文件最大為512G4M的快支持的單個文件最大為1TB8M的塊支持的單個文件最大為2TB6、擊完成,完成添加存儲器6、檢查集群中的其他主機,確認其他主機可以看到相同的LUN。存儲擴容配置VMware中,可以將原有的LUN進行擴容,即將2個存儲的LUN進行合并。1、點擊主機,點擊配置,選擇將要擴容的存儲,點擊屬性2、點擊增加3、選擇增加的LUN,點擊下一步,直到完成,完成對存儲的擴容創(chuàng)建主機群集配置主機通信配置VMware集群前,必須保障集群內的所有主機,可以通過主機名相互識別,有兩種配置方法,我行使用的是第一種方法。方法1:將配置為一個VMware集群的主機作為一組,修改該組內所有主機的hosts表,將該組的所有主機的主機名和IP將加入hosts表中。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第32頁。方法2:所有主機中,配置相同的NDS服務器。在DNS服務器,記錄所有主機的信息。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第32頁。配置網(wǎng)絡環(huán)境逐臺設置主機的網(wǎng)絡設置。設置為以下的虛擬交換機。網(wǎng)絡交換機端口組網(wǎng)卡vSwitch0InternalVmnic0,Vmnic4vSwitch-255Vmnic1,Vmnic5vSwitch-255Vmnic2,Vmnic6以上虛擬網(wǎng)卡對應以下位置的物理網(wǎng)卡:Vmnic0(內置網(wǎng)卡的第一個網(wǎng)口)Vmnic1(內置網(wǎng)卡的第二個網(wǎng)口)Vmnic2(內置網(wǎng)卡的第三個網(wǎng)口)Vmnic2(內置網(wǎng)卡的第四個網(wǎng)口)Vmnic4(外置第一塊網(wǎng)卡的上口)Vmnic5(外置第一塊網(wǎng)卡的下口)Vmnic6(外置第二塊網(wǎng)卡的上口)配置集群(售后服務)服務器虛擬化實施方案全文共47頁,當前為第33頁。在新建的數(shù)據(jù)中心上,點擊鼠標右鍵,選擇新建群集,輸入群集名稱,選擇“打開VMwareHA”,不選擇“打開VMwareDRS”(售后服務)服務器虛擬化實施方案全文共47頁,當前為第33頁。選擇打開“啟動主機監(jiān)控”取消“虛擬機監(jiān)控”虛擬機重新啟動優(yōu)先級,選擇“中等”。該設置表示,主機發(fā)生故障等問題時,虛擬機將切換到其他主機,并通過重新啟動操作系統(tǒng)來進行恢復。主機隔離級別,選擇“保持啟動”。該設置表示,當管理網(wǎng)絡發(fā)生不能聯(lián)通時,主機不發(fā)生重啟。測試配置集群后,進行如下測試:1.切換主機測試方法:選擇虛擬機,選擇“遷移”“更改主機”,從一臺主機遷移到其他主機。測試結果:觀察遷移過程中虛擬機可以繼續(xù)對外提供服務。2.切換存儲:測試方法:選擇虛擬機,選擇“遷移”“更改數(shù)據(jù)存儲”,從一個共享存儲遷移到其他共享存儲。測試結果:觀察遷移過程中虛擬機可以繼續(xù)對外提供服務。3.異常宕機測試方法:通過關閉電源的方法關閉一臺主機,模擬異常宕機。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第34頁。測試結果:觀察虛擬機自動切換到其他主機。此時,操作系統(tǒng)有一個重啟動作。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第34頁。創(chuàng)建只讀用戶appmonvCenter所在操作系統(tǒng)的Administrator用戶是VMware默認的管理用戶,按照我行的管理要求,還需要創(chuàng)建只讀用戶appmon。操作系統(tǒng)中增加用戶appmon。該用戶需要增加到remotedesktop用戶組。在vCenter,設置appmon為只讀用戶角色。1)點擊主頁,點擊主機和群集,選中根,也就是vCenter,然后選中權限2)、右鍵選擇空白處,選擇添加權限,彈出以下窗口3)、分配的角色選中只讀,在用戶和組的選框中點擊添加、選中appmon用戶,點擊確定4)點擊確定后完成對appmon用戶的授權虛擬機部署新建虛擬機創(chuàng)建虛擬機新建虛擬機,用安裝光盤或者iso文件安裝虛擬機操作系統(tǒng)。1、右鍵ESXiserver,選擇新建虛擬機:2、彈出提示窗口:3、為虛擬機命名,并且選擇存在的數(shù)據(jù)中心:(售后服務)服務器虛擬化實施方案全文共47頁,當前為第35頁。注意,虛擬機名稱最多80個字符,并且需要是唯一的。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第35頁。4、如果已經(jīng)建立了資源池,則系統(tǒng)會讓您選擇虛擬機運行的資源池:5、選擇虛擬機存放的存儲位置:6、設置虛擬機要部署的操作系統(tǒng)類型,以及操作系統(tǒng)版本:7、設置虛擬機vcpu的數(shù)量:(若安裝linux系統(tǒng),則選擇2,目的是為安裝上多cpu支持包)8、設置虛擬機使用內存的大?。?、設置虛擬機網(wǎng)絡,虛擬網(wǎng)卡數(shù)量以及連接位置:這里所選的“網(wǎng)絡”,對應主機網(wǎng)絡設置中的“端口組”10、設置虛擬機存儲適配器類型,建議根據(jù)安裝的系統(tǒng)具體選擇:11、創(chuàng)建新的虛擬磁盤:12、設置虛擬磁盤的大?。?3、查看設置信息,點擊完成,完成虛擬機的創(chuàng)建:安裝操作系統(tǒng)完成虛擬機創(chuàng)建工作后,啟動虛擬機,選擇上方光驅連接,可以選擇本地光驅或者本地的iso文件,完成操作系統(tǒng)的部署。具體設置同物理機部署操作系統(tǒng)。1、右鍵點擊創(chuàng)建好的虛擬機,點擊編輯配置,彈出如下窗口2、選擇CD/DVD驅動器,可以選擇主機設備,并勾選“已連接”“打開電源時連接”選項。3、也可以選擇數(shù)據(jù)存儲ISO文件,并找到存儲中相應的ISO文件,勾選已連接,打開電源時連接(售后服務)服務器虛擬化實施方案全文共47頁,當前為第36頁。4.上傳ISO文件到主機本地磁盤的操作步驟如下:(售后服務)服務器虛擬化實施方案全文共47頁,當前為第36頁。1)、通過vSphereClient登錄主機后點擊主機、配置,選擇本地存儲2)、右鍵本地存儲,點擊瀏覽存儲器,彈出以下圖示,選擇上載文件3)、選中指定的ISO文件,點擊打開,彈出提示框,點擊是4)介質開始上傳,直到上傳完畢會自動關閉窗口設置虛擬機自動啟動默認虛擬機是手動啟動,根據(jù)需要可以設置為自動啟動。對于VMwareHA中的虛擬機,不需要設置;對于單機上的虛擬機,建議設置為自動啟動。方法是選中一臺主機,點擊配置,選擇“虛擬機啟動/關機”通過“上移”按鈕,將需要自動重啟的虛擬機調整到“自動啟動”下。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第37頁。
模板部署虛擬機(售后服務)服務器虛擬化實施方案全文共47頁,當前為第37頁。創(chuàng)建模板模板:模板是虛擬機的副本,可用于創(chuàng)建新虛擬機,通常包含指定的操作系統(tǒng)和配置。1、右鍵虛擬機,選擇clone為模板,彈出如下界面:為模板命名,并且選擇模板存放的數(shù)據(jù)中心:2、選擇模板存放的主機:3、選擇模板存放的存儲空間:4、選擇模板的存放格式:5、查看模板的信息,確認后點擊完成退出,任務欄回顯示進度:(售后服務)服務器虛擬化實施方案全文共47頁,當前為第38頁。
模板部署虛擬機(售后服務)服務器虛擬化實施方案全文共47頁,當前為第38頁。模板在默認的“虛擬機”視圖中不可見。要查看模版,需要點擊清單,選擇“虛擬機和模板”,顯示出目前數(shù)據(jù)中心中所有的虛擬機和模板。1、右鍵選擇模板,選擇從該模板部署虛擬機:2、填寫要創(chuàng)建虛擬機的名,選擇數(shù)據(jù)中心:3、選擇虛擬機運行的ESXIserver:4、選擇虛擬機存放的存儲空間:5、選擇操作系統(tǒng)用戶定制項:自定義規(guī)則用于改變虛擬機的主機名,IP,時區(qū)等信息。其中每一個window系統(tǒng)都有自己的SID,需要通過“自定義規(guī)則”來虛擬機生成新的SID。自定義規(guī)則自定義規(guī)則用于改變虛擬機的主機名,IP,時區(qū)等信息。其中每一個window系統(tǒng)都有自己的SID,需要通過“自定義規(guī)則”使虛擬機生成新的SID。1、點擊主頁,點擊自定義規(guī)范管理器2、選擇新建,彈出以下窗口3、輸入名稱,點擊下一步4、輸入名稱和單位,點擊下一步5、選擇主機名稱,點擊下一步6、輸入windows許可信息,選擇每臺服務器的最大連接數(shù),點擊下一步7、輸入管理員的密碼,點擊下一步(售后服務)服務器虛擬化實施方案全文共47頁,當前為第39頁。8、選定時區(qū),點擊下一步(售后服務)服務器虛擬化實施方案全文共47頁,當前為第39頁。9,點擊下一步10、選擇典型設置,點擊下一步11、選擇工作組或域、點擊下一步12、勾選生成新的SID、點擊下一步13、點擊完成,完成自定義規(guī)范的創(chuàng)建克隆部署虛擬機選擇一個虛擬機,選擇“克隆”,將生成一個新的虛擬機,配置方法方法同模板部署虛擬機。converter4.3軟件使用VMwareconverter是用于將實體機遷移成虛擬機的工具。支持window,linux的遷移。該工具需要和VCenter安裝在一個操作系統(tǒng)中。遷移分為熱遷移和冷遷移兩種方式。熱遷移:源操作系統(tǒng)啟動時進行遷移。冷遷移:源操作系統(tǒng)關機時進行遷移。VMwareconverterstandalone軟件安裝1、雙擊運行vmwareconverterstandalone安裝程序2、選擇語言安裝類型(售后服務)服務器虛擬化實施方案全文共47頁,當前為第40頁。3、單擊下一步繼續(xù)(售后服務)服務器虛擬化實施方案全文共47頁,當前為第40頁。4、單擊下一步繼續(xù)5、接受許可協(xié)議,單擊下一步繼續(xù)6、若要更改vmwareconverterstandalone的安裝目錄。單擊“更改”,選擇相應的安裝目錄。單擊下一步繼續(xù)7、選擇“本地安裝”模式,單擊下一步繼續(xù)8、單擊“安裝”9、若要立即執(zhí)行vmwareconverterstandalone程序,請勾選“立即運行Client”。單擊“完成”。10、檢查vmwareconverterstandalone是否安裝成功。程序安裝成功會在桌面上創(chuàng)建快捷方式。P2V物理服務器至虛擬化架構11、雙擊桌面上“vmwareconverterstandalone”圖標運行程序12、彈出vmwareconverterstandalone界面熱P2VWindows2003物理服務器13、點擊“轉換計算機”14、選擇源類型為“已啟動的計算機”。如果是做V2V,請選擇“vmwareinfrastructure虛擬機”。(售后服務)服務器虛擬化實施方案全文共47頁,當前為第41頁。15、輸入要P2VWindows2003物理服務器的的IP地址、管理員帳號和密碼。選擇“操作系統(tǒng)系列”為Windows。單擊下一步繼續(xù)(售后服務)服務器虛擬化實施方案全文共47頁,當前為第41頁。16、選擇“稍后我將手動卸載這些文件”,單擊“是”繼續(xù)17、選擇“目標類型”為VMwareInfrastructure虛擬機。輸入虛擬化架構中vCenter或ESXI主機的IP地址、管理員帳號和密碼。18、點擊“忽略”繼續(xù)19、輸入P2V至虛擬化架構中的Windows2003物理服務器的顯示名稱(非系統(tǒng)內部計算機名稱)。單擊下一步繼續(xù)20、選擇虛擬機文件存放的數(shù)據(jù)存儲。選擇虛擬機的版本為7。單擊下一步繼續(xù)21、若要對磁盤分區(qū)進行更改,選擇“要復制的數(shù)據(jù)”,點擊右側對應的“編輯”22、點擊“目標大小”的下拉菜單。選擇“以GB為單位”,輸入要更改的磁盤大小。點擊右側的關閉按鈕。23、點擊“是”繼續(xù)24、若要對虛擬機硬件進行更改。選擇“設備”,點擊右側相應的“編輯”。更改完成后,單擊下一步繼續(xù)25、單擊“完成”26、檢查P2V任務是否運行27、檢查P2V是否成功熱P2VLINUX物理服務器(售后服務)服務器虛擬化實施方案全文共47頁,當前為第42頁。28、點擊“轉換計算機”(售后服務)服務器虛擬化實施方案全文共47頁,當前為第42頁。29、選擇源類型為“已啟動的計算機”。輸入要P2VLINUX物理服務器的的IP地址、管理員帳號和密碼。選擇“操作系統(tǒng)系列”為LINUX。單擊下一步繼續(xù)30、選擇“目標類型”為VMwareInfrastructure虛擬機。輸入虛擬化架構中vCenter或ESXI主機的IP地址、管理員帳號和密碼。單擊下一步繼續(xù)31、點擊“忽略”繼續(xù)32、輸入P2V至虛擬化架構中的虛擬機現(xiàn)實名稱(非系統(tǒng)內部計算機名稱),單擊下一步繼續(xù)33、選擇存放虛擬機文件的數(shù)據(jù)存儲。選擇虛擬機版本為7。單擊下一步繼續(xù)34、若要對磁盤分區(qū)進行更改,選擇“要復制的數(shù)據(jù)”,點擊右側對應的“編輯”35、點擊“目標大小”的下拉菜單。選擇“以GB為單位”,輸入要更改的磁盤大小。點擊右側的關閉按鈕。36、單擊“是”繼續(xù)37、若要對虛擬機硬件進行更改。選擇“設備”,點擊右側相應的“編輯”。38、選擇“助手虛擬機網(wǎng)絡”,點擊右側對應的“編輯”39、選擇“使用下面的IP地址”并輸入一個P2VLINUX系統(tǒng)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 珠寶鑒定技術的發(fā)展與創(chuàng)新
- 七年級歷史下冊 21 清代的文學藝術說課稿 華東師大版
- 現(xiàn)代企業(yè)創(chuàng)新管理與企業(yè)文化塑造的融合研究
- 環(huán)保材料在老房子裝修中的應用與推廣
- 現(xiàn)代辦公室裝修中的可持續(xù)發(fā)展策略
- 現(xiàn)代辦公樓抗裂砂漿施工的標準化實踐
- 現(xiàn)代智能家居裝修的智能化照明方案
- 用醫(yī)療級設備輔助個人健康管理-針對男性的講解
- 環(huán)??萍荚谵k公空間改造中的應用案例分析報告
- 《衣服的學問:3 我的扎染作品》說課稿-2023-2024學年三年級下冊綜合實踐活動滬科黔科版
- 2024年山東濟寧初中學業(yè)水平考試地理試卷真題(含答案詳解)
- 社會保險課件教學課件
- 訂婚協(xié)議書手寫模板攻略
- 準備單元 雪地上的“足跡”(教學設計)-2023-2024學年五年級下冊科學大象版
- NB-T32042-2018光伏發(fā)電工程建設監(jiān)理規(guī)范
- 中國電信入職流程
- 宇航用商業(yè)現(xiàn)貨(COTS)器件保證指南-編制說明
- 音樂學科閱讀方案
- 《立體倉庫鋼結構貨架技術規(guī)范(征求意見稿)》
- 2024年貴州蔬菜集團有限公司招聘筆試參考題庫附帶答案詳解
- 2024江蘇省四校聯(lián)考高三下學期開學考化學試題及答案
評論
0/150
提交評論