




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、技術(shù)報(bào)告使用 FlexClone 克隆文件和 LUNNetApp 公司:Shree Reddy 2011 年 9 月 | TR-3742FLEXCLONE 增強(qiáng)功能,可支持文件和 LUN 克隆本文將Data ONTAP® 8.1 中文件級(jí)和 LUN 級(jí) FlexClone® 的增強(qiáng)功能。目錄12簡介4配置和操作62.1平臺(tái)62.2DATA ONTAP在 NAS 環(huán)境下創(chuàng)建文件的 FLEXCLONE 實(shí)例82.5創(chuàng)建 LUN 的 FLEXCLONE 實(shí)例82.6在 SAN 環(huán)境中創(chuàng)建文件的 FLEXCLONE 實(shí)例92.7通過快照副本創(chuàng)建 FLEXCLONE
2、 實(shí)例92.8刪除源文件或 LUN102.9覆蓋源文件/LUN 或克隆文件/LUN 中的數(shù)據(jù)102.10卷狀態(tài)102.11查看利用 FLEXCLONE 文件或 LUN 節(jié)省的空間102.12克隆操作的狀態(tài)102.13命令匯總113文件和 LUN 克隆操作133.1空間保留列表(ACL)和數(shù)據(jù)流133.4(僅限于 7-模式)13基于角色的4建議134.1創(chuàng)建大量克隆文件或 LUN144.2在同一個(gè)卷上創(chuàng)建大量克隆文件或 LUN145與其他 NETAPP的互操作性145.1卷 SNAPMIRROR145.2QTREE SNAPMIRROR 和 SNAPVAULT(僅限于 7-
3、模式)155.3NDMP 和 DUMP155.4同步 SNAPMIRROR(僅限于 7-模式)165.5卷的數(shù)據(jù)移動(dòng)(7-模式和集群模式)165.6SNAPSHOT165.7卷操作165.8MULTISTORE(7-模式)175.9重復(fù)數(shù)據(jù)刪除175.10REBOOT175.11集群故障轉(zhuǎn)移175.12FLEXSHARE(僅限于 7-模式)175.13SNAPLOCK186性能182使用 FlexClone 克隆文件和 LUN789示例使用案例(7-模式)18虛擬化環(huán)境中的 FLEXCLONE26結(jié)論2710 參考資料2810.1 NETAPP 技術(shù)報(bào)告和白皮書2810.2DATA ONTAP
4、文檔28表格目錄表 1)Data ONTAP 8.1 的增強(qiáng)功能7表 2)各種 Data ONTAP 版本中的 LUN 克隆支持9表 3)LUN 克隆對(duì)比9表 4)命令匯總11插圖目錄圖 1)FlexClone 概述5圖 2)將 FlexVol 級(jí)、文件級(jí)或 LUN 級(jí)的 FlexClone 結(jié)合起來,基于相同的物理為相同的文件或LUN 創(chuàng)建多個(gè)副本。6圖 3)卷 SnapMirror 傳輸文件或 LUN 的 FlexClone 實(shí)例。15圖 4)SnapMirror 傳輸文件或 LUN 的 FlexClone 實(shí)例。15圖 5)利用 CIFS到客戶端的卷。19圖 6)CIFS 共享的屬性。2
5、0圖 7)從客戶端上看到的文件。22圖 8)共享屬性。22圖 9)所有文件的屬性。23圖 10)共享屬性。25圖 11)虛擬機(jī)克隆流程工作流273使用 FlexClone 克隆文件和 LUN1簡介Data ONTAP 7.3.1 中 NetApp® FlexClone 技術(shù)得到了增強(qiáng),可提供不同粒度的克隆,提高空間利用率。利用 FlexClone 技術(shù),用戶現(xiàn)在可以克隆 NAS 環(huán)境中 FlexVol® 卷內(nèi)或 SAN 環(huán)境中 LUN 內(nèi)的單個(gè)文件。利用該技術(shù)還可在無需備用 Snapshot 副本的情況下克隆 LUN。實(shí)施 Data ONTAP® 8.1 預(yù)發(fā)布版
6、本時(shí),對(duì)于克隆的讀/寫可用性還一定的限制,如速度、可擴(kuò)展性、異步操作和延遲。這些限制在 Data ONTAP 8.1 中已得到解決,因此文件/LUN 級(jí)的 FlexClone 卷現(xiàn)在能夠支持更加廣泛的使用情況。本文詳細(xì)了 Data ONTAP 8.1 中文件級(jí)和 LUN 級(jí)的 FlexClone。Data ONTAP 7.0 之后的 Data ONTAP 已包含 FlexVol 級(jí)的 FlexClone。FlexClone 是一種可寫的時(shí)間點(diǎn)鏡像,基于 FlexVol 卷或其他 FlexClone 卷的 Snapshot 副本。通過利用 Data ONTAP 架構(gòu)來僅在源數(shù)據(jù)和克隆數(shù)據(jù)之間發(fā)生
7、改變的數(shù)據(jù),F(xiàn)lexClone 卷能夠非常高效地利用空間。有關(guān) FlexVol 級(jí)的 FlexClone 的,請(qǐng)參考 NetApp TR-3347從 Data ONTAP 7.3.1 起,您可以為 NAS 環(huán)境下 FlexVol 卷或 SAN 環(huán)境下 LUN 中的文件創(chuàng)建克隆。利用增強(qiáng)型 FlexClone 技術(shù),現(xiàn)在可以在無需備用 Snapshot 副本的情況下對(duì) LUN 進(jìn)行克隆。由于經(jīng)過克隆的副本能夠與源共享相同的物理數(shù)據(jù)空間,而且在其初始元數(shù)據(jù)的系統(tǒng)中所占的額外空間幾乎可以忽略不計(jì),因此利用 FlexClone 技術(shù)來克隆文件和 LUN 能夠節(jié)省大量的空間。經(jīng)過克隆的文件或 LUN 僅
8、在源或克隆中的數(shù)據(jù)被覆蓋時(shí)才開始占用額外空間。由于無需生成完整的數(shù)據(jù)副本,創(chuàng)建 FlexClone 還非??焖俑咝?。利用文件級(jí)和 LUN 級(jí)的 FlexClone 進(jìn)行克隆與 Snapshot 無關(guān),因此無需備用 Snapshot 副本。創(chuàng)建現(xiàn)有 LUN 或文件的克隆時(shí),無論是在創(chuàng)建過程中或創(chuàng)建結(jié)束后都影響客戶端對(duì)源文件或 LUN。源文件或 LUN 的客戶端將的在闖將克隆過程中遇到中斷或停機(jī),而且能夠在克隆過程中對(duì)源文件或 lUN 進(jìn)行寫入。單個(gè)或多個(gè)源文件或 LUN 對(duì)于客戶端系統(tǒng)作為常規(guī)文件或 LUN 使用,但是卻共享系統(tǒng)上的物理空間。4使用 FlexClone 克隆文件和 LUN圖 1)
9、FlexClone 概述利用 Data ONTAP 8.1 中的增強(qiáng)功能,客戶端能夠在觸發(fā)克隆操作后即時(shí)克隆或 LUN??蛻舳藢⒖寺∥募?LUN 視作常規(guī)文件和 LUN。所有常規(guī)文件和 LUN 操作在源和克隆上都受支持。如果某個(gè)文件或 LUN 具備多個(gè)克隆文件或 LUN,那么刪除源文件或 LUN 或者任意一個(gè)克隆文件或 LUN 都不會(huì)對(duì)源文件或克隆文件產(chǎn)生影響。全新克隆功能與現(xiàn)有創(chuàng)建 FlexVol 卷的 FlexClone 副本的功能結(jié)合使用,可提供節(jié)省空間和時(shí)間的解決方案,解決許多數(shù)據(jù)中心的相同數(shù)據(jù)集具有多個(gè)副本的問題,顯著減少數(shù)據(jù)副本所需的空間。因?yàn)樗腥哂辔募?LUN 共享同一底層
10、物理,所以可以在 FlexVol 卷級(jí)、文件級(jí)和 LUN 級(jí)聯(lián)合使用 FlexClone 來創(chuàng)建節(jié)省時(shí)間和空間且功能強(qiáng)大的解決方案,以冗余數(shù)據(jù)集。5使用 FlexClone 克隆文件和 LUNNetApp/LUN/LUN/LUN/LUN/LUN/LUN圖 2)將 FlexVol 級(jí)、文件級(jí)或 LUN 級(jí)的 FlexClone 結(jié)合起來,基于相同的物理創(chuàng)建多個(gè)副本。為相同的文件或 LUN如圖 2 所示,我們可以利用文件級(jí)或 LUN 級(jí)的 FlexClone 來在相同的 FlexVol 卷中創(chuàng)建共享相同底層 的克隆文件或 LUN。隨后,我們可以利用 FlexVol 級(jí)的 FlexClone 來為父
11、 FlexVol 卷創(chuàng)建多個(gè)FlexClone 卷。FlexClone 卷與父 FlexVol 卷共享相同的數(shù)據(jù)塊。因此,對(duì)于相同文件或 LUN,我們具有共享相同底層物理 的眾多副本。這些克隆文件或 LUN 僅在它們之中的數(shù)據(jù)被改寫時(shí)才開始占用額外空間。2配置和操作本節(jié)了啟用文件級(jí)和 LUN 級(jí) FlexClone 的要求以及在 NetApp過程。系統(tǒng)創(chuàng)建文件或 LUN 克隆的2.1平臺(tái)Data ONTAP 8.1 中的所有平臺(tái)均支持文件粒度和 LUN 粒度的 FlexClone。2.2DATA ONTAPData ONTAP 7.3.1 版或更高版本提供增強(qiáng)的功能,支持 FlexClone
12、在無需固定備用 Snapshot 副本的情況下克隆文件和 LUN。Data ONTAP 8.1 顯著增強(qiáng)了現(xiàn)有的 FlexClone 功能。6使用 FlexClone 克隆文件和 LUNFlexCloneFlexCloneFlexClone FlexClone FlexClone FlexClone FlexVol 表 1)Data ONTAP 8.1 的增強(qiáng)功能* 注意:如果用戶在共享限制極高的卷中將數(shù)據(jù)備份到磁帶中,那么用戶將無法將數(shù)據(jù)恢復(fù)到單個(gè)卷中,因?yàn)檫@樣會(huì)超過卷大小限制。對(duì)于諸如 SnapVault/QSM 等其他邏輯備份機(jī)制,情況相同。此外, 所有需要備份或處理大量數(shù)據(jù)的系統(tǒng)進(jìn)程(
13、例如,分割克隆卷的壓縮/重復(fù)數(shù)據(jù)刪除進(jìn)程)可能會(huì)受到影響。通常而言,NetApp 建議利用多個(gè)卷,而不是將大量的共享數(shù)據(jù)置于一個(gè)卷以提升性能。2.3獲得 FlexClone 特性后,就可利用 FlexClone 的增強(qiáng)功能在無需備用 Snapshot 副本的情況下克隆文件和 LUN,同時(shí)還可利用現(xiàn)有創(chuàng)建 FlexVol 卷的 FlexClone 卷的功能。您需要通過以下命令行為flex_clone才能在系統(tǒng)上啟用 FlexClone 特性:license add <<flex_clone license key>>在 HA 對(duì)環(huán)境下,要在兩個(gè)節(jié)點(diǎn)上啟用該特性,您需要在兩
14、個(gè)節(jié)點(diǎn)上均添加。7使用 FlexClone 克隆文件和 LUNData ONTAP 7.3 和 Data ONTAP 8.0.xData ONTAP 8.1每鏡像最大克隆量25532,767克隆創(chuàng)建時(shí)間取決于克隆量常數(shù)時(shí)間,與克隆量無關(guān)(子文件/LUN 克隆占用的時(shí)間仍然取決于當(dāng)前的克隆范圍大小,對(duì)此不常數(shù)時(shí)間保證。)對(duì)克隆的讀/寫克隆操作完成后才能克隆克隆操作在進(jìn)行,可即時(shí)訪問克隆API異步同步可擴(kuò)展性不支持?jǐn)U展,每次克隆需要一個(gè)WAFL® 觸發(fā)點(diǎn)不依賴于每次操作的 WAFL 觸發(fā)點(diǎn)同步克隆操作次數(shù)16沒有限制7-模式/集群模式僅限于 7-模式支持兩種模式FlexClone 數(shù)據(jù)的
15、最大共享限制與重復(fù)數(shù)據(jù)刪除限制相同640TB*在 FlexClone 操作期間的單個(gè)文件 SnapRestore® 操作不通過 Snapshot 副本創(chuàng)建克隆的能力否是如果您已經(jīng)擁有 FlexClone并正在運(yùn)行 Data ONTAP 的較舊版本,那么升級(jí)到支持文件級(jí)和 LUN級(jí) FlexClone 的 Data ONTAP 版本就可使用這一增強(qiáng)功能。2.4在 NAS 環(huán)境下創(chuàng)建文件的 FLEXCLONE 實(shí)例文件級(jí) FlexClone 可用于在 NFS 和 CIFS 環(huán)境中的 NetApp系統(tǒng)中為在 FlexVol 卷中的單獨(dú)文件創(chuàng)建克隆。克隆文件必須與源文件位一個(gè) FlexVol
16、 卷。所用經(jīng)過克隆的文件均磁盤上相同的物理數(shù)據(jù)塊。每次克隆只需少量空間開銷來其元數(shù)據(jù)。下列步驟可幫助您在 NAS 環(huán)境下創(chuàng)建文件的 FlexClone 實(shí)例:執(zhí)行一條具有源和目標(biāo)文件路徑的 clone start(7-模式)/volume file clone create(集群模式)命令。源路徑和目標(biāo)路徑必須位一個(gè) FlexVol 卷??寺〔僮魍竭M(jìn)行,命令一返回結(jié)果就可進(jìn)行和寫入。客戶端可在克隆操作進(jìn)行的過程中對(duì)源文件進(jìn)行和寫入。為了創(chuàng)建源文件或 LUN 的時(shí)間點(diǎn)鏡像,默認(rèn)情況下克隆命令會(huì)為源文件/LUN 創(chuàng)建一個(gè)臨時(shí)的隱藏副本。這樣做有兩個(gè)目的,一是使克隆成為源文件或 LUN 的時(shí)間點(diǎn)鏡
17、像,二是避免源文件的主動(dòng)寫入操作對(duì)克隆創(chuàng)建過程產(chǎn)生影響。現(xiàn)在,NFS 或 CIFS 客戶端可隨時(shí)使用克隆文件??蛻舳藢⒖藚f(xié)議(http、ftp 和 NDMP)均能隆和源視作單獨(dú)的文件。能夠這些源文件和克隆文件。文件的所有數(shù)據(jù)共享進(jìn)程在生中斷。完成。請(qǐng)注意,克隆操作進(jìn)行的過程中,對(duì)源文件的、寫入或其他操作發(fā)2.5創(chuàng)建 LUN 的 FLEXCLONE 實(shí)例FlexClone 可用于克隆一個(gè)系統(tǒng)上 FlexVol 卷中的完整 LUN??寺?LUN 的過程與克隆文件一個(gè) FlexVol 卷。Data ONTAP 能夠識(shí)別源 LUN,并采用必要的于相似??寺?LUN 必須與源 LUN 位步驟來克隆 LU
18、N。盡管在 LUN 與其克隆之間共享物理數(shù)據(jù)塊的過程與文件克隆相似,但是克隆 LUN卻涉及到額外的元數(shù)據(jù)操作,必須執(zhí)行該操作才能將 LUN 展示給 Data ONTAP 的 SAN 子系統(tǒng)。當(dāng)源為 LUN 時(shí),Data ONTAP 能夠在自動(dòng)執(zhí)行這些操作。此外,由于元數(shù)據(jù)與 SAN 子系統(tǒng)相關(guān),LUN的 FlexClone 實(shí)例只需極少的額外空間來戶端使用。其元數(shù)據(jù)。操作觸發(fā)后,克隆 LUN 可隨時(shí)可供 SAN 客請(qǐng)注意,Data ONTAP 7.0 之后的 Data ONTAP 支持利用備用 Snapshot 副本來克隆 LUN。利用該方式創(chuàng)建 LUN 克隆的仍然適用,在以 7-模式運(yùn)行的
19、Data ONTAP 8.1 中提供。以集群模式運(yùn)行的 DataONTAP 8.1 不支持利用備用 Snapshot 副本來克隆 LUN 克隆。利用 FlexClone 來克隆 LUN 是 Data ONTAP 7.3.1 中推出的一項(xiàng)增強(qiáng)功能,不需要對(duì)備用快照進(jìn)行固定。在 Data ONTAP 8.1 的兩種模式下都繼續(xù)支持該。8使用 FlexClone 克隆文件和 LUN表 2)各種 Data ONTAP 版本中的 LUN 克隆支持表 3)LUN 克隆對(duì)比2.6在 SAN 環(huán)境中創(chuàng)建文件的 FLEXCLONE 實(shí)例FlexClone 還可用于克隆于 SAN 環(huán)境中 LUN 中的文件。Dat
20、a ONTAP 提供 API 來執(zhí)行這能。不過,還需要主機(jī)端支持,以將克隆文件整合至主機(jī)文件系統(tǒng),并使克隆文件對(duì)客戶端可用。可按照以下步驟利用 API 在系統(tǒng)上創(chuàng)建文件的克?。阂寺∫粋€(gè)于 LUN 中的文件,用戶需要以邏輯塊地址(LBA)格式指定文件的數(shù)據(jù)塊的地址,以便主機(jī)能夠識(shí)別。clone start(7-模式)/volume file clone create(集群模式)命令的 r 標(biāo)記必須用于指定源和目標(biāo) LBA 地址以及要克隆的數(shù)據(jù)塊的數(shù)量??寺?chuàng)建過程的其余部分與 NAS 部分中的過程相同。這需要主機(jī)端支持,以將經(jīng)過克隆的數(shù)據(jù)塊集成至主機(jī)文件系統(tǒng),并將經(jīng)過克隆的文件呈現(xiàn)給主機(jī)文件系
21、統(tǒng)。2.7通過快照副本創(chuàng)建 FLEXCLONE 實(shí)例從 Data ONTAP 8.1 起,F(xiàn)lexClone 現(xiàn)在可用于克隆于 Snapshot 副本中的文件/LUN。通過備用Snapshot 副本進(jìn)行克隆時(shí),在克隆過程完成之前不出現(xiàn)新的快照副本。通過 Snapshot 副本進(jìn)行克隆時(shí),在克隆操作完成之前備用 Snapshot 副本處于鎖定狀態(tài)??寺〔僮魍瓿珊螅寺〔辉僖蕾噦溆?Snapshot 副本。如果 Snapshot 副本由于快照自動(dòng)刪除特性遭到毀壞,對(duì)依賴于該副本的克隆的將被拒絕。9使用 FlexClone 克隆文件和 LUN利用備用 Snapshot 副本克隆LUN利用 FlexC
22、lone 克隆 LUN命令lun clone createclone start依賴備用 Snapshot 副本是否使用數(shù)據(jù)塊共享基礎(chǔ)設(shè)施否是需要對(duì)克隆進(jìn)行明確分割是,在使用 lun clone split 命令觸發(fā)分割之前,克隆將與源共享數(shù)據(jù)塊否,克隆利用進(jìn)程與源共享克隆數(shù)據(jù)塊。LUN 克隆Data ONTAP 7.3Data ONTAP8.0.X 7-模式DataONTAP 8.0.x集群模式Data ONTAP 8.17-模式Data ONTAP 8.1集群模式使用備用Snapshot 副本是是否是否使用 FlexClone是是否是是2.8刪除源文件或 LUN克隆文件或 LUN 創(chuàng)建后,
23、源文件或 LUN 或任意克隆將被刪除。刪除源文件或 LUN對(duì)克隆文件和 LUN 產(chǎn)生影響。所有克隆文件或 LUN 仍然,并以正常文件或 LUN 的形式出現(xiàn)在客戶端。同樣地,刪除克隆文件或 LUN 也盤上相同的物理數(shù)據(jù)塊。對(duì)其它克隆或源產(chǎn)生影響。克隆 LUN 或文件仍然,且共享磁具有共享數(shù)據(jù)塊的文件、LUN 或其克隆被刪除后,其余的克隆文件或 LUN 仍可繼續(xù)使用共享的數(shù)據(jù)塊。因此,刪除克隆將僅其元數(shù)據(jù)正在使用的空間。在刪除源文件或 LUN 及該源的所有克隆文件或 LUN 之前,數(shù)據(jù)塊即被共享數(shù)據(jù)塊使用的空間。刪除源文件或 LUN 及其所有克隆文件或 LUN 之后,同時(shí)空間被返回至可用空間池。2
24、.9覆蓋源文件/LUN 或克隆文件/LUN 中的數(shù)據(jù)初次創(chuàng)建克隆文件或 LUN 時(shí),源和克隆共享相同的數(shù)據(jù)塊。當(dāng)源或克隆中的數(shù)據(jù)被新數(shù)據(jù)覆蓋后,將開始消耗的空間,這是因?yàn)榭寺『驮垂蚕硇聦懭氲臄?shù)據(jù)。新寫入的數(shù)據(jù)每個(gè)單獨(dú)的實(shí)體、源和克隆進(jìn)行。請(qǐng)注意,即使寫入到源和克隆的數(shù)據(jù)相同,這些數(shù)據(jù)仍將指向磁盤上不同的數(shù)據(jù)塊,且共享物理數(shù)據(jù)塊。克隆過程完成后才能共享物理數(shù)據(jù)塊。如果新寫入到源和克隆中的數(shù)據(jù)相似,可在包含該克隆的 FlexVol 卷上運(yùn)行重復(fù)數(shù)據(jù)刪除以節(jié)省消除重復(fù)的數(shù)據(jù)塊。空間,這是因?yàn)橹貜?fù)數(shù)據(jù)刪除能夠2.10 卷狀態(tài)Data ONTAP 的 vol status(7-模式)/volume sh
25、ow(集群模式)命令用于顯示所有包含文件克隆和 LUN 克隆(利用具備“sis”屬性的 clone 命令創(chuàng)建)的卷的狀態(tài) 。為文件或 LUN 創(chuàng)建第一個(gè)FlexClone 實(shí)例時(shí),會(huì)在 FlexVol 卷中添加 sis 屬性。請(qǐng)注意,啟用了重復(fù)數(shù)據(jù)刪除技術(shù)的卷也會(huì)在vol status(7-模式)/volume show(集群模式)命令的輸出內(nèi)容中與sis 屬性一起顯示。2.11 查看利用 FLEXCLONE 文件或 LUN 節(jié)省的空間將 FlexVol 卷名稱作為參數(shù)的“df s”命令會(huì)顯示由于克隆文件或 LUN 共享相同的物理數(shù)據(jù)塊而節(jié)省的卷空間。請(qǐng)注意,如果具備 FlexClone 文件
26、或 LUN 的同一個(gè) FlexVol 卷上啟用了重復(fù)數(shù)據(jù)刪除技術(shù),那么“df s”命令的輸出將顯示由于結(jié)合使用重復(fù)數(shù)據(jù)刪除技術(shù)和 FlexClone 總共節(jié)省的空間?!癲f s”命令能夠顯示由于利用 FlexClone 節(jié)省的空間在 FlexVol 卷上使用空間和節(jié)省空間總和中所占的百分比。例如,如果 FlexVol 卷的大小為 100 GB,使用空間為 50 GB,先創(chuàng)建了一個(gè) 10 GB 的文件,接著又創(chuàng)建了一個(gè)該文件的克隆,那么使用的總物理空間大約為 60 GB(50 GB + 10 GB 的文件及其克?。?。如果創(chuàng)建的克隆為完整的物理副本,那么使用的空間為 70 GB(50 GB + 1
27、0 GB 的文件 + 10 GB 的文件克?。R虼?,我們通過克隆節(jié)省了 10 GB 的空間。因此,我們節(jié)省了 14%((10/70)*100)的空間。2.12 克隆操作的狀態(tài)利用 Data ONTAP 8.1 中改進(jìn)的 FlexClone 實(shí)施,克隆創(chuàng)建得以同步進(jìn)行,且所用時(shí)間保持不變。因此,諸如 clone status、clone stop 或 clone clear 等操作被棄用。10使用 FlexClone 克隆文件和 LUN2.13 命令匯總下面簡單匯總了clone 命令及其子命令。有關(guān)這些命令的更加詳細(xì)的說明,請(qǐng)參考 NetApp 支持(之前為 NOW®)上的 Data
28、 ONTAP 文檔,為表 4)命令匯總11使用 FlexClone 克隆文件和 LUN命令目的7-模式:clone start <src_path> <dest_path> -n集群模式:volume file clone create-vserver <vserver name> -volume<volume name> -source-path <text> -destination-path <text>開始為文件或 LUN 創(chuàng)建 FlexClone 實(shí)例的過程。將源中以 src_path/source-path 參
29、數(shù)表示的文件或 LUN 克隆至以 dest_path/destination-path 參數(shù)表示的目標(biāo)路徑。克隆文件或 LUN 必須與源位一個(gè) FlexVol 卷。注意:n 選項(xiàng)在 Data ONTAP 8.1 中無效,且僅支持兼容。7-模式:clone start <src_path> dest_path<-r <src_fbn>:<dest_fbn>:<fbn_cnt>.>集群模式:volume file clone create-vserver <vserver name> -volume<volume nam
30、e> -source-path <text> -destination-path <text> -range|-r <src_fbn>:<dest_ fbn>:<fbn_cnt> . 開始克隆 于 LUN 中的文件。若克隆的是 LUN 中的文件,則 src_fbn 和 dest_fbn 分別為源文件中數(shù)據(jù)塊的 LBA 地址和將 數(shù)據(jù)塊的目標(biāo)地址。fbn_cnt 參數(shù)為自需要克隆的源 LBA 地址開始的數(shù)據(jù)塊的數(shù)目。此處所用的 LBA 地址為主機(jī)看到的 LUN 中的 LBA 地址??衫脝蝹€(gè)命令指定多個(gè)范圍。如果沒有指定dest_
31、path,則認(rèn)為請(qǐng)求在同一個(gè) LUN 中創(chuàng)建一個(gè)從一個(gè)數(shù)據(jù)塊范圍到另一個(gè)數(shù)據(jù)塊范圍的克?。ㄔ谶@種情況下,必須指定數(shù)據(jù)塊范圍)。這種情況可用于創(chuàng)建從 LUN/子 LUN 到常規(guī)文件或從常規(guī)文件到 LUN/子 LUN 的克隆。如果沒有指定范圍倍數(shù),則認(rèn)為克隆整個(gè)文件。對(duì)于常規(guī)文件,數(shù)據(jù)塊被視作大小為 4k 的 FBN。對(duì)于 LUN,數(shù)據(jù)塊被視作大小為 512B 的 LBA。在創(chuàng)建從 LUN/文件到文件/LUN 的克隆時(shí),必須將范圍指定為 LBA 范圍。12使用 FlexClone 克隆文件和 LUN命令目的7-模式:clone start <src_path> <dest_pat
32、h>-s <snapshot_name>集群模式:volume file clone create-vserver <vserver name> -volume<volume name> -source-path <text> -destination-path <text>-snapshot-name|-s <snapshot name>clone start/volume file clone create 命令還可用于創(chuàng)建來自 Snapshot 副本中某個(gè)源的克隆。需要利用 -s 選項(xiàng)來指定 Snapshot
33、名稱。還可創(chuàng)建來自指定 Snapshot 副本的子文件/LUN 的克隆。如果沒有指定,則始終認(rèn)為克隆源位于活動(dòng)文件系統(tǒng)中。7-模式:clone start <src_path> <dest_path> -o集群模式:volume file clone create-vserver <vserver name> -volume<volume name> -source-path <text> -destination-path <text> -no- reserve|-o true當(dāng)利用“-o” 標(biāo)志調(diào)用此命令時(shí),將為克隆保
34、留空間。7-模式:clone status vol-name ID集群模式: 不適用在 Data ONTAP 8.1 中不支持7-模式:clone stop <vol-name> <ID>集群模式: 不適用在 Data ONTAP 8.1 中不支持7-模式:clone stop <vol-name> <ID>集群模式: 不適用在 Data ONTAP 8.1 中不支持7-模式: man clone 集群模式:man volume file clone查看克隆命令的幫助頁面3文件和 LUN 克隆操作本部分詳細(xì)討論了文件或 LUN 克隆Data ON
35、TAP 的不同選項(xiàng)的不同操作。3.1空間保留文件/LUN 的 FlexClone 繼承其源的空間保證設(shè)置。因此,如果 FlexVol 卷中沒有足夠的空間來為與源具有相同空間保證的文件/LUN 創(chuàng)建 FlexClone 實(shí)例,那么克隆過程將會(huì)失敗。請(qǐng)注意,即使啟用了空間保證,源和克隆也會(huì)共享磁盤上的數(shù)據(jù)塊。3.2在邏輯一級(jí)計(jì)算克隆的用量。因此,在創(chuàng)建克隆的中額外空間所用的空間量等于克隆的總邏輯大小。例如,如果您創(chuàng)建一個(gè) 10 GB 文件的克隆,那么源文件和克隆文件的為 20 GB(源文件和克隆文件分別使用 10 GB)。中總的空間使用量創(chuàng)建克隆后,如果所占用的總邏輯使用空間超出該用戶、組或 qt
36、ree 所,但 FlexVol 卷具克隆之后,該用的有足夠的空間來保留元數(shù)據(jù)或克隆數(shù)據(jù),那么克隆操作仍將進(jìn)行。不過,在戶、組或 qtree 的將處于超額申請(qǐng)狀態(tài)。3.3列表(ACL)和數(shù)據(jù)流自 Data ONTAP 8.1 起,克隆將繼承父文件或 LUN 的列表。如果文件是 FlexClone 操作的源且具有數(shù)據(jù)流,則不對(duì)其進(jìn)行克隆操作。3.4(僅限于 7-模式)基于角色的借助 useradmin 命令,利用 Data ONTAP 提供的基于角色的(RBAC)功能,能夠?qū)寺∶畹摹D梢詣?chuàng)建僅能需要使用克隆功能令的角色。下面是一組用于為克隆命令啟用 RBAC 的示例命令:創(chuàng)建一個(gè)能夠所有登錄
37、但在登錄后只能使用克隆命令的角色:netapp01>useradmin role add cloneadmin -a login-*,cli-clone*,api-clone-*創(chuàng)建一個(gè)包含剛才所創(chuàng)建的 Cloneadmin 角色的組:netapp01>useradroup add cloneadmin_group -r cloneadmin向該組中添加用戶:netapp01>useradmin user add cloneu1 -g cloneadmin_group用戶(在本例中為 cloneu1)將僅能Data ONTAP 的克隆命令。有關(guān)角色、組和用戶的,請(qǐng)參考 NOW
38、上的Data ONTAP 系統(tǒng)管理指南,為4建議本節(jié)了一些用于以最少的空間創(chuàng)建大量克隆 LUN 或文件的推薦步驟。有關(guān)與 FlexClone 特性相關(guān)的閾值和推薦值的詳細(xì)討論,請(qǐng)參考 NOW上Data ONTAP管理指南的“關(guān)于 FlexClone文件和 FlexClone LUN”一節(jié),為13使用 FlexClone 克隆文件和 LUN4.1創(chuàng)建大量克隆文件或 LUN要在系統(tǒng)上創(chuàng)建大量克隆文件或 LUN,建議您結(jié)合使用不同粒度的 FlexClone 副本,而非使用相同的粒度。假設(shè)您希望創(chuàng)建單個(gè)文件的 2,000 個(gè)克隆文件,下面是實(shí)現(xiàn):1. 通過源文件創(chuàng)建 99 個(gè) FlexClone 文件
39、,使同一個(gè)卷上的邏輯文件總數(shù)達(dá)到 100。2. 為文件所在的 FlexVol 卷創(chuàng)建 19 個(gè) FlexClone 卷,使 FlexVol 卷的總數(shù)達(dá)到 20?,F(xiàn)在,我們擁有2,000 個(gè)共享相同物理的邏輯文件。4.2在同一個(gè)卷上創(chuàng)建大量克隆文件或 LUN數(shù)據(jù)塊支持的最大克隆次數(shù)為 32,767。超過該數(shù)目的每個(gè)數(shù)據(jù)塊克隆將成為一個(gè)物理副本。要最大限度地減少克隆文件所占的空間,您可以按照以程進(jìn)行操作:1.創(chuàng)建 32,767 個(gè)克隆文件或 LUN。2.再創(chuàng)建第 32,768 個(gè)克隆文件或 LUN。此克隆將成為源文件或 LUN 的完整物理副本。3.現(xiàn)在,將在上一個(gè)步驟中創(chuàng)建的第 32,768 個(gè)克
40、隆文件或 LUN 用作源,為第 32,769 個(gè)及之后的克隆創(chuàng)建克隆文件或 LUN,直到再創(chuàng)建 32,767 個(gè)克隆文件或 LUN。利用這一,您能夠基于上一步驟中創(chuàng)建的物理副本再創(chuàng)建 32,767 個(gè)克隆文件或 LUN?,F(xiàn)在,您擁有 65,536 個(gè)共享兩個(gè)物理磁盤副本的邏輯文件或 LUN。重復(fù)這一流程,直到文件或 LUN 克隆的數(shù)量達(dá)到您的目標(biāo)數(shù)量。在規(guī)劃包含大量 FlexClone 文件或 LUN 的環(huán)境時(shí)要考慮一個(gè)重要問題,即主機(jī)端應(yīng)用的性能需求和對(duì)系統(tǒng)的性能期望。本文的“性能”部分將討論有關(guān)文件級(jí)和 LUN 級(jí) Flexclone 性能特性的問題。5與其他 NETAPP的互操作性5.1
41、卷 SNAPMIRROR卷 SnapMirror® 是一款高效的數(shù)據(jù),用于在初始基本傳輸之后僅將發(fā)生改變的數(shù)據(jù)磁盤塊傳輸至目標(biāo)卷。卷 SnapMirror 將 4KB 磁盤數(shù)據(jù)塊中的數(shù)據(jù)傳輸至目標(biāo)卷。如果 FlexVol 卷是卷 SnapMirror副本的源,且包含 FlexClone 文件或 LUN,那么卷 SnapMirror 將僅傳輸物理數(shù)據(jù)塊和少量元數(shù)據(jù),如圖 3 所示。目標(biāo)卷上也僅一份物理數(shù)據(jù)塊及其元數(shù)據(jù),且數(shù)據(jù)塊在源及其克隆之間共享。因此,目標(biāo)卷與源卷一模一樣,且目標(biāo)卷上的所有克隆文件或 LUN 將共享相同的物理數(shù)據(jù)塊。14使用 FlexClone 克隆文件和 LUN圖
42、3)卷 SnapMirror 傳輸文件或 LUN 的 FlexClone 實(shí)例。當(dāng)源卷包含文件或 LUN 的 FlexClone 實(shí)例時(shí),卷 SnapMirror 能夠提供較高效率,且能夠節(jié)省網(wǎng)絡(luò)帶寬和目標(biāo)卷上的空間。5.2QTREE SNAPMIRROR 和 SNAPVAULT (僅限于 7-模式)Qtree SnapMirror 支持將源卷或 qtree到目標(biāo) qtree。SnapVault® 是一款用于保護(hù)數(shù)據(jù)免受丟失和保留數(shù)據(jù)舊版本的。SnapVault 能夠?qū)⒅饕到y(tǒng)路徑中的數(shù)據(jù)到 SnapVault 二級(jí)系統(tǒng)上的qtree。SnapVault 使用 qtree引擎進(jìn)行。Q
43、tree SnapMirror 和 SnapVault 均工作在邏輯文件層。因此,這些特性無法知曉邏輯文件為克隆文件,且共享相同的物理數(shù)據(jù)塊的這一事實(shí)。因此,它們將所有克隆文件和 LUN 作為不同的物理文件和 LUN傳輸至目標(biāo)卷,并將這些克隆文件和 LUN 作為不同的文件和 LUN在目標(biāo)卷。由于所有克隆作為單數(shù)據(jù)塊共享,如圖 4 所示。獨(dú)的文件,且只占用所在數(shù)據(jù)塊的空間,因此目標(biāo)卷上不圖 4)SnapMirror 傳輸文件或 LUN 的 FlexClone 實(shí)例。目標(biāo)卷的大小必須與源卷上所有邏輯文件和 LUN 的總大小相等。要估算所需目標(biāo)卷大小,可運(yùn)行將卷名稱作為參數(shù)的 df 命令,計(jì)算出使用
44、的空間和節(jié)省的空間。目標(biāo)卷大小必須等于或大于使用空間和節(jié)省空間的總大小。在 SnapMirror 傳輸完成后在目標(biāo)卷上進(jìn)行重復(fù)數(shù)據(jù)刪除將能夠?qū)⒛繕?biāo)卷上的使用空間減少至與源卷幾乎相同。5.3NDMP 和 DUMP與 qtree SnapMirror 一樣,DUMP 和 NDMP 也工作在邏輯層。因此,當(dāng)您備份 FlexVol 卷或 qtree 時(shí),每個(gè)克隆將作為單獨(dú)的文件進(jìn)行備份?;謴?fù)時(shí),每個(gè)克隆也作為單獨(dú)的文件進(jìn)行恢復(fù)。15使用 FlexClone 克隆文件和 LUN qtree FlexVol qtree SnapMirror qtree SnapVaultDestinationFlexVo
45、l FlexVol SnapMirror M 如果在克隆操作進(jìn)行的過程中觸發(fā) DUMP,那么 DUMP Snapshot 副本將包含部分克隆的文件。DUMP將該文件視作整的文件,并能夠管理此類文件。5.4同步 SNAPMIRROR (僅限于 7-模式)如果 FlexVol 卷包含使用克隆命令創(chuàng)建的文件和 LUN 的 FlexClone 實(shí)例,那么不能將其用作同步SnapMirror的源。Data ONTAP阻止您將包含文件或 LUN 的 FlexClone 實(shí)例的 FlexVol 卷,這種配置不受支持,因此不應(yīng)嘗試。用作源來建立同步 SnapMirror。5.5卷的數(shù)據(jù)移動(dòng)(7-模式和集群模式
46、)在 vol move 操作的切換階段不能創(chuàng)建文件和 LUN 的 FlexClone。5.6SNAPSHOT包含文件或 LUN 的 FlexClone 實(shí)例的 FlexVol 卷支持所有常規(guī) Snapshot 操作。如果 Snapshot 副本是在克隆操作過程中創(chuàng)建的,那么這一部分克隆的文件在 Snapshot 副本中將處于鎖定狀態(tài)??寺∵^程仍會(huì)完成,并在克隆過程完成后提供該文件的一個(gè)完整的 FlexClone 實(shí)例供用戶使用。Snapshot 副本中將顯示整的文件,這是因?yàn)?Snapshot 副本創(chuàng)建于克隆操作進(jìn)行的過程中。Snapshot 副本中包含部分克隆的文件對(duì)活動(dòng)文件系統(tǒng)中的源文件或
47、克隆文件產(chǎn)生影響。在 Data ONTAP 8.1 中,借助“-s”選項(xiàng),可以使用 FlexClone 來為 Snapshot 副本中的文件或 LUN創(chuàng)建克隆。5.7卷操作卷卷操作的源 FlexVol 卷包含 FlexClone 文件。卷操作完成后,目標(biāo) FlexVol 卷將還包含與其相連的“sis”屬性,并將顯示在 vol status 命令的輸出中。文件或 LUN 及其在目標(biāo) FlexVol 卷上的克隆將與在源 FlexVol 卷上一樣,共享數(shù)據(jù)塊。自動(dòng)調(diào)整卷大小文件或 LUN 的 FlexClone 卷將占用物理元數(shù)據(jù)。如果 FlexVol 卷配置有自的一些空間,用于動(dòng)調(diào)整卷大小操作、正
48、在創(chuàng)建文件或 LUN 的 FlexClone 實(shí)例,且在創(chuàng)建克隆所需元數(shù)據(jù)的過程中耗盡空間,那么將激活自動(dòng)調(diào)整大小操作。因此,在這種情況下,即使 FlexVol 卷是滿的,自動(dòng)調(diào)整大小操作也增加 FlexVol 卷的大小??寺〔僮鲗⑹?。當(dāng)在包含文件或 LUN 的 FlexClone 實(shí)例的 FlexVol 卷上啟用自動(dòng)調(diào)整卷大小 操作時(shí),自動(dòng)調(diào)整大小操作的最大大小限制必須小于該平臺(tái)小操作將無法啟用并同時(shí)產(chǎn)生錯(cuò)誤。的最大卷大小。如果該限制超過最大大小,自動(dòng)調(diào)整大卷克隆可使用包含文件或 LUN 的 FlexClone 實(shí)例的 FlexVol 卷來創(chuàng)建 FlexClone 卷,作為其父卷。克隆卷將
49、包含文件或 LUN 及其克隆??寺【碇械脑次募?克隆及克隆文件/LUN 將繼續(xù)像在父卷中一樣共享數(shù)據(jù)塊。實(shí)際上,父卷中的文件或 LUN 及其克隆以及克隆卷中的文件或 LUN 及其克隆均共享相同的底層16使用 FlexClone 克隆文件和 LUN物理數(shù)據(jù)塊,從而最大限度地減少了使用的物理磁盤空間。如果克隆卷從其父卷中分割開來,那么文件或 LUN 及其克隆將共享已經(jīng)分割開來從而作為單獨(dú)的文件或 LUN的子 FlexVol 卷中的數(shù)據(jù)塊。這樣,分割開來的子 FlexVol 卷中的使用空間將大于分割操作之前的使用空間。如果 FlexClone 卷正在從其父卷中分割開來,則不能在該卷上創(chuàng)建文件或 LU
50、N 的 FlexClone 實(shí)例。分割操作完成后,即可在分割后的 FlexVol 卷上創(chuàng)建文件或 LUN 的 FlexClone 實(shí)例。5.8MULTISTORE(7-模式)MultiStore® 是 Data ONTAP 的一個(gè)特性,支持您對(duì)單個(gè)系統(tǒng)的和網(wǎng)絡(luò)資源進(jìn)行分區(qū),以便該系統(tǒng)。分區(qū)后所創(chuàng)建的每個(gè)系統(tǒng)都稱為 vFiler® 單元。有關(guān)詳細(xì)系統(tǒng)在網(wǎng)絡(luò)上顯示為多個(gè),請(qǐng)參見 NOW上的MultiStore 管理指南,是在 Data ONTAP 7.3.3 和更高版本中,克隆命令可運(yùn)行在任意 vFiler 環(huán)境中。有關(guān)在 vFiler 環(huán)境中使用詳細(xì),請(qǐng)參考 NOW上Data
51、 ONTAP管理指南中的“關(guān)于 FlexClone克隆命令的文件和 FlexClone LUN”一節(jié),為。當(dāng)克隆創(chuàng)建請(qǐng)求發(fā)送自:非默認(rèn) vFiler 單元時(shí),源和目標(biāo)卷均應(yīng)屬于指定的 vFiler 單元。默認(rèn) vFiler 單元時(shí),源和目標(biāo)卷可分屬不同的 vFiler 單元。在 Data ONTAP 7.3.2 和更早版本中,不支持在 vFiler 環(huán)境中使用克隆命令。因此,克隆命令僅能在默認(rèn)的 vFiler 實(shí)例,即 vfiler0 中使用。5.9重復(fù)數(shù)據(jù)刪除可在啟用了重復(fù)數(shù)據(jù)刪除技術(shù)的 FlexVol 卷中創(chuàng)建文件或 LUN 的 FlexClone 實(shí)例。重復(fù)數(shù)據(jù)刪除技術(shù)支持在不同的邏輯文
52、件或 LUN 之間共享物理數(shù)據(jù)塊。由于重復(fù)數(shù)據(jù)刪除期間可能已經(jīng)發(fā)生了物理數(shù)據(jù)塊共享,因此當(dāng)在已經(jīng)運(yùn)行了重復(fù)數(shù)據(jù)刪除技術(shù)的卷上創(chuàng)建文件或 LUN 的 FlexClone 實(shí)例時(shí),您可能會(huì)在創(chuàng)建第 32,767 個(gè) FlexClone 文件或 LUN 之前達(dá)到最大數(shù)據(jù)塊共享限制 32,767。不在正在運(yùn)行 sis undo 操作的 FlexVol 卷上執(zhí)行 FlexClone 操作。5.10 REBOOT若正在創(chuàng)建文件或 LUN 的 FlexClone 實(shí)例時(shí)發(fā)生啟動(dòng)后自動(dòng)重新啟動(dòng)。應(yīng)用重新啟動(dòng),則 FlexClone 操作會(huì)在系統(tǒng)5.11 集群故障轉(zhuǎn)移在 HA 配對(duì)發(fā)生故障轉(zhuǎn)移且即將接管的系統(tǒng)上正在創(chuàng)建文件或 LUN 的 FlexClone 實(shí)例,則克隆操作會(huì)在接管之前終止并在接管完成后自動(dòng)重新啟動(dòng)。同樣地,正在進(jìn)行的任意克隆操作將會(huì)終止并在恢復(fù)后自動(dòng)重新啟動(dòng)。5.12 FLEXSHARE(僅限于 7-模式)FlexShare®是 Data ONTAP系統(tǒng)的一款功能強(qiáng)大的服務(wù)質(zhì)量工具。借助該工具,您可以將單獨(dú)的優(yōu)先級(jí)分配給整合到單個(gè)系統(tǒng)上的多個(gè)應(yīng)用工作負(fù)載。如果工作負(fù)載是由創(chuàng)建或刪除文件或 LUN的 FlexClone 實(shí)例而產(chǎn)生的,F(xiàn)lexShare 將其視為系統(tǒng)工作負(fù)載。FlexShar
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 哈爾濱醫(yī)科大學(xué)《書畫裝裱》2023-2024學(xué)年第二學(xué)期期末試卷
- 廣東工程職業(yè)技術(shù)學(xué)院《工程招投標(biāo)與概預(yù)算》2023-2024學(xué)年第二學(xué)期期末試卷
- 江蘇航運(yùn)職業(yè)技術(shù)學(xué)院《中學(xué)語文教學(xué)設(shè)計(jì)與技能訓(xùn)練(二)》2023-2024學(xué)年第二學(xué)期期末試卷
- 黑龍江司法警官職業(yè)學(xué)院《模擬電子技術(shù)課程設(shè)計(jì)》2023-2024學(xué)年第二學(xué)期期末試卷
- 廣東司法警官職業(yè)學(xué)院《數(shù)字特效合成》2023-2024學(xué)年第二學(xué)期期末試卷
- 天津工藝美術(shù)職業(yè)學(xué)院《衛(wèi)生檢驗(yàn)綜合技術(shù)》2023-2024學(xué)年第二學(xué)期期末試卷
- 東莞職業(yè)技術(shù)學(xué)院《計(jì)算機(jī)與操作系統(tǒng)》2023-2024學(xué)年第二學(xué)期期末試卷
- 武漢工程科技學(xué)院《外國文學(xué)名篇》2023-2024學(xué)年第二學(xué)期期末試卷
- 2025三年級(jí)湘教版語文下學(xué)期期末知識(shí)點(diǎn)歸納復(fù)習(xí)周末練習(xí)單
- PROMIS-評(píng)分量表-使用版
- 承包送貨合同模板
- 第一章-社會(huì)心理學(xué)概論
- 氧化還原反應(yīng)配平專項(xiàng)訓(xùn)練
- 2025年中考復(fù)習(xí)必背外研版初中英語單詞詞匯(精校打?。?/a>
- 全國教育科學(xué)規(guī)劃課題申報(bào)書:02.《鑄牢中華民族共同體意識(shí)的學(xué)校教育研究》
- GB/T 44679-2024叉車禁用與報(bào)廢技術(shù)規(guī)范
- 《船舶精通急救》全套教學(xué)課件
- 2024智能家居行業(yè)創(chuàng)新發(fā)展與前景展望研究報(bào)告
- 貴州人民版五年級(jí)勞動(dòng)下冊(cè)全冊(cè)教案
- 什么叫績效考勤管理制度
- 外墻噴漆施工合同協(xié)議書
評(píng)論
0/150
提交評(píng)論