《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》 課件 項(xiàng)目二-任務(wù)一 淺析文件系統(tǒng)

《大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用》大數(shù)據(jù)存儲(chǔ)技術(shù)與應(yīng)用項(xiàng)目二淺析大數(shù)據(jù)存儲(chǔ)技術(shù)任務(wù)一淺析文件系統(tǒng)大數(shù)據(jù)存儲(chǔ)架構(gòu)？嵌入式存儲(chǔ)架構(gòu)，應(yīng)用場(chǎng)景？云存儲(chǔ)架構(gòu)？大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用？回顧任務(wù)引入-計(jì)算機(jī)系統(tǒng)計(jì)算機(jī)系統(tǒng)中有各種存儲(chǔ)器，如CPU內(nèi)部的通用寄存器組、CPU內(nèi)的Cache（高速緩存）、CUP外部的Cache、主板上的主存儲(chǔ)器、主板外的聯(lián)機(jī)（在線）磁盤存儲(chǔ)器以及脫機(jī)（離線）的磁帶存儲(chǔ)器和光盤存儲(chǔ)器等。任務(wù)描述:在LINUX系統(tǒng)中有一個(gè)重要的概念：一切都是文件。在UNIX系統(tǒng)中，把一切資源都看作是文件，包括硬件設(shè)備。任務(wù)教學(xué)目標(biāo)：了解文件系統(tǒng)的核心了解訪問文件的流程了解日志文件系統(tǒng)XFS文件系統(tǒng)任務(wù)概要教學(xué)內(nèi)容文件系統(tǒng)的作用文件系統(tǒng)的核心概念訪問文件的流程一二三日志文件系統(tǒng)四XFS文件系統(tǒng)五文件系統(tǒng)對(duì)比六文件系統(tǒng)的作用知識(shí)點(diǎn)一文件系統(tǒng)是一種存儲(chǔ)和組織數(shù)據(jù)的方法，它使得對(duì)數(shù)據(jù)的訪問和查找變得容易。01文件系統(tǒng)通常使用硬盤和光盤等存儲(chǔ)設(shè)備，也可能僅僅是一種訪問數(shù)據(jù)的界面。02文件系統(tǒng)向用戶提供底層數(shù)據(jù)訪問的機(jī)制。03文件系統(tǒng)的概述文件系統(tǒng)的核心概念知識(shí)點(diǎn)二文件系統(tǒng)的核心概念文件名元數(shù)據(jù)（Metadata）inodePosixindode硬鏈接軟鏈接LinuxVFSFHS文件讀寫執(zhí)行屬性文件系統(tǒng)的核心概念硬鏈接軟鏈接文件系統(tǒng)的核心概念$chmod[options]mode[,mode]file1[file2...]chmod的八進(jìn)制語(yǔ)法的數(shù)字說(shuō)明：r4w2x1-0chmod使用語(yǔ)法舉例：訪問文件的流程知識(shí)點(diǎn)三1234命令只傳遞了一個(gè)絕對(duì)路徑通過(guò)inode-table尋找父路徑在父目錄表中尋找對(duì)應(yīng)文件inode查找到inode指定文件訪問文件的流程日志文件系統(tǒng)知識(shí)點(diǎn)四（一）日志文件系統(tǒng)在文件系統(tǒng)發(fā)生變化時(shí)，先把相關(guān)的信息寫入一個(gè)被稱為日志的區(qū)域，然后再把變化寫入主文件系統(tǒng)的文件系統(tǒng)。在文件系統(tǒng)發(fā)生故障（如內(nèi)核崩潰或突然停電）時(shí)，日志文件系統(tǒng)更容易保持一致性，并且可以較快恢復(fù)。在回寫模式中，只有元數(shù)據(jù)被記錄到日志中，數(shù)據(jù)會(huì)被直接寫入主文件系統(tǒng)。這種模式能提供較好的性能，不過(guò)有較大的風(fēng)險(xiǎn)?；貙懺陧樞蚰Ｊ街?，只有元數(shù)據(jù)被記錄到日志中，但在日志被標(biāo)記為提交前，數(shù)據(jù)會(huì)被寫入文件系統(tǒng)。順序在數(shù)據(jù)模式中，元數(shù)據(jù)和文件內(nèi)容都先被寫入日志中，然后在提交到主文件系統(tǒng)。數(shù)據(jù)（二）日志的級(jí)別XFS文件系統(tǒng)知識(shí)點(diǎn)五（一）XFS歷史19XFS，一種高性能的日志文件系統(tǒng)，最早于1993年，由SiliconGraphics為他們的IRIX操作系統(tǒng)而開發(fā)，是IRIX5.3版的默認(rèn)文件系統(tǒng)XFS特別擅長(zhǎng)處理大文件，同時(shí)提供平滑的數(shù)據(jù)傳輸。（二）XFS特性容量大1對(duì)文件系統(tǒng)元數(shù)據(jù)提供了日志支持2分配組提供了可伸縮和并行特性3條帶化分配4基于Extent的分配方式5可變塊尺寸6延遲分配7稀疏文件8（三）文件系統(tǒng)對(duì)比1.FAT文件系統(tǒng)的數(shù)據(jù)訪問方式（二）文件系統(tǒng)對(duì)比2.Ext2文件系統(tǒng)的數(shù)據(jù)訪問方式本章從文件系統(tǒng)的基本概念出發(fā)，闡述了文件系統(tǒng)的作用、核心概念、訪問流程、日志文件系統(tǒng)、XFS文件系統(tǒng)、文件系統(tǒng)對(duì)比。包括如下內(nèi)容：1.文件系統(tǒng)的作用：概念。2.文件系統(tǒng)核心概念：文件名、元數(shù)據(jù)、inode、Posixinode、硬鏈接軟鏈接、LinuxVFS、FHS、文件的讀寫執(zhí)行屬性。3、訪問文件的流程4、日志文件系統(tǒng)、XFS文件系統(tǒng)、文件系統(tǒng)對(duì)比。任務(wù)小結(jié)課外研讀大數(shù)據(jù)標(biāo)準(zhǔn)獨(dú)立學(xué)習(xí)到今天，我們國(guó)家已經(jīng)有12項(xiàng)大數(shù)據(jù)國(guó)家標(biāo)準(zhǔn)正式獲批發(fā)布。我們可以通過(guò)研讀《GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南》標(biāo)準(zhǔn)來(lái)識(shí)別數(shù)據(jù)的類別，國(guó)家大數(shù)據(jù)標(biāo)準(zhǔn)由全國(guó)信息技術(shù)標(biāo)準(zhǔn)化委員會(huì)組織專家進(jìn)行撰寫更新。通過(guò)研讀《合