大數(shù)據(jù)采集行業(yè)發(fā)展情況分析

大數(shù)據(jù)采集行業(yè)發(fā)展情況分析大數(shù)據(jù)采集行業(yè)發(fā)展情況海量數(shù)據(jù)從生產(chǎn)到發(fā)揮價值，需要經(jīng)過采集、處理、分析等環(huán)節(jié)，其中大數(shù)據(jù)采集與預(yù)處理作為大數(shù)據(jù)生命周期的第一環(huán)節(jié)，是釋放數(shù)字價值的前提。數(shù)據(jù)復(fù)制軟件在大數(shù)據(jù)行業(yè)的應(yīng)用主要是作為數(shù)據(jù)采集的基礎(chǔ)工具，將來自不同數(shù)據(jù)庫、不同數(shù)據(jù)類型的數(shù)據(jù)實(shí)時傳輸至統(tǒng)一平臺，為大數(shù)據(jù)分析提供實(shí)時、安全、可靠的數(shù)據(jù)，屬于大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)支撐層。與傳統(tǒng)的數(shù)據(jù)采集不同，大數(shù)據(jù)采集需要面對海量數(shù)據(jù)、多種數(shù)據(jù)類型和多樣化的終端類型，對采樣數(shù)據(jù)的實(shí)時性要求也越來越高。在大數(shù)據(jù)采集時，需要通過計算機(jī)進(jìn)行規(guī)則配置、任務(wù)調(diào)度，實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的預(yù)處理，為后續(xù)的實(shí)時分析決策、數(shù)據(jù)查詢、分發(fā)、計算和分析提供堅實(shí)基礎(chǔ)。數(shù)據(jù)復(fù)制技術(shù)行業(yè)下游催生需求空間數(shù)據(jù)復(fù)制軟件的主要功能是將一組數(shù)據(jù)從一個數(shù)據(jù)源拷貝到一個或多個數(shù)據(jù)源，涵蓋數(shù)據(jù)的監(jiān)控、獲取、傳輸、存儲、校驗(yàn)等步驟。根據(jù)獲取數(shù)據(jù)的層級不同，數(shù)據(jù)復(fù)制軟件也可分為存儲硬件層數(shù)據(jù)復(fù)制軟件、操作系統(tǒng)層數(shù)據(jù)復(fù)制軟件和數(shù)據(jù)庫層數(shù)據(jù)復(fù)制軟件：存儲硬件層數(shù)據(jù)復(fù)制軟件從存儲設(shè)備中直接獲取數(shù)據(jù)，并將其復(fù)制至新的存儲設(shè)備；操作系統(tǒng)層數(shù)據(jù)復(fù)制軟件是從操作系統(tǒng)中捕獲數(shù)據(jù)，并將其復(fù)制至新的操作系統(tǒng)；數(shù)據(jù)庫層數(shù)據(jù)復(fù)制軟件從數(shù)據(jù)庫捕獲數(shù)據(jù)，并將其復(fù)制至新的數(shù)據(jù)庫。數(shù)據(jù)復(fù)制軟件經(jīng)典的應(yīng)用場景為災(zāi)備，包括備份和容災(zāi)，用于保障用戶的數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性。同時，隨著信息技術(shù)的不斷發(fā)展，大數(shù)據(jù)逐漸開始落地應(yīng)用，數(shù)據(jù)復(fù)制軟件作為數(shù)據(jù)流通的基礎(chǔ)工具軟件，也越來越多地應(yīng)用于數(shù)據(jù)分發(fā)、共享、集成、治理等更多大數(shù)據(jù)領(lǐng)域。數(shù)據(jù)復(fù)制軟件的發(fā)展階段分析（一）數(shù)據(jù)復(fù)制軟件行業(yè)發(fā)展第一階段：數(shù)據(jù)的定時復(fù)制早期依托存儲硬件的數(shù)據(jù)復(fù)制是以數(shù)據(jù)的定時復(fù)制為主。該階段數(shù)據(jù)復(fù)制軟件基于存儲硬件而存在，是存儲的重要附加功能，存在備份窗口長、重復(fù)數(shù)據(jù)量大、產(chǎn)品結(jié)構(gòu)單一、缺乏獨(dú)立性等缺陷。產(chǎn)品需求以成本低、容量大為主，應(yīng)用場景包括存儲磁帶庫的數(shù)據(jù)拷貝、搬遷等。（二）數(shù)據(jù)復(fù)制軟件行業(yè)發(fā)展第二階段：數(shù)據(jù)的實(shí)時復(fù)制數(shù)據(jù)的實(shí)時復(fù)制是隨著行業(yè)對持續(xù)數(shù)據(jù)保護(hù)、容災(zāi)、備份中心雙活等需求的不斷提升應(yīng)運(yùn)而生的。持續(xù)數(shù)據(jù)保護(hù)通過將變化的數(shù)據(jù)實(shí)時復(fù)制到目標(biāo)服務(wù)器的同時，把數(shù)據(jù)的變化以日志方式記錄下來，在系統(tǒng)故障時根據(jù)日志快速恢復(fù)至指定時間點(diǎn)；容災(zāi)則需要通過數(shù)據(jù)的實(shí)時復(fù)制保證兩套或多套IT系統(tǒng)的數(shù)據(jù)一致性，才能實(shí)現(xiàn)故障情況下的切換；備份中心雙活則要求備份IT系統(tǒng)同時承擔(dān)業(yè)務(wù)，對數(shù)據(jù)復(fù)制的實(shí)時性提出了更高的要求。（三）數(shù)據(jù)復(fù)制軟件行業(yè)發(fā)展第三階段：云計算和大數(shù)據(jù)時代的數(shù)據(jù)復(fù)制隨著云計算和大數(shù)據(jù)時代的到來，數(shù)據(jù)復(fù)制正在逐步走向下一個階段。云計算具有部署靈活、運(yùn)維成本低的特點(diǎn)，數(shù)據(jù)復(fù)制的內(nèi)容開始從本地數(shù)據(jù)向云端數(shù)據(jù)，數(shù)據(jù)復(fù)制軟件的產(chǎn)品形態(tài)也開始由傳統(tǒng)的軟件向SaaS服務(wù)拓展。同時，大數(shù)據(jù)時代下數(shù)據(jù)流動性進(jìn)一步加強(qiáng)，衍生出更多的應(yīng)用場景。大數(shù)據(jù)時代下數(shù)據(jù)復(fù)制軟件將起到打破數(shù)據(jù)孤島的作用，將大量冷數(shù)據(jù)安全且高效地輸送至大數(shù)據(jù)平臺，為數(shù)據(jù)分析提供真實(shí)有效的源數(shù)據(jù)，使數(shù)據(jù)價值最大化，為數(shù)字經(jīng)濟(jì)的發(fā)展保駕護(hù)航。數(shù)據(jù)復(fù)制技術(shù)行業(yè)存儲硬件層復(fù)制技術(shù)發(fā)展概況存儲硬件層復(fù)制主要指基于存儲磁盤陣列之間的直接鏡像，是通過存儲系統(tǒng)內(nèi)建的固件或操作系統(tǒng)，利用IP網(wǎng)絡(luò)或光纖等傳輸介質(zhì)連結(jié)，將數(shù)據(jù)以同步或異步的方式復(fù)制到目標(biāo)端。存儲硬件層復(fù)制的優(yōu)勢在于復(fù)制工作僅在存儲硬件層面進(jìn)行，與操作系統(tǒng)層無關(guān)，因此可以避免服務(wù)器的性能開銷過大的問題，適用于關(guān)鍵任務(wù)和高端交易應(yīng)用，也是目前最廣泛用于容災(zāi)場景的數(shù)據(jù)復(fù)制技術(shù)之一。存儲硬件層復(fù)制的劣勢在于主要適用于同品牌且同型號的同構(gòu)存儲系統(tǒng)，并需配備低延遲和大帶寬的物理鏈路，成本較高，給異地復(fù)制帶來極大困難。存儲硬件層的復(fù)制技術(shù)通常依賴于特定存儲硬件，因此使用該技術(shù)的主要是存儲硬件廠商，代表產(chǎn)品為DELLEMC的SRDF軟件、IBM的PPRC軟件等。數(shù)據(jù)復(fù)制技術(shù)行業(yè)發(fā)展現(xiàn)狀數(shù)據(jù)復(fù)制技術(shù)主要包含了數(shù)據(jù)抓取、數(shù)據(jù)傳輸和數(shù)據(jù)復(fù)原三個環(huán)節(jié)。數(shù)據(jù)抓取環(huán)節(jié)主要指對生產(chǎn)端的變化數(shù)據(jù)進(jìn)行識別和提取，要求識別顆粒度細(xì)且對生產(chǎn)系統(tǒng)影響??；數(shù)據(jù)傳輸環(huán)節(jié)主要指對數(shù)據(jù)進(jìn)行分段拆分組合、加密、壓縮等，實(shí)現(xiàn)準(zhǔn)確、高效、安全的數(shù)據(jù)傳輸；數(shù)據(jù)復(fù)原主要指目標(biāo)端的數(shù)據(jù)接收和數(shù)據(jù)寫入，其核心在于快速寫入的同時，保證數(shù)據(jù)的一致性。根據(jù)獲取數(shù)據(jù)的層級不同，數(shù)據(jù)復(fù)制軟件可分為存儲硬件層復(fù)制、操作系統(tǒng)層復(fù)制和數(shù)據(jù)庫層復(fù)制，不同層級的數(shù)據(jù)復(fù)制技術(shù)在功能、性能上存在一定的差異，各有特點(diǎn)，適用不同的應(yīng)用場景。數(shù)據(jù)復(fù)制軟件行業(yè)市場規(guī)模國內(nèi)市場：中國災(zāi)備軟件市場規(guī)模從2016年的52．5億元增長至2020年的114．40億元，最近5年平均增速為20%以上。未來幾年，我國的災(zāi)備軟件市場也將保持較穩(wěn)定的增速，預(yù)計2025年市場規(guī)模將達(dá)到207億元。大數(shù)據(jù)領(lǐng)域是數(shù)據(jù)復(fù)制軟件的一個新興應(yīng)用方向，從大數(shù)據(jù)軟件的整體市場規(guī)?？?，2020年全球大數(shù)據(jù)軟件市場規(guī)模達(dá)4，813．6億元。預(yù)測中國的大數(shù)據(jù)市場中，軟件市場占比將逐年提升，2025年超30%的市場支出將流向軟件，約510億元，未來五年平均復(fù)合增長率達(dá)到26．7%。隨著大數(shù)據(jù)技術(shù)不斷演進(jìn)和應(yīng)用持續(xù)深化，數(shù)據(jù)復(fù)制軟件作為大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)支撐軟件，在數(shù)據(jù)匯聚、分發(fā)、采集、流通的環(huán)節(jié)將起到越來越重要的作用，市場規(guī)模有望快速增長。云計算相較于傳統(tǒng)IT架構(gòu)，具有資源配置效率高、運(yùn)維難度低等優(yōu)勢。隨著云計算技術(shù)和基礎(chǔ)設(shè)施的逐步成熟，越來越多的企業(yè)開始遷移上云。數(shù)據(jù)復(fù)制技術(shù)也從本地數(shù)據(jù)復(fù)制向云端數(shù)據(jù)復(fù)制發(fā)展。云端復(fù)制和本地復(fù)制相比，傳輸環(huán)境存在較大的差異，云端復(fù)制的傳輸具有帶寬窄、傳輸不穩(wěn)定等特點(diǎn)，對復(fù)制技術(shù)的壓縮能力、斷點(diǎn)續(xù)傳能力提出了更高的要求。同時，云端復(fù)制還需兼顧數(shù)據(jù)隱私問題，特別是在公有云的場景下，云供應(yīng)商有較大的權(quán)限，可以對數(shù)據(jù)進(jìn)行管理，因此在云端復(fù)制場景下，數(shù)據(jù)的脫敏、加密也是云端復(fù)制技術(shù)需要考慮的重要問題。數(shù)據(jù)復(fù)制技術(shù)最早是由存儲硬件及數(shù)據(jù)庫廠商開發(fā)，其優(yōu)點(diǎn)在于對本公司的存儲或數(shù)據(jù)庫產(chǎn)品的兼容良好、穩(wěn)定性高、數(shù)據(jù)復(fù)制速度快，但在靈活性和可擴(kuò)展性上有所欠缺。隨著信息技術(shù)的發(fā)展，各行業(yè)信息系統(tǒng)不斷升級和迭代，存儲及數(shù)據(jù)庫類型多樣化，數(shù)據(jù)量的提升也帶來了分級存儲、分級備份的需求，與硬件或數(shù)據(jù)庫綁定的復(fù)制技術(shù)功能單一、缺乏靈活性等缺點(diǎn)逐漸顯現(xiàn)。軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)可以實(shí)現(xiàn)不同存儲硬件、不同數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，在信息系統(tǒng)升級、數(shù)據(jù)分級存儲等場景下具有較強(qiáng)的優(yōu)勢，有望成為未來數(shù)據(jù)復(fù)制行業(yè)的重要發(fā)展方向。同時，在國內(nèi)信息系統(tǒng)軟硬件安全可信的趨勢下，國產(chǎn)存儲設(shè)備和數(shù)據(jù)庫紛紛涌現(xiàn)，軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)也將在信息系統(tǒng)國產(chǎn)化進(jìn)程中發(fā)揮重要作用，加速國產(chǎn)化進(jìn)程。大數(shù)據(jù)平臺是為了滿足大數(shù)據(jù)的存儲、運(yùn)算、分析、展現(xiàn)的軟件平臺，主要功能包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)存儲、查詢檢索、分析挖掘、數(shù)據(jù)集成等。隨著大數(shù)據(jù)技術(shù)不斷演進(jìn)和應(yīng)用持續(xù)深化，以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)正在加速構(gòu)建。大數(shù)據(jù)平臺作為基礎(chǔ)工具，將隨著大數(shù)據(jù)行業(yè)應(yīng)用的不斷深化，得到越來越廣泛的應(yīng)用。同時，傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)也將越來越多地匯聚至大數(shù)據(jù)平臺，進(jìn)行數(shù)據(jù)分析挖掘等，以發(fā)揮更大地數(shù)據(jù)價值。因此，大數(shù)據(jù)平臺實(shí)時復(fù)制技術(shù)是未來數(shù)據(jù)復(fù)制行業(yè)的重要發(fā)展方向之一。數(shù)據(jù)復(fù)制技術(shù)發(fā)展趨勢數(shù)據(jù)復(fù)制技術(shù)最早是由存儲硬件及數(shù)據(jù)庫廠商開發(fā)，作為其存儲硬件或數(shù)據(jù)庫軟件的輔助工具，通常與存儲硬件或數(shù)據(jù)庫綁定，只能用于本公司的存儲硬件或數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制。其優(yōu)點(diǎn)在于對本公司的存儲或數(shù)據(jù)庫產(chǎn)品的兼容良好、穩(wěn)定性高、數(shù)據(jù)復(fù)制速度快，但在靈活性和可擴(kuò)展性。隨著信息技術(shù)的發(fā)展，各行業(yè)信息系統(tǒng)不斷升級和迭代，存儲及數(shù)據(jù)庫類型多樣化，數(shù)據(jù)量的提升也帶來了分級存儲、分級備份的需求，與硬件或數(shù)據(jù)庫綁定的復(fù)制技術(shù)功能單一、缺乏靈活性等缺點(diǎn)逐漸顯現(xiàn)。軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)可以實(shí)現(xiàn)不同存儲硬件、不同數(shù)據(jù)庫之間的數(shù)據(jù)復(fù)制，在信息系統(tǒng)升級、數(shù)據(jù)分級存儲等場景下具有較強(qiáng)的優(yōu)勢，有望成為未來數(shù)據(jù)復(fù)制行業(yè)的重要發(fā)展方向。同時，在國內(nèi)信息系統(tǒng)軟硬件安全可信的趨勢下，國產(chǎn)存儲設(shè)備和數(shù)據(jù)庫紛紛涌現(xiàn)，軟硬件解耦的數(shù)據(jù)復(fù)制技術(shù)也將在信息系統(tǒng)國產(chǎn)化進(jìn)程中發(fā)揮重要作用，加速國產(chǎn)化進(jìn)程。云計算相較于傳統(tǒng)IT架構(gòu)，具有資源配置效率高、運(yùn)維難度低等優(yōu)勢。隨著云計算技術(shù)和基礎(chǔ)設(shè)施的逐步成熟，越來越多的企業(yè)開始遷移上云。數(shù)據(jù)復(fù)制技術(shù)也從本地數(shù)據(jù)復(fù)制向云端數(shù)據(jù)復(fù)制發(fā)展。和本地IT架構(gòu)不同的是，云計算架構(gòu)將底層硬件設(shè)備虛擬化后形成統(tǒng)一的計算資源、存儲資源和網(wǎng)絡(luò)資源，企業(yè)在云端的業(yè)務(wù)系統(tǒng)均統(tǒng)一部署在數(shù)據(jù)中心的虛擬平臺上，因此云端復(fù)制和本地復(fù)制相比，傳輸環(huán)境存在較大的差異，云端復(fù)制的傳輸具有帶寬窄、傳輸不穩(wěn)定等特點(diǎn)，對復(fù)制技術(shù)的壓縮能力、斷點(diǎn)續(xù)傳能力提出了更高的要求。同時，云端復(fù)制還需兼顧數(shù)據(jù)隱私問題，特別是在公有云的場景下，云供應(yīng)商有較大的權(quán)限，可以對數(shù)據(jù)進(jìn)行管理，因此在云端復(fù)制場景下，數(shù)據(jù)的脫敏、加密也是云端復(fù)制技術(shù)需要考慮的重要問題。大數(shù)據(jù)平臺是為了滿足大數(shù)據(jù)的存儲、運(yùn)算、分析、展現(xiàn)的軟件平臺，主要功能包括數(shù)據(jù)接入、數(shù)據(jù)處理、數(shù)據(jù)存儲、查詢檢索、分析挖掘、數(shù)據(jù)集成等。大數(shù)據(jù)平臺擁有特殊的文件系統(tǒng)、數(shù)據(jù)庫及數(shù)據(jù)處理模塊，以適配大數(shù)據(jù)的查詢、存儲和計算。以Hadoop為例，Hadoop平臺采用HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫，通過Hive數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)的存儲、查詢和分析，與傳統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)存在較大的差別，因此傳統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)復(fù)制技術(shù)無法實(shí)現(xiàn)大數(shù)據(jù)平臺間的數(shù)據(jù)實(shí)時復(fù)制，亦無法實(shí)現(xiàn)由傳統(tǒng)數(shù)據(jù)庫向大數(shù)據(jù)平臺的數(shù)據(jù)實(shí)時復(fù)制。隨著大數(shù)據(jù)技術(shù)不斷演進(jìn)和應(yīng)用持續(xù)深化，以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)正在加速構(gòu)建。大數(shù)據(jù)平臺作為基礎(chǔ)工具，將隨著大數(shù)據(jù)行業(yè)應(yīng)用的不斷深化，得到越來越廣泛的應(yīng)用。同時，傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)也將越來越多地匯聚至大數(shù)據(jù)平臺，進(jìn)行數(shù)據(jù)分析挖掘等，以發(fā)揮更大地數(shù)據(jù)價值。因此，大數(shù)據(jù)平臺實(shí)時復(fù)制技術(shù)是未來數(shù)據(jù)復(fù)制行業(yè)的重要發(fā)展方向之一。數(shù)據(jù)復(fù)制技術(shù)行業(yè)整體市場空間廣闊根據(jù)IDC2統(tǒng)計，2021年公司產(chǎn)品主要涉及到的災(zāi)備市場規(guī)模為6．01億美元，其中純軟件和一體機(jī)市場分別為2．35億美元和3．66億美元，約合人民幣14．80億元、23．06億元3。IDC預(yù)測，在2026年，公司產(chǎn)品主要涉及到的災(zāi)備市場規(guī)模將達(dá)到12．2億美元，其中純軟件規(guī)模將達(dá)到5．1億美元，約合人民幣32．1億元。近年來，國內(nèi)數(shù)字經(jīng)濟(jì)蓬勃發(fā)展，各行業(yè)數(shù)字化轉(zhuǎn)型升級進(jìn)度加快，數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性作為數(shù)字經(jīng)濟(jì)發(fā)展的重要基礎(chǔ)，也得到了越來越多的重視。國家先后頒布了《中華人民共和國網(wǎng)絡(luò)安全法》、《中華人民共和國數(shù)據(jù)安全法》、《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》等重要法律法規(guī)，為數(shù)字經(jīng)濟(jì)的發(fā)展保駕護(hù)航，有望推動數(shù)據(jù)復(fù)制軟件在災(zāi)備領(lǐng)域的市場空間進(jìn)一步增長。由于大數(shù)據(jù)領(lǐng)域是數(shù)據(jù)復(fù)制軟件的一個新興應(yīng)用方向，目前暫無該細(xì)分市場規(guī)模的權(quán)威數(shù)據(jù)。從大數(shù)據(jù)整體市場看，IDC預(yù)測2020年中國大數(shù)據(jù)市場整體規(guī)模超過100億美元，市場總量有望在2024年超過200億美元。隨著大數(shù)據(jù)技術(shù)不斷演進(jìn)和應(yīng)用持續(xù)深化，數(shù)據(jù)復(fù)制軟件作為大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)支撐軟件，在數(shù)據(jù)匯聚、分發(fā)、采集、流通的環(huán)節(jié)將起到越來越重要的作用，市場規(guī)模有望快速增長。隨著互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等技術(shù)