實(shí)施方案v1.1-專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)中科遙感初審版

階段標(biāo)志：實(shí)施 號(hào)SZ1- - 數(shù) 項(xiàng)目：： 遙感（）應(yīng)用目 圖目 表目 文檔說 標(biāo) 文檔概 術(shù)語與定 文檔 項(xiàng)目概 項(xiàng)目來 項(xiàng)目研制內(nèi) 項(xiàng)目的目 項(xiàng)目周 項(xiàng)目的意義和作 分系統(tǒng)設(shè) 分系統(tǒng)設(shè)計(jì)方 分系統(tǒng)概 分系統(tǒng)設(shè)計(jì)原 高速專線網(wǎng)絡(luò)子系統(tǒng)的設(shè)計(jì)原 數(shù)據(jù)傳輸子系統(tǒng)的設(shè)計(jì)原 分系統(tǒng)關(guān)鍵技 分系統(tǒng)結(jié) 分系統(tǒng)接口關(guān) 分系統(tǒng)硬件接口關(guān) 分系統(tǒng)軟件接口關(guān) 分系統(tǒng)工作流 分系統(tǒng)軟硬件環(huán) 分系統(tǒng)功能指 分系統(tǒng)性能指 主要指標(biāo)分 用戶和權(quán)限管理功能指 上傳功能指 多種傳輸方案功能指 多項(xiàng)數(shù)據(jù)傳輸功能指 跨平臺(tái)功能指 界面可視化功能指 最佳傳輸效率性能指 穩(wěn)定運(yùn)行性能指 指標(biāo)分 各子系統(tǒng)設(shè)計(jì)方 高速專線網(wǎng)絡(luò)子系 高速專線網(wǎng)絡(luò)子系統(tǒng)結(jié) 高速專線網(wǎng)絡(luò)子系統(tǒng)接口關(guān) 高速專線網(wǎng)絡(luò)子系統(tǒng)工作流 高速專線網(wǎng)絡(luò)子系統(tǒng)功能指 高速專線網(wǎng)絡(luò)子系統(tǒng)性能指 數(shù)據(jù)傳輸子系 數(shù)據(jù)傳輸子系統(tǒng)結(jié) 數(shù)據(jù)傳輸子系統(tǒng)接口關(guān) 數(shù)據(jù)傳輸子系統(tǒng)工作流 數(shù)據(jù)傳輸子系統(tǒng)功能指 數(shù)據(jù)傳輸子系統(tǒng)性能指 分系統(tǒng)實(shí)施途 研制現(xiàn)狀和工作基 實(shí)施路線與方 分系統(tǒng)硬件部 分系統(tǒng)軟件部 軟硬件支撐環(huán)境需 其他非功能性設(shè) 可靠性設(shè) 維修性設(shè) 保障性設(shè) 測試性設(shè) 安全性設(shè) 環(huán)境適應(yīng)性設(shè) 電磁兼容性設(shè) 需求滿足度說 功能指標(biāo)滿足度說 性能指標(biāo)滿足度說 分系統(tǒng)實(shí)施管 分系統(tǒng)實(shí)施技術(shù)流 分系統(tǒng)實(shí)施進(jìn)度與節(jié)點(diǎn)交付內(nèi) 分系統(tǒng)實(shí)施團(tuán) 分系統(tǒng)交付成 分系統(tǒng)硬件設(shè) 分系統(tǒng)業(yè)務(wù)軟 分系統(tǒng)技術(shù)文檔資 實(shí)施進(jìn)度與質(zhì)量的保障措 結(jié)束 圖2-1專線網(wǎng)絡(luò)示意 圖2-2專線網(wǎng)絡(luò)與數(shù)據(jù)分發(fā)分系統(tǒng)項(xiàng)目來源示意圖 圖2-3專線網(wǎng)絡(luò)與數(shù)據(jù)分發(fā)分系統(tǒng)項(xiàng)目來源示意圖 圖4-1Thrift框架邏輯關(guān) 圖4-2專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)軟件接口關(guān) 圖4-3高速專線網(wǎng)絡(luò)子系統(tǒng)結(jié) 圖4-4建立TCP連 圖4-5控制連接和隧道建 圖4-6LCP協(xié) 圖4-7驗(yàn) 圖4-8NCP協(xié) 圖4-9協(xié) 圖4-10數(shù)據(jù)包封裝過 圖4-11數(shù)據(jù)解封裝過 圖4-12數(shù)據(jù)傳輸子系統(tǒng)整體結(jié) 圖4-13數(shù)據(jù)傳輸子系統(tǒng)輸入輸出模塊結(jié) 圖4-14數(shù)據(jù)傳輸子系統(tǒng)傳輸結(jié) 圖4-15數(shù)據(jù)傳輸子系統(tǒng)管理模塊結(jié) 圖4-16數(shù)據(jù)傳輸子系統(tǒng)模塊結(jié) 圖4-17數(shù)據(jù)傳輸子系統(tǒng)接口關(guān) 圖5-1專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)硬件部 圖5-2專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)軟件部 圖6-1安全多層模 圖8-1項(xiàng)目組組織架 表3-1文 表2-1專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)研制內(nèi)容 表4-1專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)主要技術(shù)指標(biāo)分 表4-2高速專線網(wǎng)絡(luò)子系統(tǒng)功能指 表4-3高速專線網(wǎng)絡(luò)子系統(tǒng)性能指 表4-4數(shù)據(jù)傳輸子系統(tǒng)工作流 表5-1專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)軟硬件環(huán)境支撐需 表6-1專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)保障性設(shè) 表7-1系統(tǒng)主要功能要求滿足情況說 表7-2系統(tǒng)主要性能要求滿足情況說 表8-1專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)實(shí)施進(jìn)度與節(jié)點(diǎn)交付內(nèi) 表8-2專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)實(shí)施團(tuán) 本文檔的編號(hào)為SZ1- 本文檔的標(biāo)題為“實(shí)施方案V1.0-專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)-遙感-2、Mapreduce：分布式系統(tǒng)hadoop生態(tài)圈的并行計(jì)算框3、ProtocolBuffer：的一個(gè)數(shù)據(jù)序列化框5、Thrift：一個(gè)軟件框架，同時(shí)是一個(gè)RPC：6GT-Data自研的一套分布式云系統(tǒng)底層是基于開源的：7、RestAPIsRestfulapi8、HDFS：hadoop10、Sqoop

表1-1文1Hadoop20112WAPM適合廣域分20093Hadoop平臺(tái)在云計(jì)20114談分布式計(jì)算模型Mapreduce與搜索引20075Hadoop2011620117MapreduceI/O密集型程20118據(jù)模2011、9Hadoop2011、2011分布式文件系統(tǒng)HadoopHDFS與傳統(tǒng)文件系統(tǒng)LinuxFS2010云端的小飛象2008）一號(hào)一號(hào)密云 三亞數(shù)數(shù)據(jù)

圖2-1地面接收處理端、運(yùn)管系地面接收處理端、運(yùn)管系本項(xiàng)目源自 一 ”地面應(yīng)用系統(tǒng)建設(shè)中分系統(tǒng)具體建設(shè)需2-2標(biāo)預(yù)深與處加質(zhì)理工量分分檢系系測統(tǒng)統(tǒng)分系統(tǒng)專專定表2-112后到這一數(shù)據(jù)抽象對(duì)象3后到這一數(shù)據(jù)抽象對(duì)象4mapreducemap統(tǒng)57據(jù)格式的等8系統(tǒng)狀態(tài)等信息的統(tǒng)面系統(tǒng)對(duì)本項(xiàng)目在功能、性能方面所指標(biāo)要求。項(xiàng)目建設(shè)周期：20179月-201811本項(xiàng)目通過建“地面接收站-數(shù)據(jù)中心-遙感集市高速專線網(wǎng)絡(luò)，通過數(shù)傳系統(tǒng)，以定制化程序?qū)?shù)據(jù)進(jìn)行編碼、傳輸，從而保證一號(hào)數(shù)專線網(wǎng)絡(luò)與數(shù)傳分系統(tǒng)是一號(hào)地面系統(tǒng)的“神經(jīng)”和“血管，承1234、能有效利用INTERNET通過單一網(wǎng)絡(luò)結(jié)構(gòu)為分支機(jī)構(gòu)提供無縫和安全的連123TB級(jí)單一文件傳輸，支持百萬級(jí)海量小文件傳輸，支持文件夾和批量4、既可以面向客戶端提供文件上傳服務(wù)，也可以實(shí)現(xiàn)多個(gè)服務(wù)端之間的文5、能有效兼容大數(shù)據(jù)云系統(tǒng)，定位為大數(shù)據(jù)傳輸系統(tǒng)1、使用mapreduce的mapworker，90%以上并且iomapreducemap執(zhí)行單元高效，可靠的管理機(jī)制，直接使用map過程將數(shù)據(jù)載入分布式云系統(tǒng)。2protocolbuffer這樣一個(gè)數(shù)據(jù)序列化框架，其作用在于將序列化技術(shù)的底層復(fù)雜操作起來開發(fā)人員只需使用簡單的編程結(jié)構(gòu)就能實(shí)現(xiàn)數(shù)據(jù)的序列Protocolbuffer開發(fā)和它會(huì)使用用戶實(shí)現(xiàn)好的序列化算法將數(shù)據(jù)對(duì)象轉(zhuǎn)換成二進(jìn)制對(duì)象，3例如TCP、UDP存在的前提下，如何這些底層復(fù)雜協(xié)議，專注上層應(yīng)用的開發(fā)，是RPC技術(shù)要解決的問題。使用RPC技術(shù)，我們可以把精力專注于本地本系統(tǒng)選用Thrift這樣一個(gè)RPC框架，Thrift的性能在的大數(shù)據(jù)傳輸、、分析系統(tǒng)中得到了充分驗(yàn)證。Thrift的最大優(yōu)勢是跨語言的通信和強(qiáng)大的代碼生成機(jī)制Thrift通過開發(fā)者自定義的thrift語言來描述帶傳輸?shù)拇a文件，Thrift可以直接客戶端和服務(wù)端，在簡單的編碼之后，RPC組件就下圖以javaThrift框架實(shí)現(xiàn)的RPC調(diào)用中，邏輯層、編碼層、圖3-1Thrift圖中，TProtocolTTransport分別表示底層的協(xié)議層和傳輸層，TProtocol中包含了ThriftTTransport層則了http、tcp、udp等協(xié)議細(xì)節(jié)。Service.Client和Service.Proccessor這一模通模通光纖接，接入來自運(yùn)營商提供的線任務(wù)管理調(diào)度任務(wù)管理調(diào)度模RestWebUI請(qǐng)系系 模圖3-2數(shù)據(jù)傳數(shù)據(jù)傳輸模通模塊（GT-Data的分布式文件系統(tǒng)。整個(gè)過程，由系統(tǒng)模塊全程并匯WebUICLi供用戶可視化調(diào)用或請(qǐng)求。而提供的RestAPIs方便程序的調(diào)用，為二次開發(fā)和與其他分系統(tǒng)交互提1、部署好地面運(yùn)管系統(tǒng)到數(shù)據(jù)中心，以及數(shù)據(jù)中心到東莞數(shù)據(jù)中心的2、分別在地面運(yùn)管系統(tǒng)、數(shù)據(jù)中心、東莞數(shù)據(jù)中心部署數(shù)據(jù)傳輸子系統(tǒng)的3、分別在地面運(yùn)管系統(tǒng)、數(shù)據(jù)中心、東莞數(shù)據(jù)中心部署數(shù)據(jù)傳輸子系統(tǒng)的分系統(tǒng)軟硬件環(huán)操作系統(tǒng)：centos6.3jdk：1.7tomcat：7.0或網(wǎng)關(guān)：支持隧道加密技術(shù)的數(shù)據(jù)傳輸服務(wù)器：32GB內(nèi)存、16核cpu 500GB系統(tǒng)盤1TB數(shù)據(jù)盤、數(shù)據(jù)接收服務(wù)器：32GB內(nèi)存、16核 500GB系統(tǒng)盤1TB數(shù)據(jù)盤權(quán)限的。支持多項(xiàng)數(shù)據(jù)傳輸：支持TB、PB級(jí)單一文件傳輸（主要針對(duì)原始數(shù)據(jù)支持跨平臺(tái)：全面支持包括Windows、LinuxMac最佳傳輸效率：不調(diào)整現(xiàn)有網(wǎng)絡(luò)資源的前提下提高數(shù)據(jù)傳輸效率，網(wǎng)絡(luò)利用率90%穩(wěn)定運(yùn)行：7*24主要指標(biāo)分用戶和權(quán)限管理功能指上傳功能指至PBKB級(jí)的數(shù)據(jù)的要穩(wěn)定運(yùn)行性能指7x24指標(biāo)分3-112上傳功能指345678高速專線網(wǎng)絡(luò)子系統(tǒng)結(jié)數(shù)據(jù)加密傳數(shù)據(jù)傳服務(wù)數(shù)據(jù)接服務(wù)互聯(lián)數(shù)據(jù)傳服務(wù)數(shù)據(jù)接服務(wù)本地?cái)?shù)據(jù)數(shù)據(jù)加密傳數(shù)據(jù)傳服務(wù)數(shù)據(jù)接服務(wù)互聯(lián)數(shù)據(jù)傳服務(wù)數(shù)據(jù)接服務(wù)本地?cái)?shù)據(jù)傳輸接收?qǐng)D3-3高速專線網(wǎng)絡(luò)子系統(tǒng)接口關(guān)高速專線網(wǎng)絡(luò)子系統(tǒng)工作流1、建立TCP連接3-4建立TCP2圖3-53、LCP4、驗(yàn)5、NCP

3-6LCP圖3-7驗(yàn)圖3-8NCP6、協(xié)圖3- 協(xié)7應(yīng)用層數(shù)據(jù)封裝成IP將IP數(shù)據(jù)包發(fā)送 的虛擬接虛擬接口將IP數(shù)據(jù)包壓縮和加密，并增加PPP協(xié)議驅(qū)動(dòng)程序?qū)⑺淼缊?bào)頭提交給TCP/IPTCP/IPGRE驅(qū)動(dòng)添加IP為IP圖3-108物理thernet剝掉Ethernet幀后交給TCP/IPTCP/IP協(xié)議解析剝掉IPIPGRE將PPP幀發(fā)送 虛擬網(wǎng)虛擬網(wǎng)卡剝掉PPP頭并對(duì)PPP有效負(fù)載進(jìn)行或者解壓圖3-11高速專線網(wǎng)絡(luò)子系統(tǒng)功能指表3-2IP和用戶名的防暴破登錄和多種安全策略Web優(yōu)化技術(shù)、WebCache技術(shù)、IPTunnel加速技術(shù)，全面提升B/S應(yīng)用和C/S應(yīng)用的速度支持撥號(hào)、ADSL、CDMA、GPRS支持SOCKS、HTTP，支持NAT；支持ISA代理環(huán)境下的無縫SSL接入DHCPLDAPRADIUS分配虛擬IP支持基于用戶、用戶組分配不同的虛擬IP16級(jí)用戶分級(jí)保證高丟包高延時(shí)環(huán)境下的快速支持資源負(fù)載均衡根高速專線網(wǎng)絡(luò)子系統(tǒng)性能指表3-31501003000并發(fā)SSLtaLodr傳輸器。首先給出系統(tǒng)整體結(jié)構(gòu)設(shè)計(jì)。在整個(gè)系統(tǒng)結(jié)構(gòu)中，將數(shù)據(jù)傳輸子系統(tǒng)（DataLoader）DataLoaderHDFS圖3-12由圖中可以看出，DataLoader支持兩種基本數(shù)據(jù)類型：StreamFile型，分別對(duì)應(yīng)流式數(shù)據(jù)和批處理數(shù)據(jù)。而DataLoader的數(shù)據(jù)終點(diǎn)指向HDFS集群Data，貝策略選擇器、數(shù)據(jù)處理器、數(shù)據(jù)拷貝器、WebUI及命令行工具，RESTAPIs整個(gè)集群的用戶輸入和集中功能。管理調(diào)度模塊、系統(tǒng)模塊。下面針對(duì)不同模塊給出系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)。輸入輸出模塊結(jié)把輸入輸出模塊作為一個(gè)獨(dú)立模塊提取出來是由于DataLoader必須具備優(yōu)DataLoader對(duì)其提供支持。輸入輸出模塊的結(jié)構(gòu)設(shè)圖3-13DataStore層，這一層的作用就是給不同式，需要預(yù)先實(shí)現(xiàn)該格式的插件，之后該格式的DataStore對(duì)象，使用DataStore對(duì)象來傳輸數(shù)據(jù)。DataStore的對(duì)應(yīng)于整體設(shè)計(jì)中的數(shù)據(jù)源和數(shù)據(jù)終端模塊。數(shù)據(jù)傳輸模塊結(jié)IO和網(wǎng)絡(luò)帶寬上限作為參照。在盡可能提升系統(tǒng)性能的同時(shí)還要考慮系統(tǒng)的可圖3-14Worker就是具體執(zhí)行傳輸接口，負(fù)責(zé)向Worker發(fā)送用戶數(shù)據(jù)。Client和Worker之間應(yīng)該是一種多對(duì)多的ClientWorkerWorker也可以接收多個(gè)后就關(guān)閉。這樣有利于系統(tǒng)的動(dòng)態(tài)性，ClientWorkerClientWorkerWorker發(fā)送數(shù)WorkerHDFS寫入數(shù)據(jù)時(shí)，也要先HDFS寫入數(shù)據(jù)成功后，Worker會(huì)向一致性服ClientWorker節(jié)點(diǎn)和Worker節(jié)點(diǎn)可以通過查詢一致性服務(wù)的方式，失效節(jié)點(diǎn)繼續(xù)工作系統(tǒng)管理模塊結(jié)RestApis，數(shù)據(jù)存圖3-15DataStoreRegister：負(fù)責(zé)DataStore對(duì)象，任何數(shù)據(jù)源，只有在實(shí)現(xiàn)DataStore插件，并在系統(tǒng)管理模塊中的DataStoreRegister完成，才能被系Manager當(dāng)有節(jié)點(diǎn)失效時(shí)，需要有特定的管理模塊來處理這個(gè)事情。在ClusterManagerJobLifecycleManagerDataLoaderJobPolicyManager：DataLoader在不同部署場合，或是在處理不同類型數(shù)據(jù)ClientWorker開始傳輸數(shù)據(jù)之前，先會(huì)將作業(yè)提交給JobPolicyManager，在完成具體的傳輸策略設(shè)計(jì)和數(shù)據(jù)分片處理后，由ClientWorker。ClusterResourceManager：整個(gè)DataLoader系統(tǒng)真正執(zhí)行數(shù)據(jù)傳輸任務(wù)的是同的Client，是數(shù)據(jù)傳輸作業(yè)能夠運(yùn)行的先決條件。RestAPIsServiceWebUI還是通過Cli命令行來操作DataLoader，都是通過RestAPISService這個(gè)模塊來與系統(tǒng)通信的。這個(gè)模塊提供了統(tǒng)一的服務(wù)，對(duì)外了系統(tǒng)的操作接口。系統(tǒng)模塊結(jié)數(shù)據(jù)傳輸進(jìn)度的需要通過系統(tǒng)管理模塊提供作業(yè)的基本信息，和文件分片策略信息。而這些信息可以從系統(tǒng)管理模塊中獲取。所以使用單獨(dú)的系統(tǒng)模塊即加強(qiáng)了系統(tǒng)部署的靈活性，同時(shí)減輕了系統(tǒng)管理模塊的單點(diǎn)壓力。 圖3-16數(shù)據(jù)傳輸子系統(tǒng)模塊結(jié)，系統(tǒng)模塊通過定時(shí)向Client和Worker收集數(shù)據(jù)傳輸信息來更新當(dāng)前任務(wù)的傳輸進(jìn)度。同時(shí)模塊通過向管理模塊請(qǐng)求任務(wù)總體信息，將這些信息合并處理之后，同樣通過RestAPIsService向用戶提供數(shù)據(jù)。，數(shù)據(jù)傳輸子系統(tǒng)接口關(guān)WebUICli或是RestAPIs圖3-17進(jìn)度等，對(duì)用戶提供RestAPIs服務(wù)。ClientWorker是多對(duì)多的關(guān)系，并且通數(shù)據(jù)傳輸子系統(tǒng)工作流數(shù)據(jù)傳輸子系統(tǒng)的工作流程分別對(duì)應(yīng)于用戶指令的輸入和相應(yīng)的系統(tǒng)響應(yīng)的輸出。表3-4用戶輸系統(tǒng)輸無數(shù)據(jù)傳輸子系統(tǒng)功能指1、能夠?qū)?shù)據(jù)導(dǎo)入到分布式云系統(tǒng)GT-Data的HDFS文件系統(tǒng)中去由于各數(shù)據(jù)中心均采用自研的GT-Data進(jìn)行數(shù)據(jù)，因而DataLoaderGT-Data所以，DataLoader任務(wù)就是將數(shù)據(jù)導(dǎo)入到GT-Data的HDFS文件系統(tǒng)中去。并且應(yīng)該掉HDFS的相關(guān)API，方便我們傳輸數(shù)據(jù)。2絡(luò)和磁盤。數(shù)據(jù)格式可能是文本、流、影像、或數(shù)據(jù)庫文件。DataLoader3Hadoop進(jìn)行批處理任務(wù)的處理同時(shí)，還需選用storm進(jìn)行流式任務(wù)的處理。4GT-DataDataLoader可以同時(shí)支持部署在分布式云GT-Data集群的內(nèi)部和外部。并且，除了分布式部署場景之外，也要提供單機(jī)部署模式。在用戶的情DataLoader享受良好的服務(wù)。5UIDataLoader部署完成后，用戶不應(yīng)該再需要關(guān)注數(shù)據(jù)傳輸?shù)木唧w細(xì)節(jié)。UI界面上。6、具有任務(wù)進(jìn)度的功能，可以隨時(shí)暫停、續(xù)傳任務(wù)數(shù)據(jù)傳輸子系統(tǒng)性能指1作為數(shù)據(jù)傳輸系統(tǒng)，DataLoader必須時(shí)刻保持可用狀態(tài)。在分布式場景下，23DataLoaderGT-Datahadoop的原生接口，另一方面還要提供hadoop不具備的流式數(shù)據(jù)傳輸能力。4DataLoader就必須是一個(gè)高通用、可擴(kuò)展的系統(tǒng)。Dataloader使用更上層的抽象接口來傳輸數(shù)據(jù)。據(jù)中心采用的是自研的GT-Data分布式系統(tǒng)數(shù)據(jù)，這方便DataLoad