大數據平臺概要設計說明書

1、計算平臺作者：日期概要設計說明書文件編號受控編號版次1.0密級內部公開總頁數42附錄2013-01-28批準：日期（版權所有，翻版必究）-來源網絡，僅供個人學習參考文件修改記錄修改日期修改狀態(tài)修改頁碼及條款修改人審核人批準人111II111-來源網絡，僅供個人學習參考目錄引言華爾1.1編寫目的大數據泛指巨量的數據集，因可從中挖掘出有價值的信息而受到重視。街日報將大數據時代、智能化生產和無線網絡革命稱為引領未來繁榮的三大技術變革。麥肯錫公司的報告指出數據是一種生產資料，大數據是下一個創(chuàng)新、I競爭、生產力提高的前沿。世界經濟論壇的報告認定大數據為新財富，價值堪 比石油。因此，發(fā)達國家紛紛將開發(fā)利用

2、大數據作為奪取新一輪競爭制高點的 重要抓手?；ヂ摼W特別是移動互聯網的發(fā)展，加快了信息化向社會經濟各方面、大眾日常 生活的滲透。有資料顯示，1998年全球網民平均每月使用流量是 1MB兆字節(jié)）， 2000 年是 10MB 2003 年是 100MB 2008 年是 1GB( 1GB等于 1024MB，2014年將是10GB全網流量累計達到 1EB （即卩10億GB或1000PB）的時間在2001 年是一年，在2004年是一個月，在|2007年是一周，而2013年僅需一天，即 一天產生的信息量可刻滿 1.88億張DVD光盤。我國網民數居世界之首，每天產生的數據量也位于世界前列。淘寶網站每天有超過數

3、千萬筆交易，單日數據 產生量超過 50TB（仃B等于1000GB，存儲量40PB（1 PB等于1000TB）。百度公司目前數據總量接近 1000PB,存儲網頁數量接近 1萬億頁，每天大約要處理 60億次搜索請求，幾十 PB數據。一個8Mbps （兆比特每秒）的攝像頭一小時 能產生3.6GB數據，一個城市若安裝幾十萬個交通和安防攝像頭，每月產生的數據量將達幾十PBo醫(yī)院也是數據產生集中的地方。現在，一個病人的CT影像數據量達幾十GB而全國每年門診人數以數十億計，并且他們的信息需要長 時間保存?？傊?，大數據存在于各行各業(yè)，一個大數據時代正在到來。 -來源網絡，僅供個人學習參考信息爆炸不自今日起，但

4、近年來人們更加感受到大數據的來勢迅猛。一方面，網民數量不斷增加，另一方面，以物聯網和家電為代表的聯網設備數量增 長更快。2007年全球有5億個設備聯網，人均 0.1個；2013年全球將有500億個設備聯網，人均 70個。隨著寬帶化的發(fā)展，人均網絡接入帶寬和流量也迅速提升。全球新產生數據年增40%即信息總量每兩年就可以翻番，這一趨勢還將持續(xù)。目前，單一數據集容量超過幾十TB甚至數PB已不罕見，其規(guī)模大到無法在容許的時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理。DBMS的數數據規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大， 這就是大數據熱的原因。鑒于越來越大的數據規(guī)模，采用常規(guī)

5、基于 據分析工具和方法已經無法滿足大規(guī)模數據分析的需求，目前一些大型互聯網 公司采用hadoop體系進行大規(guī)模數據的運算， 結合hadoop體系結構與實際的 運算需求結合，采用 hadoop體系結構的分布式運算模型，通過集群的方式實現大數據運算，為企業(yè)提供大數據的價值。為適應大數據計算的要求，同時提供大數據運算平臺的系統設計的依據，特制 定計算平臺的系統概要設計文檔，為后期的系統詳細設計和實現提供依據。1.2術語與縮略詞F列術語、定義和縮略語適用于本標準:術語與縮略詞解釋備注Name nodeHDFS 采用 master/slave架構。一個 HDFS 集群是由一個 Name node和一定數

6、目的 Data no des組成。Name node是一個中心服務器，負責管理文件系統的名字空間(n ames pace)以及客戶端對文件的訪問。Name node執(zhí)-來源網絡，僅供個人學習參考行文件系統的名字空間操作，比如打開、關閉、重命名文件或目錄。它也負責確定數據塊到具體Data node節(jié)點的映射Data node集群中的Data node 般是一個節(jié)點一個,負責管理它所在節(jié)點上的存儲。了文件系統的名字空間，用戶能夠以文件的形式在上面存儲數據。從內部看，一個文件其實被分成一個或多個數據塊，這些塊存儲在一組Data node上。Data node負責處理文件系統客戶端的讀寫請求。在Nam

7、e node的統一調度下進行數據塊的創(chuàng)建、刪除和復制IISecondn ame node光從字面上來理解，很容易讓一些初學者先入為主 的認為：SecondaryNameNode(snn)就是NameNode(nn)的熱備進程。I I'其實不是。snn是HDFS架構中的一個組成部分，但是經常由于名字而被人誤解它真正的用途，其實它真正的用途，是用來保存name no de中對HDFSmetadata的信息的備份，并減少name node重啟的時間JobtrackerJobTracker是Map Reduce框架中最主要的類之一，所有job的執(zhí)行都由它來調度,而且HadooP系統中只配置Jo

8、bTracker 應用。？它們都是由master 服務 JobTracker 和多個運行于多個節(jié)點的slaver服務TaskTracker兩個類提供的服務調度的。master負責調度job的每一個子任務task運行于slave上，并監(jiān)控它們，如果發(fā)現有失敗的task就重新運行它，slave則負責直接執(zhí)行每一個taskTaskTrackerTaskTracker都需要運行在I HDFS的HBaseHiveStormDataNode上，般情況應該把器上而JobTracker則不需要，JobTracker部署在單獨的機1HBase是一個分布式的、面向列的開源數據庫，該技術來源于Changetal所撰

9、寫的Google論文"Bigtable :一個結構化數據的分布式存儲系統"。就像 Bigtable禾U用了 Google文件系統(FileSystem )所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似于 Bigtable 的能力。HBase是Apache的Hadoop項目的子項目。，HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供完整的sql查詢功能，可以將sql語句轉換為MapRed

10、uce任務進行運行。其優(yōu)點是學習成本低，可以通過類SQL語句快速實現簡單的 Map Reduce統計，不必開發(fā)專門的Map Reduce應用，十分適合數據倉庫的統計分析。Storm為分布式實時計算提供了一組通用原語，可被用于“流處理”之中，實時處理消息并更新數據庫。這是管理隊列及工作者集群的另一種方式。也可被用于“連續(xù)計Storm(continuouscomputation)，對數據流做連續(xù)查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用于“分布式RPC，以并行的方式運行昂貴的運算。FlumeFlume是Cloudera提供的一個高可用的， 高可 靠的，分布式的海量日志采集、聚合和傳輸的

11、系 統，Flume支持在日志系統中定制各類數據發(fā)送 方，用于收集數據；同時，Flume提供對數據進行 簡單處理，并寫到各種數據接受方（可定制）的 能力。ETLETL是數據抽取（Extract ）、清洗(Cleaning )、轉換(Transform )、裝載（Load）的過程。是構建數據倉庫的重要一環(huán)，用戶從數據源抽取出所需的數據，經過數據清洗，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。KettleKettle 是一款國外開源的ETL工具，純java 編寫，可以在 Window、Linux、Unix上運行，綠色無需安裝，數據抽取高效穩(wěn)定。1.3對MySQLMySQL是一個開放

12、源碼的小型關聯式Mo ngoDB人員;數據庫管理系統，開發(fā)者為瑞典MySQLAE；公司。目前MySQL被廣泛地應用在In ternet上的中小型網站中。由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了'MySQL作為網站數據庫。MongoDB是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。他支持的數據結構非常松散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mo ngo最大的特點是他支持的查詢語言非常強大，其語法有點類似于面向對象的查詢語言，幾乎可以實現類似關系數

13、據庫單表查詢的絕大部分功能，而且還支持對數據建立索引。1、開發(fā)人員、DBA、測試人員；2、研發(fā)主管領導、產品1.4參考資料 1、大數據處理體系架構 2、HBaseTheDefinitiveGuide 3、 4、Programming_Hive2. 系統總體設計2.1需求規(guī)定 2.2運行環(huán)境1操作系統：RedHadE nterprise5.5軟件環(huán)境：Java1.6Hadoo p-1.0.4HBase-0.94.9Hive-0.10.0 sqo op-1.4.2 zookee per-345Kettle4.3MySQL5.1硬件環(huán)境：8核16G內存PC服務器8臺2.3基本設計思路和處理流程 1、

14、按照數據分析的實時性，分為在線數據分析和離線數據分析。 -來源網絡，僅供個人學習參考2、在線數據分析：往往要求系統在數秒內返回上億行數據的分析，從而才能達到不影響用戶體驗的目的。3、離線數據分析：對大多數反饋時間要求不高的應用，比如離線統計分析、機器學習等，應采用離線分析的方式，通過數據采集工具將日志數據導入專門的分析平臺進行分析。4、系統主要以離線數據分析為主，采用目前在互聯網業(yè)界流行的,hadoop體系結構對大批量的數據進行運算，采用hadoop集群的方式對大數據進行運算。5、數據運算平臺以調度為主線，作為運算平臺的核心控制系統，對運算平臺 的各個環(huán)節(jié)進行控制，且對運算過程中的步驟依賴關系

15、進行控制同時對各個環(huán)節(jié)進行監(jiān)控，通過監(jiān)控異常報警來提高系統的穩(wěn)定性和異常響應速度。1 '-來源網絡，僅供個人學習參考2.4系統結構2.4.1大數據運算系統架構圖數據應用數據提取，報表展現,Lr：,.在線計算：U離線計算：(Storm流計算框架J Hadoop(Map/Reduce、Hive、pig)：統計分析數據服j務統計、分析數據存儲，數據接口t MongoDB MySql日志存儲TJHadoop(HDFS HBASE)LJ日志米集日志采集系統Flume2.4.2大數據平臺系統功能圖系統功能圖邏輯說明1)生產系統的源數據通過sqoop，flume，Kettle等獲取后保存在 Kafk

16、a消息隊列中或者保存到hadoop的hdfs系統中。2)調度系統負責自身的控制功能，通過讀取調度控制的配置信息調用驅動代理程序處理相關的運算功能。3) 驅動代理程序負責所有基于運算平臺的相關組件的驅動任務，讀取調度系統傳遞過來的模版信息，讀取模版信息，并執(zhí)行相應的驅動操作。4）系統管理功能部分完成系統相關配置，管理等相關信息的維護操作。5）監(jiān)控系統對整個系統的運行狀況進行監(jiān)控，由各個業(yè)務子系統按照監(jiān)控系統的要求實現相應的監(jiān)控功能。243大數據平臺功能結構圖大數據平臺功能結構圖說明:1 ）大數據平臺功能結構主要劃分為計算平臺，應用平臺，系統管理以及監(jiān)控， 配置等相關應用功能。2）計算平臺分為基礎

17、運算部分，模版管理部分，驅動代理部分，系統調度部分。3）計算平臺分為離線計算與實時計算兩種形式。4 ）計算平臺基于模版的功能開發(fā)，實際應用中做到模版的熱插拔，對于功能 需求只需要開發(fā)相應的模版，并部署上計算平臺即可應用。5 ）驅動代理程序管理所有的基于大數據運算的相關組件的代理功能，對外提I II供給調度系統應用，調用模版設置的相應的類型，進行相應類型的驅動操作。6）調度系統只關心其自身的系統控制能力，不參與具體的業(yè)務以及計算功能組件的調用。2.5尚未解決的問題3.模塊/功能設計3.1調度模塊3.1.1設計思路一：調度模塊實現功能思路:流程說明以及注意事項:1、任務與步驟采用配置表的方式保存在

18、mysql中，調度程序定時掃描任務表，判斷是否有啟動的任務，如果有啟動的任務，則啟動任務。2、調度任務需要判斷任務中步驟之間的依賴關系，根據依賴關系判斷是3、否可以執(zhí)行下一步的執(zhí)行步驟。1 '一個任務中可以包含多個步驟， 每個步驟為一個具體的任務，步驟與4、3.1.23.1.3步驟直接存在依賴關系。對于具體的執(zhí)行任務將由驅動代理自動完成。Ii I流程圖處理邏輯1、調度任務啟動后掃描任務配置表，看任務配置表是否存在需要處理的任務2；信息，如果不存在需要處理的任務信息，則線程執(zhí)行休眠，否則執(zhí)行步驟2、生成數據日期，并檢查任務依賴關系，如果依賴關系未執(zhí)行完，則現成等待操作，等待依賴的任務執(zhí)行

19、完成，如果依賴關系都執(zhí)行完，則獲取符合條件 的任務，執(zhí)行步驟3：3、讀取任務信息表，獲取任務信息，根據任務信息讀取步驟信息，執(zhí)行相應的步驟操作，執(zhí)行步驟 4;4、根據步驟信息的配置獲取需要執(zhí)行的相應的模版信息，調用驅動代理程序執(zhí)行相應的功能，執(zhí)行步驟 5； 5、驅動代理程序執(zhí)行模版初始化，初始化完成后獲取相應的參數數據，并根據模版類型選擇具體的驅動程序，執(zhí)行相應的操作。6、判斷該任務的下步驟是否執(zhí)行完成，如果未執(zhí)行完成，則執(zhí)行步驟3,繼續(xù)下一個步驟的執(zhí)行，否則執(zhí)行步驟 7； 7、寫步驟完成信息表，判斷是否還存在要執(zhí)行的任務，如果沒有等待，存在需要執(zhí)行的任務則執(zhí)行步驟3.3.2驅動代理模塊3.2

20、.1設計思路:計算驅動模塊實現功能思路I二：流程說明以及注意事項:I1、計算平臺的驅動提供針對Hive，MapReduce Hbase等相關的驅動應用。基于業(yè)務模版的設置操作， 調度執(zhí)行業(yè)務模版，不關心模版具體業(yè)務形態(tài)。一個驅動應用包含四個步驟：1）刪除不用的數據；2）加載數據；3）運算;導出結果文件。提供監(jiān)控需要的相應信息。對于文件的操作，會涉及到多個文件或者目錄操作，多個文件或者目錄以 逗號分隔，對文件操作中涉及到一些按照小時，天，月份的文件命名的操作， 配置中以特殊字符進行替換。322流程圖323處理邏輯 1、由調度程序驅動代理模塊，調用驅動代理模塊的驅動應用，傳遞需要驅動的模版編號，處

21、理時間范圍等相關信息，執(zhí)行流程2；2、驅動程序首先查詢是否存在該模版，如果不存在模版，、則執(zhí)行流程3，否 則執(zhí)行流程4;3、則直接返回任務失敗信息，不存在相關的模版，整個流程結束;4、如果查詢到相關的模版信息，先執(zhí)行初始化模版信息以及需要刪除的中間文件，多個文件以逗號分割，如果為空則表示不需要清理中間文件，執(zhí)行流程5、清理hive表數據操作，多個hive語句以逗號分割，如果為空則表示不需要進行分割，執(zhí)行流程 6 6、判斷該操作是 hive 驅動 map reduce 還是自定義的 map reduce，如果是自定I II義的map reduce則走自定義的 map reduce操作，執(zhí)行流程

22、7，否則如果是 hive驅動的mapreduce，則走hive操作流程，否則執(zhí)行流程 8；II7、如果map reduce的操作流程，第一步執(zhí)行加載文本文件數據，多個文本文件以逗號進行分割，第二步執(zhí)行map reduce操作，通過shell腳本的方式執(zhí)行 map reduce操作，第三步執(zhí)行完后將結果輸出。&如果是hive的操作流程，第一步先執(zhí)行加載文本文件到hive表，如果有多個文件操作一逗號分割，第二步執(zhí)行hive語句，多個hive語句以逗號分割的方式，第三步將結果輸出到相應的hive表中。9、根據設置導出的方式，將結果文件導出到mysql，或者mongodb,或者直接將文本文件從

23、hdfs文件系統中導出。3.3對操作系統/應用程序監(jiān)控流程3.3.1處理流程圖3.3.2處理邏輯1、讀取監(jiān)控服務器列表，判斷是否需要監(jiān)控，如果需要監(jiān)控，則執(zhí)行步驟 如果不需要監(jiān)控，執(zhí)行步驟5； 2、監(jiān)控模塊向監(jiān)控服務器發(fā)送監(jiān)控請求，等到被監(jiān)控服務器的返回，執(zhí)行步 3、被監(jiān)控服務器接收到請求監(jiān)控信息后將相關的信息返回給監(jiān)控模塊，執(zhí)行步驟4；4、監(jiān)控服務器將返回的數據進行解析后入庫，執(zhí)行步驟5;5、判斷被監(jiān)控服務器是否都請求完成，如果請求完成，貝y執(zhí)行步驟6,否則執(zhí)行步驟1；I6、監(jiān)控模塊線程休眠10分鐘，等待下次進行監(jiān)控，執(zhí)行步驟1.3.4監(jiān)控報警模塊_3.4.1設計思路一：監(jiān)控模塊實現功能思路

24、:流程說明以及注意事項:1、監(jiān)控報警模塊主要完成三個級別的監(jiān)控報警，分為:1）操作系統級別，檢測運行的機器的操作系統是否正常運行，CPU內存，I/O，存儲等資源的利用情況，采用Linux的ShelI腳本對相關的信息進行收集并上 報;2）應用程序級別監(jiān)控，檢測kettle , hadoop, hive , hbase, zookeeper 等相 關程序是否正常啟動，以及應用程序的相關資源的監(jiān)控。3）程序數據級別的監(jiān)控，對數據情況進行監(jiān)控，主要是數據異常的監(jiān)控。2、監(jiān)控模塊主要負責監(jiān)控數據的采集，數據異常報警，以及后期的監(jiān)控數據展示等功能。3、對于系統級別和應用程序級別的監(jiān)控數據采集采用由監(jiān)控模塊

25、主動調用相 應的應用接口的方式采集數據，對于應用數據級別的監(jiān)控則由各個應用將相關 的數據寫入到數據庫表，由監(jiān)控系統對其進行掃描。4、監(jiān)控模塊的報警機制支持優(yōu)先級報警模式，對于優(yōu)先級較高，需要緊急處10分鐘重復理的報警，需要不間斷的進行報警，但需要設置報警的頻率，如 一次。5、監(jiān)控的報警模式采用郵件監(jiān)控的方式，輔助以短信提醒的方式。3.4.2流程圖3.4.3處理邏輯 1、監(jiān)控報警啟動采用啟動啟動的方式進行，當監(jiān)控報警線程啟動后判斷是否到達監(jiān)控時間點，如果未到達監(jiān)控時間點，則線程休眠1分鐘后再次進行判斷，如果到達監(jiān)控時間點則執(zhí)行步驟2。3。2、讀取需要監(jiān)控任務列表，得到需要監(jiān)控的任務，執(zhí)行步驟 3

26、、對監(jiān)控任務的源數據進行掃描，判斷是否存在異常，如果存在異常則保存監(jiān)控異常數據，執(zhí)行步驟 4,否則執(zhí)行步驟1。4、判斷監(jiān)控列表是否都執(zhí)行完，如果執(zhí)行完，對于異常情況以郵件的方式通知相關人，否則執(zhí)行步驟 3。4. 系統數據結構設計4.1數據實體關系圖詳細圖例見附件4.2數據邏輯結構4.2.1調度任務表字段說明數據類型是 否 為 空主鍵備注Taskid任務IDint否是主鍵，自增長IDTaskName任務名稱Varchar(255)否TaskDesc任務描述Varchar(500)是P riority優(yōu)先級int是數值110值越大優(yōu)先級越咼,默認5CycleT ype周期類型int否0.執(zhí)行次1.

27、分鐘2.小時3.天4.月In terval頻次間隔Int是整數1P la nRun Time預期執(zhí)行時長Int是單位：分鐘LastR un Date最后執(zhí)行日期int否Status任務狀態(tài)int11否0.正常1.暫停CreateUser創(chuàng)建人Varchar(255)否CreateTime創(chuàng)建時間date否ModifyUser修改人Varchar(255)是ModifyTime修改時間date是422調度步驟表字段說明數據類型是 否 為 空主鍵備注Ste pid步驟IDint否是主鍵，自增長IDTaskid任務IDint否“任務 表”主鍵''Step Sort執(zhí)行順序int否相同

28、則表示并行Ste pName步驟名稱1Varchar(255)否Temp latelD模板ID1Int'否P la nRun Time預期執(zhí)行時長Int是單位：分鐘CreateUser倉建人Varchar(255)否CreateTime創(chuàng)建時間date否ModifyUser修改人Varchar(255)是ModifyTime修改時間date是423 調度任務依賴表字段說明數據類型是 否 為 空主鍵備注Taskid任務IDint否Fatherld父任務IDint否424 調度任務運行日志表字段說明數據類型是 否 為 空主鍵備注Serialld記錄ID Int否是主鍵，自增長IDTaskD

29、ate任務日期Int否TaskId任務JDInt否“任務表”主鍵Status任務狀態(tài)Int否0.初始化1執(zhí)行中2.已完成-99.執(zhí)行錯誤RetryTimes重試次數IntBegi nTime開始執(zhí)行時間Date是En dTime結束執(zhí)行時間Date是CreateTime創(chuàng)建時間Date否ModifyTime修改時間Date是1 -425 調度步驟運行日志表字段說明數據類型是 否 為 空主鍵備注Serialld1記錄ID1Int否是主鍵，自增長IDTaskDate步驟日期Int否TaskId任務IDInt否“任務表”主鍵Ste pid步驟IDInt否“步驟表”主鍵Step Sort步驟序號int

30、否Status步驟狀態(tài)Int否0.初始化1. 執(zhí)行中2. 已完成-99.執(zhí)行錯誤RetryTimes重試次數IntBegi nTime開始執(zhí)行時間Date是71 - En dTime結束執(zhí)行時間Date是：；'-.-i,1- -CreateTime創(chuàng)建時間Date否ModifyTime修改時間Date是426調度步驟運行錯誤日志表字段說明數據類型是 否 為 空主鍵備注Serialld記錄IDInt否是主鍵，自增長IDTaskDate任務日期Int否Taskid任務IDInt否Ste pid步驟IDInt否Errorl nfo錯誤信息Varchar(4000)否In sertTime記錄

31、時間Date是427系統資源表字段說明數據類型是否為空主鍵備注Resourceld資源IDInt' 11否是主鍵，自增長IDCp ul nfoCpu信息Varchar(4000)是MemoryI nfo內存信息Varchar(4000)是DiskI nfo硬盤信息Varchar(4000)是CreateTime記錄倉J建時間date否CreateName記錄倉JVarchar(256)否建人ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否428 服務器機器表字段說明數據類型是 否 為 空主鍵備注Machi neld機型IDInt否是主鍵

32、，自增長IDCp ul nfoCpu信息Varchar(4000)是Memoryl nfo內存信息1Varchar(4000)是DiskI nfo硬盤信1息Varchar(4000)是CreateTime記錄倉J建時間date否CreateName記錄倉J建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否429 服務器信息表字段說明數據類型是 否 為 空主鍵備注Serverld服務器IDInt否1是主鍵，自增長IDServerName服務器名稱Varchar(256)1是Serverl p服務器IPVarchar(2

33、56)是CreateTime記錄創(chuàng)建1時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改Varchar(256)4210系統管理信息表字段說明數據類型是 否 為 空主鍵備注Systemid服務器IDInt否是 主鍵，自增長IDMachi neld機型IDInt否Resourceld資源IDInt否Serverld服務器IDInt11否CreateTime記錄創(chuàng)建 時間'date否CreateName記錄創(chuàng)建1人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName

34、記錄修改人Varchar(256)否4211集群信息表字段說明數據類型是 否 為 空主鍵備注Clusterld集群IDInt否是主鍵，自增長IDClusterName集群名稱Varchar(256)是1111ClusterPath集群配置目錄Varchar(256)是Remark集群配置備注Varchar(256)-一1是CreateTime記錄倉J建時間dateI否CreateName記錄倉J _=一 - - 1建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否4212集群列表字段說明數據類型是 否 為 空主鍵備注

35、Listid集群列表IDInt否是主鍵，自增長IDClusterld集群IDInt否1Serverld服務器IDInt否11CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)11否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否數據字段說明備注4.2.13系統配置表類型為空Con figid系統配置IDInt否是主鍵，自增長IDCon figName配置名稱Varchar(256)否Con figValue配置信息Varchar(256)否1Clusterld集群IDInt否11CreateTime

36、記錄倉J建時間date否CreateName記錄倉J建人Varchar(256) 1否ModifyTime記錄修改時間Date'否ModifyName記錄修改人Varchar(256)否4214 Hadoop參數配置表空Con figid系統配置IDInt否是主鍵，自增長IDCon figName配置名稱Varchar(256)否Con figValue配置信息Varchar(256)否Clusterld集群IDInt否CreateTime記錄倉J建時間date否11CreateName記錄倉J建人Varchar(256)否ModifyTime記錄修改時間Date11否ModifyName記錄修改人Varchar(256)否數據字段說明備注4.2.15 Jar配置表類型Con figid系統配置IDInt否是主鍵，自增長IDCon figName配置名稱Varchar(256)否Con figValue配置信息Varchar(256)否Clusterld集群IDInt否CreateTime記錄倉J建時間date否111CreateName記錄倉J建人Varchar(256)否ModifyTime記錄修改時間Date一1否ModifyName記錄修改人Varchar(256)否4.2.16系統用戶名表I字段說明數據類型是 否 為