數(shù)據(jù)資產(chǎn)開(kāi)發(fā)paas平臺(tái)dacp-dps白皮書(shū)

文檔修第1章背 第2章產(chǎn)品目 第3章產(chǎn)品價(jià) 第4章產(chǎn)品特 特性 特性 第5章術(shù)語(yǔ)解 第6章產(chǎn)品介 產(chǎn)品架 產(chǎn)品功能架 產(chǎn)品技術(shù)架 功能 功能 技術(shù) 技術(shù) 第7章應(yīng)用場(chǎng) 場(chǎng)景 場(chǎng)景 第8章評(píng)測(cè)數(shù) 評(píng)測(cè)數(shù)據(jù) 評(píng)測(cè)數(shù)據(jù) 第9章成功案 案例 案例 第1背隨著新型數(shù)據(jù)的管理需求不斷涌現(xiàn)，業(yè)務(wù)分析數(shù)據(jù)量不斷增加，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)難以滿足日益增長(zhǎng)的業(yè)務(wù)數(shù)據(jù)帶來(lái)的計(jì)算需求數(shù)據(jù)在各個(gè)系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)全流程貫通的需求會(huì)越來(lái)越迫切。大數(shù)據(jù)時(shí)代的來(lái)臨，越發(fā)凸現(xiàn)了數(shù)據(jù)的重要性。隨著半結(jié)構(gòu)化、非結(jié)構(gòu)化OMB從推動(dòng)企業(yè)運(yùn)營(yíng)效率提升另一方面為創(chuàng)新商業(yè)模式提供數(shù)據(jù)基礎(chǔ)，推動(dòng)企業(yè)數(shù)據(jù)資產(chǎn)變現(xiàn)。第2章產(chǎn)品目目標(biāo)：按照規(guī)劃、建設(shè)、調(diào)配的指導(dǎo)思想，整合域全量企業(yè)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的建模和。具體建設(shè)目標(biāo)1、構(gòu)建面向企業(yè)級(jí)大數(shù)據(jù)應(yīng)用的管控和開(kāi)發(fā)環(huán)HADOOP通過(guò)標(biāo)準(zhǔn)化開(kāi)發(fā)模式，基于圖形化、可視化、規(guī)范化的開(kāi)發(fā)，實(shí)現(xiàn)2、實(shí)現(xiàn)標(biāo)準(zhǔn)的HADOOP數(shù)據(jù)能對(duì)開(kāi)發(fā)提供針對(duì)HADOOP平臺(tái)的透明標(biāo)準(zhǔn)化API，并支持個(gè)性化加載HADOOPHADOOP3、實(shí)現(xiàn)開(kāi)發(fā)技術(shù)和應(yīng)用的標(biāo)準(zhǔn)化、規(guī)通過(guò)IT系統(tǒng)的技術(shù)保證開(kāi)發(fā)經(jīng)驗(yàn)的有效降低開(kāi)發(fā)的個(gè)性4、實(shí)現(xiàn)多租戶的開(kāi)發(fā)管遵循的開(kāi)發(fā)標(biāo)準(zhǔn)，通過(guò)多租戶開(kāi)發(fā)模式，對(duì)不同應(yīng)用開(kāi)發(fā)廠商進(jìn)行規(guī)范化管理，實(shí)現(xiàn)流程的標(biāo)準(zhǔn)版和權(quán)限的管理。戶的計(jì)算資源、資源的合理分配。5、具有完善的ETL開(kāi)發(fā)環(huán)PaaS被調(diào)度引擎所調(diào)度，并對(duì)其進(jìn)行計(jì)算和資源的分配管控。支持與資產(chǎn)管理系統(tǒng)對(duì)接，實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)資產(chǎn)的、同步、規(guī)第3章產(chǎn)品價(jià)以PaaS形式提供的應(yīng)用集成開(kāi)發(fā)平臺(tái)，解決了數(shù)據(jù)資產(chǎn)從設(shè)計(jì)、開(kāi)發(fā)、驗(yàn)第4章產(chǎn)品特特性一：開(kāi)發(fā)團(tuán)隊(duì)管理能4-理特性二：OpenAPI封裝及對(duì)外開(kāi)放能將企業(yè)開(kāi)放API分為功能型和數(shù)據(jù)能力服務(wù)型API，本案重點(diǎn)側(cè)重?cái)?shù)據(jù)能力服務(wù)型API功能型的API，如、發(fā)布 數(shù)據(jù)能力服務(wù)型API。數(shù)據(jù)擁有者企業(yè)為了將數(shù)據(jù)變現(xiàn)但又不愿意讓數(shù)據(jù)離開(kāi)企業(yè)域內(nèi)。因此數(shù)據(jù)能力封裝成API供外部調(diào)用，從而實(shí)現(xiàn)數(shù)據(jù)能力的變現(xiàn)。4-特性三：元數(shù)據(jù)特性四：數(shù)據(jù)操作，降低開(kāi)發(fā)難第5章術(shù)語(yǔ)解術(shù)解Extraction，Transformation，Loading（是數(shù)據(jù)獲取過(guò)程圖形用戶界面（GraphicalUserInterfaceGUI，又稱(chēng)一個(gè)開(kāi)源的分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache開(kāi)發(fā)。于Hadoop框架，用戶可以方便的開(kāi)發(fā)分布式程序，充分利用集群的高速運(yùn)算和。MR。一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，該技術(shù)來(lái)源于FayChang所撰寫(xiě)的“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分式系統(tǒng)”。HadoopDistributedFileSystem；是一個(gè)分布式文件系統(tǒng)。HDFS有著高容錯(cuò)性（fault-tolerant）的特點(diǎn)，并且設(shè)計(jì)用來(lái)部是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件為數(shù)據(jù)庫(kù)表并提供常用的SQL支持Hive查詢引擎將SQLHadoopMapReduce對(duì)在HDFS，HBase的數(shù)據(jù)提供直接查詢互動(dòng)的SQLJavaKerberoshadoopMassivelparallelprocessingPython是一種面象、解釋型計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)RepresentationalStateTransfer；是一組架構(gòu)約束條件和（SNMPprotocol（databaseschema）SparkUCBerkeleyAMPlab所開(kāi)源的類(lèi)HadoopMapReduceHadoopMapReduceHADOOP(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)續(xù)的流源源不斷地送出使用戶聽(tīng)到或看到的圖象十分平Hadoop0.23.0map-reduce（Yarn)理，優(yōu)勢(shì)，機(jī)制和配置方法等；第6章產(chǎn)品介產(chǎn)品架6-1PaaSPaaS運(yùn)行態(tài)包括調(diào)度、數(shù)據(jù)稽核、執(zhí)行器、API組件運(yùn)維管理包括平臺(tái)，任務(wù)和數(shù)據(jù)等功能對(duì)外接口包括資產(chǎn)管理系統(tǒng)接口、4A系統(tǒng)接口、接口、元數(shù)6-從技術(shù)架構(gòu)來(lái)看，包括集成開(kāi)發(fā)環(huán)境，ETL配置庫(kù)，ETL運(yùn)行庫(kù)，任務(wù)ETLETL任務(wù)執(zhí)行器接收到任務(wù)調(diào)度運(yùn)行信息從運(yùn)行庫(kù)信息對(duì)API進(jìn)行編排運(yùn)行，通過(guò)API調(diào)用Hadoop平臺(tái)的功能進(jìn)行執(zhí)行。并反饋執(zhí)行結(jié)果產(chǎn)品功能多租戶是將數(shù)據(jù)能力和數(shù)據(jù)處理能力按需、可控的進(jìn)行開(kāi)放，在保多租戶，由管理員創(chuàng)建并每個(gè)租戶都被分配一定的計(jì)算資源和存使用租戶對(duì)應(yīng)的計(jì)算資源和資源。進(jìn)行對(duì)數(shù)據(jù)權(quán)限的分配。根據(jù)分配的結(jié)果在數(shù)據(jù)平臺(tái)進(jìn)行、回收等操作。資源分配，對(duì)租戶的計(jì)算資源和資源進(jìn)行分配CPU每個(gè)租戶根據(jù)名稱(chēng)分配不同的HDFS，指定的空間（最小單位MB。當(dāng)資源不足時(shí)會(huì)造成文件操作失敗，需要管理員重新調(diào)整資源。行收集，集中管理。提供一個(gè)視圖，以幫助使用了解系統(tǒng)的數(shù)據(jù)分布、6-100%ETL于數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)詞典、字段維度、程序邏輯、數(shù)據(jù)生命周期等多租戶的元數(shù)據(jù)管理通過(guò)管理流程與技術(shù)相結(jié)合，構(gòu)建標(biāo)準(zhǔn)，功能概、 、編輯能力對(duì)開(kāi)發(fā)過(guò)程進(jìn)行支撐包含以下功能查看元數(shù)據(jù)數(shù)據(jù)模型、查看數(shù)據(jù)字典：PaaS管控平臺(tái)調(diào)用數(shù)據(jù)資產(chǎn)平臺(tái)獲取元數(shù)據(jù)，包含數(shù)據(jù)分?jǐn)?shù)據(jù)權(quán)限申請(qǐng)導(dǎo)入開(kāi)發(fā)者只能在的情況向才能使用數(shù)據(jù)如果范基于圖形化開(kāi)發(fā)的IDE支持包括兩種模式，可視化的拖拽開(kāi)發(fā)區(qū)和式的編輯器。

6-6-1、api6-2函數(shù)編排支持條件分支、循環(huán)、異常控制等，支持變量、定義，能夠字 開(kāi)6-行。通過(guò)之后才能使用。上線時(shí)信息傳給調(diào)度平臺(tái)，進(jìn)行調(diào)度任務(wù)版本管目前，版本控制的是采用SVN/CVS相配合，支持版本的管理，SVN是采用離線工作的方式進(jìn)行管理，也就是說(shuō)在服務(wù)器中保留資料的服務(wù)器會(huì)根據(jù)版本情況合并資料。以此達(dá)到多個(gè)人同時(shí)工作的需要。SVN 中的（.svn文件夾，請(qǐng)注意不要?jiǎng)h除此文件夾一旦刪除后將不能正常提交但是如果希望重新Checkout，SVNSVN一件事情就是應(yīng)該更新一下，看看別人是否已經(jīng)修改了數(shù)據(jù)庫(kù)資料。通過(guò)以上對(duì)SVN對(duì)版本的控制，可以自行管理版本服務(wù)器等方式，回溯開(kāi)發(fā)質(zhì)量控質(zhì)量規(guī)則配置 程序?qū)ч_(kāi)發(fā)管理功能提供了邏輯關(guān)系視圖的轉(zhuǎn)換工具可以將在IDE上開(kāi)發(fā)的應(yīng)用快速轉(zhuǎn)換成可在Hadoop上執(zhí)行的類(lèi)SQL語(yǔ)言并充分利用Hadoop的大數(shù)據(jù)處理能力，既為SQL開(kāi)發(fā)提供便利，又支持傳統(tǒng)數(shù)據(jù)庫(kù)的SQL計(jì)算向Hadoop遷開(kāi)發(fā)分析報(bào)，在開(kāi)發(fā)管理平臺(tái)中可以提供分析報(bào)告。報(bào)告內(nèi)容可按照預(yù)先配置定義對(duì)現(xiàn)有模型的應(yīng)用情況、新增、變更情況等進(jìn)行，并輸出相應(yīng)分析報(bào)告。，用戶管別、號(hào)、、郵箱、備注等。支持用戶的重置操作。角色管權(quán)限管權(quán)限管理，提供將系統(tǒng)內(nèi)可資源分配給特定的角色或用戶，使只有指定角色或用戶具備指定資源能力的功能系統(tǒng)資源包括菜單資源報(bào)表資源、功能資源（頁(yè)面操作按鈕）等；所有系統(tǒng)資源都通過(guò)URL進(jìn)行。 數(shù)據(jù)的安全。支持控制的權(quán)限粒度為：系統(tǒng)菜單、報(bào)表、頁(yè)面功能按鈕（如導(dǎo)出、等）。提供接口與4A系統(tǒng)進(jìn)行整合，實(shí)現(xiàn)單點(diǎn)登錄、認(rèn)證。系統(tǒng)在設(shè)計(jì)環(huán)節(jié)提供了權(quán)限適配層，能支持本地權(quán)限庫(kù)，或與第系統(tǒng)權(quán)限模制點(diǎn)的權(quán)限控制功能，一級(jí)系統(tǒng)管理員具有“所限”，能夠創(chuàng)建二級(jí)系統(tǒng)管制的（僅僅從自己的管理權(quán)限子集中提取部分權(quán)限授予下級(jí)用戶）。權(quán)限管理實(shí)現(xiàn)了人工申請(qǐng)權(quán)限的管理使用系統(tǒng)業(yè)務(wù)可以通過(guò)在系統(tǒng)中即獲得經(jīng)的權(quán)限。管理平臺(tái)提供的RightsonDB/User和RightsheldbyDB/User功能，可以方便的查看哪個(gè)對(duì)象對(duì)自己限和自己擁有哪些權(quán)限。例如，通 操作 可以看到用戶可 到表級(jí)別的權(quán)限上圖顯示了那些對(duì)象對(duì)表限，可以看出，除了表本身對(duì)自己的權(quán)限外，函數(shù)組件管封裝的函數(shù)庫(kù)，通過(guò)類(lèi)sql編寫(xiě)，或函數(shù)調(diào)度，底層差異性支持多種開(kāi)發(fā)，提供基于web開(kāi)發(fā)工具編寫(xiě)如tcl、python開(kāi)發(fā)程序；能夠從開(kāi)發(fā)的中自動(dòng)解析建立元數(shù)據(jù)：輸入表和輸出表的關(guān)數(shù)據(jù)模型進(jìn)行集成；日志管設(shè)備操作、事件等日志功能；一 日志包括：系統(tǒng)日志包括、設(shè)備操作日志、安全日志、設(shè)備事件日系統(tǒng)日志包括：進(jìn)程日志、數(shù)據(jù)庫(kù)日志、系統(tǒng)備份記錄等、登陸IP地址、終端、登陸時(shí)間、使用的功能塊名稱(chēng)、查詢號(hào)碼、二、日志管理操作包括：日志設(shè)置、日志查詢、日志備份三 管理員操作日在未的情況下不允許批量導(dǎo)出查詢結(jié)果，對(duì)導(dǎo)出的操作進(jìn)行記錄。6功能五調(diào)PaaS管控平臺(tái)包括流程設(shè)計(jì)與管理、調(diào)度策略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)、轉(zhuǎn)換、加載、調(diào)度、，從而形成的調(diào)度與管理同生產(chǎn)在調(diào)度平臺(tái)中以數(shù)據(jù)流作為驅(qū)動(dòng),通過(guò)控制中心進(jìn)行作業(yè)命令下發(fā)，3-2利用PaaS管控平臺(tái)可視化界面創(chuàng)建任務(wù)，產(chǎn)品支持基于調(diào)度任務(wù)，也任務(wù)線程池。PaaS管控平臺(tái)任務(wù)管理相關(guān)功能依據(jù)所配置的任務(wù)驅(qū)動(dòng)條件啟動(dòng)客戶端發(fā)送任務(wù)，執(zhí)行完成后返回任務(wù)執(zhí)行結(jié)果和日志。資源控Server調(diào)度與服PaaS管控平臺(tái)調(diào)度管理通過(guò)進(jìn)程、資源共享、節(jié)點(diǎn)等在內(nèi)的控制管理及外部系統(tǒng)管理，實(shí)現(xiàn)對(duì)系統(tǒng)任務(wù)、資源及日志的管理。作業(yè)管理、異常處理與服務(wù)質(zhì)量管理等服務(wù)管理工作。Server調(diào)度與服務(wù)主要包括：調(diào)度管理、平臺(tái)服務(wù)、節(jié)點(diǎn)等功能。資源共ServerServer之間的調(diào)度執(zhí)行任務(wù)的共享，當(dāng)正ServerServer能夠繼續(xù)執(zhí)行故障節(jié)點(diǎn)沒(méi)有執(zhí)行完的PaaS管控平臺(tái)中資源共享通過(guò)以程實(shí)現(xiàn)主Server給每一臺(tái)啟動(dòng)但未使用的Server發(fā)送指令，備用節(jié)點(diǎn)接收到指主Server發(fā)送指令消息給配置好的或者好的Agent執(zhí)行當(dāng)主ServerAgent的執(zhí)行指令執(zhí)行成功消息之后，主Server發(fā)送消息給每一臺(tái)啟動(dòng)但未使用的Server，告知其指令已經(jīng)完成。當(dāng)主Server宕機(jī)或者故障的時(shí)候，選擇出一臺(tái)備用Server接管主Server的服務(wù)，新的主Server先去事物日志文件，然后和本節(jié)點(diǎn)中的等待隊(duì)列中日志管日志管理包括事務(wù)日志Agent運(yùn)行的日志管理和運(yùn)行的結(jié)果日志管理。JOB選擇的JOB，將用戶選擇的JOB對(duì)應(yīng)的Node執(zhí)行結(jié)果展示到前端頁(yè)面。頁(yè)面包JOB選擇框、查詢按鈕，以及日志展示報(bào)表。也可通過(guò)對(duì)用戶使用詳細(xì)日志進(jìn)行查詢，如下圖3-6所示：3-63-7健康度管健康度的管理就是指集群中每一個(gè)節(jié)點(diǎn)的IO,CPU,內(nèi)存的綜合使用情況，Server度來(lái)衡量的ServerAgent發(fā)送指令的時(shí)候，需要根據(jù)所有Agent節(jié)點(diǎn)的健健康度算法:IO,CPU,內(nèi)存的綜合使用等相關(guān)決定因素按照一定的比例示該節(jié)點(diǎn)下的健康度相關(guān)的詳細(xì)信息，比如IO,CPU,內(nèi)存的綜合使用情況。平臺(tái)服節(jié)點(diǎn)節(jié)點(diǎn)包括備用Server服務(wù)的和啟動(dòng)，Agent的和啟動(dòng)?？赏ㄟ^(guò)產(chǎn)品可視化界面很方便的和添加備用Server和AgentPaaS管控平臺(tái)通過(guò)安裝包的方式實(shí)現(xiàn)節(jié)點(diǎn)，其流程如下：將ServerAgent的安裝包放在Server安裝包或者Server部署的主機(jī)上的一個(gè)中，或者通過(guò)頁(yè)面上傳安裝包。通過(guò)前臺(tái)頁(yè)面點(diǎn)擊添加節(jié)點(diǎn)，選擇節(jié)點(diǎn)類(lèi)型（ServerServerftp在頁(yè)面上輸入服務(wù)要部署 ssh校驗(yàn)要部署的主機(jī)環(huán)境是否符合安裝條件，安裝條件包括安裝頁(yè)面上點(diǎn)擊安裝，則會(huì)選擇相應(yīng)的安裝包到需要安裝的 頁(yè)面點(diǎn)擊到安 節(jié)點(diǎn)過(guò)程中可通過(guò)可視化界面實(shí)現(xiàn)對(duì)安裝過(guò)程的從查詢列表頁(yè)面Agent調(diào)度與服PaaSAgentETL計(jì)算處理，其核控平臺(tái)中將Agent分為主Agent及從Agent。主負(fù)責(zé)agent的運(yùn)行管理、Agent及日志Agent運(yùn)行管AgentMagent和多個(gè)從線程Sagent，Sagent可以首次安裝時(shí)設(shè)定個(gè)數(shù)。MagentServer進(jìn)行通信，得到運(yùn)行指令，然后將運(yùn)行指令分配給Sagent執(zhí)行，等Sagent執(zhí)行完畢，Magent會(huì)取得執(zhí)行結(jié)果，并將執(zhí)行結(jié)果返回給Server，從而達(dá)到對(duì)Sagent進(jìn)行運(yùn)行管理的作用。Agent返回執(zhí)行結(jié)果，返回執(zhí)行結(jié)果，記錄事務(wù)日記錄A事務(wù)日志，判斷線程池活躍線程線程池有空余，將A發(fā)給sagent執(zhí)行并放入線程返回A執(zhí)行結(jié)線程池達(dá)最大值時(shí)，A進(jìn)入執(zhí)行隊(duì)列sagent線程根據(jù)B發(fā)送來(lái)的消息中IP和端發(fā)生變化，得知主Server已更換，通過(guò)事務(wù)日志查詢，返回B想要知道的任務(wù)執(zhí)行情況，從而B(niǎo)可以接管A的所有工作，Agent是指Server定時(shí)發(fā)送消息給Magent，Agent如果處于正?；顒?dòng)狀態(tài)，MagentServerAgent運(yùn)行正常；如果Agent運(yùn)行有異常，MagentServer之間的通信會(huì)中斷，則無(wú)法接受或者響應(yīng)Agent時(shí)序圖如下IP、 等信IP、 等信息組成的消正常時(shí)返回當(dāng)前IP、 、線程活躍情況等信異IP、 等信息組成的消IP、 等信息組成的消M分鐘N次無(wú)響agent異異常無(wú)響產(chǎn)品可通過(guò)異常處理模塊和以程實(shí)現(xiàn)對(duì)Agent的異常處理發(fā)生故障，Server無(wú)法與他進(jìn)行通信時(shí)；ServerAgent上沒(méi)有得到執(zhí)行結(jié)果令判定為未執(zhí)行命令，將這些命令重新分配給其他Agent繼續(xù)執(zhí)行。是不可重復(fù)且不可忽略令，則需要暫停該任務(wù)整個(gè)的JOB，需要管理員去發(fā)從Agent分為進(jìn)程執(zhí)行agent和日志獲取agent；從agent運(yùn)行時(shí)存放程池中，線程池最大線程數(shù)可以在第一次安裝agent時(shí)設(shè)定；進(jìn)程執(zhí)行=從agent是調(diào)用進(jìn)程執(zhí)行命令線程，日志獲取從agent是指專(zhuān)門(mén)獲取相應(yīng)日志的線程，這個(gè)線程只有端需要查詢相應(yīng)日志時(shí)才啟動(dòng)線程池中的活躍線程會(huì)實(shí)時(shí)的被magentserver，供server判斷agent健康度。開(kāi)開(kāi)運(yùn)行指獲取日志指判斷指令類(lèi)普通執(zhí)行指返回日返回執(zhí)行結(jié)Socket通包裝日socket包執(zhí)行結(jié)結(jié)完畢獲取執(zhí)行結(jié)啟動(dòng)普通調(diào)度管一、調(diào)度狀態(tài)管二、調(diào)度資源管任務(wù)調(diào)度控任務(wù)管Agent端執(zhí)行，并接收來(lái)自接口分發(fā)、Agent程序執(zhí)行狀態(tài).，配置相應(yīng)的觸發(fā)參數(shù)。主要指外部事件觸發(fā)，當(dāng)外部數(shù)據(jù)事件觸，事件前觸發(fā)是指某一個(gè)任務(wù)/作業(yè)流程依賴(lài)于外部數(shù)據(jù)任務(wù)/作業(yè)事件觸進(jìn)行觸發(fā)。當(dāng)外部數(shù)據(jù)事件觸后，同時(shí)系統(tǒng)對(duì)任務(wù)/作業(yè)事件觸條件驗(yàn)證通過(guò)后，依賴(lài)的任務(wù)/id和數(shù)據(jù)日期立事件后觸發(fā)是指外部系統(tǒng)程序的啟動(dòng)依賴(lài)于任務(wù)/作業(yè)流程中一個(gè)Node的完成，當(dāng)任務(wù)/作業(yè)流程中該Node執(zhí)行完成后，可以通知外部系統(tǒng)，從而觸發(fā)將其設(shè)計(jì)成一個(gè)自定義的Node，該Node就是通知外部系統(tǒng)是否可以執(zhí)行。條件觸發(fā)依業(yè)條件觸發(fā)條件驗(yàn)證通過(guò)后，依賴(lài)的任務(wù)/id和3-8完成上月的調(diào)度任務(wù)，日可以執(zhí)行月依賴(lài)日，即日完成每月最后一天的調(diào)度任務(wù)，月可以執(zhí)行;日依賴(lài)時(shí)，即時(shí)完成每天最后一次的調(diào)度任務(wù)，日可以執(zhí)行;循環(huán)觸發(fā)依組合觸發(fā)依 組合觸發(fā)依賴(lài)是指時(shí)間觸發(fā)，條件觸發(fā)，事件觸發(fā)這3中觸發(fā)方式 發(fā)，可以將前兩個(gè)組與的關(guān)系，同時(shí)和條件觸發(fā)組成且的關(guān)系，條件觸發(fā)與表示各個(gè)觸發(fā)條件都滿足，該任務(wù)/作業(yè)才能觸發(fā)執(zhí)行，或表示各個(gè)觸發(fā)條件只需要滿足其中一個(gè)，任務(wù)/作業(yè)就可以觸發(fā)執(zhí)行，同時(shí)與和或的關(guān)系也可可以將前兩個(gè)組與的關(guān)系，同時(shí)和事件觸發(fā)組成或的關(guān)系，事件觸發(fā)條件滿足時(shí)，該任務(wù)/作業(yè)流程可以觸發(fā)，或者當(dāng)時(shí)間觸發(fā)和條件觸發(fā)條件都滿足時(shí)，配置多個(gè)定時(shí)觸發(fā)方式和周期性觸發(fā)方式，為了明確各個(gè)觸發(fā)條件的關(guān)與表示各個(gè)觸發(fā)條件都滿足，該任務(wù)/作業(yè)才能觸發(fā)執(zhí)行，或表示各個(gè)觸發(fā)條件只需要滿足其中一個(gè)，任務(wù)/作業(yè)就可以觸發(fā)執(zhí)行，同時(shí)與和或的關(guān)系也可可以將前兩個(gè)組與的關(guān)系，同時(shí)和事件觸發(fā)組成或的關(guān)系，事件觸發(fā)條件滿足時(shí)，該任務(wù)/作業(yè)流程可以觸發(fā)，或者當(dāng)時(shí)間觸發(fā)和條件觸發(fā)條件都滿足時(shí)，一、任務(wù)分通過(guò)產(chǎn)品可視化界面配置JOB的流程、JOB的觸發(fā)器，配置完在相應(yīng)Server中有一個(gè)線程周期性的掃描內(nèi)存中的JOBJOBJOB中的node放入可執(zhí)行隊(duì)列中。PaaSJOB的觸發(fā)器配置信息，判斷觸發(fā)器是屬于什么類(lèi)型，把達(dá)到條件的JOB取出來(lái)。根據(jù)JOBJOB中的所有的node根據(jù)nodenode,這些node的配置信息并行node執(zhí)行的順序。node的配置，看是否配置了時(shí)間限制，如配置了最早運(yùn)行時(shí)間是9:00，最遲運(yùn)行時(shí)間是12:00，則如11點(diǎn)則不能將其放入可執(zhí)行隊(duì)列中。Agentnode100個(gè)線程，則線程的是1到100。把node放在可執(zhí)行隊(duì)列的時(shí)候，記錄將要執(zhí)行該node的線程記錄的原則是100個(gè)線程中均勻的分布數(shù)量相當(dāng)?shù)膎ode。當(dāng)agent執(zhí)行node的時(shí)候，會(huì)將其分配給指定的線程來(lái)執(zhí)判斷完node的執(zhí)行順序和node出可以執(zhí)行的node，放入可執(zhí)行隊(duì)列中。支持對(duì)當(dāng)前未運(yùn)行job支持刪除未運(yùn)行job，或者添加job二、任務(wù)執(zhí)執(zhí)行層管理作為JOB配置中的一個(gè)拖拽控件，根據(jù)控件初始化選擇的成功執(zhí)行層管理中的程序運(yùn)行是否成功的提供三種判斷方式：程序直接返回/后程序直接返回:采用程序直接返回給Server 數(shù)據(jù)庫(kù)日志:通過(guò)執(zhí)行指定SQL語(yǔ)句數(shù)據(jù)庫(kù)特定字段獲取執(zhí)行狀態(tài)；需要指定數(shù)據(jù)庫(kù)URL、用戶名以及。Agent執(zhí)行多種作業(yè)類(lèi)型：支持tcl、 心跳報(bào)告：每分鐘都要上報(bào)運(yùn)行狀態(tài)，在控制中心實(shí)時(shí)Agent運(yùn)行狀態(tài)，并進(jìn)行告警,防止Agent掛死。TCL等類(lèi)程能（astersparkhadoopagent三、優(yōu)先級(jí)管12、支持人工進(jìn)行修改通過(guò)產(chǎn)品可視化界面配置JOB的流程、JOB的觸發(fā)器，配置完在相應(yīng)的配置表中。在Server啟動(dòng)的時(shí)候?qū)⑴渲脦?kù)中所有的JOB配置信息和JOB觸發(fā)器的配置信息都查詢到內(nèi)存中。ServerJOB觸發(fā)器配置信息，看哪些JOB達(dá)到了運(yùn)行條件，并將達(dá)到運(yùn)行條件的JOB中的NodePaaSJOBJOBJOBJOBNodeNode如果是并行執(zhí)行，需要查看每個(gè)并行執(zhí)行的Node的優(yōu)先級(jí)來(lái)決定并行Node執(zhí)node9:0012:00111100NodeNode行Node的時(shí)候，會(huì)將其分配給指定的線程來(lái)執(zhí)行。NodeNodeNode，放入可執(zhí)行隊(duì)列中。前端頁(yè)面中配置JOBJOBNode組成，并且這些Node有執(zhí)行順序。指令的發(fā)送就是指從等待發(fā)送的隊(duì)列中獲取Node中的指令，首先將指令發(fā)送給每一臺(tái)備用Server,然后將指令發(fā)送給Agent來(lái)執(zhí)行，在發(fā)送給Agent之前，要根據(jù)Agent的健康度或者前端配置來(lái)選擇一臺(tái)Agent用來(lái)發(fā)送指令。支持通過(guò)參數(shù)化指令發(fā)送，指令參數(shù)包括JOB支持主Server和備用Server支持Server服務(wù)器和Agent流程流程，在JOB任務(wù)配置完流程圖、JOB任務(wù)基本信息及觸發(fā)器時(shí)，若JOB任務(wù)所屬系統(tǒng)進(jìn)入工作流，則JOB任務(wù)進(jìn)入流程，根據(jù)JOB任務(wù)配置信息是否合法判斷JOB任務(wù)是否通過(guò)，通過(guò)則直接進(jìn)入JOB任務(wù)正式表，不通過(guò)則將JOBJOB任務(wù)操作者重新修改。圖3-5JOB任務(wù)記流 包 發(fā)起 簽收 轉(zhuǎn)發(fā) 處理 回退調(diào)度策略管一、調(diào)度觸發(fā)方時(shí)間調(diào)度是根據(jù)事先定義的執(zhí)行頻度,計(jì)算下次執(zhí)行時(shí)間,記錄執(zhí)行次數(shù),并912時(shí)間調(diào)度配置界面如圖3-23-9時(shí)間調(diào)度觸發(fā)分為定時(shí)觸發(fā)和周期性時(shí)間觸發(fā)定時(shí)觸發(fā)是設(shè)3-10如上3-3所示，如果調(diào)度周期為分，系統(tǒng)會(huì)根據(jù)設(shè)定的首次執(zhí)行時(shí)間，根提供臨時(shí)調(diào)度方式（用于測(cè)試、調(diào)優(yōu)、重新執(zhí)行node后面的node,而是需要手工重新執(zhí)行。再如：在JOB的node中設(shè)置了JOBnode。消息接口/APIPaaS管控平臺(tái)通過(guò)消息機(jī)制實(shí)現(xiàn)流程處理過(guò)程、調(diào)度過(guò)程中異常信息的推送，方便產(chǎn)品使用實(shí)時(shí)掌握系統(tǒng)運(yùn)行情況。PaaS管控平臺(tái)從功能上支持郵件定制或定制，從業(yè)務(wù)上支持Job流程類(lèi)定制、系統(tǒng)信息定制。Job程類(lèi)定制Job流程類(lèi)定制，還需要選擇定制級(jí)別（提示，告，；3-11實(shí)時(shí)調(diào)度—二、調(diào)度功能說(shuō)明1.命令行設(shè)置命令執(zhí)行語(yǔ)句如調(diào)用python輸入/home/test.py或調(diào)用s輸入?yún)?shù)順 執(zhí)行的參數(shù)位置，默認(rèn)從1開(kāi)參數(shù)類(lèi) 是否顯示前綴表示在執(zhí)行命令時(shí)是否把參數(shù)名稱(chēng)帶上，如果設(shè)置是執(zhí)行是則執(zhí)行命令時(shí)會(huì)調(diào)用/a.sh-asss，如設(shè)置為否，執(zhí)行令為/a.sh 參數(shù)格式,如yyyyMMdd,也可手動(dòng)輸入?yún)?shù)值三、調(diào)度過(guò)特殊連接。目前支持DB2，Oracle，TeraData，GreenPlum，Vertica等，傳統(tǒng)數(shù)據(jù)庫(kù)過(guò)程的調(diào)用，支持輸入,輸出參數(shù)界面可配置，為用戶靈活調(diào)用和開(kāi)發(fā)過(guò)程提供保障。四、調(diào)度外部程JOBNodeTrigger也可通過(guò)URL的方式，如JOB配置頁(yè)面、查看日志頁(yè)面、查看結(jié)果日志頁(yè)面等界面，通過(guò)頁(yè)面嵌入的方式，其他產(chǎn)品通過(guò)調(diào)度前臺(tái)頁(yè)面的