數(shù)據(jù)架構(gòu)參考及數(shù)據(jù)結(jié)構(gòu)(樹)

數(shù)據(jù)架構(gòu)設(shè)計（數(shù)據(jù)架構(gòu)組）概述總體描述相對于業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)，數(shù)據(jù)架構(gòu)在總體架構(gòu)中處于基礎(chǔ)和核心地位。因?yàn)樾畔⑾到y(tǒng)支撐下的海關(guān)業(yè)務(wù)運(yùn)作狀況，是通過信息系統(tǒng)中的數(shù)據(jù)反映出來的，數(shù)據(jù)信息系統(tǒng)管理的重要資源。因此構(gòu)建海關(guān)的IT總體架構(gòu)時，首先要考慮數(shù)據(jù)架構(gòu)對當(dāng)前業(yè)務(wù)的支持。理想的IT總體架構(gòu)規(guī)劃邏輯上是數(shù)據(jù)驅(qū)動的，即：首先根據(jù)業(yè)務(wù)架構(gòu)分析定義數(shù)據(jù)架構(gòu)；然后根據(jù)數(shù)據(jù)架構(gòu)結(jié)合業(yè)務(wù)功能定義應(yīng)用架構(gòu)；最后根據(jù)應(yīng)用架構(gòu)與數(shù)據(jù)架構(gòu)的定義，來設(shè)計技術(shù)架構(gòu)。數(shù)據(jù)架構(gòu)藍(lán)圖邏輯藍(lán)圖圖：數(shù)據(jù)架構(gòu)總體邏輯藍(lán)圖數(shù)據(jù)架構(gòu)的六個統(tǒng)一，即統(tǒng)一數(shù)據(jù)規(guī)劃、統(tǒng)一存儲、統(tǒng)一計算、統(tǒng)一服務(wù)、統(tǒng)一接入、統(tǒng)一數(shù)據(jù)治理。物理藍(lán)圖圖4-1-1通過萬兆連接核心交換區(qū)，實(shí)現(xiàn)網(wǎng)絡(luò)高速交換，確保可靠性各服務(wù)器均雙線連接數(shù)據(jù)區(qū)核心交換機(jī)，消除單點(diǎn)故障結(jié)構(gòu)清晰，層次分明設(shè)計原則1、整體性原則共享服務(wù)平臺必須根據(jù)統(tǒng)一的總體方案的統(tǒng)籌規(guī)劃，按總署、直屬海關(guān)、隸屬海關(guān)的功能劃分實(shí)行多級部署，同時按照職責(zé)分工進(jìn)行建設(shè)和管理，保證三個層級的部署構(gòu)成一個整體，各部分通信暢順，信息共享，形成一個全國性的共享服務(wù)平臺。2、標(biāo)準(zhǔn)化原則總署統(tǒng)一制定信息資源共享服務(wù)的技術(shù)標(biāo)準(zhǔn)、通信協(xié)議標(biāo)準(zhǔn)、數(shù)據(jù)交換報文標(biāo)準(zhǔn)，提供數(shù)據(jù)訪問功能、基本業(yè)務(wù)邏輯處理功能的標(biāo)準(zhǔn)組件。系統(tǒng)的開發(fā)、集成按照規(guī)定的標(biāo)準(zhǔn)進(jìn)行，保證海關(guān)共享服務(wù)平臺的結(jié)構(gòu)一致性和技術(shù)規(guī)范性。3、安全與效率并重原則總結(jié)和汲取超大業(yè)務(wù)量海關(guān)的成功經(jīng)驗(yàn)，采取充分足夠的技術(shù)手段和管理制度，在保證共享服務(wù)平臺與海關(guān)業(yè)務(wù)應(yīng)用系統(tǒng)之間高速的數(shù)據(jù)交換，在保證共享服務(wù)平臺良好運(yùn)行效率的同時，保證海關(guān)業(yè)務(wù)運(yùn)行網(wǎng)和業(yè)務(wù)管理網(wǎng)的信息安全和運(yùn)行安全。系統(tǒng)設(shè)計方面要充分考慮共享服務(wù)平臺數(shù)據(jù)量大、負(fù)荷高等因素，嚴(yán)格控制程序流程設(shè)計、嚴(yán)把程序編制質(zhì)量、同步制定配套的系統(tǒng)運(yùn)行管理辦法，確保共享服務(wù)平臺運(yùn)行的高效性和穩(wěn)定性。4、系統(tǒng)功能與職責(zé)分工相適應(yīng)原則平臺多方共建，發(fā)揮各方面的積極性，信息系統(tǒng)、業(yè)務(wù)系統(tǒng)與業(yè)務(wù)管理或操作運(yùn)行的主體之間的關(guān)系和分工必須明確。5、一致性原則共享服務(wù)平臺在體系架構(gòu)上必須與金關(guān)業(yè)務(wù)解決方案的框架保持一致，在系統(tǒng)開發(fā)建設(shè)的設(shè)備選型、開發(fā)技術(shù)、認(rèn)證授權(quán)、門戶框架、數(shù)據(jù)定義、參數(shù)管理、通信協(xié)議、網(wǎng)絡(luò)結(jié)構(gòu)、安全運(yùn)維等方面必須與金關(guān)總體技術(shù)方案保持一致，保證共享服務(wù)平臺成為現(xiàn)代海關(guān)綜合管理系統(tǒng)的有機(jī)組成部分。注:整體統(tǒng)籌原則數(shù)據(jù)層和應(yīng)用層解耦數(shù)據(jù)的高可靠服務(wù)的高可用設(shè)計目標(biāo)“信息資源體系建設(shè)”是一項(xiàng)長期工程，是支撐海關(guān)各個業(yè)務(wù)條線之間實(shí)現(xiàn)充分協(xié)作信息共享基礎(chǔ)架構(gòu)。將確保金關(guān)工程二期在海關(guān)信息資源開發(fā)利用方面抓住數(shù)據(jù)一致性、規(guī)范性等數(shù)據(jù)質(zhì)量源頭建設(shè),形成統(tǒng)一頂層設(shè)計，做到海關(guān)信息資源一盤棋，數(shù)據(jù)統(tǒng)一管控，統(tǒng)一開發(fā)利用，促進(jìn)海關(guān)信息共享、業(yè)務(wù)協(xié)作效率和科學(xué)決策水平的更高提升。總體目標(biāo)主要包括以下五個方面內(nèi)容：1、實(shí)現(xiàn)信息資源整合信息資源規(guī)劃的一項(xiàng)很重要的目標(biāo)就是要解決目前信息系統(tǒng)建設(shè)中的重復(fù)建設(shè)問題，達(dá)到信息系統(tǒng)的整合和集約，信息資源規(guī)劃是信息系統(tǒng)頂層設(shè)計的一部分，能夠從整體上對信息資源進(jìn)行設(shè)計，并能夠提供信息系統(tǒng)建設(shè)的標(biāo)準(zhǔn)和規(guī)范，這樣信息系統(tǒng)就能夠以此為標(biāo)準(zhǔn)，進(jìn)行適時、適度、逐步整合，最終達(dá)到消除冗余，集約良性發(fā)展的效果。2、提高技術(shù)響應(yīng)速度業(yè)務(wù)需求的變化和技術(shù)的響應(yīng)速度之間一直是一對矛盾，信息資源規(guī)劃通過對信息系統(tǒng)，尤其是信息資源架構(gòu)進(jìn)行科學(xué)設(shè)計，可以增強(qiáng)信息資源架構(gòu)的穩(wěn)定性，當(dāng)業(yè)務(wù)需求變化時，可以通過很少的數(shù)據(jù)結(jié)構(gòu)和程序變動就能夠滿足業(yè)務(wù)需求，這樣不但提高了技術(shù)響應(yīng)速度，而且能夠增強(qiáng)系統(tǒng)的穩(wěn)定性，降低故障率。3、實(shí)現(xiàn)信息共享信息資源規(guī)劃通過建設(shè)信息共享服務(wù)平臺，實(shí)現(xiàn)了數(shù)據(jù)的集中存儲和計算，并實(shí)現(xiàn)了對外統(tǒng)一的服務(wù)接口，不論是對于海關(guān)內(nèi)部的信息共享需求，還是外部的數(shù)據(jù)共享需求；不論是直接面向用戶的共享查詢，還是面向應(yīng)用系統(tǒng)的數(shù)據(jù)服務(wù)，都可以通過數(shù)據(jù)服務(wù)共享平臺解決。4、實(shí)現(xiàn)大數(shù)據(jù)分析海關(guān)要實(shí)現(xiàn)智能海關(guān)，必須實(shí)現(xiàn)海關(guān)信息系統(tǒng)的物聯(lián)化、互聯(lián)化、智能化，而最重要的就是智能化，即通過大數(shù)據(jù)分析，為海關(guān)準(zhǔn)確決策提供信息支持。信息資源規(guī)劃通過設(shè)計和實(shí)現(xiàn)數(shù)據(jù)共享服務(wù)平臺，引入并行數(shù)據(jù)庫、分布式數(shù)據(jù)庫等大數(shù)據(jù)存儲和計算技術(shù)，能夠解決海關(guān)的大數(shù)據(jù)分析問題，達(dá)到數(shù)據(jù)用得好、決策準(zhǔn)的業(yè)務(wù)目標(biāo)。5、提升數(shù)據(jù)質(zhì)量信息資源規(guī)劃通過設(shè)定標(biāo)準(zhǔn)規(guī)范、業(yè)務(wù)管理流程，能夠規(guī)范數(shù)據(jù)的定義、存儲、使用、傳輸、交換，使得數(shù)據(jù)采集更加規(guī)范、數(shù)據(jù)傳輸更加準(zhǔn)確高效，數(shù)據(jù)使用更加安全方便，通過各種管理流程和規(guī)范，能夠大幅提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)定義總體描述數(shù)據(jù)的基本結(jié)構(gòu)分三個層次，反映了觀察數(shù)據(jù)的三種不同角度。(1)概念數(shù)據(jù)層。它是數(shù)據(jù)的整體邏輯表示。指出了每個數(shù)據(jù)的邏輯定義及數(shù)據(jù)間的邏輯聯(lián)系，是存貯記錄的集合。它所涉及的是數(shù)據(jù)所有對象的邏輯關(guān)系，而不是它們的物理情況。(2)物理數(shù)據(jù)層。它是物理存貯設(shè)備上實(shí)際存儲的數(shù)據(jù)的集合。這些數(shù)據(jù)是原始數(shù)據(jù)，是用戶加工的對象，由內(nèi)部模式描述的指令操作處理的位串、字符和字組成。(3)邏輯數(shù)據(jù)層。它是用戶所看到和使用的數(shù)據(jù)，表示了一個或一些特定用戶使用的數(shù)據(jù)集合，即邏輯記錄的集合。 數(shù)據(jù)建模業(yè)務(wù)域根據(jù)目前海關(guān)不同的網(wǎng)絡(luò)，運(yùn)行網(wǎng)、管理網(wǎng)和接入網(wǎng)以及總署和直屬的這種物理關(guān)系，梳理出每個域中業(yè)務(wù)情況和相互的關(guān)聯(lián)關(guān)系劃分出不同的業(yè)務(wù)域。海關(guān)目前的現(xiàn)狀梳理出來的業(yè)務(wù)域有：公共域、首長決策域、公共辦公域、業(yè)務(wù)管理域、綜合保障域和內(nèi)部監(jiān)控公共域：公共時間域公共金融域公共位置域公共人員域公共機(jī)構(gòu)域公共參數(shù)域首長決策：署長辦公公共辦公：辦公國際事務(wù)業(yè)務(wù)管理：政法關(guān)稅監(jiān)管物流加貿(mào)稽查緝私統(tǒng)計綜合保障：科技財務(wù)關(guān)務(wù)保障人事內(nèi)部監(jiān)控督查審計監(jiān)察根據(jù)業(yè)務(wù)劃分核心數(shù)據(jù)和非核心數(shù)據(jù)。概念模型設(shè)計概念數(shù)據(jù)模型是最終用戶對數(shù)據(jù)存儲的看法，反映了最終用戶綜合性的信息需求，它以數(shù)據(jù)類的方式描述企業(yè)級的數(shù)據(jù)需求，數(shù)據(jù)類代表了在業(yè)務(wù)環(huán)境中自然聚集成的幾個主要類別數(shù)據(jù)。概念數(shù)據(jù)模型的內(nèi)容包括重要的實(shí)體及實(shí)體之間的關(guān)系。在概念數(shù)據(jù)模型中不包括實(shí)體的屬性，也不用定義實(shí)體的主鍵。這是概念數(shù)據(jù)模型和邏輯數(shù)據(jù)模型的主要區(qū)別。概念數(shù)據(jù)模型的目標(biāo)是統(tǒng)一業(yè)務(wù)概念，作為業(yè)務(wù)人員和技術(shù)人員之間溝通的橋梁，確定不同實(shí)體之間的最高層次的關(guān)系。根據(jù)業(yè)務(wù)域的劃分，梳理跨業(yè)務(wù)域的端到端的業(yè)務(wù)流程，從而梳理出大的對象之間的關(guān)系和小的業(yè)務(wù)流程。例如，用戶（user）E－R圖邏輯模型設(shè)計邏輯數(shù)據(jù)模型反映的是系統(tǒng)分析設(shè)計人員對數(shù)據(jù)存儲的觀點(diǎn)，是對概念數(shù)據(jù)模型進(jìn)一步的分解和細(xì)化。邏輯數(shù)據(jù)模型是根據(jù)業(yè)務(wù)規(guī)則確定的，關(guān)于業(yè)務(wù)對象、業(yè)務(wù)對象的數(shù)據(jù)項(xiàng)及業(yè)務(wù)對象之間關(guān)系的基本藍(lán)圖。邏輯數(shù)據(jù)模型的內(nèi)容包括所有的實(shí)體和關(guān)系，確定每個實(shí)體的屬性，定義每個實(shí)體的主鍵，指定實(shí)體的外鍵，需要進(jìn)行范式化處理。邏輯數(shù)據(jù)模型的目標(biāo)是盡可能詳細(xì)的描述數(shù)據(jù)，但并不考慮數(shù)據(jù)在物理上如何來實(shí)現(xiàn)。邏輯數(shù)據(jù)建模不僅會影響數(shù)據(jù)庫設(shè)計的方向，還間接影響最終數(shù)據(jù)庫的性能和管理。如果在實(shí)現(xiàn)邏輯數(shù)據(jù)模型時投入得足夠多，那么在物理數(shù)據(jù)模型設(shè)計時就可以有許多可供選擇的方法。解決端到端的業(yè)務(wù)流程梳理出大量的小流程和對象關(guān)系，進(jìn)一步梳理出各個業(yè)務(wù)域的業(yè)務(wù)對象及其行為和屬性。物理模型設(shè)計物理數(shù)據(jù)模型是在邏輯數(shù)據(jù)模型的基礎(chǔ)上，考慮各種具體的技術(shù)實(shí)現(xiàn)因素，進(jìn)行數(shù)據(jù)庫體系結(jié)構(gòu)設(shè)計，真正實(shí)現(xiàn)數(shù)據(jù)在數(shù)據(jù)庫中的存放。物理數(shù)據(jù)模型的內(nèi)容包括確定所有的表和列，定義外鍵用于確定表之間的關(guān)系，基于用戶的需求可能進(jìn)行發(fā)范式化等內(nèi)容。在物理實(shí)現(xiàn)上的考慮，可能會導(dǎo)致物理數(shù)據(jù)模型和邏輯數(shù)據(jù)模型有較大的不同。物理數(shù)據(jù)模型的目標(biāo)是指定如何用數(shù)據(jù)庫模式來實(shí)現(xiàn)邏輯數(shù)據(jù)模型，以及真正的保存數(shù)據(jù)。常用的設(shè)計范式，以及對于數(shù)據(jù)量大的業(yè)務(wù)，在數(shù)據(jù)模型層面不處理表之間的主外鍵之間的關(guān)系。主要將邏輯模型的各個業(yè)務(wù)對象及之間的關(guān)系，以表、主外鍵及關(guān)聯(lián)表的方式表示。針對各個邏輯模型勾勒出各個域的ER模型。數(shù)據(jù)分布總體描述將數(shù)據(jù)物理分布式處理方式逐步轉(zhuǎn)為集中式處理方式，本節(jié)主要描述數(shù)據(jù)在各個業(yè)務(wù)子系統(tǒng)之間的邏輯分布，以及數(shù)據(jù)物理分布。邏輯分布系統(tǒng)名稱分系統(tǒng)名稱子系統(tǒng)名稱系統(tǒng)應(yīng)用類型業(yè)務(wù)應(yīng)用類數(shù)據(jù)業(yè)務(wù)分析類數(shù)據(jù)緝私監(jiān)控指揮企業(yè)信息應(yīng)用歸類風(fēng)險監(jiān)控審單執(zhí)法企業(yè)綜合資信數(shù)據(jù)交換應(yīng)急指揮情報預(yù)警監(jiān)測決策分析風(fēng)險監(jiān)測物流鏈監(jiān)控分析專家會診審單數(shù)據(jù)信息管理全國HG監(jiān)控指揮系統(tǒng)風(fēng)險管理分系統(tǒng)風(fēng)險監(jiān)控子系統(tǒng)實(shí)時性要求不高的OLTP風(fēng)險處置子系統(tǒng)實(shí)時性要求不高的OLTP應(yīng)急指揮分系統(tǒng)應(yīng)急監(jiān)控預(yù)警子系統(tǒng)實(shí)時性要求不高的OLTP應(yīng)急指揮調(diào)度子系統(tǒng)實(shí)時性要求不高的OLTP決策分析分系統(tǒng)決策分析分系統(tǒng)OLAP值班管理分系統(tǒng)值班管理分系統(tǒng)實(shí)時性要求不高的OLTP預(yù)案管理分系統(tǒng)預(yù)案管理子系統(tǒng)實(shí)時性要求不高的OLTP演練管理子系統(tǒng)實(shí)時性要求不高的OLTP緝私作戰(zhàn)指揮分系統(tǒng)實(shí)戰(zhàn)管理子系統(tǒng)實(shí)時性要求不高的OLTP信息支持子系統(tǒng)實(shí)時性要求不高的OLTP地理信息子系統(tǒng)實(shí)時性要求不高的OLTP移動應(yīng)用分系統(tǒng)移動客戶端框架子系統(tǒng)實(shí)時性要求不高的OLTP移動端統(tǒng)一入口子系統(tǒng)實(shí)時性要求不高的OLTP移動應(yīng)用服務(wù)中間件子系統(tǒng)實(shí)時性要求不高的OLTP移動應(yīng)用管理子系統(tǒng)實(shí)時性要求不高的OLTP移動設(shè)備管理子系統(tǒng)實(shí)時性要求不高的OLTP業(yè)務(wù)應(yīng)用插件子系統(tǒng)實(shí)時性要求不高的OLTP地理信息系統(tǒng)應(yīng)用分系統(tǒng)地理信息系統(tǒng)應(yīng)用分系統(tǒng)實(shí)時性要求不高的OLTP進(jìn)出口企業(yè)誠信管理系統(tǒng)企業(yè)誠信守法申報子系統(tǒng)實(shí)時性要求不高的OLTP企業(yè)資格管理子系統(tǒng)實(shí)時性要求不高的OLTP報關(guān)員管理子系統(tǒng)實(shí)時性要求不高的OLTP企業(yè)稽（核）查子系統(tǒng)實(shí)時性要求不高的OLTP企業(yè)誠信守法信息采集子系統(tǒng)實(shí)時性要求不高的OLTP企業(yè)誠信守法規(guī)則管理子系統(tǒng)實(shí)時性要求不高的OLTP企業(yè)誠信守法差別化應(yīng)用子系統(tǒng)實(shí)時性要求高的OLTP企業(yè)誠信守法信息指標(biāo)統(tǒng)計子系統(tǒng)OLAP企業(yè)誠信守法評估子系統(tǒng)OLAP企業(yè)誠信守法績效評估子系統(tǒng)OLAP加工和保稅貨物管理系統(tǒng)加工貿(mào)易手冊管理分系統(tǒng)加工貿(mào)易手冊申報子系統(tǒng)實(shí)時性要求高的OLTP加工貿(mào)易手冊審批管理子系統(tǒng)實(shí)時性要求高的OLTP加工貿(mào)易賬冊管理分系統(tǒng)加工貿(mào)易賬冊申報子系統(tǒng)實(shí)時性要求高的OLTP加工貿(mào)易賬冊審批管理子系統(tǒng)實(shí)時性要求高的OLTPHG特殊監(jiān)管區(qū)域管理分系統(tǒng)HG特殊監(jiān)管區(qū)域管理申報子系統(tǒng)實(shí)時性要求高的OLTPHG特殊監(jiān)管區(qū)域?qū)徟芾碜酉到y(tǒng)實(shí)時性要求高的OLTP保稅監(jiān)管場所管理分系統(tǒng)保稅監(jiān)管場所申報子系統(tǒng)實(shí)時性要求高的OLTP保稅監(jiān)管場所審批管理子系統(tǒng)實(shí)時性要求高的OLTP保稅綜合管理分系統(tǒng)保稅業(yè)務(wù)監(jiān)控分析子系統(tǒng)OLAP單耗管理子系統(tǒng)實(shí)時性要求不高的OLTPHG物流監(jiān)控系統(tǒng)HG物流鏈可視化管理分系統(tǒng)物流鏈數(shù)據(jù)收集子系統(tǒng)實(shí)時性要求高的OLTP物流鏈信息展示子系統(tǒng)實(shí)時性要求高的OLTP物流鏈分析預(yù)警作業(yè)子系統(tǒng)實(shí)時性要求高的OLTP物流連信息預(yù)警處置子系統(tǒng)實(shí)時性要求高的OLTP物流可視化預(yù)警參數(shù)管理子系統(tǒng)實(shí)時性要求高的OLTP智能卡口分系統(tǒng)前端集成子系統(tǒng)實(shí)時性要求高的OLTP現(xiàn)場服務(wù)子系統(tǒng)實(shí)時性要求高的OLTP后臺核放子系統(tǒng)實(shí)時性要求高的OLTP查驗(yàn)業(yè)務(wù)管理分系統(tǒng)機(jī)檢查驗(yàn)管理子系統(tǒng)實(shí)時性要求高的OLTP人工查驗(yàn)管理子系統(tǒng)實(shí)時性要求高的OLTP知識產(chǎn)權(quán)自動識別子系統(tǒng)實(shí)時性要求高的OLTP輔助管理子系統(tǒng)實(shí)時性要求高的OLTP統(tǒng)計查詢子系統(tǒng)實(shí)時性要求高的OLTP機(jī)動巡查管理分系統(tǒng)機(jī)動巡查作業(yè)管理子系統(tǒng)實(shí)時性要求高的OLTP機(jī)動巡查查詢統(tǒng)計子系統(tǒng)實(shí)時性要求高的OLTP通關(guān)管理系統(tǒng)報關(guān)單通關(guān)無紙化分系統(tǒng)通關(guān)電子數(shù)據(jù)申報子系統(tǒng)實(shí)時性要求高的OLTP通關(guān)事務(wù)/行政許可審批子系統(tǒng)實(shí)時性要求高的OLTP報關(guān)單無紙化審單子系統(tǒng)實(shí)時性要求高的OLTP報關(guān)單無紙化放行子系統(tǒng)實(shí)時性要求高的OLTP非報關(guān)單管理分系統(tǒng)快件管理子系統(tǒng)實(shí)時性要求高的OLTP旅客行李物品監(jiān)管子系統(tǒng)實(shí)時性要求高的OLTP郵政總包監(jiān)管子系統(tǒng)實(shí)時性要求高的OLTP郵件通關(guān)監(jiān)管子系統(tǒng)實(shí)時性要求高的OLTP特殊人員及機(jī)構(gòu)進(jìn)出境公自用物品通關(guān)子系統(tǒng)實(shí)時性要求高的OLTP免稅店及商品監(jiān)管子系統(tǒng)實(shí)時性要求高的OLTP電子隨附單據(jù)管理分系統(tǒng)通關(guān)電子隨附單據(jù)管理子系統(tǒng)實(shí)時性要求高的OLTP執(zhí)法電子隨附單據(jù)管理子系統(tǒng)實(shí)時性要求高的OLTP通關(guān)電子隨附單據(jù)歸檔管理子系統(tǒng)實(shí)時性要求高的OLTP執(zhí)法電子隨附單據(jù)歸檔管理子系統(tǒng)實(shí)時性要求高的OLTP接單環(huán)節(jié)派單叫號分系統(tǒng)公共服務(wù)子系統(tǒng)實(shí)時性要求高的OLTP現(xiàn)場作業(yè)子系統(tǒng)實(shí)時性要求高的OLTP掛號管理子系統(tǒng)實(shí)時性要求高的OLTP查詢統(tǒng)計子系統(tǒng)實(shí)時性要求高的OLTP關(guān)稅管理系統(tǒng)關(guān)稅電子數(shù)據(jù)申報子系統(tǒng)實(shí)時性要求高的OLTP減免稅管理子系統(tǒng)實(shí)時性要求高的OLTP原產(chǎn)地管理子系統(tǒng)實(shí)時性要求高的OLTP歸類風(fēng)險監(jiān)控子系統(tǒng)OLAP價格管理子系統(tǒng)實(shí)時性要求不高的OLTP報關(guān)單批量復(fù)審子系統(tǒng)實(shí)時性要求不高的OLTP審單輔助支持子系統(tǒng)實(shí)時性要求不高的OLTP遠(yuǎn)程專家在線會診/審單子系統(tǒng)實(shí)時性要求高的OLTP商品條碼信息管理子系統(tǒng)實(shí)時性要求不高的OLTP征稅管理子系統(tǒng)OLAP征稅分析子系統(tǒng)實(shí)時性要求高的OLTPHG基礎(chǔ)數(shù)據(jù)管理系統(tǒng)數(shù)據(jù)分析管理分系統(tǒng)數(shù)據(jù)抽取分發(fā)子系統(tǒng)實(shí)時性要求不高的OLTP動態(tài)數(shù)據(jù)倉庫子系統(tǒng)OLAPHG業(yè)務(wù)數(shù)據(jù)管理分系統(tǒng)數(shù)據(jù)質(zhì)量監(jiān)控子系統(tǒng)實(shí)時性要求不高的OLTP業(yè)務(wù)數(shù)據(jù)管理子系統(tǒng)實(shí)時性要求不高的OLTP數(shù)據(jù)信息管理子系統(tǒng)OLAP統(tǒng)一數(shù)據(jù)加工子系統(tǒng)OLAP緝私管理系統(tǒng)執(zhí)法規(guī)范分系統(tǒng)刑事執(zhí)法子系統(tǒng)實(shí)時性要求不高的OLTP行政執(zhí)法子系統(tǒng)實(shí)時性要求不高的OLTP輔助辦案子系統(tǒng)實(shí)時性要求不高的OLTP證據(jù)管理子系統(tǒng)實(shí)時性要求不高的OLTP協(xié)查管理子系統(tǒng)實(shí)時性要求不高的OLTP職能管理分系統(tǒng)督察管理子系統(tǒng)實(shí)時性要求不高的OLTP績效管理子系統(tǒng)實(shí)時性要求不高的OLTP要案管理子系統(tǒng)實(shí)時性要求不高的OLTP綜合應(yīng)用子系統(tǒng)OLAP情報作業(yè)分系統(tǒng)情報信息采集子系統(tǒng)實(shí)時性要求高的OLTP情報線索辦理子系統(tǒng)實(shí)時性要求不高的OLTP境外執(zhí)法合作子系統(tǒng)實(shí)時性要求不高的OLTP情報產(chǎn)品生產(chǎn)子系統(tǒng)實(shí)時性要求不高的OLTP情報預(yù)警監(jiān)測子系統(tǒng)實(shí)時性要求高的OLTP情報研判分系統(tǒng)情報信息智能檢索子系統(tǒng)OLAP情報專題研判子系統(tǒng)OLAP常用研判工具集子系統(tǒng)OLAP圖形視頻研判子系統(tǒng)OLAP情報研判模型管理子系統(tǒng)OLAP情報管理分系統(tǒng)情報監(jiān)督子系統(tǒng)實(shí)時性要求不高的OLTP績效評估子系統(tǒng)實(shí)時性要求不高的OLTP情報培訓(xùn)子系統(tǒng)實(shí)時性要求不高的OLTP情報應(yīng)用積分子系統(tǒng)實(shí)時性要求不高的OLTP業(yè)務(wù)數(shù)據(jù)監(jiān)測與處理子系統(tǒng)OLAP情報服務(wù)分系統(tǒng)緝私辦案離線支持子系統(tǒng)實(shí)時性要求不高的OLTP緝私信息決策支持子系統(tǒng)實(shí)時性要求不高的OLTP情報布控及協(xié)查子系統(tǒng)實(shí)時性要求高的OLTPHG監(jiān)管支持子系統(tǒng)實(shí)時性要求高的OLTP情報共享交換子系統(tǒng)實(shí)時性要求高的OLTP對外聯(lián)網(wǎng)應(yīng)用系統(tǒng)聯(lián)網(wǎng)數(shù)據(jù)采集分系統(tǒng)企業(yè)綜合資信庫數(shù)據(jù)采集子系統(tǒng)實(shí)時性要求不高的OLTP聯(lián)網(wǎng)核查證件數(shù)據(jù)采集子系統(tǒng)實(shí)時性要求不高的OLTP情報公安數(shù)據(jù)采集子系統(tǒng)實(shí)時性要求不高的OLTP外單位數(shù)據(jù)采集子系統(tǒng)實(shí)時性要求不高的OLTP互聯(lián)網(wǎng)公開數(shù)據(jù)采集子系統(tǒng)實(shí)時性要求不高的OLTP數(shù)據(jù)轉(zhuǎn)換處理分系統(tǒng)企業(yè)綜合資信數(shù)據(jù)處理子系統(tǒng)OLAP聯(lián)網(wǎng)核查證件數(shù)據(jù)處理子系統(tǒng)實(shí)時性要求不高的OLTP聯(lián)網(wǎng)核查通關(guān)處理分系統(tǒng)自動進(jìn)口許可證聯(lián)網(wǎng)核查子系統(tǒng)實(shí)時性要求高的OLTP密碼產(chǎn)品和含有密碼技術(shù)設(shè)備進(jìn)出口許可證聯(lián)網(wǎng)核查子系統(tǒng)實(shí)時性要求高的OLTP瀕危物種允許進(jìn)出口證明書聯(lián)網(wǎng)核銷子系統(tǒng)實(shí)時性要求高的OLTP進(jìn)口藥品通關(guān)單聯(lián)網(wǎng)核銷子系統(tǒng)實(shí)時性要求高的OLTP進(jìn)口獸藥通關(guān)單聯(lián)網(wǎng)核查子系統(tǒng)實(shí)時性要求高的OLTP原產(chǎn)地證書聯(lián)網(wǎng)共享子系統(tǒng)實(shí)時性要求高的OLTP關(guān)庫聯(lián)網(wǎng)核銷子系統(tǒng)實(shí)時性要求高的OLTP加工貿(mào)易多方聯(lián)網(wǎng)管理子系統(tǒng)實(shí)時性要求高的OLTP數(shù)據(jù)對外服務(wù)分系統(tǒng)聯(lián)網(wǎng)數(shù)據(jù)企業(yè)服務(wù)子系統(tǒng)實(shí)時性要求不高的OLTP聯(lián)網(wǎng)核查國家（地區(qū)）、部委數(shù)據(jù)服務(wù)子系統(tǒng)實(shí)時性要求不高的OLTP企業(yè)綜合資信數(shù)據(jù)政務(wù)服務(wù)子系統(tǒng)實(shí)時性要求不高的OLTP緝私案件數(shù)據(jù)服務(wù)子系統(tǒng)實(shí)時性要求不高的OLTP物理分布數(shù)據(jù)存放：集中存放+災(zāi)備？分布式主從模式？分布式無中心化？數(shù)據(jù)：核心交易：商用關(guān)系DB+小機(jī)集群？分析：newSQL+小機(jī)集群？低價值密度的大規(guī)模數(shù)據(jù)：NoSQL+大規(guī)模普通機(jī)器集群據(jù)地理分布：交易數(shù)據(jù)集中存放+災(zāi)備；其他管理支持類應(yīng)用數(shù)據(jù)可三中心分別存放？數(shù)據(jù)分類總體描述數(shù)據(jù)分類是企業(yè)數(shù)據(jù)的組成部分，其目的是為了滿足各種數(shù)據(jù)需求對數(shù)據(jù)組織的要求，根據(jù)數(shù)據(jù)內(nèi)容的屬性或特征，將信息按一定的原則和方法進(jìn)行區(qū)分和歸類，并建立起一定的分類體系，為數(shù)據(jù)的合理分布提供決策依據(jù)，以便管理和使用數(shù)據(jù)信息。分類原則在數(shù)據(jù)分類時遵循以下原則：數(shù)據(jù)分類需要滿足各種數(shù)據(jù)需求對數(shù)據(jù)組織的要求，即數(shù)據(jù)分類應(yīng)該獨(dú)立于具體的數(shù)據(jù)模型；數(shù)據(jù)分類應(yīng)有利于數(shù)據(jù)的維護(hù)和擴(kuò)充。分類內(nèi)容金關(guān)工程二期綜合考慮海關(guān)應(yīng)用系統(tǒng)所產(chǎn)生的數(shù)據(jù)屬性、應(yīng)用性質(zhì)、處理方式、使用范圍等因素對數(shù)據(jù)進(jìn)行分類，同時考慮對數(shù)據(jù)進(jìn)行生命周期管理和數(shù)據(jù)質(zhì)量管理；海關(guān)數(shù)據(jù)可以從業(yè)務(wù)、生命周期及數(shù)據(jù)特點(diǎn)進(jìn)行分類。1、按照業(yè)務(wù)，海關(guān)的數(shù)據(jù)分為數(shù)據(jù)管理類（N）、業(yè)務(wù)基礎(chǔ)類（Y）、業(yè)務(wù)處理類（Y）、業(yè)務(wù)管理類（N）、業(yè)務(wù)應(yīng)用類（N）、業(yè)務(wù)分析類（N）六類數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)分類核心和非核心數(shù)據(jù)與上面業(yè)務(wù)域數(shù)據(jù)之間的對應(yīng)關(guān)系數(shù)據(jù)管理類數(shù)據(jù)，此類數(shù)據(jù)包含動態(tài)數(shù)據(jù)倉庫、數(shù)據(jù)抽取分發(fā)、數(shù)據(jù)質(zhì)量監(jiān)控、統(tǒng)一數(shù)據(jù)加工、數(shù)據(jù)生命周期管理中的數(shù)據(jù)。業(yè)務(wù)基礎(chǔ)類數(shù)據(jù)，此類數(shù)據(jù)包含商品條碼、企業(yè)信息基礎(chǔ)、多維、公安信息資源、案件信息服務(wù)資源、自動許可證聯(lián)網(wǎng)核查、聯(lián)網(wǎng)核銷、原產(chǎn)地證書聯(lián)網(wǎng)共享、加工貿(mào)易多方聯(lián)網(wǎng)、GIS應(yīng)用、核心系統(tǒng)參數(shù)、海關(guān)情報信息采集、海關(guān)情報移動支持的數(shù)據(jù)。業(yè)務(wù)處理類數(shù)據(jù)，此類數(shù)據(jù)包含報關(guān)單、免稅品、行郵、關(guān)稅電子、外單位信息資源、加貿(mào)手冊、加貿(mào)賬冊、互聯(lián)網(wǎng)信息資源、智能卡口、核心系統(tǒng)基本通關(guān)、核心系統(tǒng)輔助通關(guān)、核心系統(tǒng)備案的數(shù)據(jù)。業(yè)務(wù)管理類數(shù)據(jù)，此類數(shù)據(jù)包含減免稅管理、原產(chǎn)地管理、價格管理、業(yè)務(wù)數(shù)據(jù)管理、機(jī)動巡查、值班、預(yù)案、移動應(yīng)用、海關(guān)特殊監(jiān)控區(qū)域、保稅監(jiān)管場所、保稅綜合管理、批量復(fù)審、海關(guān)情報業(yè)務(wù)管理、海關(guān)情報境外執(zhí)法合作、執(zhí)法規(guī)范化業(yè)務(wù)執(zhí)法、執(zhí)法規(guī)范化輔助辦案、執(zhí)法規(guī)范化職能管理的數(shù)據(jù)。業(yè)務(wù)應(yīng)用類數(shù)據(jù)，此類數(shù)據(jù)包括緝私監(jiān)控指揮、企業(yè)信息應(yīng)用、歸類風(fēng)險監(jiān)控、審單執(zhí)法、企業(yè)綜合資信、數(shù)據(jù)交換、應(yīng)急指揮、海關(guān)情報預(yù)警監(jiān)測的數(shù)據(jù)。業(yè)務(wù)分析類數(shù)據(jù)，此類數(shù)據(jù)包含決策分析、風(fēng)險數(shù)據(jù)、物流鏈監(jiān)控分析、專家會診審單、數(shù)據(jù)信息管理的數(shù)據(jù)。2、按照數(shù)據(jù)來源以及服務(wù)對象，海關(guān)數(shù)據(jù)可分為對外交換數(shù)據(jù)、生產(chǎn)數(shù)據(jù)、共享數(shù)據(jù)、決策支持?jǐn)?shù)據(jù)、元數(shù)據(jù)五類。對外交換數(shù)據(jù)，此類數(shù)據(jù)包括物流艙單、國外海關(guān)、電商訂單、互聯(lián)網(wǎng)輿情、政務(wù)公開等數(shù)據(jù)。生產(chǎn)數(shù)據(jù)，此類數(shù)據(jù)包括報關(guān)單、證件核銷、稅收、減免稅、證件監(jiān)管、加貿(mào)手冊、加貿(mào)合同、加貿(mào)單耗、風(fēng)險布控、風(fēng)險查驗(yàn)、行政辦公等數(shù)據(jù)。共享數(shù)據(jù)，此類數(shù)據(jù)包括企業(yè)主數(shù)據(jù)、商品主數(shù)據(jù)、公共業(yè)務(wù)通關(guān)、公共業(yè)務(wù)企管數(shù)據(jù)。決策支持?jǐn)?shù)據(jù)，此類數(shù)據(jù)包括數(shù)據(jù)倉庫、數(shù)據(jù)集市、業(yè)務(wù)報表、分析報告等數(shù)據(jù)。元數(shù)據(jù)，此類數(shù)據(jù)包括技術(shù)元數(shù)據(jù)、數(shù)據(jù)模型、指標(biāo)體系、標(biāo)準(zhǔn)化等數(shù)據(jù)。3、按照生命周期，海關(guān)數(shù)據(jù)可以分為“生產(chǎn)數(shù)據(jù)（核心，非核心）”、“分析數(shù)據(jù)”、“歸檔數(shù)據(jù)”三類。4、按照數(shù)據(jù)本身的特點(diǎn)，海關(guān)數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)主要是應(yīng)用系統(tǒng)生成的存儲在關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)，數(shù)據(jù)具有明顯的共性結(jié)構(gòu)特點(diǎn)。非結(jié)構(gòu)化數(shù)據(jù)主要指一些文本、圖片、圖像、視頻、音頻等數(shù)據(jù)。對于某一種數(shù)據(jù)（維度中的1個格子）對應(yīng)一種存儲技術(shù)。數(shù)據(jù)接入總體描述數(shù)據(jù)統(tǒng)一接入層主要目的是解耦應(yīng)用系統(tǒng)和數(shù)據(jù)存儲之間的關(guān)系，本部分主要描述應(yīng)用系統(tǒng)和關(guān)系型數(shù)據(jù)庫之間的解耦，應(yīng)用與其他類型的存儲之間的關(guān)系在本章的其他小節(jié)來描述。其整體架構(gòu)如下圖所示：應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)數(shù)據(jù)存儲MySqlOracleSQLServer。。。統(tǒng)一接入管理平臺應(yīng)用系統(tǒng)管理邏輯節(jié)點(diǎn)管理配置數(shù)據(jù)管理物理節(jié)點(diǎn)管理路由規(guī)則管理擴(kuò)容遷移管理代理訪問統(tǒng)一訪問服務(wù)數(shù)據(jù)驅(qū)動故障切換Mysql協(xié)議適配Oracle協(xié)議適配SQLServer協(xié)議適配數(shù)據(jù)節(jié)點(diǎn)池故障備份處理引擎數(shù)據(jù)擴(kuò)容Sql的解析數(shù)據(jù)路由數(shù)據(jù)分片備份管理結(jié)果集處理備份管理上層為應(yīng)用系統(tǒng)；下層為關(guān)系數(shù)據(jù)存儲。中間層為統(tǒng)一接入平臺。一般的應(yīng)用開發(fā)，應(yīng)用層直接通過數(shù)據(jù)的驅(qū)動直接訪問關(guān)系數(shù)據(jù)庫進(jìn)行數(shù)據(jù)的存取。在我們的數(shù)據(jù)架構(gòu)中增加了一層統(tǒng)一接入層，其目的主要解決：提供統(tǒng)一的訪問服務(wù)。對應(yīng)用來說，屏蔽了數(shù)據(jù)庫本身的差異，數(shù)據(jù)庫對應(yīng)用來說只是服務(wù)。提供了服務(wù)的高可用，上層應(yīng)用無需關(guān)心下層存儲的可用性問題，JDS層會做自動的主備切換，防止單點(diǎn)故障。提供了數(shù)據(jù)的高可靠，上層應(yīng)用無需關(guān)心下層存儲數(shù)據(jù)的可靠性問題，存儲層會自動做好數(shù)據(jù)的自動全量及增量備份工作。并在需要的時候可以快速從備份恢復(fù)數(shù)據(jù)。支持?jǐn)?shù)據(jù)的自動拆分，可應(yīng)對海量數(shù)據(jù)的存儲及高性能訪問場景，對上層應(yīng)用拆分邏輯完全透明，應(yīng)用使用標(biāo)準(zhǔn)客戶端即可使用。數(shù)據(jù)存儲自動擴(kuò)容，應(yīng)用無需關(guān)心底層存儲的容量問題，一鍵進(jìn)行數(shù)據(jù)的遷移及擴(kuò)容工作。整體系統(tǒng)運(yùn)維的自動化智能化管理，運(yùn)維成本低。統(tǒng)一訪問服務(wù)統(tǒng)一訪問服務(wù)主要是為上層應(yīng)用提供一個透明訪問代理層，應(yīng)用無需關(guān)心底層存儲細(xì)節(jié)及產(chǎn)品類型，統(tǒng)一訪問服務(wù)層幫助應(yīng)用抽象出了一個統(tǒng)一入口，屏蔽掉了底層的不同存儲產(chǎn)品帶來的復(fù)雜性。并同時實(shí)現(xiàn)了高性能具備過載保護(hù)及容災(zāi)功能的接入服務(wù)，應(yīng)用通過軟負(fù)載均衡設(shè)備來接入服務(wù)，軟負(fù)載均衡設(shè)備會實(shí)現(xiàn)多個接入節(jié)點(diǎn)的狀態(tài)監(jiān)測，故障剔除等工作。同時接入服務(wù)層提供了過載熔斷等保護(hù)功能，保護(hù)后端代理的存儲節(jié)點(diǎn)的穩(wěn)定和安全。處理引擎SQL解析模塊處理引擎會進(jìn)行SQL請求的攔截和處理，并根據(jù)路由信息對SQL語句進(jìn)行修改或拆分，如果涉及多個節(jié)點(diǎn)，則會將拆分后的SQL請求并行發(fā)送到不同的物理實(shí)例上，并等待結(jié)果返回，在查詢結(jié)果返回后，接入層會進(jìn)行結(jié)果集的合并和計算，最終返回給客戶端，整個過程對客戶端完全透明。數(shù)據(jù)分片數(shù)據(jù)分片模塊可以將數(shù)據(jù)按照應(yīng)用指定的規(guī)則進(jìn)行水平切分，解決容量和訪問量的問題，即可以不使用任何高端存儲設(shè)備，只用普通x86機(jī)器完成很多高端存儲才能達(dá)到的存儲能力和訪問能力。降低海關(guān)業(yè)務(wù)整體的硬件成本。數(shù)據(jù)可以根據(jù)海關(guān)各子業(yè)務(wù)的訪問規(guī)則進(jìn)行靈活配置，靈活擴(kuò)展。數(shù)據(jù)路由海關(guān)各業(yè)務(wù)針對各自訪問規(guī)則進(jìn)行了數(shù)據(jù)水平切分和分片后，引擎層邏輯會通過具體的訪問規(guī)則將實(shí)際的訪問請求路由到指定分片。路由規(guī)則的存儲是在元數(shù)據(jù)管理模塊中，并推送給邏輯處理引擎。邏輯處理引擎會本地存儲路由規(guī)則，正常的訪問流程在邏輯引擎本地查詢相關(guān)規(guī)則即可，無需訪問遠(yuǎn)端的元數(shù)據(jù)管理模塊。結(jié)果集處理數(shù)據(jù)進(jìn)行了分片并路由到指定后端存儲節(jié)點(diǎn)后，會在遠(yuǎn)端的存儲節(jié)點(diǎn)執(zhí)行，并將數(shù)據(jù)返回給邏輯引擎，由于數(shù)據(jù)可能已經(jīng)被水平拆分過，所以有可能會涉及到多個遠(yuǎn)端的存儲節(jié)點(diǎn)，即多個遠(yuǎn)端節(jié)點(diǎn)的數(shù)據(jù)需要進(jìn)行結(jié)果集的匯總和再計算工作，比如orderby或者groupby等語句的執(zhí)行，需要在邏輯引擎中進(jìn)行結(jié)果的緩存和計算工作，這部分邏輯集成在了邏輯引擎內(nèi)部，對業(yè)務(wù)端是完全無感知的。數(shù)據(jù)擴(kuò)容雖然我們可以按照業(yè)務(wù)類型預(yù)先對數(shù)據(jù)的容量和訪問量做好規(guī)劃并進(jìn)行數(shù)據(jù)的水平切分和路由，但是通常我們預(yù)先規(guī)劃的容量是未必完全合適的，這個時候我們可能需要對數(shù)據(jù)進(jìn)行再次水平切分進(jìn)行擴(kuò)容遷移等操作，這個過程需要統(tǒng)一接入管理平臺與邏輯引擎共同完成，邏輯引擎負(fù)責(zé)線上路由切換的一部分，并通過一些手段完成多個邏輯處理引擎節(jié)點(diǎn)之間的同步問題，保障數(shù)據(jù)的可靠性和一致性。備份管理備份管理主要保障數(shù)據(jù)的高可靠。數(shù)據(jù)的高可靠是通過系統(tǒng)后臺自動定時全量及增量備份數(shù)據(jù)到云存儲端來完成的。全量備份及增量備份的間隔時間通過管理系統(tǒng)可以靈活配置，全量備份采用快照機(jī)制不會對線上訪問造成任何影響，增量備份通過數(shù)據(jù)庫binlog完成。數(shù)據(jù)驅(qū)動層數(shù)據(jù)驅(qū)動層會對涉及的所有物理節(jié)點(diǎn)進(jìn)行管理，能夠方便靈活的配置物理節(jié)點(diǎn)信息，動態(tài)增減機(jī)器規(guī)模。并對節(jié)點(diǎn)進(jìn)行實(shí)時監(jiān)控和檢測，剔除故障節(jié)點(diǎn)，保障業(yè)務(wù)使用的穩(wěn)定性.故障切換故障切換模塊保障服務(wù)的高可用性，這是通過底層存儲數(shù)據(jù)庫的主備切換來完成，系統(tǒng)會監(jiān)控所有管理的數(shù)據(jù)庫實(shí)例，發(fā)現(xiàn)某個實(shí)例異?；蚬收虾?，會自動將訪問切換到從庫上，并通過數(shù)據(jù)庫的半同步機(jī)制來保障數(shù)據(jù)在切換過程中是完全沒有任何數(shù)據(jù)丟失的。協(xié)議適配由于海關(guān)業(yè)務(wù)可能會涉及不同種類的數(shù)據(jù)庫存儲節(jié)點(diǎn)，針對這種情況可以通過單獨(dú)的協(xié)議適配模塊進(jìn)行協(xié)議的轉(zhuǎn)換。對上層業(yè)務(wù)使用標(biāo)準(zhǔn)SQL語句或者其它具體某種數(shù)據(jù)庫方言均可正常訪問。統(tǒng)一接入管理平臺統(tǒng)一接入管理平臺主要進(jìn)行整體接入系統(tǒng)的一些管理工作，比如元數(shù)據(jù)的存儲，監(jiān)控檢測機(jī)制，自動化運(yùn)維模塊等。配置數(shù)據(jù)管理配置數(shù)據(jù)管理主要存儲整體接入系統(tǒng)的一些配置信息，比如集群數(shù)據(jù)庫的一些參數(shù)組配置，安全組配置等信息，可以方便的完成集群中部分機(jī)器的一些特殊定制配置等需求，給整體系統(tǒng)帶來比較大的靈活型。應(yīng)用系統(tǒng)管理應(yīng)用系統(tǒng)管理模塊對接入的應(yīng)用和業(yè)務(wù)進(jìn)行統(tǒng)一管理。主要包括應(yīng)用具體的一些接入信息配置，包括應(yīng)用獨(dú)立的一些配置數(shù)據(jù)，注冊信息，訪問用戶權(quán)限和角色等。邏輯與物理節(jié)點(diǎn)管理統(tǒng)一管理模塊會對整個集群的所有物理節(jié)點(diǎn)和邏輯節(jié)點(diǎn)進(jìn)行管理，物理節(jié)點(diǎn)涉及所有機(jī)器的配置信息，運(yùn)行中的動態(tài)負(fù)載信息，狀態(tài)信息等。邏輯節(jié)點(diǎn)是暴露給業(yè)務(wù)使用的一些抽象的邏輯庫和邏輯表，并對此進(jìn)行具體的邏輯到物理節(jié)點(diǎn)的映射工作。該模塊也是配合路由規(guī)則管理模塊協(xié)同工作的。路由規(guī)則管理路由規(guī)則即具體分片規(guī)則信息，該信息通過統(tǒng)一接入管理平臺來進(jìn)行存儲和管理，并通過統(tǒng)一管理平臺與邏輯引擎進(jìn)行交互。業(yè)務(wù)的路由規(guī)則錄入與變更首先會通過統(tǒng)一管理平臺的管理端界面進(jìn)行錄入和修改，統(tǒng)一管理平臺會將變更信息推送給所有的邏輯引擎。并通過內(nèi)部加鎖等機(jī)制完成各邏輯節(jié)點(diǎn)更新的一致性問題。擴(kuò)容遷移管理擴(kuò)容遷移功能是通過統(tǒng)一接入平臺來完成的和發(fā)起的，監(jiān)控系統(tǒng)會檢測所有物理節(jié)點(diǎn)的使用情況，包含數(shù)據(jù)量和訪問量的信息，根據(jù)系統(tǒng)當(dāng)前負(fù)載情況判斷是否需要進(jìn)行遷移和擴(kuò)容工作。當(dāng)需要進(jìn)行此項(xiàng)工作時，統(tǒng)一平臺會發(fā)起遷移任務(wù)，遷移任務(wù)交由一個工作節(jié)點(diǎn)進(jìn)行線下的物理數(shù)據(jù)遷移，待到達(dá)指定閾值時會通知邏輯引擎進(jìn)行相關(guān)路由的鎖定與切換工作，完成遷移和擴(kuò)容的過程。備份管理備份管理模塊會統(tǒng)一調(diào)度和進(jìn)行所管理物理節(jié)點(diǎn)的數(shù)據(jù)全量備份與增量備份工作，具體備份的時間與間隔通過統(tǒng)一平臺的管理界面進(jìn)行配置。全量備份通過操作系統(tǒng)的塊設(shè)備的快照機(jī)制完成，對業(yè)務(wù)訪問無任何感知和影響。增量備份通過數(shù)據(jù)庫的binlog來完成。所有備份文件統(tǒng)一上傳至統(tǒng)一存儲模塊。需要時可以完成快速恢復(fù)和容災(zāi)。接入層節(jié)點(diǎn)的水平擴(kuò)展與容災(zāi)接入層本身單個節(jié)點(diǎn)可以提供每秒10W級的高性能訪問，可以根據(jù)業(yè)務(wù)訪問量的需求或者容災(zāi)的考慮來動態(tài)增減節(jié)點(diǎn)，由于接入層節(jié)點(diǎn)是完全無狀態(tài)的所以動態(tài)增減并不會影響上面的應(yīng)用，上面的應(yīng)用可以通過類似LVS或者HA的方式來統(tǒng)一訪問接入層節(jié)點(diǎn)，HA軟件會自動對接入層節(jié)點(diǎn)進(jìn)行狀態(tài)檢測，并剔除故障的接入層節(jié)點(diǎn)對上層應(yīng)用無感知。加入新的接入節(jié)點(diǎn)對上層應(yīng)用同樣是無感知的。存儲層存儲層主要解決下列問題：服務(wù)的高可用數(shù)據(jù)的高可靠自動化運(yùn)維管理自動化運(yùn)維平臺提供靈活方便的用戶管理操作入口，系統(tǒng)基本無需專人運(yùn)維，大部分的工作是自動化的，一小部分工作通過人員確認(rèn)一鍵完成。配置數(shù)據(jù)管理集群路由和分配以及擴(kuò)容遷移等信息全部存儲在中心節(jié)點(diǎn)Manager中，所有路由變更等配置信息統(tǒng)一通過Manager來完成，Manager節(jié)點(diǎn)會自動同步路由變更信息給所有的接入節(jié)點(diǎn)，并保障接入節(jié)點(diǎn)對變更信息的一致性問題，即所有接入節(jié)點(diǎn)在任意時刻看到的路由信息都是完全一致的，Manager與接入節(jié)點(diǎn)之間通過路由版本號信息來保障這一點(diǎn)。元數(shù)據(jù)管理通過主備方式來進(jìn)行容災(zāi)，主節(jié)點(diǎn)故障，從節(jié)點(diǎn)自動接管工作，對應(yīng)用完全無影響。數(shù)據(jù)無縫遷移擴(kuò)容數(shù)據(jù)達(dá)到一定容量后，通過Transfer模塊可以進(jìn)行自動無縫擴(kuò)容和遷移工作，遷移模塊會分成線上和線下兩部分完成，首先進(jìn)行線下的全量數(shù)據(jù)及部分增量數(shù)據(jù)的遷移，待線下數(shù)據(jù)遷移達(dá)到指定閾值后，會進(jìn)行線上的最后一部分?jǐn)?shù)據(jù)追趕及路由切換等工作，應(yīng)用的訪問最終會自動被切換到新的實(shí)例上。遷移過程中會多次對數(shù)據(jù)進(jìn)行校驗(yàn)，保障數(shù)據(jù)遷移的準(zhǔn)確性。分布式緩存分布式緩存出于如下考慮，首先是緩存本身的水平線性擴(kuò)展問題，其次是緩存大并發(fā)下的本身的性能問題，再次避免緩存的單點(diǎn)故障問題(多副本和副本一致性)。分布式緩存的核心技術(shù)包括首先是內(nèi)存本身的管理問題，包括了內(nèi)存的分配，管理和回收機(jī)制。其次是分布式管理和分布式算法，其次是緩存鍵值管理和路由。技術(shù)架構(gòu)支持?jǐn)?shù)據(jù)類型提供如下形式的數(shù)據(jù)：Key/Value、Set、List、Map、Object數(shù)據(jù)之間支持排序和集合運(yùn)算緩存服務(wù)主要包括可分為以下幾類:

1)頁面緩存

2)應(yīng)用對象緩存3)狀態(tài)緩存4)分析計算緩存5)事務(wù)處理數(shù)據(jù)存儲總體描述本章描述對核心數(shù)據(jù)，非核心數(shù)據(jù)等各類不同種類數(shù)據(jù)的數(shù)據(jù)處理系統(tǒng)，以及數(shù)據(jù)存儲系統(tǒng)的架構(gòu)實(shí)現(xiàn)。根據(jù)下列數(shù)據(jù)分類以及各類數(shù)據(jù)特點(diǎn)制定數(shù)據(jù)存儲的架構(gòu)方式。圖4-6-1：各種分類維度下的數(shù)據(jù)分類技術(shù)實(shí)現(xiàn)按照不同數(shù)據(jù)分類下的數(shù)據(jù)特征(包括數(shù)據(jù)量，數(shù)據(jù)價值，以及結(jié)構(gòu)化特征)，使用不同的數(shù)據(jù)存儲架構(gòu)實(shí)現(xiàn)數(shù)據(jù)這些數(shù)據(jù)的存儲和管理。圖4-6-2：各種數(shù)據(jù)存儲架構(gòu)總覽核心數(shù)據(jù)存儲架構(gòu)1）數(shù)據(jù)庫管理系統(tǒng)在采用Oracle11gRAC的基礎(chǔ)上，對需要加速的數(shù)據(jù)處理，通過內(nèi)存數(shù)據(jù)庫技術(shù)融合，以提高系統(tǒng)對核心數(shù)據(jù)的處理性能。2）數(shù)據(jù)存儲系統(tǒng)磁盤陣列：采用SAS盤，支持RAID0.1.5.SAN交換機(jī)：采用FC協(xié)議，SAN采用8Gbps/4Gbps的帶寬。圖4-6-3：核心數(shù)據(jù)存儲架構(gòu)表4-6-1SAN與NAS存儲服務(wù)的比較存儲層在修改一下，再細(xì)分層，各種技術(shù)之間的優(yōu)勢（比如SAN，NAS的選擇的分析比較）。非核心數(shù)據(jù)存儲架構(gòu)1）數(shù)據(jù)庫管理系統(tǒng)采用MySqlCluster的開源集群數(shù)據(jù)庫處理技術(shù)。2）數(shù)據(jù)存儲系統(tǒng)磁盤陣列：采用SAS盤，支持RAID0.1.5.SAN交換機(jī)：采用FC協(xié)議，SAN采用8Gbps/4Gbps的帶寬。存儲技術(shù)：通過分層關(guān)系描述圖4-6-4：非核心數(shù)據(jù)存儲架構(gòu)分析型數(shù)據(jù)存儲架構(gòu)1）數(shù)據(jù)庫管理系統(tǒng)采用商用的MPP分布數(shù)據(jù)庫(如Gbase)，和Hadoop開源并行數(shù)據(jù)處理平臺的混搭技術(shù)。2）數(shù)據(jù)存儲系統(tǒng)x86PC服務(wù)器上本地磁盤：采用SAS盤，支持24個磁盤（600G），RAID0.1.5.MPP網(wǎng)絡(luò)：采用基于萬兆以太網(wǎng)或Infiniband的高速網(wǎng)絡(luò)。圖4-6-5：分析數(shù)據(jù)存儲架構(gòu)非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)1）數(shù)據(jù)庫管理系統(tǒng)采用基于Hadoop的開源并行數(shù)據(jù)處理平臺的非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)。2）數(shù)據(jù)存儲系統(tǒng)x86PC服務(wù)器上本地磁盤：采用SAS盤，支持24個磁盤（600G），RAID0.1.5.Hadoop網(wǎng)絡(luò)：采用基于萬兆以太網(wǎng)或Infiniband的高速網(wǎng)絡(luò)。圖4-6-6：非結(jié)構(gòu)化數(shù)據(jù)存儲架構(gòu)數(shù)據(jù)計算總體描述本章描述數(shù)據(jù)層面上的數(shù)據(jù)計算架構(gòu)。從數(shù)據(jù)層，可以將數(shù)據(jù)計算分成實(shí)時性的流處理模型，和以MapReduce和OLAP多維分析計算為代表的批處理。批處理滿足非實(shí)時數(shù)據(jù)處理業(yè)務(wù)場景，將批量數(shù)據(jù)以任務(wù)的方式進(jìn)行處理，并以異步方式提交計算結(jié)果，典型場景包括：數(shù)據(jù)挖掘模型計算、指標(biāo)引擎計算、OLAP多維分析計算、MapReduce批處理等。數(shù)據(jù)挖掘模型計算，可以依靠傳統(tǒng)的自我編程實(shí)現(xiàn)，但受限于開發(fā)水平和開發(fā)時間要求，且性能也常常不如商業(yè)工具強(qiáng)勁和穩(wěn)定。目前在中國市場上最為流行的三大數(shù)據(jù)挖掘軟件(SAS公司的EnterpriseMiner、IBM公司的IntelligentMiner和SPSS公司的Clementine。在選擇合適的數(shù)據(jù)發(fā)掘工具產(chǎn)品時，需要考慮以下幾點(diǎn)：數(shù)據(jù)挖掘是短期使用還是長期行為，數(shù)據(jù)挖掘經(jīng)驗(yàn)和水平，數(shù)據(jù)狀態(tài)，預(yù)算和性能要求。指標(biāo)引擎計算與OLAP多維分析計算，可以通過關(guān)系型數(shù)據(jù)庫計算引擎，在庫內(nèi)實(shí)現(xiàn)?？紤]數(shù)據(jù)量級和計算性能，建議使用完全并行的MPP+SharedNothing架構(gòu)數(shù)據(jù)庫產(chǎn)品，由許多松耦合的處理單元組成，以保證每一個節(jié)點(diǎn)（node）都是獨(dú)立的、自給的、節(jié)點(diǎn)之間對等，而且整個系統(tǒng)中不存在單點(diǎn)瓶頸，具有非常強(qiáng)的擴(kuò)展性。技術(shù)要求：1、支持X86PCserver以及虛擬化環(huán)境運(yùn)行，具有低成本優(yōu)勢；2、采用列存儲和高效透明壓縮技術(shù)，降低I/O，提高存儲能力；3、具有基于全部字段，自動建立粗粒度智能索引，快速過濾數(shù)據(jù)包，提高查詢性能；4、具有多種數(shù)據(jù)分布算法策略，確保數(shù)據(jù)均勻分布在集群節(jié)點(diǎn)上，提高整體批量計算性能；5、利用多核CPU，多個I/O通道等硬件資源，具有并行加載，并行計算與并行導(dǎo)出等場景的良好性能；6、具有多種OLAP函數(shù)，支持動態(tài)hashjoin，靜態(tài)hashjoin等智能算法適配功能，滿足強(qiáng)一致性關(guān)聯(lián)要求；圖SEQ圖\*ARABIC2靜態(tài)hashjoin技術(shù)圖SEQ圖\*ARABIC3動態(tài)hashjoin技術(shù)具有高并發(fā)特點(diǎn)，有效支撐自助查詢等大規(guī)模查詢服務(wù)和批量調(diào)度任務(wù)；8、具有線性擴(kuò)展能力，硬件擴(kuò)容與計算能力近似線性增長關(guān)系。MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（規(guī)約）"，主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。當(dāng)前的實(shí)現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（規(guī)約）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。實(shí)現(xiàn)過程：一個代表客戶機(jī)在單個主系統(tǒng)上啟動的MapReduce應(yīng)用程序稱為JobTracker。類似于NameNode，它是Hadoop集群中惟一負(fù)責(zé)控制MapReduce應(yīng)用程序的系統(tǒng)。在應(yīng)用程序提交之后，將提供包含在HDFS中的輸入和輸出目錄。JobTracker使用文件塊信息（物理量和位置）確定如何創(chuàng)建其他TaskTracker從屬任務(wù)。MapReduce應(yīng)用程序被復(fù)制到每個出現(xiàn)輸入文件塊的節(jié)點(diǎn)。將為特定節(jié)點(diǎn)上的每個文件塊創(chuàng)建一個惟一的從屬任務(wù)。每個TaskTracker將狀態(tài)和完成信息報告給JobTracker。流式處理滿足實(shí)時處理業(yè)務(wù)場景，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時，高效處理計算。典型產(chǎn)品包括：storm，S4，StreamBase等。非實(shí)時計算幾乎都基于MapReduce計算框架，但MapReduce并不是萬能的。對于搜索等應(yīng)用環(huán)境中的某些現(xiàn)實(shí)問題，MapReduce并不能很好地解決問題。商用搜索引擎，像Google、Bing和Yahoo!等，通常在用戶查詢響應(yīng)中提供結(jié)構(gòu)化的Web結(jié)果，同時也插入基于流量的點(diǎn)擊付費(fèi)模式的文本廣告。為了在頁面上最佳位置展現(xiàn)最相關(guān)的廣告，通過一些算法來動態(tài)估算給定上下文中一個廣告被點(diǎn)擊的可能性。上下文可能包括用戶偏好、地理位置、歷史查詢、歷史點(diǎn)擊等信息。一個主搜索引擎可能每秒鐘處理成千上萬次查詢，每個頁面都可能會包含多個廣告。為了及時處理用戶反饋，需要一個低延遲、可擴(kuò)展、高可靠的處理引擎。然而，對于這些實(shí)時性要求很高的應(yīng)用，盡管MapReduce作了實(shí)時性改進(jìn)，但仍很難穩(wěn)定地滿足應(yīng)用需求。因?yàn)镠adoop為批處理作了高度優(yōu)化，MapReduce系統(tǒng)典型地通過調(diào)度批量任務(wù)來操作靜態(tài)數(shù)據(jù)；而流式計算的典型范式之一是不確定數(shù)據(jù)速率的事件流流入系統(tǒng)，系統(tǒng)處理能力必須與事件流量匹配，或者通過近似算法等方法優(yōu)雅降級，通常稱為負(fù)載分流（load-shedding）。當(dāng)然，除了負(fù)載分流，流式計算的容錯處理等機(jī)制也和批處理計算不盡相同。最近Facebook在Sigmod11上發(fā)表了利用HBase/Hadoop進(jìn)行實(shí)時數(shù)據(jù)處理的論文，通過一些實(shí)時性改造，讓批處理計算平臺也具備實(shí)時計算的能力。這類基于MapReduce進(jìn)行流式處理的方案有三個主要缺點(diǎn)。將輸入數(shù)據(jù)分隔成固定大小的片段，再由MapReduce平臺處理，缺點(diǎn)在于處理延遲與數(shù)據(jù)片段的長度、初始化處理任務(wù)的開銷成正比。小的分段會降低延遲，增加附加開銷，并且分段之間的依賴管理更加復(fù)雜（例如一個分段可能會需要前一個分段的信息）；反之，大的分段會增加延遲。最優(yōu)的分段大小取決于具體應(yīng)用。為了支持流式處理，MapReduce需要被改造成Pipeline的模式，而不是Reduce直接輸出；考慮到效率，中間結(jié)果最好只保存在內(nèi)存中等。這些改動使得原有的MapReduce框架的復(fù)雜度大大增加，不利于系統(tǒng)的維護(hù)和擴(kuò)展。用戶被迫使用MapReduce的接口來定義流式作業(yè)，這使得用戶程序的可伸縮性降低。綜上所述，流式處理的模式?jīng)Q定了要和批處理使用非常不同的架構(gòu)，試圖搭建一個既適合流式計算又適合批處理計算的通用平臺，結(jié)果可能會是一個高度復(fù)雜的系統(tǒng)，并且最終系統(tǒng)可能對兩種計算都不理想。數(shù)據(jù)分析系統(tǒng)整體組成示意圖上圖從整個分析系統(tǒng)的架構(gòu)角度，給出了實(shí)時計算子系統(tǒng)所處的位置。實(shí)時計算系統(tǒng)和批處理計算系統(tǒng)同屬于計算這個大的范疇，批處理計算可以是MapReduce、MPI、SCOPE等，實(shí)時計算可以是S4、Storm等，批處理和實(shí)時都可以或不依賴統(tǒng)一的資源調(diào)度系統(tǒng)。另外，計算系統(tǒng)的輸入、輸出，包括中間過程的輸入、輸出，都與存儲系統(tǒng)交互，可以是塊存儲系統(tǒng)HDFS，也可以是K-V存儲系統(tǒng)Hypertable等。計算層的上層是數(shù)據(jù)倉庫，或者直接和用戶交互，交互方式可以是SQL-like或者M(jìn)R-like等。StormStorm是一個分布式的、容錯的實(shí)時計算系統(tǒng)，遵循EclipsePublicLicense1.0,Storm可以方便地在一個計算機(jī)集群中編寫與擴(kuò)展復(fù)雜的實(shí)時計算，Storm之于實(shí)時處理，就好比Hadoop之于批處理。Storm保證每個消息都會得到處理，而且它很快——在一個小集群中，每秒可以處理數(shù)以百萬計的消息?？梢允褂萌我饩幊陶Z言來做開發(fā)。

主要商業(yè)應(yīng)用及案例：Twitter

Storm的優(yōu)點(diǎn)

1.簡單的編程模型。類似于MapReduce降低了并行批處理復(fù)雜性，Storm降低了進(jìn)行實(shí)時處理的復(fù)雜性。

2.服務(wù)化,一個服務(wù)框架,支持熱部署,即時上線或下線App.

3.可以使用各種編程語言。你可以在Storm之上使用各種編程語言。默認(rèn)支持Clojure、Java、Ruby和Python。要增加對其他語言的支持，只需實(shí)現(xiàn)一個簡單的Storm通信協(xié)議即可。

4.容錯性。Storm會管理工作進(jìn)程和節(jié)點(diǎn)的故障。

5.水平擴(kuò)展。計算是在多個線程、進(jìn)程和服務(wù)器之間并行進(jìn)行的。

6.可靠的消息處理。Storm保證每個消息至少能得到一次完整處理。任務(wù)失敗時，它會負(fù)責(zé)從消息源重試消息。

7.快速。系統(tǒng)的設(shè)計保證了消息能得到快速的處理，使用ZeroMQ作為其底層消息隊(duì)列。

8.本地模式。Storm有一個“本地模式”，可以在處理過程中完全模擬Storm集群。這讓你可以快速進(jìn)行開發(fā)和單元測試。Storm架構(gòu)Storm集群由一個主節(jié)點(diǎn)和多個工作節(jié)點(diǎn)組成。主節(jié)點(diǎn)運(yùn)行了一個名為“Nimbus”的守護(hù)進(jìn)程，用于分配代碼、布置任務(wù)及故障檢測。每個工作節(jié)點(diǎn)都運(yùn)行了一個名為“Supervisor”的守護(hù)進(jìn)程，用于監(jiān)聽工作，開始并終止工作進(jìn)程。Nimbus和Supervisor都能快速失敗，而且是無狀態(tài)的，這樣一來它們就變得十分健壯，兩者的協(xié)調(diào)工作是由Zookeeper來完成的。ZooKeeper用于管理集群中的不同組件，ZeroMQ是內(nèi)部消息系統(tǒng)，JZMQ是ZeroMQMQ的JavaBinding。有個名為storm-deploy的子項(xiàng)目，可以在AWS上一鍵部署Storm集群.Storm的一些常用應(yīng)用場景1.流聚合

流聚合把兩個或者多個數(shù)據(jù)流聚合成一個數(shù)據(jù)流—基于一些共同的tuple字段。2.批處理

有時候?yàn)榱诵阅芑蛘咭恍﹦e的原因，你可能想把一組tuple一起處理，而不是一個個單獨(dú)處理。3.BasicBolt

1).讀一個輸入tuple

2).根據(jù)這個輸入tuple發(fā)射一個或者多個tuple

3).在execute的方法的最后ack那個輸入tuple

遵循這類模式的bolt一般是函數(shù)或者是過濾器,這種模式太常見，storm為這類模式單獨(dú)封裝了一個接口:IbasicBolt4.內(nèi)存內(nèi)緩存+Fieldsgrouping組合

在bolt的內(nèi)存里面緩存一些東西非常常見。緩存在和fieldsgrouping結(jié)合起來之后就更有用了。比如，你有一個bolt把短鏈接變成長鏈接(bit.ly,t.co之類的)。你可以把短鏈接到長鏈接的對應(yīng)關(guān)系利用LRU算法緩存在內(nèi)存里面以避免重復(fù)計算。比如組件一發(fā)射短鏈接，組件二把短鏈接轉(zhuǎn)化成長鏈接并緩存在內(nèi)存里面。5.計算topN

比如你有一個bolt發(fā)射這樣的tuple:"value","count"并且你想一個bolt基于這些信息算出topN的tuple。最簡單的辦法是有一個bolt可以做一個全局的grouping的動作并且在內(nèi)存里面保持這topN的值。

這個方式對于大數(shù)據(jù)量的流顯然是沒有擴(kuò)展性的，因?yàn)樗械臄?shù)據(jù)會被發(fā)到同一臺機(jī)器。一個更好的方法是在多臺機(jī)器上面并行的計算這個流每一部分的topN,然后再有一個bolt合并這些機(jī)器上面所算出來的topN以算出最后的topN。這個模式之所以可以成功是因?yàn)榈谝粋€bolt的fieldsgrouping使得這種并行算法在語義上是正確的。

用TimeCacheMap來高效地保存一個最近被更新的對象的緩存6.用TimeCacheMap來高效地保存一個最近被更新的對象的緩存

有時候你想在內(nèi)存里面保存一些最近活躍的對象，以及那些不再活躍的對象。TimeCacheMap是一個非常高效的數(shù)據(jù)結(jié)構(gòu)，它提供了一些callback函數(shù)使得我們在對象不再活躍的時候我們可以做一些事情.7.分布式RPC:CoordinatedBolt和KeyedFairBolt

用storm做分布式RPC應(yīng)用的時候有兩種比較常見的模式:它們被封裝在CoordinatedBolt和KeyedFairBolt里面.CoordinatedBolt包裝你的bolt,并且確定什么時候你的bolt已經(jīng)接收到所有的tuple,它主要使用DirectStream來做這個.

KeyedFairBolt同樣包裝你的bolt并且保證你的topology同時處理多個DRPC調(diào)用，而不是串行地一次只執(zhí)行一個。S4S4是一個通用的、分布式的、可擴(kuò)展的、分區(qū)容錯的、可插拔的流式系統(tǒng)?；赟4框架，開發(fā)者可以輕松開發(fā)面向持續(xù)流數(shù)據(jù)處理的應(yīng)用。S4的設(shè)計特點(diǎn)有以下幾個方面。ActorModel為了能在普通機(jī)型構(gòu)成的集群上進(jìn)行分布式處理，并且集群內(nèi)部不使用共享內(nèi)存，S4架構(gòu)采用了Actor模式，這種模式提供了封裝和地址透明語義，因此在允許應(yīng)用大規(guī)模并發(fā)的同時，也提供了簡單的編程接口。S4系統(tǒng)通過處理單元（ProcessingElements，PEs）進(jìn)行計算，消息在處理單元間以數(shù)據(jù)事件的形式傳送，PE消費(fèi)事件，發(fā)出一個或多個可能被其他PE處理的事件，或者直接發(fā)布結(jié)果。每個PE的狀態(tài)對于其他PE不可見，PE之間唯一的交互模式就是發(fā)出事件和消費(fèi)事件。框架提供了路由事件到合適的PE和創(chuàng)建新PE實(shí)例的功能。S4的設(shè)計模式符合封裝和地址透明的特性。DecentralizedandSymmetricArchitecture除了遵循Actor模式，S4也參照了MapReduce模式。為了簡化部署和運(yùn)維，從而達(dá)到更好地穩(wěn)定性和擴(kuò)展性，S4采用了對等架構(gòu)，集群中的所有處理節(jié)點(diǎn)都是等同的，沒有中心控制。這種架構(gòu)將使得集群的擴(kuò)展性很好，處理節(jié)點(diǎn)的總數(shù)理論上無上限；同時，S4將沒有單點(diǎn)容錯的問題。

PluggableArchitecture

S4系統(tǒng)使用Java開發(fā)，采用了極富層次的模塊化編程，每個通用功能點(diǎn)都盡量抽象出來作為通用模塊，而且盡可能讓各模塊實(shí)現(xiàn)可定制化。PartialFault-Tolerance基于Zookeeper服務(wù)的集群管理層將會自動路由事件從失效節(jié)點(diǎn)到其他節(jié)點(diǎn)。除非顯式保存到持久性存儲，否則節(jié)點(diǎn)故障時，節(jié)點(diǎn)上處理事件的狀態(tài)會丟失。ObjectOriented節(jié)點(diǎn)間通信采用“PlainOldJavaObjects”（POJOs）模式，應(yīng)用開發(fā)者不需要寫Schemas或用哈希表來在節(jié)點(diǎn)間發(fā)送Tuples。S4的功能組件分3大類，Clients、Adapters和PNodeCluster，圖2顯示了S4系統(tǒng)框架。

Yahoo!S4流式系統(tǒng)框架結(jié)構(gòu)圖

S4提供ClientAdapter，允許第三方客戶端向S4集群發(fā)送事件和接收事件。Adapter實(shí)現(xiàn)了基于JSON的API，支持多語言實(shí)現(xiàn)的客戶端驅(qū)動。Client通過Driver組件與Adapter進(jìn)行交互，Adapter也是一個Cluster，其中有多個Adapter結(jié)點(diǎn)，Client可以通過多個Driver與多個Adapter進(jìn)行通信，這樣可以保證單個Client在分發(fā)大數(shù)據(jù)量時Adapter不會成為瓶頸，也可以確保系統(tǒng)支持多個Client應(yīng)用并發(fā)執(zhí)行的快速、高效和可靠性。在Adapter中，真正與Client交互的是其Stub組件，該組件實(shí)現(xiàn)了管理Client與Adapter之間通過TCP/IP協(xié)議進(jìn)行通信的功能。GenericJsonClientStub這個類支持將事件在Client與Adapter之間以JSON的形式轉(zhuǎn)換，從而支持更多種類型的Client應(yīng)用。不同的Client可以配置不同的Stub來與Adapter進(jìn)行通信，用戶可以定義自己的Stub來實(shí)現(xiàn)自己想要的業(yè)務(wù)邏輯，這樣也使得Client的行為更加多樣性、個性化。StreamBaseStreamBase是IBM開發(fā)的一款商業(yè)流式計算系統(tǒng)，在金融行業(yè)和政府部門使用，其本身是商業(yè)應(yīng)用軟件，但提供了DevelopEdition。相對于付費(fèi)使用的EnterpriseEdition，前者的功能更少，但這并不妨礙我們從外部使用和API接口來對StreamBase本身進(jìn)行分析。StreamBase使用Java開發(fā)，IDE是基于Eclipse進(jìn)行二次開發(fā)，功能非常強(qiáng)大。StreamBase也提供了相當(dāng)多的Operator、Functor以及其他組件來幫助構(gòu)建應(yīng)用程序。用戶只需要通過IDE拖拉控件，然后關(guān)聯(lián)一下，設(shè)置好傳輸?shù)腟chema并且設(shè)置一下控件計算過程，就可以編譯出一個高效處理的流式應(yīng)用程序了。同時，StreamBase還提供了類SQL語言來描述計算過程。

StreamBase組件交互圖

StreamBaseServer是節(jié)點(diǎn)上啟動的管理進(jìn)程，它負(fù)責(zé)管理節(jié)點(diǎn)上Container的實(shí)例，每個Container通過Adapter獲得輸入，交給應(yīng)用邏輯進(jìn)行計算，然后通過Adapter進(jìn)行輸出。各個Container相互連接，形成一個計算流圖。Adapter負(fù)責(zé)與異構(gòu)輸入或輸出交互，源或目的地可能包括CSV文件、JDBC、JMS、Simulation（StreamBase提供的流產(chǎn)生模擬器）或用戶定制。

每個StreamBaseServer上面都會存在一個SytsemContainer，主要是產(chǎn)生系統(tǒng)監(jiān)控信息的流式數(shù)據(jù)。HAContainer用于容錯恢復(fù)，可以看出它實(shí)際包含兩個部分：Heartbeat和HAEvents，其中HeartBeat也是Tuple在Container之間傳輸。在HA方案下，HAContainer監(jiān)控PrimaryServer的活動情況，然后將這些信息轉(zhuǎn)換成為HAEvents交給StreamBaseMonitor來處理。Monitor就是從SystemContainer和HAContainer中獲取數(shù)據(jù)并且進(jìn)行處理。StreamBase認(rèn)為HA問題應(yīng)該通過CEP方式處理，也就是說如果哪個部件出現(xiàn)問題，就肯定會反映在SystemContainer和HAContainer的輸出流上面，然后Monitor通過復(fù)雜事件處理這些Tuples的話就能夠檢測到機(jī)器故障等問題，并作出相應(yīng)處理。StreamBase提出了以下4種模板策略來解決容錯問題。Hot-HotServerPairTemplatePrimaryServer和SecondaryServer都在同時計算，并且將計算結(jié)果交給下游。優(yōu)點(diǎn)是PrimaryServer如果故障的話那么SecondaryServer依然工作，幾乎沒有任何切換時間；并且下游只需要選取先到來的Tuple就可以處理了，保證處理速度最快；缺點(diǎn)是浪費(fèi)計算和網(wǎng)絡(luò)資源。Hot-WarmServerPairTemplatePrimaryServer和SecondaryServer都在同時計算，但只有PrimaryServer將計算結(jié)果交給下游。優(yōu)點(diǎn)是如果PrimaryServer故障，SecondaryServer可以很快切換，而不需要任何恢復(fù)狀態(tài)的工作。相對于Hot-Hot方式時間稍微長一些，但沒有Hot-Hot那么耗費(fèi)網(wǎng)絡(luò)資源，同時也浪費(fèi)了計算資源。SharedDiskTemplatePrimaryServer在計算之后，將計算的一些中間關(guān)鍵狀態(tài)存儲到磁盤、SAN（StorageAreaNetwork）或是可靠的存儲介質(zhì)。如果SrimaryServer故障，SecondaryServer會從介質(zhì)中讀取出關(guān)鍵狀態(tài)，然后接著繼續(xù)計算。優(yōu)點(diǎn)是沒有浪費(fèi)任何計算和網(wǎng)路資源，但恢復(fù)時間依賴狀態(tài)的量級而定，相對于前兩種，恢復(fù)時間可能會稍長。FastRestartTemplate這種方案限定了應(yīng)用場景，只針對無狀態(tài)的應(yīng)用。對于無狀態(tài)的情況，方案可以非常簡單，只要發(fā)現(xiàn)PrimaryServer故障，SecondaryServer立即啟動，并接著上游的數(shù)據(jù)流繼續(xù)計算即可。BorealisBorealis是BrandeisUniversity、BrownUniversity和MIT合作開發(fā)的一個分布式流式系統(tǒng)，由之前的流式系統(tǒng)Aurora、Medusa演化而來。目前Borealis系統(tǒng)已經(jīng)停止維護(hù)，最新的Release版本停止在2008年。Borealis具有豐富的論文、完整的用戶/開發(fā)者文檔，系統(tǒng)是C++實(shí)現(xiàn)的，運(yùn)行于x86-basedLinux平臺。系統(tǒng)是開源的，同時使用了較多的第三方開源組件，包括用于查詢語言翻譯的ANTLR、C++的網(wǎng)絡(luò)編程框架庫NMSTL等。Borealis系統(tǒng)的流式模型和其他流式系統(tǒng)基本一致：接受多元的數(shù)據(jù)流和輸出，為了容錯，采用確定性計算，對于容錯性要求高的系統(tǒng)，會對輸入流使用算子進(jìn)行定序。Borealis的系統(tǒng)架構(gòu)圖QueryProcessor（QP）是計算執(zhí)行的地方，是系統(tǒng)的核心部件，其大部分功能繼承自Aurora。I/OQueues將數(shù)據(jù)流導(dǎo)入QP，路由Tuples到其他節(jié)點(diǎn)或客戶端程序。Admin模塊用來控制本地的QP，例如建立查詢、遷移數(shù)據(jù)流圖片段，該模塊也會同LocalOptimizer協(xié)作優(yōu)化現(xiàn)有數(shù)據(jù)流圖。LocalOptimizer職責(zé)包括本地調(diào)度策略、調(diào)整Operator行為、超載后丟棄低價值元組等。StorageManager模塊用于存儲本地計算的狀態(tài)數(shù)據(jù)。LocalCatalog存儲本地數(shù)據(jù)流圖和元數(shù)據(jù)，可以被本地所有組件訪問。BorealisNode還有彼此通信的模塊用于執(zhí)行協(xié)作任務(wù)。NeighborhoodOptimizer使用本地和鄰居節(jié)點(diǎn)來優(yōu)化節(jié)點(diǎn)間的負(fù)載均衡或shedload。HighAvailability（HA）模塊相互監(jiān)測，發(fā)現(xiàn)對方故障時及時代替對方。LocalMonitor收集本地性能相關(guān)統(tǒng)計數(shù)字報告給本地和NeighborhoodOptimizer。GlobalCatalog為整個數(shù)據(jù)流計算提供了一個邏輯上的完整視圖。除作為基本功能節(jié)點(diǎn)外，BorealisServer也可以被設(shè)計成一個協(xié)作節(jié)點(diǎn)來執(zhí)行全局的系統(tǒng)監(jiān)控和其他優(yōu)化任務(wù)，比如全局的負(fù)載分布和GlobalLoadShedding，因此Borealis實(shí)際上提供了完整的3級監(jiān)控和優(yōu)化（Local、Neighborhood、Global）。負(fù)載均衡方面，Borealis提供了動態(tài)和靜態(tài)兩種部署機(jī)制。Correlation-basedOperatorDistribution通過分析不同Operators和Nodes間的負(fù)載變化的關(guān)系，決定和動態(tài)調(diào)整Operatpr的部署，使之達(dá)到負(fù)載均衡。ResilientOperatorDistributionAlgorithm該算法的目標(biāo)是提供一種靜態(tài)的Operator部署方案，該方案能夠在不需要重新調(diào)整的情況下處理最大可能的輸入速度變化范圍。由于動態(tài)調(diào)整需要時間和消耗，前者適用于負(fù)載變化持續(xù)時間較長的系統(tǒng)；而后者則能處理較快較短的負(fù)載峰值。在實(shí)現(xiàn)上前者使用相關(guān)系數(shù)作為節(jié)點(diǎn)關(guān)聯(lián)度指標(biāo)，并通過貪婪算法將NP問題轉(zhuǎn)化為多項(xiàng)式求解；而后者在部署前計算完畢，保證系統(tǒng)能夠容忍負(fù)載峰值。該算法在線性代數(shù)上建模，包括OperatorOrdering、OperatorAssignment兩個階段。Borealis通過四種容錯機(jī)制來滿足用戶需求。AmnesiaBackup備機(jī)發(fā)現(xiàn)主機(jī)故障，立即從一個空的狀態(tài)開始重做。PassiveStandby主機(jī)處理，備機(jī)待命，主機(jī)按周期做Checkpoint，主機(jī)故障后切換到備機(jī)，重放Checkpoint和數(shù)據(jù)流，對于不確定性計算可以很好地支持，缺點(diǎn)是恢復(fù)時間較長。ActiveStandby主備機(jī)同時計算，主機(jī)故障時直接切換到備機(jī)，不支持不確定性計算，浪費(fèi)計算資源，不過恢復(fù)時間幾乎沒有。UpstreamBackup通過上游備份來容錯，故障時從上游重放數(shù)據(jù)即可，恢復(fù)時間最長，不過最節(jié)省資源。除此之外，Borealis還提供了更高級的容錯機(jī)制RollbackRecovery，它是一種基于副本在節(jié)點(diǎn)失效、網(wǎng)絡(luò)失效或網(wǎng)絡(luò)分區(qū)時的故障恢復(fù)機(jī)制，在盡量減少系統(tǒng)不一致的情況下，盡可能地保證系統(tǒng)的可用性。該機(jī)制允許用戶定義一個閾值來在一致性和可用性之間做一個平衡。當(dāng)系統(tǒng)數(shù)據(jù)恢復(fù)后，系統(tǒng)支持重新計算輸出正確的結(jié)果，保證最終一致性。該機(jī)制使用了Data-serializingOperator（SUnion）來確保所有的副本處理同樣順序的數(shù)據(jù)。當(dāng)失效恢復(fù)后，通過Checkpoint/Redo、Undo/Redo來實(shí)現(xiàn)恢復(fù)重放。小結(jié) stormYahoo!S4的最新版本是Alphaversionv0.3.0，動態(tài)負(fù)載均衡和在線服務(wù)遷移等重要功能都尚未實(shí)現(xiàn)，不過其代表性的3個特點(diǎn)值得學(xué)習(xí)，Actor模式、非中心化的對稱結(jié)構(gòu)及可插入式的架構(gòu)。StreamBase是有著功能強(qiáng)大的IDE并且支持控件式的方法來搭建應(yīng)用程序，同時還提供了高級語言來搭建應(yīng)用程序的方法。由于是商業(yè)產(chǎn)品，其用戶接口的精彩設(shè)計值得借鑒，同時其可組合的HA方案也是亮點(diǎn)之一。

Borealis是學(xué)術(shù)界研究的重要產(chǎn)出，它對新一代的流式系統(tǒng)涉及的諸多方面，如系數(shù)據(jù)模型、負(fù)載管理、高可用性、可擴(kuò)展性都作了全面和翔實(shí)的研究，一方面系統(tǒng)變得強(qiáng)大、先進(jìn)，另一方面使得系統(tǒng)也變得臃腫、復(fù)雜。這套系統(tǒng)的許多策略都值得我們學(xué)習(xí)，可以應(yīng)用于不同的流式計算場景。數(shù)據(jù)服務(wù)總體描述數(shù)據(jù)服務(wù)主要解決將企業(yè)的資源信息共享出來，能夠?yàn)槠髽I(yè)服務(wù)，但是企業(yè)信息多樣化，某一個團(tuán)隊(duì)很難理解企業(yè)所有的業(yè)務(wù)信息，因此數(shù)據(jù)服務(wù)平臺提供一個開放的開發(fā)服務(wù)平臺，用戶可以在數(shù)據(jù)服務(wù)平臺創(chuàng)建相關(guān)的主題域，做與其業(yè)務(wù)相關(guān)的主題分析而無需平臺的運(yùn)維和開發(fā)人員參與。本平臺主要有數(shù)據(jù)服務(wù)層、平臺服務(wù)層和數(shù)據(jù)接入層。數(shù)據(jù)服務(wù)層主要是對外提供數(shù)據(jù)服務(wù)；平臺服務(wù)層提供對元數(shù)據(jù)的管理、數(shù)據(jù)的開發(fā)和數(shù)據(jù)服務(wù)的接口的實(shí)現(xiàn)；底層接口層因數(shù)據(jù)平臺本身不產(chǎn)生原始數(shù)據(jù)，原始數(shù)據(jù)來源于數(shù)據(jù)計算模塊，將數(shù)據(jù)計算的結(jié)果導(dǎo)入到數(shù)據(jù)平臺，數(shù)據(jù)平臺在此數(shù)據(jù)做相關(guān)的分析之后提供給用戶，或者用戶直接在此平臺做數(shù)據(jù)的開發(fā)分析。數(shù)據(jù)訪問接口目前對外提供的數(shù)據(jù)服務(wù)的方式主要有兩類：圖形表格的方式接口API的方式兩類方式服務(wù)接口針對不同的用戶使用需求，對同一份數(shù)據(jù)使用者可以通過API的方式獲取數(shù)據(jù)或者通過圖表的方式直接將相關(guān)的圖表信息嵌入到應(yīng)用之中。數(shù)據(jù)服務(wù)管理數(shù)據(jù)管理數(shù)據(jù)字典可以根據(jù)表名、字段名、表描述、字段描述快速定位到表，便于查看數(shù)據(jù)表信息，支持模糊查詢。數(shù)據(jù)申請可以通過這個頁面對數(shù)據(jù)主題進(jìn)行申請，需要填寫相關(guān)的申請目的、理由，并可以上傳PRD、MRD。目前對上傳文件格式限制是：doc，docx，ppt，pptx。同一時間，只允許提交一個申請，需要等待審核完成后（不論是否通過）才能進(jìn)行下一次的申請。申請?zhí)峤煌戤吅?，運(yùn)營人員在管理平臺，進(jìn)行審核，確定是否開放權(quán)限，給予審核意見。數(shù)據(jù)開發(fā)數(shù)據(jù)集市中的內(nèi)容多樣化，內(nèi)容從業(yè)務(wù)的角度來說是多樣的，不同的主題域有不同的分析方法和分析手段。因此在基于各個業(yè)務(wù)會有相應(yīng)的分析模型。數(shù)據(jù)開發(fā)為不同的業(yè)務(wù)分析員提供了通用的分析平臺。因此需要對開發(fā)的平臺程序進(jìn)行管理。本章節(jié)主要介紹：目錄管理、程序管理、數(shù)據(jù)庫表管理。目錄管理當(dāng)用戶登錄平臺之后，進(jìn)入數(shù)據(jù)開發(fā)模塊，用戶需要在該平臺開發(fā)程序，首先要在平臺能夠管理自己的程序，因此在本模塊提供了類似操作系統(tǒng)管理其文件的方式來管理用戶程序。在目錄管理功能部分，提供用戶能夠創(chuàng)建目錄、修改目錄名稱、刪除目錄和移動目錄的功能。創(chuàng)建目錄是在目錄結(jié)構(gòu)中增加一個新目錄。當(dāng)用戶登錄系統(tǒng)之后，用戶希望在哪里創(chuàng)建目錄，選擇進(jìn)入某個目錄，在該目錄下用戶可以創(chuàng)建新的目錄，當(dāng)前目錄與創(chuàng)建的新目錄是父子關(guān)系，創(chuàng)建目錄包括目錄的名稱。修改目錄是修改某一目錄的名稱。當(dāng)用戶登錄系統(tǒng)之后，用戶希望休改哪個目錄名稱，選擇要修改的目錄之后，可以直接修改。修改目錄僅僅修改目錄的名稱，其父目錄和包含的子目錄、文件與其關(guān)系不變。刪除目錄是刪除一個空的用戶目錄。當(dāng)用戶登錄系統(tǒng)之后，用戶選擇希望刪除的目錄，可以進(jìn)行刪除目錄操作。待刪除的目錄不能包含有文件或者子目錄，否則不允許刪除，把待刪除目錄包含的子目錄和文件移動到別的目錄下之后才能進(jìn)行刪除操作。目錄移動是將一個源目錄移動到一個目標(biāo)目錄。當(dāng)用戶登錄系統(tǒng)之后，用戶選擇希望移動的源目錄和目標(biāo)目錄之后，用進(jìn)行移動目錄操作，用戶將源目錄下的所有的子目錄和文件都移動到目標(biāo)目錄上。程序管理因?yàn)閿?shù)據(jù)服務(wù)本身能夠提供的數(shù)據(jù)功能是有限的，或者說只是能夠提供一些很通用的功能，更多的業(yè)務(wù)相關(guān)的功能需要業(yè)務(wù)開發(fā)人員來開發(fā)。因此，數(shù)據(jù)服務(wù)更多的是提供一個開放的平臺，允許用戶在該平臺做相應(yīng)的主題域的數(shù)據(jù)開發(fā)來滿足業(yè)務(wù)的需要。程序管理主要包含程序創(chuàng)建、程序刪除、程序內(nèi)容修改、程序名稱修改、程序文件移動和程序試運(yùn)行等方面在創(chuàng)建管理和試運(yùn)行改程序。程序創(chuàng)建程序創(chuàng)建是用戶根據(jù)業(yè)務(wù)的要求，創(chuàng)建某個業(yè)務(wù)主題的程序，提取與其業(yè)務(wù)相關(guān)的數(shù)據(jù)。用戶登錄系統(tǒng)之后，用戶可以選擇某個目錄，當(dāng)用戶確定要在該目錄下創(chuàng)建程序之后，用戶可以操作創(chuàng)建程序，用戶可以輸入程序的名稱和一個可以編輯程序的數(shù)據(jù)輸入框，創(chuàng)建的程序一般為比較簡單的腳本，比如：SQL腳本、groovy腳本和R語言腳本。當(dāng)用戶編輯完腳本之后，保存即完成用戶程序的開發(fā)。程序刪除程序刪除是刪除用戶已經(jīng)開發(fā)好的程序，一般程序發(fā)布之后就不能刪除了，發(fā)布作為一種契約，一旦發(fā)布成功，就同意對外提供服務(wù)了。用戶登錄系統(tǒng)之后，找到希望刪除的程序，進(jìn)行刪除操作即可以。程序內(nèi)容修改程序內(nèi)容修改是因?yàn)槌绦蛟谶\(yùn)行的過程中有bug或者是業(yè)務(wù)的變更，要求程序做相應(yīng)的修改來滿足業(yè)務(wù)的要求。用戶登錄系統(tǒng)之后，選擇某個程序之后，用戶即可以對程序進(jìn)行修改，修改完成之后保存即可。用戶對同一程序內(nèi)容的修改次數(shù)是多次的。程序名稱修改程序名稱修改是修改程序的名稱，在程序開發(fā)的時候給程序起名，但是在后來的業(yè)務(wù)討論的過程中發(fā)現(xiàn)該程序名并不能準(zhǔn)確的表達(dá)該程序?qū)嶋H的功能，因此需要修改該程序名稱。當(dāng)用戶登錄到該平臺之后，找到要修改的程序之后，可以直接修改其名稱。在同一個目錄下不能有相同的文件名稱。程序文件移動程序文件移動是為了程序管理的方便，程序文件能夠移動到不通的目錄下。當(dāng)用戶登錄到平臺之后，用戶選著要移動的文件然后將其移動到目標(biāo)目錄上即可。程序執(zhí)行是程序開發(fā)完成之后，可以隨時執(zhí)行，但是這個執(zhí)行需要人工觸發(fā)才能執(zhí)行。當(dāng)用戶登錄到平臺之后，用戶選擇其要執(zhí)行的文件，觸發(fā)該文件的執(zhí)行操作即可。數(shù)據(jù)表管理數(shù)據(jù)表在整個數(shù)據(jù)服務(wù)平臺中為用戶提供一個自己建模的工具，為用戶