統(tǒng)一數據交換平臺[稻谷書屋]

1、 項目總體概述項目總體概述 統(tǒng)一數據交換平臺內核采用AMQ4.1.1，服 務器容器完全兼容Tomcat、Weblogic，JAVA 虛擬機要求1.5以上版本?？蛻舳四壳爸С?JAVA、C和C+三種協(xié)議，是一個高效的、 可管理的數據交換平臺。 2實用參考 交換平臺設計框架圖交換平臺設計框架圖 核 心 交 換 模 塊 接口1 用 戶 界 面 業(yè)務應 用1 核心 交換 區(qū) 接 口 區(qū) 客 戶 區(qū) . . . 業(yè)務應 用2 業(yè)務應 用N . . . 接口2接口N 配置管理 監(jiān)控系統(tǒng) 安全管理 日志管理 管 理 功 能 模 塊 3實用參考 系統(tǒng)特點 n管理方式靈活： n 管理模式采用集中和分布式管理相結

2、合，上級節(jié)點可以 管理和監(jiān)控下級節(jié)點；各級節(jié)點也可以管理和監(jiān)控本節(jié)點。 n路由可配置： n 可以通過復合隊列配置多種路由形式，支持一個消息既 路由，又不影響偵聽的路由模式。 n接口封裝優(yōu)化： n 對外接口將消息隊列的協(xié)議和錯誤處理等復雜細節(jié)優(yōu)化 封裝，實現消息傳輸的穩(wěn)定性最大限度地和業(yè)務系統(tǒng)剝離。 n跨平臺特性： n系統(tǒng)采用java開發(fā)，可以兼容主流的軟硬件平臺以及J2EE 中間件，同時也兼容各種主流的數據庫產品。 4實用參考 核心交換接口描述 n1 支持多種數據交換方式 n（1）同步請求/回答方式: 適合客戶端向服務器端可靠的 發(fā)送關鍵數據 n（2）異步請求/回答方式: 適合客戶端向服務器實

3、時發(fā)送 非關鍵數據 n（3）對話方式: 適合長時間在客戶端和服務器之間相互發(fā) 送大量數據 n（4）廣播通知方式: 適合服務器端向多個客戶端單向發(fā)送 消息。 n（5）管道方式: 適合多服務器端逐級傳送消息，對于區(qū)域 中心要在實現管道的同時，保存消息隊列到數據庫中。 n（6）隊列方式: 適合網絡環(huán)境較差情況下發(fā)送數據發(fā)布訂 閱方式: 適合服務器端向多個客戶端單向發(fā)送數據。 5實用參考 n2數據傳輸優(yōu)先權管理和訪問路由 n數據傳輸優(yōu)先權管理是統(tǒng)一數據交換平臺 提供的另一個核心能力。某一服務請求經 常需要比其他服務更高的優(yōu)先權。例如， 同步數據的優(yōu)先級要比異步數據的優(yōu)先級 高，對大多數需要傳輸的數據來

4、說，要盡 可能的優(yōu)先滿足同步數據的傳輸。 n3大容量數據傳輸支持（大于1G） 6實用參考 n4斷點續(xù)傳 n網絡中傳輸數據，網絡的短暫中斷不可避免，統(tǒng) 一數據交換平臺通過緩存、存取、數據源管理來 保障數據傳輸的時效性，穩(wěn)定性，安全性。即使 出現網絡中斷，統(tǒng)一數據交換平臺也能在一定范 圍內保證數據不被丟失，并在網絡恢復后，在有 硬件支持的情況下可斷點續(xù)傳N小時以前的數據, 對未傳輸的數據，在保證相關實時數據可靠穩(wěn)定 傳輸的情況下，根據優(yōu)先級和不同的策略重新傳 輸，并保證數據傳輸不重復。 7實用參考 n5壓縮傳輸 n6生命周期控制 n網絡中傳輸數據，網絡的短暫中斷不可避免，統(tǒng) 一數據交換平臺通過緩存

5、、存取、數據源管理來 保障數據傳輸的時效性，穩(wěn)定性，安全性。即使 出現網絡中斷，統(tǒng)一數據交換平臺也能在一定范 圍內保證數據不被丟失，并在網絡恢復后，在有 硬件支持的情況下可斷點續(xù)傳N小時以前的數據, 對未傳輸的數據，在保證相關實時數據可靠穩(wěn)定 傳輸的情況下，根據優(yōu)先級和不同的策略重新傳 輸，并保證數據傳輸不重復。 8實用參考 管理功能描述 n1. 服務配置管理 n設置核心交換接口的各種參數，管理消息隊列，保證數 據交換平臺的靈活性，穩(wěn)定性和效率性 n2.服務管理： n控制數據交換平臺的啟動停止，并且可以查看信息服務 器的狀態(tài)信息，例如服務器類型，服務器ip，數據庫信 息，cpu使用率，內存使用

6、率，硬盤剩余空間等等。 n3.帳號管理： n系統(tǒng)管理員知對本系統(tǒng)的管理員帳號，進行管理。包括 帳號的增刪改。 9實用參考 n4.實時監(jiān)控管理，報警： n查看系統(tǒng)運行的狀態(tài)，查看實時消息隊列。 n查看各種日志信息，過濾出錯日志。 n啟動報警機制：例如email通知，手機提醒。 n5.日志管理： n系統(tǒng)自動記錄歷史數據傳輸日志，歷史維護日志 以及升級日志。提供日志下載的功能。 。 n6.信息統(tǒng)計： n信息統(tǒng)計：分類統(tǒng)計數據傳輸信息 n7.集中管理監(jiān)控： n統(tǒng)一交換平臺支持國家中心和區(qū)域中心的集中管 理以及監(jiān)控 10實用參考 系統(tǒng)流程圖 國家中心 AMQ 臺站 AMQ 區(qū)域中心 AMQ 管理，接受消

7、息 區(qū)域中心 AMQ 1.n 管理，接受消息 1.n 臺站 AMQ 管理，接受消息 1.n 發(fā)消息 發(fā)消息 管理，接受消息 11實用參考 數據交換平臺部署圖數據交換平臺部署圖 12實用參考 使用說明使用說明 n1.1系統(tǒng)配置系統(tǒng)配置 系統(tǒng)配置的功能分為：節(jié)點管理、數據庫管理、 服務管理和報警策略。 n1.1.1節(jié)點管理節(jié)點管理 在節(jié)點管理里，可以配置本級節(jié)點的基本屬性及 其上級節(jié)點的管理信息，作為管理節(jié)點，也可以 在這個模塊中監(jiān)控下屬節(jié)點的工作狀態(tài)，配置其 基本節(jié)點屬性。 13實用參考 節(jié)點屬性節(jié)點屬性 參數名參數名說說 明明 本級節(jié)點屬性本級節(jié)點屬性 節(jié)點名稱該節(jié)點的名稱，可以用中文表示 節(jié)

8、點標識該節(jié)點的表示，全網唯一，不能用全角 心跳間隔向上級節(jié)點發(fā)送心跳信息的時間間隔，以秒為單位 自動升級系統(tǒng)是/否采用自動升級機制 上級節(jié)點屬性上級節(jié)點屬性 節(jié)點IP上級節(jié)點的IP，如果是多個，用半角的“,”隔開 HTTP端口上級節(jié)點的HTTP服務端口 JMS端口上級節(jié)點的JMS服務端口（本地節(jié)點向該節(jié)點以UDP方式發(fā)送心跳信息） 1 參數說明參數說明 節(jié)點管理的參數說明如下表4所示： 表4 節(jié)點管理的參數說明 14實用參考 2 配置界面配置界面節(jié)點管理節(jié)點管理 本地節(jié)點管理的配置界面如下圖5 和圖6 所示： 圖5 本地節(jié)點管理配置界面1 15實用參考 圖6 下級節(jié)點視圖 在下級節(jié)點視圖中，可

9、以實時監(jiān)控所有該節(jié)點的下級節(jié)點的工作狀態(tài)。 16實用參考 n1.1.2數據庫管理數據庫管理 數據庫管理模塊配置持久化消息的存儲格式，系統(tǒng)運行后 更改其參數，會造成隊列中已有的消息丟失。 n1. 參數說明參數說明 數據庫管理參數表如下表5 所示： 數據庫管理數據庫管理 參數名參數名說明說明 數據庫類型持久化消息存儲形式，系統(tǒng)內置“文件形式”、“Mysql”、“Oracle”、 “Derby”，其中“文件形式”為缺省方式 數據標識對應不同的數據庫類型，不可更改。 表5 數據庫管理參數表 17實用參考 數據庫配置界面如下圖7 所示： 2 配置界面配置界面數據管理數據管理 圖7 數據庫配置界面 不同類

10、型的數據庫，其配置參數不同，圖上所示為Oracle的標準JDBC配置參數。 18實用參考 n1.1.3服務管理服務管理 n服務管理是系統(tǒng)配置的核心部分，每一個節(jié)點可以配置多 個服務；每一個服務可以配置多個連接方式和相應隊列。 n1. 參數說明參數說明 服務管理的參數說明如下表6 所示： 服務管理服務管理 參數名參數名說明說明 基本參數基本參數 服務名稱該服務的名稱，用英文表示 啟動時清空消息是否在系統(tǒng)啟動時清空隊列中的所有的消息。 持久化消息是否持久化消息 數據路徑如果是文件形式持久化消息，則應設置其路徑 數據源名稱數據源的beanId，對應于數據庫設置中的beanid 表6 服務管理參數表

11、在基本參數中可設置服務的名稱，是否持久化，數據源名稱，數據路徑等參數， 輸入后點擊“添加”即可添加新的服務，也可點擊“修改”保存修改的服務。 19實用參考 服務管理配置界面如下圖8 所示 圖8 服務管理配置界面 2. 配置界面配置界面服務管理服務管理 n在服務管理界面可以對本節(jié)點以及下屬節(jié)點的服務進行管 理和監(jiān)控。針對一個節(jié)點，可以新建、修改、刪除某一個 服務。 n對于某一個節(jié)點里具體的某項服務內容，點擊該服務名內 容可以設定該服務名的參數。這些參數包括:基本參數、 傳輸設置、物理隊列、復合隊列、路由設置、隊列策略。 n需選中服務的單選按鈕，再點擊啟動即可使設置生效。 20實用參考 n在服務管

12、理界面可以對本節(jié)點以及下屬節(jié)點的服務進行管 理和監(jiān)控。針對一個節(jié)點，可以新建、修改、刪除某一個 服務。 n對于某一個節(jié)點里具體的某項服務內容，點擊該服務名內 容可以設定該服務名的參數。這些參數包括:基本參數、 傳輸設置、物理隊列、復合隊列、路由設置、隊列策略。 n需選中服務的單選按鈕，再點擊啟動即可使設置生效。 21實用參考 基本參數設置如下圖9 所示： 圖9 服務管理界面基本參數 22實用參考 傳輸參數設置如下圖10 所示： 圖10 服務管理界面?zhèn)鬏攨翟O置 23實用參考 對于每一個服務，可以設置若干連接，目前可以支持的協(xié)議分為：Tcp、Stomp、 Udp三種,而Tcp是最常用的，也是完全

13、可以滿足業(yè)務需求的一種協(xié)議。 物理隊列參數設置如下圖11所示： 圖11 服務管理界面物理隊列 通過這一參數設置可以增加修改該服務的消息隊列，每一個消息隊列可以設置日志級 別；對應文件形式傳輸的隊列，建議單獨使用一個隊列。 24實用參考 復合隊列的參數設置如下圖12 所示： 圖12 服務管理界面復合隊列 復合隊列是物理隊列的集合。一個復合隊列，可以包括多個物理隊列；當消 息到達該復合隊列時，服務器將自動將該消息路由到物理隊列里。物理隊列可以 使用選擇器對接收的消息進行篩選。 25實用參考 路由設置的參數設置如下圖13 所示： 圖13 服務管理界面路由設置 通過這一參數設置可以設置到達本地節(jié)點的某

14、一個隊列的消息，自動路由 到目標隊列中。 設置服務管理的任意一項，設置后點擊頂端的返回可回到服務的列表頁面，此 時若要使設置后的服務生效，需點擊啟動可重啟服務使設置生效。 26實用參考 n1.1.4報警策略報警策略 為了在過量負載情況下仍然保證系統(tǒng)的可靠性。當出現系 統(tǒng)沒有可用空間或沒有可用內存的情況時，平臺就會采用 報警策略，同時自動放棄，而不是重試使情況變得更糟。 n1. 參數說明參數說明 報警策略的參數說明如下表7所示： 報警策略報警策略 參數名參數名說明說明 報警閥值報警閥值 硬盤剩余空間小于當硬盤剩余空間小于某一個值時觸發(fā)報警 內存使用大于當內存使用大于某一個值時觸發(fā)報警 CPU占用

15、大于當CPU占用大于某一個值時觸發(fā)報警 報警策略報警策略 短消息使用短消息報警，需填寫手機號碼（需要網絡支持） 電子郵件使用電子郵件報警，需填寫郵件地址（需要網絡支持） 重新啟動強制重新啟動 表7 報警參數說明 27實用參考 2. 配置界面配置界面報警管理報警管理 報警的配置如下圖14 所示： 圖14 報警策略配置 28實用參考 n1.2帳號管理帳號管理 n1.2.1操作說明：操作說明： 統(tǒng)一數據交換平臺將分兩個角色：系統(tǒng)管理員和普通管理 員。只有系統(tǒng)管理員登陸，才能顯示如圖 所示的界面， 普通管理員是無法看到該界面的。統(tǒng)一數據交換平臺通過 帳號管理可以添加刪除修改本系統(tǒng)下的所有系統(tǒng)管理員和

16、普通管理員的帳號和密碼。 n1.2.2帳號管理頁面帳號管理頁面 帳號管理頁面如下圖15 所示： 圖15 帳號管理 29實用參考 n1.2.3實時監(jiān)控實時監(jiān)控 數據交換平臺能夠通過管理工具的實時監(jiān) 控功能監(jiān)控和控制數據交換過程。所有的 實時信息又分為實時的系統(tǒng)信息和實時的 消息信息兩大類。 n1.3 實時系統(tǒng)信息實時系統(tǒng)信息 n1.3.1 操作說明：操作說明： 通過實時監(jiān)控，將集中顯示主節(jié)點及其子 節(jié)點的所有的實時系統(tǒng)信息。 n1.3.2 實時系統(tǒng)信息頁面：實時系統(tǒng)信息頁面： 30實用參考 圖16 實時系統(tǒng)信息 系統(tǒng)的實時系統(tǒng)信息頁面將提供如下圖16 所示的信息： 31實用參考 n1.4 實時消

17、息信息實時消息信息 n1.4.1 操作說明：操作說明： n通過實時監(jiān)控，將集中顯示主節(jié)點及子節(jié) 點的消息信息，點查看按鈕，會在本頁面 列出所有發(fā)送過的消息對列，點擊顯示消 息隊列的按鈕，還會把此隊列下的所有消 息顯示出來。 n1.4.2 實時消息信息頁面：實時消息信息頁面： 32實用參考 實時消息信息頁面如下圖17 所示： 圖17 實時消息信息頁面 33實用參考 點擊圖 中的“查看”，該頁會出現對應的消息隊列信息，如下圖18 所示： 圖18 對應的消息隊列信息 34實用參考 點擊消息隊列中的隊列名稱，又會在該頁出現具體的消息列表，如下圖19所示： 圖19 具體的消息列表信息 35實用參考 n1

18、.5日志管理日志管理 n數據交換平臺提供各種日志，分別幫助用戶跟蹤、 分析、調試應用系統(tǒng)和方便地進行運行審計，并 在系統(tǒng)出現故障時可以快速地進行運行故障定位。 日志統(tǒng)計分析功能提供用戶在各個部署點查看一 段時間內本部署點上交換平臺所處理的數據的各 種信息。通過對日志信息的綜合統(tǒng)計分析，提供 給平臺管理員或普通用戶關于平臺運行狀態(tài)的直 觀信息。數據交換平臺提供了以下三種日志： （1） 歷史日志； （2）日常維護日志 （3）升級日志 36實用參考 n1.5.1 歷史日志：歷史日志： n傳輸歷史日志是根據數據種類、收發(fā)地址等記錄 數據交換的日志。 n 操作說明：操作說明： n點擊歷史日

19、志，會出現本系統(tǒng)和子系統(tǒng)的日志查 詢頁面，選擇查詢條件，點擊查詢，該頁面會出 現查詢結果。 n歷史日志頁面：歷史日志頁面： 37實用參考 歷史日志查詢頁面如下圖20 所示： 圖20 日志查詢頁面 38實用參考 在該查詢頁面中點擊“確定”后，會出現查詢結果頁面，如下圖21 所示： 圖21 查詢結果頁面 39實用參考 n1.5.2 日常維護日志：日常維護日志： n日常維護日志是記錄統(tǒng)一數據交換平臺日 常維護信息的日志。 n日常維護日志操作說明：日常維護日志操作說明： n點擊日常維護日志，會出現本系統(tǒng)和子系 統(tǒng)的日志查詢頁面，選擇查詢條件，點擊 查詢，本頁面會出現查詢結果

20、。 40實用參考 n日常維護日志頁面：日常維護日志頁面： n日常維護日志查詢頁面如下圖22 所示： 圖22 日常維護日志查詢頁面 41實用參考 在該頁面中點擊“確定”后，會出現日常維護日志查詢結果頁面，如下圖23所示： 圖23 日常維護日志查詢結果頁面 42實用參考 n1.5.3 升級日志：升級日志： n升級日志包括本地升級的記錄和下載新的版本升級本地以 及升級服務器設置。 n升級日志操作說明：升級日志操作說明： 點擊升級日志就會出現如圖24 所示的升級日志頁面 圖24 升級日志頁面 43實用參考 n若是國家中心已發(fā)布新的版本，在此頁面 可選中要升級版本，點擊“下載

21、升級包” 會彈出一個確認的對話框，選擇“是”， 開始下載升級包，進入如圖25 下載完成的 頁面。 n在此頁面中已告訴您一些注意事項，你可 通過提示的命令參數來關閉服務器和關閉 進程。在最下邊列出的是你在升級時所要 使用的命令腳本，你可通過更新腳本來升 級您的系統(tǒng)。 n點擊復制可將命令腳本復制到剪切板中。 點擊返回則回到圖24升級日志頁面。 44實用參考 圖25 升級下載完成頁面 點擊“刪除”可刪除選中的本地版本，點擊設置進入如圖25 所示的升級服務器設置頁面。 45實用參考 圖25 升級信息頁面 46實用參考 在此您可填寫遠程升級服務器信息和本地服務器信息為升級做好提前設置。在此您可填寫遠程升

22、級服務器信息和本地服務器信息為升級做好提前設置。 升級服務器設置升級服務器設置 參數名參數名說明說明 遠程升級服務器遠程升級服務器 服務器地址遠程升級服務器的IP地址 服務器端口遠程升級服務器所用的HTTP端口 升級路徑遠程升級服務器的項目系統(tǒng)所在根目錄 本地服務器本地服務器 系統(tǒng)ID為本地服務器系統(tǒng)定義的ID號 系統(tǒng)名稱本地服務器系統(tǒng)的名稱 系統(tǒng)IP本地的IP地址 管理員姓名本地服務器的管理員 郵件地址管理員的郵件地址 聯系電話管理員聯系電話 47實用參考 n1.5.4升級管理升級管理 n升級管理操作說明：升級管理操作說明： n升級管理頁面如圖26列出了現有的版本信息。 圖26 升級管理頁面 48實用參考 n點擊“初始化版本”可生成一個最初的版本，并 將以前的所有版本刪除。 n在對應的版本上點擊“發(fā)布”可發(fā)布此版本及此 版本以前的版本，此時狀態(tài)已變成“已發(fā)布”， 操作變成了“取消發(fā)布”，并在區(qū)域中心升級日 志