大數(shù)據(jù)接口技術比較

1、系統(tǒng)接口規(guī)范以及常見的接口技術概述一、基本要求：為了保證系統(tǒng)的完整性和健壯性，系統(tǒng)接口應滿足下列基本要求：1. 接口應實現(xiàn)對外部系統(tǒng)的接入提供企業(yè)級的支持，在系統(tǒng)的高并發(fā)和大容量的基礎上提供安全可靠的接入；2. 提供完善的信息安全機制，以實現(xiàn)對信息的全面保護，保證系統(tǒng)的正常運行，應防止大量訪問，以及大量占用資源的情況發(fā)生，保證系統(tǒng)的健壯性；3. 提供有效的系統(tǒng)的可監(jiān)控機制，使得接口的運行情況可監(jiān)控，便于及時發(fā)現(xiàn)錯誤及排除故障；4. 保證在充分利用系統(tǒng)資源的前提下，實現(xiàn)系統(tǒng)平滑的移植和擴展，同時在系統(tǒng)并發(fā)增加時提供系統(tǒng)資源的動態(tài)擴展，以保證系統(tǒng)的穩(wěn)定性；5. 在進行擴容、新業(yè)務擴展時，應能提供快

2、速、方便和準確的實現(xiàn)方式。二、接口通訊方式： 接口基本采用了同步請求/應答方式、異步請求/應答方式、會話方式、廣播通知方式、事件訂閱方式、可靠消息傳輸方式、文件傳輸?shù)韧ㄓ嵎绞剑?. 同步請求/應答方式：客戶端向服務器端發(fā)送服務請求，客戶端阻塞等待服務器端返回處理結果；2. 異步請求/應答方式：客戶端向服務器端發(fā)送服務請求，與同步方式不同的是，在此方式下，服務器端處理請求時，客戶端繼續(xù)運行；當服務器端處理結束時返回處理結果；3. 會話方式：客戶端與服務器端建立連接后，可以多次發(fā)送或接收數(shù)據(jù)，同時存儲信息的上下文關系；4. 廣播通知方式：由服務器端主動向客戶端以單個或批量方式發(fā)出未經(jīng)客戶端請求的廣

3、播或通知消息，客戶端可在適當?shù)臅r候檢查是否收到消息并定義收到消息后所采取的動作；5. 事件訂閱方式：客戶端可事先向服務器端訂閱自定義的事件，當這些事件發(fā)生時，服務器端通知客戶端事件發(fā)生，客戶端可采取相應處理。事件訂閱方式使客戶端擁有了個性化的事件觸發(fā)功能，極大方便了客戶端及時響應所訂閱的事件；6. 文件傳輸：客戶端和服務器端通過文件的方式來傳輸消息，并采取相應處理；7. 可靠消息傳輸：在接口通訊中，基于消息的傳輸處理方式，除了可采用以上幾種通訊方式外，還可采用可靠消息傳輸方式，即通過存儲隊列方式，客戶端和服務器端來傳輸消息，采取相應處理。三、接口安全要求： 為了保證系統(tǒng)的安全運行，各種接口方式

4、都應該保證其接入的安全性。 接口的安全是系統(tǒng)安全的一個重要組成部分。保證接口的自身安全，通過接口實現(xiàn)技術上的安全控制，做到對安全事件的“可知、可控、可預測”，是實現(xiàn)系統(tǒng)安全的一個重要基礎。 根據(jù)接口連接特點與業(yè)務特色，制定專門的安全技術實施策略，保證接口的數(shù)據(jù)傳輸和數(shù)據(jù)處理的安全性。 系統(tǒng)應在接入點的網(wǎng)絡邊界實施接口安全控制。 接口的安全控制在邏輯上包括：安全評估、訪問控制、入侵檢測、口令認證、安全審計、防惡意代碼、加密等內容。四、傳輸控制要求： 傳輸控制利用高速數(shù)據(jù)通道技術實現(xiàn)把前端的大數(shù)據(jù)量并發(fā)請求分發(fā)到后端，從而保證應用系統(tǒng)在大量客戶端同時請求服務時，能夠保持快速、穩(wěn)定的工作狀態(tài)。 系統(tǒng)

5、應采用傳輸控制手段降低接口網(wǎng)絡負擔，提高接口吞吐能力，保證系統(tǒng)的整體處理能力。具體手段包括負載均衡、伸縮性與動態(tài)配置管理、網(wǎng)絡調度等功能：1、 負載均衡：為了確保接口服務吞吐量最大，接口應自動地在系統(tǒng)中完成動態(tài)負載均衡調度；2、 伸縮性與動態(tài)配置管理：由系統(tǒng)自動伸縮管理方式或動態(tài)配置管理方式實現(xiàn)隊列管理、存取資源管理，以及接口應用的恢復處理等；3、 網(wǎng)絡調度：在雙方接口之間設置多個網(wǎng)絡通道，實現(xiàn)接口的多數(shù)據(jù)通道和容錯性，保證當有一網(wǎng)絡通道通訊失敗時，進行自動的切換，實現(xiàn)接口連接的自動恢復。五、接口技術：5.1 J2EE/EJB5.1.1. 技術描述 Enterprise JavaBean (E

6、JB) 是可重用的、可移植的 J2EE 組件。EJB 包括三種主要類型：會話 bean、實體 bean和消息驅動的bean。會話bean執(zhí)行獨立的、解除耦合的任務，譬如檢查客戶的信用記錄。實體bean是一個復雜的業(yè)務實體，它代表數(shù)據(jù)庫中存 在的業(yè)務對象。消息驅動的bean用于接收異步JMS 消息。 EJB 由封裝業(yè)務邏輯的方法組成，眾多遠程和本地客戶端可以調用這些方法。另外，EJB 在容器里運行，這樣開發(fā)人員只要關注bean里面的業(yè)務邏輯，不必擔心復雜、容易出錯的問題，譬如事務支持、安全性和遠程對象訪問、高速緩存和并發(fā)等。在 EJB規(guī)范中，這些特性和功能由EJB容器負責實現(xiàn)。容器和服務提供者實

7、現(xiàn)了EJB的基礎構造，這些基礎構造處理了EJB的分布式、事務管理、安全性等內容。EJB規(guī)范定義了基礎構造和Java API的為了適應各種情況的要求，而沒有指定具體實現(xiàn)的技術、平臺、協(xié)議。 EJB的上層的分布式應用程序是基于對象組件模型的，低層的事務服務用了API技術。EJB技術簡化了用JAVA語言編寫的企業(yè)應用系統(tǒng)的開發(fā)、配置和執(zhí)行。5.1.2. 技術特點優(yōu)點：基于規(guī)范的平臺，不受限于特定的操作系統(tǒng)或硬件平臺；基于組件體系結構，簡化了復雜組件的開發(fā)；提供對事務安全性以及持續(xù)性的支持；支持多種中間件技術。缺點：與特定于某個操作系統(tǒng)或平臺的實現(xiàn)技術相比，性能還有待進一步提高，且資源占用量較大。5.

8、2 Web Service5.2.1. 技術描述 Web Service是一種自包含、模塊化的應用，是基于網(wǎng)絡的、分布式的模塊化組件，它執(zhí)行特定的任務，遵守具體的技術規(guī)范，這些規(guī)范使Web Service能與其它兼容的組件進行互操作?？梢栽诰W(wǎng)絡上(一般是Internet)上被描述、發(fā)布、定位和調用。 Web Service體系主要由以下三部分組成：傳輸協(xié)議、服務描述和服務發(fā)現(xiàn)，由一系列標準組成，主要有：XML（可擴展的標記語言）、SOAP（簡單對象訪問協(xié)議）等。 上圖顯示了Web Service（中央）、客戶端軟件應用程序（左側）及其使用的資源（包括數(shù)據(jù)庫、其它Web Service等）（右側

9、）之間的關系。Web Service通過使用標準協(xié)議（如 HTTP）交換XML消息來與客戶端和各種資源進行通信。在Web Server上部署Web Service后，由Web Server負責將傳入的XML消息路由到Web Service。Web Service 將導出 WSDL 文件，以描述其接口，其它開發(fā)人員可以使用此文件來編寫訪問此Web Service的組件。5.2.2. 技術特點 Web Service使用標準技術，應用程序資源在各網(wǎng)絡上均可用。因為Web Service基于HTTP 、XML和SOAP等標準協(xié)議，所以即使以不同的語言編寫并且在不同的操作系統(tǒng)上運行，它們也可以進行通信

10、。因此，Web Service適用于網(wǎng)絡上不同系統(tǒng)的分布式應用。優(yōu)點：適用于網(wǎng)絡上不同系統(tǒng)的分布式應用、標準性好、擴展性好、耦合度低；內容由標準文本組成，任何平臺和程序語言都可以使用；格式的轉換基本不受限制，可以滿足不同應用系統(tǒng)的需求。缺點：當XML內容較大時，解釋程序的執(zhí)行效率較低，一般不適合用于實現(xiàn)大批量數(shù)據(jù)交互的接口。5.2 交易中間件5.3.1. 技術描述 交易中間件是專門針對聯(lián)機交易處理系統(tǒng)而設計的。聯(lián)機交易處理系統(tǒng)需要處理大量并發(fā)進程，涉及到操作系統(tǒng)、文件系統(tǒng)、編程語言、數(shù)據(jù)通訊、數(shù)據(jù)庫系統(tǒng)、系統(tǒng)管理、應用軟件等多個環(huán)節(jié)，采用交易中間件技術可以簡化操作。交 易中間件是一組程序模塊，

11、用以減少開發(fā)聯(lián)機交易處理系統(tǒng)所需的編程量。X/OPEN組織專門定義了分布式交易處理的標準及參考模型，把一個聯(lián)機交易系統(tǒng)劃 分成資源管理（RM）、交易管理（TM）和應用（AP）三部分，并定義了應用程序、交易管理器、多個資源管理器是如何協(xié)同工作的。資源管理器是指數(shù)據(jù)庫和 文件系統(tǒng)，交易管理器可歸入交易中間件。5.3.2. 技術特點優(yōu)點：開放的體系結構，滿足大用戶量與實時性的要求，提供交易的完整性、控制并發(fā)、交易路由和均衡負載的管理。缺點：處理大數(shù)據(jù)量交易效率不高。5.4. 消息中間件5.4.1. 技術描述 基于消息中間件的接口機制主要通過消息傳遞來完成系統(tǒng)之間的協(xié)作和通信。通 過消息中間件把應用擴

12、展到不同的操作系統(tǒng)和不同的網(wǎng)絡環(huán)境。通過使用可靠的消息隊列，提供支持消息傳遞所需的目錄、安全和管理服務。當一個事件發(fā)生時，消 息中間件通知服務方應該進行何種操作。其核心安裝在需要進行消息傳遞的系統(tǒng)上，在它們之間建立邏輯通道，由消息中間件實現(xiàn)消息發(fā)送。消息中間件可以支持同 步方式和異步方式，實際上是一種點到點的機制，因而可以很好的適用于面向對象的編程方式。消息中間件可以保證消息包傳輸過程的正確、可靠和及時。 消息中間件提供以下基本功能：消息隊列、觸發(fā)器、信息傳遞、數(shù)據(jù)格式翻譯、安全性控制、數(shù)據(jù)廣播、錯誤恢復、資源定位、消息及請求的優(yōu)先級設定、擴展的調試功能等。5.4.2. 技術特點 消息中間件能

13、夠在任何時刻將消息進行傳送或者存儲轉發(fā)，不會占用大量的網(wǎng)絡帶寬，可以跟蹤事務，并且通過將事務存儲到磁盤上實現(xiàn)網(wǎng)絡故障時系統(tǒng)的恢復。優(yōu)點：為不同的企業(yè)應用系統(tǒng)提供了跨多平臺的消息傳輸；除支持同步傳輸模式外，還支持異步傳輸，有助于在應用間可靠地進行消息傳輸。缺點：與其它中間件技術一樣，存在高流量的性能瓶頸問題。5.5. SOCKET5.5.1. 技術描述 Socket（套接字）用于描述IP地址和端口。應用程序通過Socket向網(wǎng)絡發(fā)出請求或應答網(wǎng)絡請求。 Socket 使用客戶/服務器模式，服務端有一個進程（或多個進程）在指定的端口等待客戶來連接，服務程序等待客戶的連接信息，一旦連接上之后，就可以

14、按設計的數(shù)據(jù)交 換方法和格式進行數(shù)據(jù)傳輸。客戶端在需要的時刻發(fā)出向服務端的連接請求，然后發(fā)送服務申請消息包，服務端向客戶端返回業(yè)務接口服務處理結果消息包。5.5.2. 技術特點 此類接口不需要其它軟件支持，只要接口雙方做好相關約定（包括IP地址、端口號、包的格式）即可；包的格式?jīng)]有統(tǒng)一標準，可以隨意定義。優(yōu)點：實現(xiàn)簡單、性能高。缺點：標準性差、擴展性差。5.6. CORBA5.6.1. 技術描述 CORBA即公共對象請求代理體系結構，是一個具有互操作性和可移植性的分布式面向對象的應用標準。 CORBA 標準主要分為3個層次：對象請求代理、公共對象服務和公共設施。最底層是ORB（對象請求代理），

15、規(guī)定了分布對象的定義（接口）和語言映射，實現(xiàn)對象間的 通訊和互操作，是分布對象系統(tǒng)中的“軟總線”；在 ORB之上定義了很多公共服務，可以提供諸如并發(fā)服務、名字服務、事務（交易）服務、安全服務等各種各樣的服務, 同時ORB也負責尋找適于完成這一工作的對象，并在服務器對象完成后返回結果；最上層的公共設施則定義了組件框架，提供可直接為業(yè)務對象使用的服務，規(guī)定 業(yè)務對象有效協(xié)作所需的協(xié)定規(guī)則。 客戶將需要完成的工作交給ORB，由ORB決定由哪一個對象實例完成這個請求，然后激活這個對象，將完成請求所 需要的參數(shù)傳送給這個激活的對象。除了客戶傳送參數(shù)的接口外，客戶不需要了解其它任何信息，不必關心服務器對象

16、的與服務無關的接口信息，這就大大簡化了客 戶程序的工作。ORB需要提供在不同機器間應用程序間的通信，數(shù)據(jù)轉換，并提供多對象系統(tǒng)的無縫連接。5.6.2. 技術特點 CORBA具有模型完整，獨立于系統(tǒng)平臺和開發(fā)語言，被支持程度廣泛的特點。優(yōu)點：以一種中間件的方式為不同編程語言提供協(xié)同工作的可能；對操作系統(tǒng)沒有特殊的要求和依賴；與主流的體系架構（如J2EE）關系密切。當需要集成的兩個企業(yè)應用軟件互為異構，由不同的編程語言實現(xiàn)時（如Java與C+），CORBA可以實現(xiàn)兩種語言的協(xié)同工作。 缺點：龐大而復雜，并且技術和標準的更新相對較慢；性能與具體業(yè)務實現(xiàn)有關。5.7. 文件5.7.1. 技術描述 文件

17、接口定義了服務端與客戶端文件存放路徑、文件名命名規(guī)則和文件格式，并開放相應的讀/寫操作權限。接口的通訊過程包括三種： 同一主機內可以共享一個路徑；l服務器端向客戶端開放路徑，客戶端定時查看此路徑下是否有新的文件，可以采用FTP等方式取走服務端開放的路徑下的文件；l客戶端向服務器端開放路徑，由服務端將文件寫入，客戶端定時查看此路徑下是否有新的文件。l網(wǎng)絡傳輸方式應支持對通信機的IP地址、帳戶、口令、存取目錄的驗證。接口應支持以下主流網(wǎng)絡協(xié)議：FTP、FTAM等。數(shù)據(jù)傳輸應支持： 實時、高效和安全可靠地傳送批量數(shù)據(jù)；l 斷點續(xù)傳功能；l 數(shù)據(jù)壓縮傳輸；l 傳輸過程中的差錯控制。l5.7.2. 技術特點優(yōu)點：文件接口不需要其它軟件支持，只要接口雙方約定好路徑、格式、處理方式即可，實現(xiàn)簡單、傳輸批量數(shù)據(jù)效率較高。缺點：格式?jīng)]有統(tǒng)一標準，標準性差；需要開放文件系統(tǒng)權限，安全性差。5.8. 過程調用和共享數(shù)據(jù)表5.8.1. 技術描述 過程調用和共享數(shù)據(jù)表技術實現(xiàn)了服務端向客戶端開放可直接調用的過程和可直接進行讀寫操作的共享數(shù)據(jù)表，客戶端直接調用服務端過程和對共享數(shù)據(jù)表進行讀寫操作。 接口支持各種數(shù)據(jù)庫連接方式，如Login、DB Link等。接口的通訊過程包括兩種： 客戶端直接調用