交易系統(tǒng)架構(gòu)設(shè)計(jì)——挑戰(zhàn)與實(shí)施

1、挑戰(zhàn)與實(shí)踐證券交易系統(tǒng)架構(gòu)設(shè)計(jì)參上交所交易系統(tǒng)介紹0交易系統(tǒng)技術(shù)架構(gòu)0挑戰(zhàn)及解決之道0交易系統(tǒng)的未來上交所交易系統(tǒng)介紹發(fā)展歷史1990年笛月26日成立，同年12月19日正式營業(yè)。發(fā)展歷史上交所1990.12.19開業(yè)第-夭即采用電子撮令系統(tǒng)每秒處幾3筆,月處猊2萬筆1993.1 采用衛(wèi)里廣揄 雙向衛(wèi)里按收訂單1992.12系統(tǒng)升級(jí)，采用UNIX小型機(jī)專秒200筆，n處理200萬筆1997,1999系統(tǒng)兩次升圾，枚能提升至琴秒2萬筆，n處幾800萬開業(yè)的第一天就采用電子撮合系統(tǒng)進(jìn)行交易撮合基-J-Novell服務(wù)器的局域網(wǎng)絡(luò)每秒處理3筆業(yè)務(wù)，月處理成交2萬筆市場(chǎng)的委托、行情、成交回報(bào)等環(huán)節(jié)仍需要

2、手工完成1992年12月，系統(tǒng)升級(jí)Novell主機(jī)更換為基于惠普小型機(jī)UNIX操作系統(tǒng)每秒200筆，日處理能力200萬筆1993年，采用單向衛(wèi)星廣播行情，雙向衛(wèi)星接收?qǐng)?bào)單1997年和1999年進(jìn)行了兩次設(shè)備和應(yīng)用的重大升級(jí)系統(tǒng)處理能力提高到每秒2萬筆，日處理能力800萬筆后隨著不斷的擴(kuò)容和改造，性能和容量不斷被刷新上交所2009.11.23新一代交易系統(tǒng)上線使用多主機(jī)并最離支持10萬筆為秒全天容億筆訂單賬戶容殳1億新一代交易系統(tǒng)的上線2009年11月23日，新一代交易系統(tǒng)上線使用多主機(jī)并行撮合最高支持10萬筆每秒全天容量1億筆訂單帳戶容量1億2014.11.17滬港道如務(wù)上基于新一代交易系統(tǒng)，

3、2014年們?cè)?7日滬港通業(yè)務(wù)上線市場(chǎng)結(jié)構(gòu)圖市場(chǎng)參與者券商基金公司上市公司行情商指數(shù)公司QDII投資者香港投資者ftff麗菽資和|QFII|RQ冋fRQ冋I|QFLP海外市場(chǎng)系統(tǒng)結(jié)構(gòu)圖核心交易系統(tǒng)內(nèi)部結(jié)構(gòu)交易系統(tǒng)技術(shù)架構(gòu)交易層心交易層1統(tǒng)的三層式劃分交易系統(tǒng)技術(shù)架構(gòu)>疋序?qū)?定序器1I定序器2撮合器2分配股票（制作業(yè)、零隹）分配債券接入點(diǎn)A接入點(diǎn)B接入點(diǎn)C券商基金公司資管公司滬港通功能執(zhí)行交易業(yè)務(wù)邏輯實(shí)現(xiàn)模式同組交易主機(jī)為接收單一輸入序列的狀態(tài)機(jī)從一系列獨(dú)立運(yùn)作的交易主機(jī)節(jié)點(diǎn)中自動(dòng)選舉產(chǎn)生主節(jié)點(diǎn)可利用集群鎖服務(wù)來選舉主節(jié)點(diǎn)備機(jī)可選擇“重演”或者“重放”模式交易層集群鎖管理模式基于Open

4、VMS的Lock機(jī)制，實(shí)現(xiàn)了一套用于集群(Group)管理，集群內(nèi)各主機(jī)同步、通信的工具庫接入層功能點(diǎn)對(duì)點(diǎn)的路由轉(zhuǎn)發(fā)將券商端的訂單提交給定序?qū)訉?shí)例提供一組彼此對(duì)等的實(shí)例同時(shí)提供對(duì)外實(shí)現(xiàn)模式服務(wù)不需要考慮主從劃分和失效接管定序?qū)庸δ芨呖捎迷O(shè)計(jì)的關(guān)鍵、確定全序持久化及保持動(dòng)態(tài)一致性多播通信機(jī)制實(shí)現(xiàn)模式Paxos算法.虛同步自主研發(fā)、商業(yè)軟件、開源軟件邏輯概念，可采用單獨(dú)排隊(duì)機(jī)定序或者主撮合定序挑戰(zhàn)及解決之道交易系統(tǒng)面臨的挑戰(zhàn)交易系統(tǒng)在設(shè)計(jì)之初就要考慮到如何滿足和平衡各方面的技術(shù)需求交易系統(tǒng)高性能衡量交易系統(tǒng)性能主要指標(biāo)A吞吐量訂單時(shí)延A系統(tǒng)容量高性能1.流水線化內(nèi)存撮合高性能3.數(shù)據(jù)打包處理精簡(jiǎn)的

5、進(jìn)程間通信消息消息body通過內(nèi)存緩存；進(jìn)程間傳遞短小的消息header；進(jìn)程通過header信息，訪問內(nèi)存獲取消息實(shí)體;消息的打包處理請(qǐng)求消息通過用header表示后很短小，支持多條打包模式；申請(qǐng)新的共享內(nèi)存消息，消息體中包含多個(gè)請(qǐng)求實(shí)體的header；實(shí)際消息通信中傳遞打包消息的消息header即可；進(jìn)程接收消息后，根據(jù)打包消息body中的多個(gè)實(shí)際消息header,逐一高性能4多線程異步IO應(yīng)用異步IO提升性能的典型案例調(diào)用進(jìn)程通過異步IO連續(xù)的拋出一組IO請(qǐng)求，RMS可以并行地處理這些請(qǐng)求，成倍地提升IO吞吐量；連續(xù)發(fā)出的請(qǐng)求應(yīng)當(dāng)有一定限制，當(dāng)未完成的請(qǐng)求數(shù)量達(dá)到限制時(shí)，調(diào)用進(jìn)程可以主動(dòng)

6、將自己阻塞。-1'高性能5.多機(jī)并行高可用衡量交易系統(tǒng)可用性主要指標(biāo)A恢復(fù)時(shí)間目標(biāo)RTO(RecoveryTimeObjectives)A恢復(fù)點(diǎn)目標(biāo)RPO(RecoveryPointObjectives)人工偵測(cè)故障OR應(yīng)對(duì)單點(diǎn)故障OR同城災(zāi)備同步復(fù)制OR高可用技術(shù)抉擇的難題應(yīng)用程序自動(dòng)偵測(cè)故障？應(yīng)對(duì)雙點(diǎn)故障？異步復(fù)制？高可用1.站點(diǎn)備份站點(diǎn)A主機(jī)網(wǎng)站點(diǎn)B主機(jī)主機(jī)H1H2站點(diǎn)間連接主機(jī)主機(jī)H3H4交換機(jī)交換機(jī)磁盤磁盤D1D2磁盤磁盤D3D4高可用2.主機(jī)備份高可用4.消息重發(fā)/防重處理進(jìn)程的恢復(fù)機(jī)制事務(wù)/請(qǐng)求數(shù)據(jù)帶事務(wù)的文件存儲(chǔ)，包含相應(yīng)的狀態(tài)位；任何一個(gè)進(jìn)程異常，根據(jù)事務(wù)文件中數(shù)據(jù)狀

7、態(tài)重演恢復(fù);無法應(yīng)對(duì)程序本身邏輯錯(cuò)誤系統(tǒng)發(fā)生主備切換切換完成后的自動(dòng)通知機(jī)制未響應(yīng)消息重新路曲機(jī)制消息防重復(fù)處理機(jī)制前臺(tái)OES抿單機(jī)中臺(tái)CSUD、CSHD前癥蘇接后臺(tái)連接k61XVHCCMHHCM4HHCMHHCMMSRTGSRTGSRTGSRTMatcherMatcher主機(jī)備機(jī)AppApp易擴(kuò)展流量/負(fù)載控制：/系統(tǒng)必須提供自保護(hù)機(jī)制來處理異常的大量或者突發(fā)交易量/包括主動(dòng)控制和被動(dòng)控制主動(dòng)控制：/主動(dòng)控制實(shí)現(xiàn)于前端（請(qǐng)求源端）會(huì)員，根據(jù)尚未響應(yīng)的訂單數(shù)量控制請(qǐng)求發(fā)送速度/系統(tǒng)可配置成會(huì)員端總體的請(qǐng)求數(shù)量不超過后臺(tái)的處理能力，因此從源端控制整個(gè)系統(tǒng)的負(fù)載被動(dòng)控制：/路由架構(gòu)內(nèi)置的自我保護(hù)機(jī)

8、制/每個(gè)路由架構(gòu)組件跟蹤其輸入/輸出差異，并且根據(jù)監(jiān)測(cè)的差異觸發(fā)自我保護(hù)機(jī)制來或者阻塞消息流，或者彈回新的請(qǐng)求主要指標(biāo)A擴(kuò)展性衡量系統(tǒng)適應(yīng)業(yè)務(wù)發(fā)展與變更的能力，既包括業(yè)務(wù)容量的擴(kuò)展又包括業(yè)務(wù)模式的擴(kuò)展應(yīng)對(duì)方案A高擴(kuò)展性需要在內(nèi)部核心數(shù)據(jù)結(jié)構(gòu)和接口定汶預(yù)留足夠的擴(kuò)展空間。A系統(tǒng)內(nèi)部結(jié)構(gòu)上，通過分層抽象服務(wù)使得某一個(gè)層次的升級(jí)更新不彩響到全局架構(gòu)，通過模塊化設(shè)計(jì)使得某一個(gè)模塊的變更不影響到整體穩(wěn)定。WAN后臺(tái)的擴(kuò)展交易層中的各個(gè)平臺(tái)，町以平行擴(kuò)展設(shè)備，支持業(yè)務(wù)的容萸和品種的發(fā)展接入層中，節(jié)以根據(jù)網(wǎng)段規(guī)模和接入點(diǎn)無縫第進(jìn)行平行擴(kuò)展；每個(gè)接入點(diǎn)屬于無狀態(tài)設(shè)備LAN1.系統(tǒng)架構(gòu)的擴(kuò)展HostTierBa

9、ckEndcscscscsTier*前臺(tái)的擴(kuò)展對(duì)于市場(chǎng)參與者的接入,既提供客戶端的模式，也支持消息協(xié)議和API的模式擴(kuò)展交易所提供的接入端巧以無差并的多地不少和彼此備份、分流業(yè)務(wù)數(shù)擴(kuò)等orLANLANStepOESOESBinaryvaluesProtocolTierFrontEndOESOESTier易擴(kuò)展基于產(chǎn)胎的不同類別配置，可根據(jù)負(fù)載均衡的原則，重新進(jìn)行劃分或擴(kuò)展銀行股銀行股A銀行股B2應(yīng)用配置的擴(kuò)展訂單量200w單一類別的處理容量可以通過配置參數(shù)進(jìn)行調(diào)整。調(diào)整后的容量在系統(tǒng)重啟后自動(dòng)生效醫(yī)藥板塊訂單量200w零售板塊醫(yī)藥板塊訂單量500w零售板塊訂單量150w易擴(kuò)展3設(shè)計(jì)模式的分層設(shè)

10、計(jì)業(yè)務(wù)應(yīng)用系統(tǒng)PattenLayer批處理架構(gòu)BATArch消息通訊架構(gòu)MSGArch應(yīng)用進(jìn)程架構(gòu)SHLArch監(jiān)控架構(gòu)MONArch操作架構(gòu)OPTArch高可用架構(gòu)HArch錯(cuò)誤傳迷FunctionLayer共享內(nèi)存庫SHMLib日志庫LOGLib同步IO庫SIOLib井步IO庫AIOLib配置信息庫CFGLib數(shù)據(jù)算法庫DSMLib應(yīng)用鎖庫LCKLib數(shù)據(jù)類型WrapperLayerOSWrapper3ndPartyLibWrapperC99標(biāo)準(zhǔn)POSIX標(biāo)準(zhǔn)OSFeatureGLIBLog4c框架配近OS操作系統(tǒng)（Linux,UNIX,FreeBSD等支持POSIX接口的操作系統(tǒng)）交易系統(tǒng)的未來交易系統(tǒng)的未來輕量化的技術(shù)