支付寶技術介紹V2(0119)課件

支付寶技術介紹2013年1月支付寶技術介紹大綱支付系統(tǒng)處理情況支付系統(tǒng)總體架構高可用大容量系統(tǒng)架構業(yè)務連續(xù)性保障體系業(yè)務連續(xù)性保障案例大綱支付系統(tǒng)處理情況1支付系統(tǒng)處理情況1支付系統(tǒng)處理情況中國最多人選用的第三方網上支付平臺與超過170個金融機構包括全國性銀行、各大地區(qū)性銀行合作支持使用支付寶交易服務的商家已經超過46萬家，涵蓋了網上零售、虛擬游戲、數碼通訊、商業(yè)服務、機票、公用事業(yè)等行業(yè)截至2012年6月，支付寶注冊賬戶數突破7億在2012年11月11日，支付寶完成了1.058億筆交易，創(chuàng)下了單日交易量的新高中國最多人選用的第三方網上支付平臺與超過170個金融機構包括現有平臺處理能力2012年全年系統(tǒng)可用率99.992%系統(tǒng)具備處理每天1.5億+支付處理能力交易處理能力：1.5萬/秒支付處理能力：8000/秒(支付寶賬戶)、2400/秒(銀行)2013年計劃建設3億+支付處理能力當天：核心數據庫集群：完成41億數據庫事務，執(zhí)行285億次的SqL，生成15TB日志，訪問1931億次內存數據塊應用系統(tǒng)集群：完成1000億+服務調用，由600+個應用協(xié)同完成現有平臺處理能力2012年全年系統(tǒng)可用率99.992%對比國際同行：Paypal：2012年Q4處理6.91億筆，日均750萬筆左右

(來源：Ebay財報)Amazon：2012年高峰（11月26日），2650萬商品/天

(來源：Amazon官方數據)1.058億19.5億1280萬2010年2012年191億54億3360萬2011年交易額（僅淘寶）交易筆數付款峰值筆數6.3萬/分鐘2萬/分鐘20.5萬/分鐘3833/秒支付能力增長與對比對比國際同行：1.058億19.5億1280萬2010年202支付系統(tǒng)總體架構2支付系統(tǒng)總體架構架構目標海量千萬級->億級->十億級同城->異地->全球P級數據深度應用穩(wěn)定99.99%以上核心業(yè)務做到0停機維護自動化運維與彈性處理數據與應用級災備安全速度開發(fā)更簡單質量更可控持續(xù)交付成本降低單筆處理成本無廠商依賴架構目標海量千萬級->億級->十億級同城->異地->全基于互聯網與云計算技術的架構解決方案業(yè)務平臺(SAAS)數據平臺(DAAS)技術平臺(PAAS)運維平臺(IAAS)1.基礎資源伸縮性2.組件擴展性3.系統(tǒng)平臺穩(wěn)定性1.可伸縮、高可用的分布式事務處理與服務計算能力2.彈性資源分配與訪問管控1.海量數據處理與計算能力2.“適時”的數據處理與流轉能力隨時隨地可用的支付服務安全、易用的開放支付應用開發(fā)平臺網購航旅水電煤還款充值加油理財酒店送禮……互聯網移動互聯網新型終端基于互聯網與云計算技術的架構解決方案業(yè)務平臺(SAAS)數支付寶整體系統(tǒng)架構運營體系商戶業(yè)務平臺個人業(yè)務平臺風險控制平臺會員營銷平臺運營支撐平臺商業(yè)智能平臺終端云錢包核心應用支付清算平臺客戶平臺金融網絡平臺數據平臺應用中間件平臺數據與通信平臺前端技術平臺基礎設施平臺安全技術平臺技術平臺網站平臺運維管理平臺監(jiān)控分析平臺研發(fā)交付平臺開放平臺終端平臺支付寶整體系統(tǒng)架構運營體系商戶業(yè)務平臺個人業(yè)務平臺風險控制平支付處理功能架構(1)統(tǒng)一支付處理支付工具處理賬務處理支付處理功能架構(1)統(tǒng)一支付處理支付工具處理賬務處理支付處理功能架構(2)支付處理功能架構(2)統(tǒng)一支付平臺統(tǒng)一支付服務門面事務處理統(tǒng)一會計核算內部支付工具外部資金渠道統(tǒng)一機構接入網關金融交換中心余額紅包主賬務對賬中心內部賬戶中心會計中心清算中心收銀臺PC收銀臺無線收銀臺個性化收銀臺規(guī)則處理(支付路由/額度控制)支付業(yè)務/支付應用微賬務積分金融機構服務抽象支付業(yè)務服務抽象支付處理系統(tǒng)架構統(tǒng)一支付平臺統(tǒng)一支付服務門面事務處理統(tǒng)一會計核算內部支付工具業(yè)務PC類業(yè)務無線業(yè)務非交易類業(yè)務風險盜用欺詐銷贓盜卡釣魚風險識別規(guī)則體系模型體系身份認證體系處罰案件核查安全決策統(tǒng)一決策支付風險控制業(yè)務PC類業(yè)務無線業(yè)務非交易類業(yè)務風險盜用欺詐銷贓盜卡釣魚風合規(guī)央行規(guī)范安全等保PCIISO27001業(yè)務安全應用安全數據安全系統(tǒng)安全客戶端安全安全服務中心認證中心決策中心風控中心身份認證能力PKIOTP…應用攻防能力驗證碼人機識別可信環(huán)境數據分析能力規(guī)則模型數據運算開放安全服務OpenIDOpenAuth日志審計分析安全域劃分鏈路冗余系統(tǒng)冗余數據冗余安全控件安全套件安全客戶端無線客戶端安全信息安全SDL信息安全服務信息隱藏接口安全內容管理統(tǒng)一加解密密鑰管理加密解密卡信息加密數據分級通信加密安全攻防系統(tǒng)攻防中心Web應用防火墻CC防御安全掃描安全運營數據庫審計操作與運營安全數據傳播控制權限管理操作審計接入安全總體安全策略安全組織安全機制整體安全體系合規(guī)央行規(guī)范安全等保PCIISO業(yè)務安全應用安全數據安全系統(tǒng)機房架構青島異地災備機房聯通火炬路機房同城災備電信興議機房杭州同城雙機房（各100%能力），青島備份及容災機房機房要求四星級以上電信級機房雙路供電，滿負荷油機配置N+1空調制冷保障機房架構青島異地災備機房聯通火炬路機房同城災備電信興議機房杭基礎設施架構基礎設施架構IaaSPaaS彈性管理應用運行時交付管理zPaaSAPI網絡負載均衡存儲OS/虛擬機數據庫IDC基礎服務開發(fā)語言（Java）Framework（SOFA）運行環(huán)境支持（CE/Jboss）開發(fā)工具支持監(jiān)控彈性調度資源操作適配層消息通知服務調度服務cron數據服務協(xié)調服務環(huán)境交付配置及其構建應用發(fā)布應用元數據基礎服務管理應用中間件平臺IaaSPaaS彈性管理應用運行時交付管理zPaaS數據存儲與引擎統(tǒng)一數據訪問層數據路由數據源ORM/DAOoracle數據一致性數據抓取數據管控數據控制臺分布事務mysql實時分析引擎KV引擎海量文件存儲搜索引擎數據緩存(本地)數據流控數據轉換數據分發(fā)數據加載數據技術平臺數據存儲與引擎統(tǒng)一數據訪問層數據路由數據源ORM/DAOor跨機房應用通信App1App2App3消息中心軟負載均衡WS高性能RPChttpApp1App2App2機房APub/sub一對多，可靠、異步、事務的通信。App1App2點對點通信消息隊列支付平臺統(tǒng)一網關消息隊列業(yè)務系統(tǒng)請求支付

查詢回執(zhí)

高性能異步通訊，高效蓄洪機房B機房CApp1App2App3跨機房應用通信跨機房應用通信通信技術平臺跨機房App1App2App3消息中心軟負載均衡WS高性能R4高可用大容量系統(tǒng)架構4高可用大容量系統(tǒng)架構支付寶高可用可伸縮架構基本原則分布式、無單點服務器網絡數據庫機房松耦合自主運行的服務定義并管控的SLA最小化服務依賴彈性快速監(jiān)控資源調度自動化快速恢復服務的自恢復能力變更控制與回滾開關與降級能力支付寶高可用可伸縮架構基本原則分布式、無單點消除數據庫單點DB1主DB1備DB1主DB2主DBn主DB1備DB2備DBn備小機+高端SAN存儲PC+本地存儲+低端SAN日志存儲failoverDB恢復能力：單庫1分鐘，整機房DB15分鐘消除數據庫單點DB1主DB1備DB1主DB2主DBn主DB1交易數據庫架構示例數據復制中心12n1核心交易數據(分表/分庫/failover)主交易系統(tǒng)交易處理服務(寫場景)交易記錄查詢系統(tǒng)用戶交易記錄查詢服務(讀場景1)12n2商戶查詢系統(tǒng)交易記錄數據(分表并分庫)商戶查詢與對賬(讀場景2)12n3商戶/平臺商交易數據(分表并分庫)分布數據訪問層主備交易數據庫架構示例數據復制中心12n1核心交易數據主交易系統(tǒng)無網絡與IDC單點的系統(tǒng)架構IDC1交易系統(tǒng)賬戶系統(tǒng)交易數據庫賬戶數據庫交易數據庫服務注冊中心集群交易應用集群支付應用集群IDC2交易系統(tǒng)賬戶系統(tǒng)交易數據庫賬戶數據庫交易數據庫服務注冊中心集群交易應用集群支付應用集群支付數據庫支付數據庫GSLB全局數據全局數據復制無網絡與IDC單點的系統(tǒng)架構IDC1交易系統(tǒng)賬戶系統(tǒng)交易數據交易系統(tǒng)交易引擎流程引擎規(guī)則引擎資金處理產品賬接入商戶通知數據持久收費接入統(tǒng)一事件擴展支付工具業(yè)務核查收費系統(tǒng)商戶通知消費記錄溝通商戶查詢營銷核心賬務風險核查消息系統(tǒng)超時處理業(yè)務系統(tǒng)業(yè)務系統(tǒng)擔保交易即時到賬交易貨到付款交易異步交易事件處理產品賬擴展支付工具擴展支付工具可靠可靠可靠可靠可靠可靠可靠非可靠非可靠強依賴弱依賴本地消息failover弱依賴開關松耦合的服務架構（示例）SLA控制交易系統(tǒng)交易引擎流程引擎規(guī)則引擎資金處理產品賬接入商戶通知數LogLogLogLogHDFSDataDataDataDataHBase/NoSQLMapReduceRealTimeComputeParserLayerParserLayerParserLayerParserLayerComputeLayerComputeLayerComputeLayerComputeLayerMile(NoSQL)zAgentzAgentzAgentzAgent秒級監(jiān)控能力建設支付寶監(jiān)控系統(tǒng)能夠在5-10秒內發(fā)現故障，并且做出監(jiān)控報警監(jiān)控的計算任務被動態(tài)的分配到各計算節(jié)點，可以快速做出響應可以通過統(tǒng)一的監(jiān)控模型，快速進行監(jiān)控點配置LogLogLogLogHDFSDataDataDataDa統(tǒng)一資源管理

appmastersalversalver應用集群緩存/vip列表訂閱關系中心SLA控制中心SLA控制數據中心服務注冊SLA管控平臺confregSLA控制中心SLA控制中心管控信息發(fā)布管控信息存儲管控信息注冊SLA管控組件appSLA管控組件管控信息管控信息服務注冊統(tǒng)一資源管理appmastersalversalver應用集彈性調度案例29統(tǒng)一資源管理運維管理發(fā)布部署環(huán)境交付編譯構建監(jiān)控監(jiān)控數據查詢應用運行時數據源應用內部開關容器資源SLA流量管理服務組件操作消息調度緩存底層資源網絡負載均衡虛擬機應用運行數據的收集監(jiān)控系統(tǒng)的數據建模和計算彈性平臺的分析產生控制命令指令執(zhí)行銀行渠道數據采集銀行渠道數據監(jiān)控分析發(fā)現某銀行A渠道異常根據模型產生調撥指令切換到某銀行的B渠道彈性調度案例29統(tǒng)一資源管理運維管理發(fā)布部署環(huán)境交付編譯構建主業(yè)務服務從業(yè)務服務A從業(yè)務服務B數據庫數據庫數據庫tryX1.tryX成功業(yè)務活動管理器活動日志啟動業(yè)務活動登記業(yè)務操作提交/回滾業(yè)務活動confirmXcancelXtryYconfirmYcancelY2.tryY成功3.confirmX成功4.confirmY成功嚴格、高效、可伸縮的分布事務處理保證零差錯主業(yè)務服務從業(yè)務服務A從業(yè)務服務B數據庫數據庫數據庫tryX外部業(yè)務系統(tǒng)(商戶等)內部業(yè)務系統(tǒng)(交易等)內部資金系統(tǒng)(支付處理平臺)外部資金系統(tǒng)(銀行)可靠業(yè)務通知服務對賬數據查詢服務實時逐筆檢查中心分布事務控制中心可靠消息掉單查詢與恢復批量業(yè)務核算中心資金核算中心會計中心關系數據庫ACID事務分布式鎖支付業(yè)務處理系統(tǒng)業(yè)務核算體系技術支撐海量數據處理平臺復雜事件處理平臺全面的資金與業(yè)務核算能力外部業(yè)務系統(tǒng)內部業(yè)務系統(tǒng)內部資金系統(tǒng)外部資金系統(tǒng)可靠業(yè)務通知5業(yè)務連續(xù)性保障體系5業(yè)務連續(xù)性保障體系可用率度量度量指標運維不可用率時長（運維可用率）

因故障引發(fā)10分鐘及以上，創(chuàng)建or支付筆數與基線相比下跌超20%，則計入運維不可用時長。

技術團隊可控的技術團隊無法控制的服務不可用時長=運維不可用+計劃內停機維護+第三方原因不可用關鍵數字：運維可用率服務可用率（用戶端感受）（運維不可用時長）（服務不可用時長）檢驗運維能力檢驗系統(tǒng)架構可用率度量度量指標檢驗檢驗運維管理體系

運維管理體系變更管理、故障管理、預案機制、演練機制

運維基礎體系標準化運維配置標準化（網絡、DB、應用，OS版本、參數標準化）操作規(guī)范化運維工具體系（效率&質量）監(jiān)控體系（系統(tǒng)、網絡、DB、應用）管理體系（IAAS平臺）應急體系（預案、組織體系等）其他基礎：如優(yōu)化報警等運維意識：運維往前走，與架構、研發(fā)密切配合運維管理體系運維管理體系變更管理

需求分析設計編碼測試發(fā)布運行配置線上發(fā)布穩(wěn)定性評審24*7監(jiān)控系統(tǒng)日/周/月報性能測試多級發(fā)布穩(wěn)定性測試自動化發(fā)布與驗證應急值班制依賴測試兼容性測試發(fā)布測試分析設計評審生產變更變更評審Beta運行架構規(guī)范編碼規(guī)范單元測試持續(xù)集成代碼評審功能測試變更管理需求分析設計編碼測試發(fā)布運行配置線上發(fā)布穩(wěn)定性評審容量管理

容量壓測容量基線容量管理容量預測資源管理報表管理容量管理容量壓測容量基線容量管理容量預測資源管理報表管理應急響應與演練應急組織24*7監(jiān)控小組跨部門組織應急流程應急響應識別風險制定預案演練與記錄總結與改進應急演練風險識別+預案+演練模擬場景或真實場景定期演練與改進（全年規(guī)劃、季度計劃、每月一次大型演練）應急響應與演練應急組織識別風險制定預案演練與記錄總結與改進應6業(yè)務連續(xù)性保障案例6業(yè)務連續(xù)性保障案例數據庫故障處理案例monitor：(09:46:37):付款下跌了DBA：(09:47:06):PC00數據庫故障，HBA卡硬件故障、現在已經推送failovermonitor：(09:48:07):

9點44分下跌，46分恢復。DBA：(09:53:58):已經確認是一塊HBA卡硬件損壞，現在暫時將該卡屏蔽，業(yè)務回推到主庫，保障聚劃算，下午將進行主備切換，應對明天的雙12大促。數據庫故障處理案例monitor：(09:46:37):網絡故障處理案例NE：(17:49:40):

ZUE機房至ABTN光纜有一路故障，目前ZUE至ABTN為單上聯。已向運營商報障。請SA將公網流量全切到ZTG機房SA：(17:53:42):

ZUE機房已關閉tbapi流量，流量切至ZTG機房NE：(20:37:39):

ZUE至ABTN故障的光纖已恢復，請SA安排流量回切。SA：(20:40:57):

5%>25%>50%已切換完成網絡故障處理案例NE：(17:49:40):定期演習案例時間：凌晨2點-6點主要內容：DB模擬宕機恢復客戶DB寫庫宕機主備切換，讀庫宕機模擬（會員注冊、信息修改不能進行）---成功，單庫切換10分鐘內。讀庫宕機對業(yè)務基本無影響，連接有瞬時沖高。共享配置寫庫、單讀庫模擬宕機驗證（預期：寫庫影響快捷卡通簽約等，讀庫無業(yè)務影響）---單讀庫宕機基本無影響，寫庫切換10分鐘內。無線業(yè)務庫宕機vcs切換（無線不可用）----影響絕大部分無線交易，5分鐘切換完成，應用自恢復應用部分應用nas分卷只讀驗證---分批停除銀行對賬文件外的其他目錄，業(yè)務基本無影響，批量卷只讀開啟和關閉的單一操作在2分鐘內完成。收銀臺限流驗證（浦發(fā)銀行）----有效，快速操作關閉收銀臺上風控、營銷接口開關驗證—有效，快速操作網絡部分GSLB自動分組功能上線---5分鐘生效網絡冗余架構驗證---鏈路故障0.4秒收斂，設備重啟5秒收斂定期演習案例時間：凌晨2點-6點

業(yè)務指標轉變成系統(tǒng)容量梳理應用關鍵路徑,找出最短的板把業(yè)務指標轉換成對網絡的壓力和容量關注運營活動的變化，發(fā)現新增的未知地帶準備8.3 項目小組成立，容量目標確定，制定銀行擴容計劃9.30 關鍵系統(tǒng)優(yōu)化；單點、故障隱患點改造升級；

完成資源評估10.12 整體應急預案匯總，約220條10.26 完成資源擴容10.31 預案演練完成，銀行擴容完成

充值活動、支付攻略、無線等活動開發(fā)上線11.1 模擬單機房故障，快速切換演練11.5 支付寶封網11.11 大促當天應急響應11.12 后續(xù)預案恢復、數據訂正11.23 技術復盤和后續(xù)改進雙11業(yè)務連續(xù)性保障：準備業(yè)務指標轉變成系統(tǒng)容量雙11業(yè)務連續(xù)性保障：準備

業(yè)務情況：0:01：支付寶成交19.2萬筆，同時涌入1000萬人0:10：支付寶成交2.5億元0:37：支付寶成交10億元1:10：支付寶成交20億元2:19：支付寶成交33.7億元13:38:支付寶成交100億元全天支付寶成交200億元+，1.058億筆技術保障預案執(zhí)行主站執(zhí)行96項次金融渠道執(zhí)行287項次無線執(zhí)行3項次技術團隊值班參戰(zhàn)人員：200+雙11業(yè)務連續(xù)性保障：執(zhí)行業(yè)務情況：雙11業(yè)務連續(xù)性保障：執(zhí)行44寫在最后成功的基礎在于好的學習習慣Thefoundationofsuccessliesingoodhabits44寫在最后成功的基礎在于好的學習習慣結束語當你盡了自己的最大努力時，失敗也是偉大的，所以不要放棄，堅持就是正確的。WhenYouDoYourBest,FailureIsGreat,SoDon'TGiveUp,StickToTheEnd演講人：XXXXXX

時間：XX年XX月XX日

結束語支付寶技術介紹2013年1月支付寶技術介紹大綱支付系統(tǒng)處理情況支付系統(tǒng)總體架構高可用大容量系統(tǒng)架構業(yè)務連續(xù)性保障體系業(yè)務連續(xù)性保障案例大綱支付系統(tǒng)處理情況1支付系統(tǒng)處理情況1支付系統(tǒng)處理情況中國最多人選用的第三方網上支付平臺與超過170個金融機構包括全國性銀行、各大地區(qū)性銀行合作支持使用支付寶交易服務的商家已經超過46萬家，涵蓋了網上零售、虛擬游戲、數碼通訊、商業(yè)服務、機票、公用事業(yè)等行業(yè)截至2012年6月，支付寶注冊賬戶數突破7億在2012年11月11日，支付寶完成了1.058億筆交易，創(chuàng)下了單日交易量的新高中國最多人選用的第三方網上支付平臺與超過170個金融機構包括現有平臺處理能力2012年全年系統(tǒng)可用率99.992%系統(tǒng)具備處理每天1.5億+支付處理能力交易處理能力：1.5萬/秒支付處理能力：8000/秒(支付寶賬戶)、2400/秒(銀行)2013年計劃建設3億+支付處理能力當天：核心數據庫集群：完成41億數據庫事務，執(zhí)行285億次的SqL，生成15TB日志，訪問1931億次內存數據塊應用系統(tǒng)集群：完成1000億+服務調用，由600+個應用協(xié)同完成現有平臺處理能力2012年全年系統(tǒng)可用率99.992%對比國際同行：Paypal：2012年Q4處理6.91億筆，日均750萬筆左右

(來源：Ebay財報)Amazon：2012年高峰（11月26日），2650萬商品/天

(來源：Amazon官方數據)1.058億19.5億1280萬2010年2012年191億54億3360萬2011年交易額（僅淘寶）交易筆數付款峰值筆數6.3萬/分鐘2萬/分鐘20.5萬/分鐘3833/秒支付能力增長與對比對比國際同行：1.058億19.5億1280萬2010年202支付系統(tǒng)總體架構2支付系統(tǒng)總體架構架構目標海量千萬級->億級->十億級同城->異地->全球P級數據深度應用穩(wěn)定99.99%以上核心業(yè)務做到0停機維護自動化運維與彈性處理數據與應用級災備安全速度開發(fā)更簡單質量更可控持續(xù)交付成本降低單筆處理成本無廠商依賴架構目標海量千萬級->億級->十億級同城->異地->全基于互聯網與云計算技術的架構解決方案業(yè)務平臺(SAAS)數據平臺(DAAS)技術平臺(PAAS)運維平臺(IAAS)1.基礎資源伸縮性2.組件擴展性3.系統(tǒng)平臺穩(wěn)定性1.可伸縮、高可用的分布式事務處理與服務計算能力2.彈性資源分配與訪問管控1.海量數據處理與計算能力2.“適時”的數據處理與流轉能力隨時隨地可用的支付服務安全、易用的開放支付應用開發(fā)平臺網購航旅水電煤還款充值加油理財酒店送禮……互聯網移動互聯網新型終端基于互聯網與云計算技術的架構解決方案業(yè)務平臺(SAAS)數支付寶整體系統(tǒng)架構運營體系商戶業(yè)務平臺個人業(yè)務平臺風險控制平臺會員營銷平臺運營支撐平臺商業(yè)智能平臺終端云錢包核心應用支付清算平臺客戶平臺金融網絡平臺數據平臺應用中間件平臺數據與通信平臺前端技術平臺基礎設施平臺安全技術平臺技術平臺網站平臺運維管理平臺監(jiān)控分析平臺研發(fā)交付平臺開放平臺終端平臺支付寶整體系統(tǒng)架構運營體系商戶業(yè)務平臺個人業(yè)務平臺風險控制平支付處理功能架構(1)統(tǒng)一支付處理支付工具處理賬務處理支付處理功能架構(1)統(tǒng)一支付處理支付工具處理賬務處理支付處理功能架構(2)支付處理功能架構(2)統(tǒng)一支付平臺統(tǒng)一支付服務門面事務處理統(tǒng)一會計核算內部支付工具外部資金渠道統(tǒng)一機構接入網關金融交換中心余額紅包主賬務對賬中心內部賬戶中心會計中心清算中心收銀臺PC收銀臺無線收銀臺個性化收銀臺規(guī)則處理(支付路由/額度控制)支付業(yè)務/支付應用微賬務積分金融機構服務抽象支付業(yè)務服務抽象支付處理系統(tǒng)架構統(tǒng)一支付平臺統(tǒng)一支付服務門面事務處理統(tǒng)一會計核算內部支付工具業(yè)務PC類業(yè)務無線業(yè)務非交易類業(yè)務風險盜用欺詐銷贓盜卡釣魚風險識別規(guī)則體系模型體系身份認證體系處罰案件核查安全決策統(tǒng)一決策支付風險控制業(yè)務PC類業(yè)務無線業(yè)務非交易類業(yè)務風險盜用欺詐銷贓盜卡釣魚風合規(guī)央行規(guī)范安全等保PCIISO27001業(yè)務安全應用安全數據安全系統(tǒng)安全客戶端安全安全服務中心認證中心決策中心風控中心身份認證能力PKIOTP…應用攻防能力驗證碼人機識別可信環(huán)境數據分析能力規(guī)則模型數據運算開放安全服務OpenIDOpenAuth日志審計分析安全域劃分鏈路冗余系統(tǒng)冗余數據冗余安全控件安全套件安全客戶端無線客戶端安全信息安全SDL信息安全服務信息隱藏接口安全內容管理統(tǒng)一加解密密鑰管理加密解密卡信息加密數據分級通信加密安全攻防系統(tǒng)攻防中心Web應用防火墻CC防御安全掃描安全運營數據庫審計操作與運營安全數據傳播控制權限管理操作審計接入安全總體安全策略安全組織安全機制整體安全體系合規(guī)央行規(guī)范安全等保PCIISO業(yè)務安全應用安全數據安全系統(tǒng)機房架構青島異地災備機房聯通火炬路機房同城災備電信興議機房杭州同城雙機房（各100%能力），青島備份及容災機房機房要求四星級以上電信級機房雙路供電，滿負荷油機配置N+1空調制冷保障機房架構青島異地災備機房聯通火炬路機房同城災備電信興議機房杭基礎設施架構基礎設施架構IaaSPaaS彈性管理應用運行時交付管理zPaaSAPI網絡負載均衡存儲OS/虛擬機數據庫IDC基礎服務開發(fā)語言（Java）Framework（SOFA）運行環(huán)境支持（CE/Jboss）開發(fā)工具支持監(jiān)控彈性調度資源操作適配層消息通知服務調度服務cron數據服務協(xié)調服務環(huán)境交付配置及其構建應用發(fā)布應用元數據基礎服務管理應用中間件平臺IaaSPaaS彈性管理應用運行時交付管理zPaaS數據存儲與引擎統(tǒng)一數據訪問層數據路由數據源ORM/DAOoracle數據一致性數據抓取數據管控數據控制臺分布事務mysql實時分析引擎KV引擎海量文件存儲搜索引擎數據緩存(本地)數據流控數據轉換數據分發(fā)數據加載數據技術平臺數據存儲與引擎統(tǒng)一數據訪問層數據路由數據源ORM/DAOor跨機房應用通信App1App2App3消息中心軟負載均衡WS高性能RPChttpApp1App2App2機房APub/sub一對多，可靠、異步、事務的通信。App1App2點對點通信消息隊列支付平臺統(tǒng)一網關消息隊列業(yè)務系統(tǒng)請求支付

查詢回執(zhí)

高性能異步通訊，高效蓄洪機房B機房CApp1App2App3跨機房應用通信跨機房應用通信通信技術平臺跨機房App1App2App3消息中心軟負載均衡WS高性能R4高可用大容量系統(tǒng)架構4高可用大容量系統(tǒng)架構支付寶高可用可伸縮架構基本原則分布式、無單點服務器網絡數據庫機房松耦合自主運行的服務定義并管控的SLA最小化服務依賴彈性快速監(jiān)控資源調度自動化快速恢復服務的自恢復能力變更控制與回滾開關與降級能力支付寶高可用可伸縮架構基本原則分布式、無單點消除數據庫單點DB1主DB1備DB1主DB2主DBn主DB1備DB2備DBn備小機+高端SAN存儲PC+本地存儲+低端SAN日志存儲failoverDB恢復能力：單庫1分鐘，整機房DB15分鐘消除數據庫單點DB1主DB1備DB1主DB2主DBn主DB1交易數據庫架構示例數據復制中心12n1核心交易數據(分表/分庫/failover)主交易系統(tǒng)交易處理服務(寫場景)交易記錄查詢系統(tǒng)用戶交易記錄查詢服務(讀場景1)12n2商戶查詢系統(tǒng)交易記錄數據(分表并分庫)商戶查詢與對賬(讀場景2)12n3商戶/平臺商交易數據(分表并分庫)分布數據訪問層主備交易數據庫架構示例數據復制中心12n1核心交易數據主交易系統(tǒng)無網絡與IDC單點的系統(tǒng)架構IDC1交易系統(tǒng)賬戶系統(tǒng)交易數據庫賬戶數據庫交易數據庫服務注冊中心集群交易應用集群支付應用集群IDC2交易系統(tǒng)賬戶系統(tǒng)交易數據庫賬戶數據庫交易數據庫服務注冊中心集群交易應用集群支付應用集群支付數據庫支付數據庫GSLB全局數據全局數據復制無網絡與IDC單點的系統(tǒng)架構IDC1交易系統(tǒng)賬戶系統(tǒng)交易數據交易系統(tǒng)交易引擎流程引擎規(guī)則引擎資金處理產品賬接入商戶通知數據持久收費接入統(tǒng)一事件擴展支付工具業(yè)務核查收費系統(tǒng)商戶通知消費記錄溝通商戶查詢營銷核心賬務風險核查消息系統(tǒng)超時處理業(yè)務系統(tǒng)業(yè)務系統(tǒng)擔保交易即時到賬交易貨到付款交易異步交易事件處理產品賬擴展支付工具擴展支付工具可靠可靠可靠可靠可靠可靠可靠非可靠非可靠強依賴弱依賴本地消息failover弱依賴開關松耦合的服務架構（示例）SLA控制交易系統(tǒng)交易引擎流程引擎規(guī)則引擎資金處理產品賬接入商戶通知數LogLogLogLogHDFSDataDataDataDataHBase/NoSQLMapReduceRealTimeComputeParserLayerParserLayerParserLayerParserLayerComputeLayerComputeLayerComputeLayerComputeLayerMile(NoSQL)zAgentzAgentzAgentzAgent秒級監(jiān)控能力建設支付寶監(jiān)控系統(tǒng)能夠在5-10秒內發(fā)現故障，并且做出監(jiān)控報警監(jiān)控的計算任務被動態(tài)的分配到各計算節(jié)點，可以快速做出響應可以通過統(tǒng)一的監(jiān)控模型，快速進行監(jiān)控點配置LogLogLogLogHDFSDataDataDataDa統(tǒng)一資源管理

appmastersalversalver應用集群緩存/vip列表訂閱關系中心SLA控制中心SLA控制數據中心服務注冊SLA管控平臺confregSLA控制中心SLA控制中心管控信息發(fā)布管控信息存儲管控信息注冊SLA管控組件appSLA管控組件管控信息管控信息服務注冊統(tǒng)一資源管理appmastersalversalver應用集彈性調度案例74統(tǒng)一資源管理運維管理發(fā)布部署環(huán)境交付編譯構建監(jiān)控監(jiān)控數據查詢應用運行時數據源應用內部開關容器資源SLA流量管理服務組件操作消息調度緩存底層資源網絡負載均衡虛擬機應用運行數據的收集監(jiān)控系統(tǒng)的數據建模和計算彈性平臺的分析產生控制命令指令執(zhí)行銀行渠道數據采集銀行渠道數據監(jiān)控分析發(fā)現某銀行A渠道異常根據模型產生調撥指令切換到某銀行的B渠道彈性調度案例29統(tǒng)一資源管理運維管理發(fā)布部署環(huán)境交付編譯構建主業(yè)務服務從業(yè)務服務A從業(yè)務服務B數據庫數據庫數據庫tryX1.tryX成功業(yè)務活動管理器活動日志啟動業(yè)務活動登記業(yè)務操作提交/回滾業(yè)務活動confirmXcancelXtryYconfirmYcancelY2.tryY成功3.confirmX成功4.confirmY成功嚴格、高效、可伸縮的分布事務處理保證零差錯主業(yè)務服務從業(yè)務服務A從業(yè)務服務B數據庫數據庫數據庫tryX外部業(yè)務系統(tǒng)(商戶等)內部業(yè)務系統(tǒng)(交易等)內部資金系統(tǒng)(支付處理平臺)外部資金系統(tǒng)(銀行)可靠業(yè)務通知服務對賬數據查詢服務實時逐筆檢查中心分布事務控制中心可靠消息掉單查詢與恢復批量業(yè)務核算中心資金核算中心會計中心關系數據庫ACID事務分布式鎖支付業(yè)務處理系統(tǒng)業(yè)務核算體系技術支撐海量數據處理平臺復雜事件處理平臺全面的資金與業(yè)務核算能力外部業(yè)務系統(tǒng)內部業(yè)務系統(tǒng)內部資金系統(tǒng)外部資金系統(tǒng)可靠業(yè)務通知5業(yè)務連續(xù)性保障體系5業(yè)務連續(xù)性保障體系可用率度量度量指標運維不可用率時長（運維可用率）

因故障引發(fā)10分鐘及以上，創(chuàng)建or支付筆數與基線相比下跌超20%，則計入運維不可用時長。

技術團隊可控的技術團隊無法控制的服務不可用時長=運維不可用+計劃內停機維護+第三方原因不可用關鍵數字：運維可用率服務可用率（用戶端感受）（運維不可用時長）（服務不可用時長）檢驗運維能力檢驗系統(tǒng)架構可用率度量度量指標檢驗檢驗運維管理體系

運維管理體系變更管理、故障管理、預案機制、演練機制

運維基礎體系標準化運維配置標準化（網絡、DB、應用，OS版本、參數標準化）操作規(guī)范化運維工具體系（效率&質量）監(jiān)控體系（系統(tǒng)、網絡、DB、應用）管理體系（IAAS平臺）應急體系（預案、組織體系等）其他基礎：如優(yōu)化報警等運維意識：運維往前走，與架構、研發(fā)密切配合運維管理體系運維管理體系變更管理

需求分析設計編碼測試發(fā)布運行配置線上發(fā)布穩(wěn)定性評審24*7監(jiān)控系統(tǒng)日/周/月報性能測試多級發(fā)布穩(wěn)定性測試自動化發(fā)布與驗證應急值班制依賴測試兼容性測試發(fā)布測試分析設計評審生產變更變更評審Beta運行架構規(guī)范編碼規(guī)范單元測試持續(xù)集成代碼評審功能測試變更管理需求分析設計編碼測試發(fā)布運行配置線上發(fā)布穩(wěn)定性評審容量管理

容量壓測容量基線容量管理容量預測資源管理報表管理容量管理容量壓測容量基線容量管理容量預測資源管理報表管理應急響應與演練應急組織24*7監(jiān)控小組跨部門組織應急流程應急響應識別風險制定預案演練與記錄總結與改進應急演練風險識別+預案+演練模擬場景或真實場景定期演練與改進（全年規(guī)劃、季度計劃、每月一次大型演練）應急響應與演練應急組織識別風險制定預案演練與記錄總結與改進應6業(yè)務連續(xù)性保障案例6業(yè)務連續(xù)性保障案例數據庫故障處理案例monitor：(09:46:37):付款下跌了DBA：(09:47:06):PC00數據庫故障，HBA卡硬件故障、現在已經推送failovermonitor：(09:48:07):

9點44分下跌，46分恢復。DBA：(09:53:58):已經確認是一塊HBA卡硬件損壞，現在暫時將該卡屏蔽，業(yè)務回推到主庫，保障聚劃算，下午將進行