拍拍后臺架構(gòu)介紹

2024/4/8廣州斗魚網(wǎng)絡科技有限公司拍拍后臺架構(gòu)介紹陳志軍2015-9-181拍拍后臺架構(gòu)介紹-大綱縱向-技術架構(gòu)AppPlatform中間件模型負載均衡/容災方案MsgQ監(jiān)控體系發(fā)布流程橫向-SOA案例-多客服系統(tǒng)介紹對斗魚服務器模型的思考縱向-技術架構(gòu)nginx（+前端頁面緩存）DBapache/TwsAO可復用的業(yè)務、聚合服務AO+DAO數(shù)據(jù)服務同步/異步同步/異步DALDB分布式數(shù)據(jù)緩存讀/寫寫分布式文件系統(tǒng)配置中心索引服務DBAppPlatform中間件表現(xiàn)層：cgiwebservice：基于webplatform的cgi，運行于多進程模式的tws平臺上template：符合googletemplate的頁面模板，供cgi或webservice用來渲染頁面PO:業(yè)務邏輯層和cgi或webservice之間進行數(shù)據(jù)傳遞的類，該類由AO組織，由cgi或webservice渲染頁面時使用應用層：AO：業(yè)務邏輯實現(xiàn)，運行于進程模式的Appplatform上（異步能力）IDL：業(yè)務對外提供的接口描述文件，可以通過autogen生成C++,java以及PHP的代碼領域?qū)?、持久層BO：領域?qū)ο驞AO：數(shù)據(jù)訪問層實現(xiàn)，處理和事務相關的相關邏輯;，運行于進程模式的Appplatform上數(shù)據(jù)層：索引：基于sphinx構(gòu)建的通用索引系統(tǒng)，提供高性能的復雜查詢服務TTC,TMEM,TDB：公司級的云設施DAOCAO數(shù)據(jù)庫索引AOBOBOcgiIDLwebservicePOPOwebplatformappplatformTMEMtemplateMVC展現(xiàn)層應用層領域?qū)映志脤訑?shù)據(jù)層多進程的運行模式AppPlatform中間件NetioAO0x????AO0x????AO0x????DAO0x????DAO0x????BackNetioContainerFrontKeyBackKeypth用戶級線程，調(diào)度配置中心請求回應AppPlatform中間件職責單一、明晰快慢分離代碼、模塊、組件復用平行擴展集中監(jiān)控使用接口描述語言，方便系統(tǒng)間集成重復代碼使用工具自動生成業(yè)務代碼與平臺代碼分離，簡化業(yè)務邏輯使用協(xié)程方式，簡化業(yè)務邏輯和代碼編寫AppPlatform中間件

IDL文件系統(tǒng)間的集成IDL提供了充足的元數(shù)據(jù)信息autogen，業(yè)務協(xié)議的自動生成C++phpjavaC#delphipython…通過tcp/udp進行通訊負載均衡與容災服務請求路由方式/usr/local/c2csvc/global_conf/ServiceConfig.xml配置：Route=Mod（按路由key取模）Route=Mod+L5（按路由key取模+L5負載均衡）負載均衡與容災-L5負載均衡與容災-L5負載均衡與容災-L5MsgQ應用程序或組件之間的一種通訊方式分布式的

是“可靠”的MsgQ-系統(tǒng)拓撲架構(gòu)Agents和Servers集群構(gòu)成了MsgQ的消息服務總線.接入CGIAODAOidmakerDAL頻率限制分布式cacheWebPlatformnginx插件配置中心統(tǒng)計Server權限系統(tǒng)敏感詞LogServer/模調(diào)proxyAppPlatform錯誤碼MsgQ其他組件監(jiān)控體系監(jiān)控一切可監(jiān)控的發(fā)布流程EOS發(fā)布系統(tǒng)：cgi,html,js,picrpm打包系統(tǒng)：ao,dao配置中心：路由切換，配置變更、DB管理等由系統(tǒng)來保證：（保證環(huán)境一致性） dev->beta->gamma->idc灰度發(fā)布橫向-SOA 面向服務的體系結(jié)構(gòu)是一個組件模型，它將應用程序的不同功能單元（稱為服務）通過這些服務之間定義良好的接口和契約聯(lián)系起來。接口是采用中立的方式進行定義的，它應該獨立于實現(xiàn)服務的硬件平臺、操作系統(tǒng)和編程語言。這使得構(gòu)建在各種各樣的系統(tǒng)中的服務可以使用一種統(tǒng)一和通用的方式進行交互。可從外部訪問隨時可用粗粒度的服務接口分級松散耦合可重用的服務服務接口設計管理標準化的服務接口支持各種消息模式精確定義的服務契約案例-多客服后臺架構(gòu)智能的、復雜的、大QQ案例-多客服后臺架構(gòu)案例-多客服后臺架構(gòu)模塊功能服務器數(shù)量Proxy實現(xiàn)Sconn、Oidb、Paipai代理>=2，B2跨機房容災多機負載均衡，可平衡擴展Web接入實現(xiàn)客戶端請求接入代理>=4，C1網(wǎng)通和電信環(huán)境跨機房容災Nginx負載均衡Ao/DaoC2CPlatform平臺架構(gòu)>=4，B1跨機房容災多機負載均衡，可平衡擴展L5技術應用，自動摘除僵死機器，進行過載保護DB數(shù)據(jù)存儲>=6，A1數(shù)據(jù)跨機房雙備份統(tǒng)計數(shù)據(jù)總開通賣家數(shù)：3W+

總開通工號數(shù)：12W+活躍賣家數(shù)：2W+

活躍工號數(shù)：10W+聊天客戶數(shù)：60W+/日接收消息數(shù)：400W+/日 發(fā)送消息數(shù)：450W+/日

不同類型的服務部署在不同類型的機器上，以節(jié)省硬件成本。服務器類型介紹對斗魚服務器模型的思考性能、擴展、容災等方面的思考代碼維護方面的思考現(xiàn)有模型其它服務器MsgServer其它服務器netmsgnetmsgrpcrpc性能、擴展、容災等方面的思考服務間通信鏈條長，影響性能；且MsgServer容易成為瓶頸數(shù)據(jù)都緩存在本地，無法做到平行擴展、無法容災服務無法做快慢分離，慢速服務會拖累整體系統(tǒng)無法按業(yè)務邏輯劃分模塊，導致ChatRoom過于龐大，引起諸多問題消息隊列（RPC請求）放在內(nèi)存中，服務重啟時，必然導致信息丟失服務器信息同步?jīng)]有確認機制，不能保證一致性代碼維護方面的思考存在的問題（引自拍拍）每個AppServer都有大量的重復代碼，增加了應用開發(fā)人員的負擔；開發(fā)人員不可避免地需要編寫調(diào)試協(xié)議打解包代碼，花費大量的時間和精力；底層代碼一旦有調(diào)整，需要重編各個AppServer；每個AppSe