股市動(dòng)蕩下的雪球架構(gòu)進(jìn)化歷程

1、下的雪球架構(gòu)進(jìn)化歷程唐雪球首席架構(gòu)師大綱! 關(guān)于雪球，關(guān)于我! 雪球總體架構(gòu)! 雪球架構(gòu)優(yōu)化歷程! 一些總結(jié)和感想關(guān)于雪球! 雪球聰明的投資者都在這里! web 1.0：資訊，股價(jià)信息，K線圖! web 2.0：SNS 訂閱，聊天! web 3.0：移動(dòng) APP，交易閉環(huán)! /about簡(jiǎn)歷送6!關(guān)于雪球! 員工 100+ ，技術(shù)占一半! 2014.9 C輪 $40M by RENN! Java，Scala，Akka，F(xiàn)inagle， Nodejs，Docker ，Hadoop! 租用IDC機(jī)房自建私有云，正在往“公有云+私有云”方向發(fā)展關(guān)于雪球! 滬美2w+! 債券，私募。，基金，比特幣，!

2、 百萬(wàn)組合，實(shí)時(shí)調(diào)倉(cāng)信息! 百萬(wàn)日活，每天4億API調(diào)用（不算自動(dòng)輪詢接口）關(guān)于我! 前架構(gòu)師，ID 唐短鏈!計(jì)數(shù)器 redis，rediscounter!用戶關(guān)系服務(wù)!穩(wěn)定性、性能改進(jìn)!關(guān)于我! 雪球首席架構(gòu)師，雪球ID 唐! 性能，穩(wěn)定性，代碼質(zhì)量改進(jìn)! 基礎(chǔ)組件，微服務(wù)容器建設(shè)! XDC 雪球數(shù)據(jù)中心大綱! 關(guān)于雪球，關(guān)于我! 雪球總體架構(gòu)! 雪球架構(gòu)優(yōu)化歷程! 一些總結(jié)和感想大綱! 關(guān)于雪球，關(guān)于我! 雪球總體架構(gòu)! 雪球架構(gòu)優(yōu)化歷程! 一些總結(jié)和感想2015年大盤走勢(shì)! ! 小 VS 大：! ?。盒」镜捏w量，團(tuán)隊(duì)小，機(jī)器規(guī)模小! 大：堪比大公司的業(yè)務(wù)線數(shù)量，業(yè)務(wù)復(fù)雜度，瞬間峰值沖擊

3、! 快速增長(zhǎng)! 移動(dòng)互聯(lián)網(wǎng) + 金融，風(fēng)口大盤劇烈波動(dòng)!優(yōu)化! 前端! Hybrid APP，端到端可用性! 接入層! 輪詢Server優(yōu)化! 業(yè)務(wù)層! 股價(jià)提醒，IM 推送，邏輯! 通用優(yōu)化! JDK8，config service，metricsHybrid APP! 雪球App實(shí)踐構(gòu)建靈活、可靠的 Hybrid框架! ht/2015mobile/! htt/data/ 2080769! 原生框架 + 離線H5頁(yè)面APP端可用性! 移動(dòng)時(shí)代端到端的穩(wěn)定性保障! 每個(gè)請(qǐng)求里帶上前一個(gè)請(qǐng)求的結(jié)果! succ or fail ： 1 char! 失敗原因：0 - 1 char! 請(qǐng)求接口： 1

4、char! 請(qǐng)求耗時(shí)：2 - 3 char! 其它：網(wǎng)絡(luò)制式，etcQuote Server! 開盤期間，每個(gè)客戶端（包括web）每1秒輪詢一次當(dāng)前用戶關(guān)注的格變動(dòng)情況的價(jià)! Netty + 本地內(nèi)存! 主動(dòng)更新股價(jià)提醒性能優(yōu)化! 雪球上熱門擁有超過 50w 粉絲（招商，蘇寧云商）! 粉絲可以設(shè)置：當(dāng)這支漲幅或跌幅超過 x%（默認(rèn)7%）時(shí)提醒我! 曾經(jīng)連續(xù)3天，每天超過1000股，證監(jiān)會(huì)開了一個(gè)會(huì)，于是接下來2天超過 1000股漲停股價(jià)提醒性能優(yōu)化（2）! 原來做法：漲（跌）x%，掃一遍粉絲列表，過濾出所有符合條件的粉絲，推送消息! 新做法：預(yù)先建立索引，開盤期間載入內(nèi)存! 1%：uid1，u

5、id2! 2%：uid3，uid4，uid5! 3%：uid6! 問題：有時(shí)候嫌太及時(shí)了：頻繁，打開，再，再打開。的時(shí)候IM 推送性能優(yōu)化! 聊天功能：送達(dá)率第一! 雪球IM：Netty + 自定義網(wǎng)絡(luò)協(xié)議! Akka ： 每個(gè)cnt一個(gè)actor! 推模式：cnt情況下使用推模式! 多端同步：?jiǎn)钨~號(hào)多端可登錄，并保持各種狀態(tài)同步IM 推送性能優(yōu)化（2）! 推送功能：瞬間峰值性能第一! 優(yōu)化分配資源：推送賬號(hào)actor池!精簡(jiǎn)業(yè)務(wù)邏輯：重復(fù)消息只存id，實(shí)時(shí)提醒內(nèi)容不推歷史設(shè)備，不更新非活躍設(shè)備的!Ses列表等等本地緩存：拉黑等無(wú)法精簡(jiǎn)的業(yè)務(wù)邏輯遷移到本地緩存!優(yōu)化代碼：異步加密 akka 使

6、用，去除不合理的!模塊優(yōu)化! 2015.7.10/17/24 中國(guó)! 預(yù)估期間2小時(shí)新100萬(wàn)! 壓測(cè)發(fā)現(xiàn) DB 成為瓶頸：! 昵稱檢測(cè) cache miss 40%! 昵稱禁用詞 where like 模糊查詢號(hào)是否cache miss 80%!新用戶：5 insert!模塊優(yōu)化（2）! 優(yōu)化：! redis store：昵稱，號(hào)! 本地：昵稱禁用詞! 業(yè)務(wù)流程優(yōu)化：DB insert 操作同步改異步前置模塊HA! 合作方合規(guī)要求：業(yè)務(wù)單元部署到合作方內(nèi)網(wǎng)，用戶的敏感數(shù)據(jù)不允許離開進(jìn)程內(nèi)存! 業(yè)務(wù)本身要求：業(yè)務(wù)單元本身為有狀態(tài)服務(wù)，業(yè)務(wù)單元高可用前置模塊HA（2）! 解決方案：! Hazel

7、castemory Data Grid! replication map! java -XX:+DisableAtta-XX:-UsePerfDataechanism組合凈值計(jì)算性能優(yōu)化! 一支可能在超過20萬(wàn)個(gè)組合里（南車北車中車，暴風(fēng)科技）! 離線計(jì)算，計(jì)算后的結(jié)果! 股價(jià)3秒變一次，涉及到這支的所有組合理論上也需要每 3 秒重新計(jì)算一次組合凈值計(jì)算性能優(yōu)化（2）! Akka! 分級(jí) + 批量! 構(gòu)建高可用的雪球投資組合系統(tǒng)技術(shù)實(shí)踐/!speakers/201825通用優(yōu)化! JDK6 升級(jí) JDK8!-XX:+ParallelRefProcEnabled-XX:-CMSClanloadi

8、ngEnabled! Config Center和開關(guān)降級(jí)通用優(yōu)化（2）所有cnt! redis, http, mqmetrics體系! dropwizard + logback appender大綱! 關(guān)于雪球，關(guān)于我! 雪球總體架構(gòu)! 雪球架構(gòu)優(yōu)化歷程! 一些總結(jié)和感想總結(jié)! 一個(gè)單一架構(gòu)的大服務(wù) VS 一堆架構(gòu)各異的小服務(wù)總結(jié)! 高大上的架構(gòu) VS 可以工作的架構(gòu)! 優(yōu)化到極致 VS 優(yōu)化到可以接受總結(jié)! 重寫! 重構(gòu)! 裱糊匠! 最小改動(dòng)總結(jié)! 數(shù)據(jù)指標(biāo)！數(shù)據(jù)指標(biāo)！數(shù)據(jù)指標(biāo)！! qps! p99! error rate! USE method：Utilization, Saturation，error（Velocity 2013， Performance Methodologies for Production Systems，Brendan Gregg）總結(jié)! 技術(shù)棧的一致性和簡(jiǎn)單性總結(jié)! 能用cache的地方絕不用db! 能異步的地方，絕不同步總結(jié)! 特事特辦：業(yè)務(wù)在發(fā)展，需求在變化，實(shí)現(xiàn)方式也需要跟著變化感想! 技術(shù)的自我修養(yǎng)：! 知道好的結(jié)果! 知道如何去追求好的結(jié)果! 能夠給出好的結(jié)果感想! 技術(shù)方案：! 20倍設(shè)計(jì)，10倍實(shí)現(xiàn)，3倍部署! 擴(kuò)展性：凡事留