高并發(fā)下的網(wǎng)站架構(gòu)

高并發(fā)下的網(wǎng)站架構(gòu)

阿里巴巴中國(guó)站性能調(diào)優(yōu)實(shí)踐

何崚(阿里巴巴中國(guó)站架構(gòu)師)旺旺ID：maxheling E-mail：【內(nèi)部講座資料，請(qǐng)勿外傳】中國(guó)站性能現(xiàn)狀中國(guó)站網(wǎng)站的正常流量情況并發(fā)〔單臺(tái)〕，頂峰期<10吞吐量〔TPS，單臺(tái)〕頂峰期，<60CPU負(fù)載Load頂峰期，<2,大局部效勞器<1CPU使用率，一般只占1顆核，平均60%左右效勞器平均響應(yīng)時(shí)間頂峰期，<150ms圖片總流量帶寬1.8G〔各網(wǎng)站總合〕高并發(fā)下的風(fēng)險(xiǎn)網(wǎng)絡(luò)帶寬耗盡效勞器Load飆高，停止響應(yīng)數(shù)據(jù)庫(kù)癱瘓高并發(fā)下的事故事故：網(wǎng)站運(yùn)營(yíng)旺旺推廣頁(yè)面彈出，1兆大圖片導(dǎo)致帶寬耗盡增加審核機(jī)制：運(yùn)營(yíng)推廣增加的圖片流量不能超過現(xiàn)有流量的30%合作媒體推廣：迅雷，暴風(fēng)影音浮出廣告，導(dǎo)致旺鋪集群Crash秒殺1688開業(yè)88小時(shí)不間斷秒殺活動(dòng)高并發(fā)對(duì)網(wǎng)站性能的影響并發(fā)數(shù)對(duì)吞吐量的影響并發(fā)數(shù)對(duì)效勞器平均請(qǐng)求響應(yīng)時(shí)間的影響并發(fā)數(shù)對(duì)用戶平均請(qǐng)求等待時(shí)間的影響高并發(fā)實(shí)例：1688開業(yè)秒殺活動(dòng)商業(yè)需求為慶祝1688開業(yè)退出88小時(shí)不間斷秒殺活動(dòng)每小時(shí)整點(diǎn)推出8款商品，拖拉機(jī)，牛，馬桶，沙發(fā)……每款商品供168件，每人限批3件，成交人數(shù)56人CCTV黃金廣告時(shí)間，各種網(wǎng)絡(luò),平面媒體轟炸，總廣告費(fèi)：1.5億接到運(yùn)營(yíng)通知，距秒殺開始僅僅5天時(shí)間技術(shù)挑戰(zhàn)瞬間高并發(fā)8000并發(fā)：預(yù)估秒殺在線人數(shù)可達(dá)8000人風(fēng)險(xiǎn)：帶寬耗盡效勞器：崩潰，可以理解成自己給自己準(zhǔn)備的攻擊秒殺器第一種：秒殺前不斷刷新秒殺頁(yè)面，直到秒殺開始，搶著下單第二種：跳過秒殺頁(yè)面，直接進(jìn)入下單頁(yè)面，下單1688秒殺系統(tǒng)：效勞器和網(wǎng)絡(luò)準(zhǔn)備效勞器準(zhǔn)備〔距秒殺開始僅五天時(shí)間來不及采購(gòu)〕style效勞器〔Ligd集群〕：5臺(tái)圖片效勞器〔Nginx集群〕：5臺(tái)靜態(tài)效勞器〔Apache集群〕：10臺(tái)交易效勞器〔JBoss動(dòng)態(tài)集群〕：10臺(tái)帶寬準(zhǔn)備圖片出口帶寬上限：2.5G〔出口帶寬支持10G，但圖片效勞器集群的處理能力：圖片效勞集群最大并發(fā)處理能力X網(wǎng)站平均圖片大小=2.5G〕CDN準(zhǔn)備：Chinacache溝通；借用TaobaoCDN1688秒殺系統(tǒng)：架構(gòu)目標(biāo)1.圖片網(wǎng)絡(luò)帶寬：1.0G 新增圖片帶寬：必須控制在1.0G左右 每件商品秒殺頁(yè)面的圖片總大小不得超過：1000000/(1000*8)=125K/每商品2.網(wǎng)站并發(fā)： 單件商品并發(fā)：1000【來自運(yùn)營(yíng)的預(yù)估】 總并發(fā):8〔件商品〕X1000〔人/商品〕=8000

1688秒殺系統(tǒng)：組成簡(jiǎn)單系統(tǒng)：

三個(gè)頁(yè)面組成：秒殺商品列表，秒殺商品介紹，下單【1688靜態(tài)集群】【中國(guó)站交易動(dòng)態(tài)集群china.alibaba】下單成功后，進(jìn)入支付寶系統(tǒng)，走支付流程1688秒殺系統(tǒng)：設(shè)計(jì)原那么靜態(tài)化采用JS自動(dòng)更新技術(shù)將動(dòng)態(tài)頁(yè)面轉(zhuǎn)化為靜態(tài)頁(yè)面并發(fā)控制，防秒殺器設(shè)置閥門，只放最前面的一局部人進(jìn)入秒殺系統(tǒng)簡(jiǎn)化流程砍掉不重要的分支流程，如下單頁(yè)面的所有數(shù)據(jù)庫(kù)查詢以下單成功作為秒殺成功標(biāo)志。支付流程只要在1天內(nèi)完成即可。前端優(yōu)化采用YSLOW原那么提升頁(yè)面響應(yīng)速度

1688秒殺系統(tǒng)：靜態(tài)化(1)秒殺商品list和Detail是靜態(tài)Html頁(yè)面1688秒殺系統(tǒng)：靜態(tài)化(2)秒殺商品列表/秒殺商品介紹頁(yè)面，如何判斷秒殺開始否答案：

valid-offer.js三道閥門的設(shè)計(jì)閥門：基于TT的計(jì)數(shù)器序號(hào)閥門上限1限制進(jìn)入秒殺頁(yè)面，10002限制進(jìn)入下單頁(yè)面，1003限制進(jìn)入支付寶系統(tǒng)，56秒殺器的預(yù)防秒殺Detail頁(yè)面URL：隨機(jī)秒殺前2秒放出,腳本生成，秒殺前1000次訪問上限控制【每件商品只能放入1000人瀏覽】下單頁(yè)面：訂單ID，隨機(jī)不能直接跳過秒殺Detail頁(yè)面進(jìn)入每個(gè)秒殺商品，帶預(yù)先生成的隨機(jī)Token作URL參數(shù)如果秒殺過，直接跳到秒殺結(jié)束頁(yè)面100次訪問上限控制【每件商品只能放入1000人下單】WebServer調(diào)優(yōu)–Apache調(diào)優(yōu)KeepAlive相關(guān)參數(shù)調(diào)優(yōu)其他參數(shù)調(diào)優(yōu)HostnameLookups設(shè)為off，對(duì)allowfromdomain等后的域名不進(jìn)行正向和反向的dns解析關(guān)閉cookies-log日志翻開Linuxsendfile()關(guān)閉無(wú)用的modulemod_Gzip(秒殺頁(yè)面，非圖片html文本所占流量比重可忽略不計(jì)，zip意義不大),mod_Beacon,mod_hummock〔等待反響過來，秒殺已經(jīng)over了〕WebServer調(diào)優(yōu)–JBoss調(diào)優(yōu)Mod-jkworker調(diào)優(yōu)JBossAJPConnectorTomcatAPR設(shè)定秒殺靜態(tài)頁(yè)面優(yōu)化圖片合并8張圖片合并成1張，css偏移展示減少HTTP請(qǐng)求數(shù)，減少請(qǐng)求等待數(shù)減少發(fā)送cookies的量HTML內(nèi)容壓縮圖片壓縮：圖片Bytes<長(zhǎng)X寬/2250HTMLHeaderCache-Control設(shè)置CSS，JS精簡(jiǎn)CSS,JS精簡(jiǎn)到極致，局部直接寫在頁(yè)面中，減少Http請(qǐng)求次數(shù)下單頁(yè)面優(yōu)化數(shù)據(jù)庫(kù)操作：全部砍掉原下單頁(yè)面要訪問8次數(shù)據(jù)庫(kù)，全部砍掉秒殺流程精簡(jiǎn)砍掉填寫或選擇收貨地址，放在秒殺成功后填寫砍掉調(diào)用是否開通支付寶接口，秒殺首頁(yè)文案提示必須開通采用內(nèi)存緩存秒殺Offer數(shù)據(jù)，支付寶相關(guān)信息，緩存交易系統(tǒng)性能優(yōu)化交易系統(tǒng)調(diào)優(yōu)目標(biāo)：關(guān)閉KeepAlive〔分析交易系統(tǒng)accesslog，用戶在短時(shí)間內(nèi)連續(xù)點(diǎn)擊概率很低〕JVM優(yōu)化 優(yōu)化CMS垃圾回收器的參數(shù)消滅Top10BottlenecksVelocity參數(shù)調(diào)優(yōu)采用DBCP1.4替換C3P0Offer產(chǎn)品參數(shù)的XML解析并發(fā)TPS下單頁(yè)面（優(yōu)化前）20100下單頁(yè)面（優(yōu)化后）40400二跳頁(yè)面的優(yōu)化1688其他頁(yè)面前端優(yōu)化：Yslow規(guī)那么調(diào)優(yōu)減少請(qǐng)求，合并JS,CSS,圖片，充分利用瀏覽器緩存圖片壓縮，公式：防止發(fā)送cookies交易系統(tǒng)優(yōu)化普通訂單管理列表和1688秒批訂單管理列表別離禁止用模糊查詢功能應(yīng)急預(yù)案域名別離，獨(dú)立域名，不影響中國(guó)站原有業(yè)務(wù)Style集群：圖片效勞器集群：靜態(tài)頁(yè)面集群：出問題直接把1688相關(guān)域名卡掉，所有請(qǐng)求跳到萬(wàn)能出錯(cuò)頁(yè)面機(jī)動(dòng)效勞器10臺(tái)，備用拆東墻補(bǔ)西墻戰(zhàn)略5天時(shí)間來不及采購(gòu)效勞器，因此SA待命，隨時(shí)準(zhǔn)備將非核心應(yīng)用集群的冗余效勞器下線，參加到秒殺集群壁虎斷尾策略所有方法均失效的情況下，例如流量耗盡非核心應(yīng)用集群統(tǒng)統(tǒng)停止效勞，如資訊，論壇，博客等社區(qū)系統(tǒng)保住首頁(yè)，OfferDetail,旺鋪頁(yè)面等核心應(yīng)用的可用性萬(wàn)能出錯(cuò)頁(yè)面：秒殺活動(dòng)已經(jīng)結(jié)束任何出錯(cuò)都302跳轉(zhuǎn)到此頁(yè)面位于另外集群萬(wàn)幸：最終所有的預(yù)案都沒有用上秒殺活動(dòng)結(jié)果88小時(shí)秒殺，堅(jiān)守陣地，大獲成功秒殺還是被秒殺？終于有了答案三道閥門設(shè)計(jì)非常有效，攔住了秒殺器1688靜態(tài)集群總并發(fā)情況〔首頁(yè)，秒殺列表，秒殺商品頁(yè)面〕交易系統(tǒng)集群總并發(fā)情況〔下單頁(yè)面〕改進(jìn)一：采用更輕量/快速的效勞器〔1〕采用Ligd替代Apache殺手锏〔AIO〕改進(jìn)一：采用更輕量/快速的效勞器〔1〕小頁(yè)面性能〔100K〕大頁(yè)面性能〔10M〕改進(jìn)一：采用更輕量/快速的效勞器〔1〕性能關(guān)鍵：WebServer的高性能I/OLigd1.5Apache2.2支持Apache1.3注意：sendfile〔〕和AIO的操作系統(tǒng)相關(guān)性：依賴高版本Linux操作系統(tǒng)改進(jìn)一：采用更輕量/快速的效勞器〔2〕中國(guó)站應(yīng)用效勞器升級(jí)工程，采用Jetty7.1.5替代中國(guó)站應(yīng)用效勞器升級(jí)工程：Apache2.2+Mod-Proxy+Jetty7.1.5與中國(guó)站現(xiàn)有架構(gòu)性能比照性能大幅提升，中國(guó)站全站下線1/3應(yīng)用效勞器約一百臺(tái)，明年不用采購(gòu)新機(jī)器

架構(gòu)更輕量，配置更簡(jiǎn)單應(yīng)用更無(wú)狀態(tài)化，開發(fā)和維護(hù)的福音更加平安改進(jìn)二：前端優(yōu)化自動(dòng)化中國(guó)站效勞器響應(yīng)時(shí)間<150ms,但OfferDetail頁(yè)面用戶等待時(shí)間5s,大局部時(shí)間耗在路上〔資源請(qǐng)求和網(wǎng)絡(luò)傳輸)圖片自動(dòng)壓縮〔CMS自動(dòng)壓縮〕Cookies效勞化〔控制cookies的大小〕中國(guó)站前端延遲加載框架SmartLoad〔只加載首屏數(shù)據(jù)〕Googlemod_pagespeedmodule自動(dòng)壓縮圖片，靜態(tài)資源，智能瀏覽器緩存技術(shù)GoogleDiffable〔增量下載靜態(tài)資源技術(shù)〕改進(jìn)三：架設(shè)鏡像站組建山寨CDN中國(guó)站青島鏡像站工程改進(jìn)四：采用反向代理加速核心頁(yè)面在Offer集群前部署Squid反向代理集群OfferDetail的Squid