大型網(wǎng)站技術(shù)架構(gòu)-核心原理與案例分析by方陽(yáng)ppt課件

1、大型網(wǎng)站技術(shù)架構(gòu) 中心原理與案例分析INFORMATION SHARE方陽(yáng)方陽(yáng) 2019.02 2019.02金融中心研發(fā)信息技術(shù)中心金融中心研發(fā)信息技術(shù)中心BREAD PPT DESIGN目錄 網(wǎng)站的演化1 1 大型網(wǎng)站的架構(gòu)方式2 2 中心要素分析3 3CONTENTSBREAD PPT DESIGN什么樣的網(wǎng)站才算是大型網(wǎng)站？什么樣的網(wǎng)站才算是大型網(wǎng)站？ 高并發(fā)，大流量 高可用 海量的數(shù)據(jù) 用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜 平安環(huán)境惡劣 需求快速變卦，發(fā)布頻繁 漸進(jìn)式的開(kāi)展 網(wǎng)站的演化1 1BREAD PPT DESIGN大型網(wǎng)站都是由小型網(wǎng)站開(kāi)展而來(lái)，架構(gòu)也是如此大型網(wǎng)站都是由小型網(wǎng)站開(kāi)展而

2、來(lái)，架構(gòu)也是如此 初始階段的網(wǎng)站，一臺(tái)效力器包含運(yùn)用、數(shù)據(jù)庫(kù)等 運(yùn)用與數(shù)據(jù)分別 運(yùn)用緩存改善性能 運(yùn)用效力器集群改善網(wǎng)站的并發(fā)處置才干 數(shù)據(jù)庫(kù)讀寫分別 運(yùn)用反向代理和CDN加速網(wǎng)站相應(yīng) 運(yùn)用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng) 運(yùn)用NoSQL和搜索引擎 業(yè)務(wù)拆分 分布式效力 網(wǎng)站的演化1 1BREAD PPT DESIGN網(wǎng)站架構(gòu)的演化 網(wǎng)站的演化1 1BREAD PPT DESIGN大型網(wǎng)站的價(jià)值觀 大型網(wǎng)站架構(gòu)技術(shù)的價(jià)值觀是隨網(wǎng)站所需靈敏應(yīng)對(duì) 驅(qū)動(dòng)大型網(wǎng)站技術(shù)開(kāi)展的主要力量是網(wǎng)站的業(yè)務(wù)開(kāi)展 網(wǎng)站技術(shù)是為了業(yè)務(wù)而存在的，脫離業(yè)務(wù)開(kāi)展的實(shí)踐，能夠會(huì)將技術(shù)開(kāi)展引入小道 技術(shù)是用來(lái)處理業(yè)務(wù)問(wèn)題的，而業(yè)

3、務(wù)問(wèn)題，也可以經(jīng)過(guò)業(yè)務(wù)的手段處理BREAD PPT DESIGN網(wǎng)站架構(gòu) 架構(gòu)是什么？ 最高層次的規(guī)劃，難以改動(dòng)的決議。這些規(guī)劃和決議奠定了事務(wù)未來(lái)開(kāi)展的方向和最終的藍(lán)圖 軟件架構(gòu)是什么？ 有管軟件整體結(jié)果與組件的籠統(tǒng)描畫，用于知道大型軟件系統(tǒng)各個(gè)方面的設(shè)計(jì)BREAD PPT DESIGN大型網(wǎng)站的架構(gòu)方式架構(gòu)模式分層分割分布式集群緩存異步冗余自動(dòng)化安全BREAD PPT DESIGN 分層 將系統(tǒng)橫向維度上切分成幾個(gè)部分，每個(gè)部分擔(dān)任比較單一的職責(zé)，經(jīng)過(guò)上層對(duì)下層的依賴和調(diào)用組成一個(gè)完好的系統(tǒng) 制止跨層次的調(diào)用和逆向調(diào)用 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 分割 假設(shè)說(shuō)

4、分層是將軟件在橫向方面進(jìn)展切分，那么分隔就是在縱向方面對(duì)軟件進(jìn)展切分 大型網(wǎng)站分隔的粒度能夠會(huì)很小。比如在運(yùn)用層，將不同業(yè)務(wù)進(jìn)展分隔，例如將購(gòu)物、論壇、搜索、廣告分隔成不同的運(yùn)用，有對(duì)立的團(tuán)隊(duì)擔(dān)任，部署在不同的效力器上 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 分布式 分布式是指將不同的業(yè)務(wù)分布在不同的地方 分布式運(yùn)用和效力，把運(yùn)用和效力模塊分布式部署 分布式靜態(tài)資源：把JS，CSS，JPG圖片等資源獨(dú)立分布式部署，并采用獨(dú)立的域名 分布式數(shù)據(jù)和存儲(chǔ)：大型網(wǎng)站的海量數(shù)據(jù)，單臺(tái)計(jì)算機(jī)無(wú)法提供空間時(shí)，需求分布式部署 分布式計(jì)算：運(yùn)用、效力、數(shù)據(jù)處置都是計(jì)算，這些計(jì)算量非常龐大，目前

5、很多網(wǎng)站采用hadoop及其MapRedcuce分布式計(jì)算框架 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 集群 集群是指將多臺(tái)效力器集中在一同，實(shí)現(xiàn)同一業(yè)務(wù) 對(duì)于用戶訪問(wèn)集中的模塊需求將獨(dú)立部署的效力器集群化，即多臺(tái)效力器部署一樣的運(yùn)用構(gòu)成一個(gè)集群，經(jīng)過(guò)負(fù)載平衡設(shè)備共同對(duì)外提供效力 效力器集群可以為一樣的效力提供更多的并發(fā)支持，因此當(dāng)有更多的用戶訪問(wèn)時(shí)，只需求向集群中參與新的機(jī)器即可；另外可以實(shí)現(xiàn)當(dāng)其中的某臺(tái)效力器發(fā)生缺點(diǎn)時(shí)，可以經(jīng)過(guò)負(fù)載平衡的失效轉(zhuǎn)移機(jī)制將懇求轉(zhuǎn)移至集群中其他的效力器上，因此可以提高系統(tǒng)的可用性 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 緩存

6、緩存目的就是減輕效力器的計(jì)算，使數(shù)據(jù)直接前往給用戶。在如今的軟件設(shè)計(jì)中，緩存曾經(jīng)無(wú)處不在。詳細(xì)實(shí)現(xiàn)有CDN、反向代理、本地緩存、分布式緩存等 運(yùn)用緩存有兩個(gè)條件：訪問(wèn)數(shù)據(jù)熱點(diǎn)不平衡，即某些頻繁訪問(wèn)的數(shù)據(jù)需求放在緩存中；數(shù)據(jù)在某個(gè)時(shí)間段內(nèi)有效，不過(guò)很快過(guò)期，否那么會(huì)由于數(shù)據(jù)過(guò)期而臟讀，影響數(shù)據(jù)的正確性 緩存除了可以加快數(shù)據(jù)的訪問(wèn)速度，還可以減輕后端運(yùn)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 異步 運(yùn)用異步，業(yè)務(wù)之間的音訊傳送不是同步伐用，而是將一個(gè)業(yè)務(wù)操作分成多個(gè)階段，每個(gè)階段之間經(jīng)過(guò)共享數(shù)據(jù)的方法異步執(zhí)行進(jìn)展協(xié)作 異步伐用可以提高系統(tǒng)的可用性，加快網(wǎng)站的

7、呼應(yīng)速度，消除并發(fā)訪問(wèn)頂峰。但是能夠會(huì)對(duì)用戶體驗(yàn)及業(yè)務(wù)流程呵斥影響 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 冗余 網(wǎng)站需求724小時(shí)延續(xù)運(yùn)轉(zhuǎn)，那么就得有相應(yīng)的冗余機(jī)制，以防某臺(tái)機(jī)器宕掉時(shí)無(wú)法訪問(wèn)，而冗余那么可以經(jīng)過(guò)部署至少兩臺(tái)效力器構(gòu)成一個(gè)集群實(shí)現(xiàn)效力高可用。數(shù)據(jù)庫(kù)除了定期備份還需求實(shí)現(xiàn)冷熱備份。甚至可以在全球范圍內(nèi)部署災(zāi)備數(shù)據(jù)中心 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 自動(dòng)化 詳細(xì)有自動(dòng)化發(fā)布過(guò)程，自動(dòng)化代碼管理、自動(dòng)化測(cè)試、自動(dòng)化平安檢測(cè)、自動(dòng)化部署、自動(dòng)化監(jiān)控、自動(dòng)化報(bào)警、自動(dòng)化失效轉(zhuǎn)移、自動(dòng)化失效恢復(fù)等 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT

8、DESIGN 平安 身份驗(yàn)證、加密、防火墻等 大型網(wǎng)站的架構(gòu)方式2 2BREAD PPT DESIGN 中心要素3 3二三四可用性可用性伸縮性伸縮性擴(kuò)展性擴(kuò)展性五平安性平安性高性能高性能一BREAD PPT DESIGN 用戶眼中的網(wǎng)站性能 高性能3 3BREAD PPT DESIGN 開(kāi)發(fā)眼中的網(wǎng)站性能 開(kāi)發(fā)人員關(guān)注的是運(yùn)用程序本身和相關(guān)子系統(tǒng)的性能，包括呼應(yīng)延遲、系統(tǒng)吞吐量、并發(fā)處置才干、系統(tǒng)穩(wěn)定性等。 主要優(yōu)化手段有：運(yùn)用緩存加速數(shù)據(jù)讀取，運(yùn)用集群提高吞吐才干，運(yùn)用異步音訊加快懇求相應(yīng)，運(yùn)用代碼優(yōu)化改善性能 高性能3 3BREAD PPT DESIGN 運(yùn)維眼中的網(wǎng)站性能 運(yùn)維人員關(guān)注的

9、根底設(shè)備性能和資源利用率，比如效力器硬件，數(shù)據(jù)中心網(wǎng)絡(luò)，網(wǎng)絡(luò)運(yùn)營(yíng)商 主要優(yōu)化手段有：建立優(yōu)化骨干網(wǎng)，運(yùn)用高性價(jià)比的效力器等 高性能3 3BREAD PPT DESIGN 判別一個(gè)網(wǎng)站性能好不好有哪些目的 呼應(yīng)時(shí)間，從發(fā)出懇求到收到數(shù)據(jù)所需求的時(shí)間 并發(fā)數(shù)，系統(tǒng)能同時(shí)處置懇求的數(shù)目 吞吐量，單位時(shí)間內(nèi)，系統(tǒng)能處置的懇求數(shù)量 性能計(jì)數(shù)器，一些數(shù)據(jù)目的，包括對(duì)象與線程數(shù)，內(nèi)存運(yùn)用，CPU運(yùn)用等 高性能3 3BREAD PPT DESIGN 高性能3 3 性能測(cè)試方法 性能測(cè)試 負(fù)載測(cè)試 壓力測(cè)試 穩(wěn)定性測(cè)試BREAD PPT DESIGN 高性能3 3 WEB前端性能優(yōu)化1 運(yùn)用效力器性能優(yōu)化2 存

10、儲(chǔ)性能優(yōu)化3BREAD PPT DESIGN 高性能3 3 Web前端優(yōu)化 閱讀器端優(yōu)化 減少 懇求，合并CSS,JS,圖片等 運(yùn)用閱讀器緩存，靜態(tài)資源可以緩存在閱讀器中 啟用緊縮，對(duì)文件緊縮，減少傳輸?shù)臄?shù)據(jù)量，閱讀器端解壓，這對(duì)效力器和閱讀器端都有壓力 CSS放在頁(yè)面最上，js放在頁(yè)面最下面 減少Cookie傳輸BREAD PPT DESIGN 高性能3 3 Web前端優(yōu)化 CDN加速 CDN本質(zhì)就是緩存，而且將數(shù)據(jù)緩存在離用戶最近的地方。CDN就部署在網(wǎng)絡(luò)營(yíng)運(yùn)商的機(jī)房中 反向代理 傳統(tǒng)代理效力器位于閱讀器一側(cè)，而反向代理效力器位于網(wǎng)站機(jī)房一側(cè)。反向代理效力器經(jīng)過(guò)配置緩存功能，加速網(wǎng)站呼應(yīng)

11、另外，反向代理具有維護(hù)網(wǎng)站平安的作用，一切懇求都須經(jīng)過(guò)反代效力器。反代還可以實(shí)現(xiàn)負(fù)載平衡BREAD PPT DESIGN 高性能3 3 反向代理BREAD PPT DESIGN 高性能3 3 運(yùn)用效力器性能優(yōu)化 分布式緩存 分布式緩存架構(gòu)有兩種，一種以Jboss 為代表需求更新同步的分布式緩存，一種一Memcached為代表的不相互通訊的分布式緩存 異步操作 運(yùn)用集群 存儲(chǔ)性能優(yōu)化硬件 高性能的代碼 多線程，需求留意線程平安問(wèn)題 資源復(fù)用 數(shù)據(jù)構(gòu)造 渣滓回收BREAD PPT DESIGN 高可用性3 3 高可用的運(yùn)用1 高可用的效力2 高可用的數(shù)據(jù)3 軟件質(zhì)量保證4 網(wǎng)站運(yùn)轉(zhuǎn)監(jiān)控5BREAD

12、 PPT DESIGN 高可用3 3 高可用的網(wǎng)站 可用性度量 網(wǎng)站年度不可用時(shí)間=1-網(wǎng)站不可用時(shí)間/年度時(shí)間 100% 可用性考核BREAD PPT DESIGN 高可用3 3運(yùn)用層、效力層、數(shù)據(jù)層的劃分粒度會(huì)很小很詳細(xì)，構(gòu)造復(fù)雜、效力器規(guī)模龐大。通常情況下，不同的業(yè)務(wù)產(chǎn)品會(huì)部署在不同的效力器集群上，互不干擾BREAD PPT DESIGN 高可用3 3 高可用的運(yùn)用 經(jīng)過(guò)負(fù)載平衡進(jìn)展無(wú)形狀的失效轉(zhuǎn)移 Session管理 早期網(wǎng)站運(yùn)用session復(fù)制，在集群中同步 Session綁定在某臺(tái)效力器上，但是一旦宕機(jī)，session就不存在 利用cookie記錄session，保管在客戶端上，

13、但是受限于cookie的大小和用戶能否開(kāi)啟cookie Session效力器，部署獨(dú)立的session效力器集群，每次讀寫都訪問(wèn)session效力器BREAD PPT DESIGN 高可用3 3 高可用的效力 分級(jí)管理 中心運(yùn)用和效力優(yōu)先的運(yùn)用更好的硬件，其他次之 超時(shí)設(shè)置 效力調(diào)用時(shí)間設(shè)置超時(shí)時(shí)間 異步伐用 經(jīng)過(guò)音訊隊(duì)列方式完成 效力降級(jí) 網(wǎng)站訪問(wèn)頂峰期，可對(duì)非重要效力降級(jí)：回絕效力和封鎖效力 冪等性設(shè)計(jì)BREAD PPT DESIGN 高可用3 3 高可用的數(shù)據(jù) CAP原理 數(shù)據(jù)耐久性 Partition Tolerance 數(shù)據(jù)可訪問(wèn)性 Availibility 數(shù)據(jù)一致性 Consis

14、tency 數(shù)據(jù)強(qiáng)一致，數(shù)據(jù)更新結(jié)果和操作呼應(yīng)總是一致的 數(shù)據(jù)用戶一致，數(shù)據(jù)在存儲(chǔ)中能夠是不一致的，但是用戶訪問(wèn)時(shí)，經(jīng)過(guò)就錯(cuò)和校驗(yàn)，可以確定一個(gè)不斷的數(shù)據(jù)給用戶 數(shù)據(jù)最終一致，物理存儲(chǔ)的數(shù)據(jù)能夠是不一致的，用戶訪問(wèn)時(shí)也能夠是不一致的，但是經(jīng)過(guò)一段時(shí)間后，數(shù)據(jù)最終會(huì)到達(dá)一致。BREAD PPT DESIGN 高可用3 3BREAD PPT DESIGN 高可用3 3 高可用的數(shù)據(jù) 數(shù)據(jù)備份 失效轉(zhuǎn)移BREAD PPT DESIGN 高可用3 3 運(yùn)轉(zhuǎn)監(jiān)控 監(jiān)控?cái)?shù)據(jù)采集 用戶行為日志搜集 效力器性能監(jiān)控 運(yùn)轉(zhuǎn)數(shù)據(jù)報(bào)告 監(jiān)控管理 系統(tǒng)報(bào)警 失效轉(zhuǎn)移 自動(dòng)優(yōu)雅降級(jí)BREAD PPT DESIGN不同功

15、能物理分別不同功能物理分別 縱向分別 橫向分別 高伸縮性3 3BREAD PPT DESIGN單一功能經(jīng)過(guò)集群實(shí)現(xiàn)伸縮單一功能經(jīng)過(guò)集群實(shí)現(xiàn)伸縮 高伸縮性3 3BREAD PPT DESIGN 高伸縮性3 3 HTTP重定向負(fù)載平衡 DNS域名解析負(fù)載平衡 反向代理負(fù)載平衡 IP負(fù)載平衡 數(shù)據(jù)鏈路層負(fù)載平衡 負(fù)載平衡算法簡(jiǎn)介集群的伸縮性設(shè)計(jì)：BREAD PPT DESIGN 重定向負(fù)載平衡BREAD PPT DESIGNDNS域名解析負(fù)載平衡BREAD PPT DESIGN反向代理負(fù)載平衡BREAD PPT DESIGNIP負(fù)載平衡BREAD PPT DESIGN數(shù)據(jù)鏈路層負(fù)載平衡BREAD P

16、PT DESIGN 高伸縮性3 3數(shù)據(jù)存儲(chǔ)效力器集群的伸縮性設(shè)計(jì) 關(guān)系數(shù)據(jù)庫(kù)集群的伸縮性設(shè)計(jì) NoSQL數(shù)據(jù)庫(kù)的伸縮性設(shè)計(jì)BREAD PPT DESIGN 高可擴(kuò)展性3 3 分布式音訊隊(duì)列降低系統(tǒng)耦合性1 分布式效力2 可擴(kuò)展的數(shù)據(jù)構(gòu)造3 開(kāi)放平臺(tái)4BREAD PPT DESIGN 高擴(kuò)展性3 3分布式音訊隊(duì)列 事件驅(qū)動(dòng)架構(gòu) 經(jīng)過(guò)在低耦合的模塊之間傳輸事件音訊，以堅(jiān)持模塊的松散耦合，并借助事件音訊的通訊完成模塊間協(xié)作，典型的架構(gòu)就是消費(fèi)者消費(fèi)者方式。在大型網(wǎng)站架構(gòu)中，詳細(xì)實(shí)現(xiàn)手段很多，最常用的就是分布式音訊隊(duì)列BREAD PPT DESIGN 高擴(kuò)展性3 3BREAD PPT DESIGN 高

17、擴(kuò)展性3 3目前開(kāi)源的和商業(yè)的分布式音訊隊(duì)列產(chǎn)品有很多，比較著名的有Apache ActiveMQ等，如下是分布式音訊隊(duì)列的架構(gòu)原理BREAD PPT DESIGN 高擴(kuò)展性3 3巨無(wú)霸系統(tǒng)面臨的費(fèi)事 編譯部署困難 代碼分支管理困難 數(shù)據(jù)庫(kù)銜接耗盡 新增業(yè)務(wù)困難BREAD PPT DESIGN 高擴(kuò)展性3 3利用分布式效力打造可復(fù)用的業(yè)務(wù)平臺(tái)利用分布式效力打造可復(fù)用的業(yè)務(wù)平臺(tái) 負(fù)載平衡 失效轉(zhuǎn)移 高效的遠(yuǎn)程通訊 整合異構(gòu)系統(tǒng) 對(duì)運(yùn)用最少侵入 版本管理 實(shí)時(shí)監(jiān)控BREAD PPT DESIGN 高擴(kuò)展性3 3目前國(guó)內(nèi)有較多勝利實(shí)施案例的開(kāi)源分布式效力框架是阿里巴巴的Dubbo，以下圖是Dubbo的架構(gòu)原理BREAD PPT DESIGN 效力框架客戶端模塊經(jīng)過(guò)效力注冊(cè)中心加載效力提供者列表效力提供者啟動(dòng)后自動(dòng)向效力注冊(cè)中心注冊(cè)本人可提供的效力接口列表，查找需求的效力接口，并根據(jù)配置的負(fù)載平衡戰(zhàn)略將效力調(diào)用懇求發(fā)送到某臺(tái)效力提供者效力器。假設(shè)效力調(diào)用失敗，客戶端模塊會(huì)自動(dòng)從效力提供者列表選擇一個(gè)可提供同樣效力的另一臺(tái)效力器重新懇求效力，實(shí)現(xiàn)效力的自動(dòng)失效轉(zhuǎn)移，保證高可用效力。 高擴(kuò)展性3 3BREAD PPT DESIGN利用開(kāi)放平臺(tái)建立網(wǎng)站生態(tài)圈利用開(kāi)放平臺(tái)建立網(wǎng)站生態(tài)圈 大型網(wǎng)站為了更好的效力本人的用戶，開(kāi)放更多的增值效力，會(huì)把網(wǎng)站內(nèi)部的效力封裝成一些