大型網(wǎng)站技術(shù)架構(gòu)演變

1、大型網(wǎng)站技術(shù)架構(gòu)演變黃若儒大型網(wǎng)站軟件系統(tǒng)的特點(diǎn)高并發(fā)、大流量需要面對(duì)高并發(fā)用戶，大流量訪問。高可用系統(tǒng)7x24小時(shí)不間斷服務(wù)。海量數(shù)據(jù)需要存儲(chǔ)、管理海量數(shù)據(jù)，需要使用大量服務(wù)器。用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜需要為全球范圍的用戶提供服務(wù)。安全環(huán)境惡劣互聯(lián)網(wǎng)開放性，導(dǎo)致更容易受到攻擊。需求快速變更，發(fā)布頻繁需要快速適應(yīng)市場(chǎng)，滿足用戶需求。漸進(jìn)式發(fā)展沒有全盤一籃子規(guī)劃，只有基于實(shí)際的無限變更發(fā)展初始架構(gòu)小型網(wǎng)站最開始沒有太多人訪問，一臺(tái)服務(wù)器綽綽有余應(yīng)用、數(shù)據(jù)庫、文件都在一臺(tái)機(jī)使用以開源免費(fèi)的軟件為主（Apache、MySQL、Tomcat）應(yīng)用服務(wù)和數(shù)據(jù)服務(wù)分離用戶訪問越來越多，性能越來越差數(shù)據(jù)越

2、來越多導(dǎo)致存儲(chǔ)空間不足3臺(tái)服務(wù)器分別存放應(yīng)用程序、非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)應(yīng)用服務(wù)器獨(dú)立部署使之能占用更多CPU、內(nèi)存資源數(shù)據(jù)庫服務(wù)器獨(dú)立部署使之能占用更多CPU、內(nèi)存、硬盤文件服務(wù)器獨(dú)立部署使之能夠占用更多硬盤空間并發(fā)處理能力和數(shù)據(jù)存儲(chǔ)空間得到很大改善！使用緩存改善網(wǎng)站性能基于28原則（ 80% 業(yè)務(wù)訪問集中在20%的數(shù)據(jù)上）讀多寫少緩存分類：本地緩存、遠(yuǎn)程緩存本地緩存快，但受限單機(jī)緩存容量，可緩存內(nèi)容少；不利于分布式應(yīng)用架構(gòu)（ACD）遠(yuǎn)程緩存有網(wǎng)絡(luò)損耗，但可緩存內(nèi)容多，擴(kuò)展性高。數(shù)據(jù)訪問壓力得到有效緩解使用應(yīng)用服務(wù)器集群改善網(wǎng)站的并發(fā)處理能力應(yīng)用服務(wù)器處理請(qǐng)求連接有限，存在瓶頸提升單一服務(wù)

3、器性能花費(fèi)巨大，擴(kuò)展能力有限，存在瓶頸通過增加更多服務(wù)器，提升請(qǐng)求處理能力，可伸縮應(yīng)用服務(wù)器集群式網(wǎng)站可伸縮集群架構(gòu)設(shè)計(jì)中較為簡單成熟的一種利用負(fù)載均衡調(diào)度服務(wù)器，實(shí)現(xiàn)按需請(qǐng)求分發(fā)負(fù)載均衡調(diào)度可以是軟件級(jí)、硬件級(jí)、網(wǎng)絡(luò)級(jí)請(qǐng)求再多也能通過擴(kuò)展支撐數(shù)據(jù)庫讀寫分離存在不能緩存的情況多，數(shù)據(jù)庫寫入也不少的情況下，數(shù)據(jù)庫負(fù)載壓力成為網(wǎng)站瓶頸利用熱備功能，配置主-從關(guān)系，實(shí)現(xiàn)讀-寫分離，分?jǐn)倖我还?jié)點(diǎn)數(shù)據(jù)庫壓力利用獨(dú)立數(shù)據(jù)庫訪問模塊，實(shí)現(xiàn)讀寫分離調(diào)度，對(duì)應(yīng)用透明讀、寫分離調(diào)度模塊，可以是獨(dú)立硬件，也可以程序級(jí)調(diào)度程序主-從復(fù)制基于時(shí)間調(diào)度（簡單但不夠?qū)崟r(shí)）或事件調(diào)度（復(fù)雜但相對(duì)精準(zhǔn)）使用反向代理和CDN加速

4、網(wǎng)站響應(yīng)中國網(wǎng)絡(luò)環(huán)境復(fù)雜，不同地域訪問速度存在差異單一網(wǎng)絡(luò)節(jié)點(diǎn)無法“公平”地提供一致的訪問質(zhì)量利用CDN及反向代理機(jī)制，緩存靜態(tài)數(shù)據(jù)為用戶請(qǐng)求分派距離最近的網(wǎng)絡(luò)服務(wù)點(diǎn)減輕服務(wù)核心支撐點(diǎn)的訪問壓力使用分布式文件系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)集中式存儲(chǔ)（文件、數(shù)據(jù)庫）無法滿足龐大數(shù)據(jù)量環(huán)境分布式數(shù)據(jù)庫是數(shù)據(jù)庫拆分的最后手段，只有單表數(shù)據(jù)規(guī)模非常龐大的時(shí)候才使用網(wǎng)站更常用的數(shù)據(jù)庫分拆手段是業(yè)務(wù)分庫分布式數(shù)據(jù)庫及文件架構(gòu)，就應(yīng)用程序而言，不透明一般需要與集群式、分布式架構(gòu)中作出權(quán)限后才決定方案使用NOSQL和搜索引擎數(shù)據(jù)存儲(chǔ)和檢索需求越來越復(fù)雜傳統(tǒng)關(guān)系型技術(shù)無法滿足需求（存儲(chǔ)、速度）數(shù)據(jù)交互能力大大提升一般都

5、會(huì)涉及集群架構(gòu)對(duì)持久化、ACD需要有折沖業(yè)務(wù)拆分大型網(wǎng)站業(yè)務(wù)場(chǎng)景復(fù)雜，需要分而治之地解決不同業(yè)務(wù)（產(chǎn)品線問題）問題根據(jù)業(yè)務(wù)劃分多個(gè)不同產(chǎn)品線及板塊，由不同業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)，并最終提供不同服務(wù)不同應(yīng)用獨(dú)立部署，通過鏈接、消息隊(duì)列、接口服務(wù)進(jìn)行交互通訊，最多的是通過共享同一存儲(chǔ)系統(tǒng)實(shí)現(xiàn)關(guān)聯(lián)性能減弱可用性提升維護(hù)更容易，項(xiàng)目更簡單分布式服務(wù)存儲(chǔ)系統(tǒng)越來越龐大，整體復(fù)雜度指數(shù)級(jí)增長部署維護(hù)困難資源鏈接數(shù)是服務(wù)器規(guī)模的平方，出現(xiàn)鏈接資源不足大型網(wǎng)演化的價(jià)值觀大型網(wǎng)站都是從小型網(wǎng)站發(fā)展而來網(wǎng)站價(jià)值在于它能為用戶提供什么價(jià)值大型網(wǎng)站架構(gòu)技術(shù)的核心價(jià)值是：隨網(wǎng)站所需，靈活應(yīng)對(duì)驅(qū)動(dòng)大型網(wǎng)站技術(shù)發(fā)展的主要力量是網(wǎng)站的業(yè)務(wù)發(fā)展網(wǎng)站架構(gòu)設(shè)計(jì)誤區(qū)一味追隨大公司的解決方案為了技術(shù)而技術(shù)企圖用技術(shù)解決所有問題網(wǎng)站架構(gòu)模式分層（應(yīng)用層（視圖、業(yè)務(wù)邏輯）、服務(wù)層（接口、邏輯）、數(shù)據(jù)層（結(jié)構(gòu)化、非結(jié)構(gòu)化、緩存），橫向劃分分割（功能、業(yè)務(wù)、數(shù)據(jù)），縱向劃分分布式（分布式應(yīng)用和服務(wù)、分布式靜態(tài)資源、分布式數(shù)據(jù)和存儲(chǔ)、分布式計(jì)算）集群緩存（CDN、反向代理、本地緩存、分布式緩存）異步冗余自動(dòng)化（