大型網站技術架構核心原理與案例分析方案

2021年8月2大型網站架構演化3高并發(fā)、大流量：Google日均PV數(shù)35億，日均IP訪問數(shù)3億；騰訊QQ1.4億在線；淘寶12年雙11，活動開始一分鐘1000萬訪問用戶高可用：7X24小時效勞，不間斷海量數(shù)據(jù)：需要存儲管理海量數(shù)據(jù)，需要大量的效勞器，百度收錄數(shù)百億網頁；Google有百萬臺效勞器在全球用戶分布：用戶分布范圍廣，全國甚至全球，各地網絡環(huán)境千差萬別，運營商互聯(lián)互通的問題平安環(huán)境惡劣：互聯(lián)網的開放性，使得網站更容易受到攻擊，很多網站泄露密碼及重要數(shù)據(jù)，用戶也受到影響需求變更頻繁快速：和傳統(tǒng)軟件不同，互聯(lián)網產品為了快速適應市場，滿足用戶需求，產品發(fā)布頻率高，新版本不斷上線漸進式開展：不是所有網站一開始就是大而全，都是從小網站逐漸開展起來的，好的網站都是慢慢運營出來大型網站架構演化大型網站軟件系統(tǒng)的特點4大型網站架構演化開展歷程初始階段的小網站應用效勞與數(shù)據(jù)效勞別離使用緩存改善網站性能應用效勞器集群提高并發(fā)處理能力數(shù)據(jù)庫讀寫別離反向代理和CDN加速網站響應分布式文件系統(tǒng)和分布式數(shù)據(jù)庫使用NOSQL和搜索引擎業(yè)務拆分分布式效勞開展歷程5大型網站架構演化開展歷程初始階段的小網站

應用程序、數(shù)據(jù)庫、文件等所有資源在一臺效勞器上，操作系統(tǒng)通常為Linux、應用程序用PHP開發(fā)，部署在Apache上，數(shù)據(jù)庫使用MySQL，聚集各種免費開源軟件及一臺廉價的效勞器就可以開始網站的運營和開展6大型網站架構演化開展歷程應用和數(shù)據(jù)別離：改善訪問性能和數(shù)據(jù)存儲，支持業(yè)務繼續(xù)開展

業(yè)務開展1、越來越多的用戶訪問〔性能變差〕2、越來越多的數(shù)據(jù)存儲〔存儲空間缺乏〕應用和數(shù)據(jù)別離1、應用效勞器單獨一臺效勞器2、文件效勞器單獨一臺效勞器3、數(shù)據(jù)庫效勞器單獨一臺效勞器側重點：應用效勞器需要強大CPU用于計算邏輯文件效勞器需要大磁盤存儲文件數(shù)據(jù)庫效勞器需要大內存和快速磁盤7大型網站架構演化開展歷程使用緩存改善網站性能：減少數(shù)據(jù)訪問壓力，改善數(shù)據(jù)庫寫性能

網站訪問的二八定律1、80%的訪問集中在20%的數(shù)據(jù)上2、20%數(shù)據(jù)集中在內存緩存網站使用緩存1、本地緩存2、遠程分布式緩存重點：本地緩存速度快，緩存數(shù)據(jù)量有限遠程分布式緩存采用集群瓶頸即將出現(xiàn)在單一的應用效勞器8大型網站架構演化開展歷程使用應用效勞器集群改善網站并發(fā)處理能力

業(yè)務持續(xù)開展1、訪問用戶持續(xù)增加2、網站訪問性能不佳應用效勞器集群1、通過負載均衡將訪問分發(fā)應用效勞集群2、應用效勞器集群是可伸縮性的重點：不要去試圖更換強大的效勞器采用效勞器集群是更好的擴展性能的方式即將出現(xiàn)的瓶頸為數(shù)據(jù)庫效勞器大型網站架構演化開展歷程數(shù)據(jù)庫讀寫別離：改善數(shù)據(jù)庫負載過高

業(yè)務持續(xù)開展1、數(shù)據(jù)庫不能防止讀寫操作2、用戶增多，數(shù)據(jù)庫負載過高數(shù)據(jù)庫讀寫別離1、數(shù)據(jù)庫主從關系2、數(shù)據(jù)更新同步重點：數(shù)據(jù)庫讀寫別離，從數(shù)據(jù)庫主讀應用效勞器訪問數(shù)據(jù)模塊需要改造網站響應的問題解決網絡復雜的問題大型網站架構演化開展歷程使用反向代理和CDN加速網站響應

分布式文件效勞器和分布式數(shù)據(jù)庫應用大型網站架構演化開展歷程

持續(xù)的業(yè)務越來越復雜1、對數(shù)據(jù)存儲要求復雜2、對數(shù)據(jù)檢索要求復雜NOSQL和搜索引擎對分布式可伸縮支持好1、NOSQL數(shù)據(jù)庫，讀操作和非格式數(shù)據(jù)2、搜索引擎迅速定位數(shù)據(jù)，降低數(shù)據(jù)訪問重點：NOSQL和搜索引擎應用數(shù)據(jù)訪問模塊改造，減少應用程序管理數(shù)據(jù)業(yè)務拆分大型網站架構演化開展歷程使用NOSQL和搜索引擎大型網站架構演化開展歷程

業(yè)務越來越復雜1、應用越來越復雜2、產品和業(yè)務越來越繁雜業(yè)務拆分，解決日益復雜的應用場景1、產品拆分，首頁，訂單，商品，支付2、應用之間的數(shù)據(jù)交換〔超鏈接；消息〕各應用還是集中訪問一個數(shù)據(jù)存儲系統(tǒng)需要考慮應用和數(shù)據(jù)庫連接的資源平衡業(yè)務拆分〔即應用拆分，應用之間的數(shù)據(jù)交互〕大型網站架構演化開展歷程

分布式效勞〔效勞分布，業(yè)務連接共用〕大型網站架構演化的價值觀

網站架構設計的誤區(qū)

案例分析：12306網站引發(fā)的網站架構設計和討論案例分析：12306網站引發(fā)的網站架構設計和討論問題和難點分析

案例分析：12306網站引發(fā)的網站架構設計和討論案例分析：12306網站引發(fā)的網站架構設計和討論12306最后選擇PivotalGemfire作為系統(tǒng)改造的平臺，其主要原因如下：1.關聯(lián)數(shù)據(jù)節(jié)點設計：可以根據(jù)客戶的業(yè)務邏輯特性和數(shù)據(jù)關聯(lián)性，將關聯(lián)性強的數(shù)據(jù)放置于同一個效勞器節(jié)點，提高系統(tǒng)性能，防止分布式系統(tǒng)效勞器的頻繁數(shù)據(jù)交換。2.將數(shù)據(jù)移到內存：由于數(shù)據(jù)是放在內存里面，屏蔽傳統(tǒng)數(shù)據(jù)庫頻繁訪問，CPU與數(shù)據(jù)庫的交互作用，影響效勞器性能。內存的數(shù)據(jù)交換速度遠高于磁盤速度上千倍，極大提高系統(tǒng)性能。3.擴展和伸縮性：以Gemfire構建的應用云平臺，是以x86PC效勞器為主的硬件根底。在保證系統(tǒng)的性能下，此平臺可以隨著客戶業(yè)務的成長來任意調配x86效勞器的數(shù)量，防止以后昂貴的硬件升級帶來的困擾。經測試結果顯示，整個系統(tǒng)性能可隨著效勞器的數(shù)量的增加實現(xiàn)幾乎線性的成長。4.數(shù)據(jù)可靠性：在同個集群里面可以有多個數(shù)據(jù)節(jié)點備份，數(shù)據(jù)可以自動同步或是將內存數(shù)據(jù)持久化到硬盤或是數(shù)據(jù)庫5.跨地域的數(shù)據(jù)分布或同步：可以透過“廣域網〞將指定的Gemfire集群的內存數(shù)據(jù)“實時同步〞到異地的數(shù)據(jù)中心。這是屬于“應用層〞的數(shù)據(jù)同步異于傳統(tǒng)的“數(shù)據(jù)庫〞同步。6.PivotalGemfire使用x86PC效勞器，其性價比遠遠高于Unix小型機。案例分析：12306網站引發(fā)的網站架構設計和討論22某某聯(lián)通預支充值效勞實現(xiàn)方法〔3〕OCS改造：創(chuàng)立DCO信用賬本并開辟空間存儲DCO信用額度OCS方需在現(xiàn)有的OCS平臺中開辟專門的空間存儲DCO信用額度〔DCO信用額度是信用賬本的上限值，且是固定值，除非DCO平臺請求對用戶的信用額度進行修改〕；OCS方需在現(xiàn)有OCS平臺中開辟供DCO使用的專有信用賬本〔DCO信用賬本〕，用于存儲DCO信用余額〔信用賬本的上限值即為DCO信用額度值〕。2.修改扣費及用戶充值時計算邏輯并更新相應賬本OCS平臺需要對當前現(xiàn)金賬本〔含：默認信用賬本〕、DCO信用賬本、單停漫游信用賬本〔被叫信用度賬本〕的扣費計算邏輯、充值恢復計算邏輯按本文上述的業(yè)務需求進行修改；計算邏輯修改的目的是用于計算DCO信用使用后的余額并更新到DCO信用賬本、以及計算用戶充值時DCO信用賬本恢復后的余額并更新到DCO信用賬本。3.開發(fā)接口實現(xiàn)OCS平臺與DCO平臺之間的數(shù)據(jù)交互〔非實時〕提取DCO平臺上線前的用戶打分數(shù)據(jù)〔用戶充值記錄、用戶當前狀態(tài)〕及上線后的每日/每月傳輸數(shù)據(jù)〔用戶充值記錄、用戶日末余額、用戶當前狀態(tài)、信用額度應答數(shù)據(jù)〕，并生成指定格式的數(shù)據(jù)文件〔如：CSV格式〕以FTP方式上傳到指定的效勞器路徑；OCS以FTP方式從指定的效勞器路徑下載批量用戶授信請求文件〔如：CSV格式〕，并在OCS平臺內對用戶的授信額度進行修改；OCS將批量用戶授信結果文件〔如：CSV格式〕以FTP方式上傳到指定的效勞器路徑，由DCO平臺對授信結果進行更新。OCS將批量每日傳輸如4.8所述的用戶數(shù)據(jù)文件〔如：CSV格式〕以FTP方式上傳到指定的效勞器路徑。23某某聯(lián)通預支充值效勞實現(xiàn)方法〔1〕24某某聯(lián)通預支充值效勞實現(xiàn)方法〔2〕業(yè)務內容實現(xiàn)機制服務生效1)OCS創(chuàng)建DCO信用賬本，該賬本可以用于扣款2)該信用賬本可以按照生效時間啟用,失效時間停用3)該信用賬本可以根據(jù)初始授信額度更新申請表的要求更新4)信用賬本創(chuàng)建時需要對用戶狀態(tài)進行校驗，僅在有效期內可以創(chuàng)建信用賬本。服務使用1)信用額度使用范圍為：為用戶提供信用額度用于用戶所有消費行為（任何消費都可以使用信用賬本的額度，包括短信，語音，數(shù)據(jù)，增值業(yè)務，套餐，第三方增值業(yè)務等）。2)DCO信用賬本的使用優(yōu)先級：現(xiàn)金賬本>DCO信用賬本。用戶消費過程中，當用戶自身余額（現(xiàn)金賬本）用盡時，開始使用DCO信用賬本；服務取消1)

信用賬本做失效處理（將失效時間置為當前時間，并且用戶的信用額度為0，壞賬為用戶當前未恢復的信用額度）2)

任何狀態(tài)下都可以失效信用賬本。3)

用戶投訴和壞賬用戶才會取消信用。信用額度的恢復1)DCO信用賬本的恢復優(yōu)先級為：欠費>DCO信用賬本>現(xiàn)金賬本2)用戶充值時，會將DCO賬本的已使用金額進行返還。3)只有現(xiàn)金充值才能恢復信用賬本，非現(xiàn)金充值不能用戶信用恢復。信用額度的調整信用額度調整時的處理原則為，調減時，OCS需要做出一些判斷：如果用戶的DCO信用賬本余額<信用額度調減量，則不調整，并返回相應的錯誤代碼。25某某聯(lián)通預支充值效勞實現(xiàn)方法〔2〕預支充值效勞整體方案–標準硬件配置方案乙方提供預支充值效勞的硬件平臺綜合平安性和數(shù)據(jù)傳輸性能考慮，建議效勞器放置于運營商的數(shù)據(jù)中心內預支充值硬件平臺與預付費系統(tǒng)接口相連，進行數(shù)據(jù)傳輸預支充值硬件平臺遵守運營商平安管理標準，接受運營在硬件層面的監(jiān)管乙方公司通過VPN遠程監(jiān)控效勞的運行情況并提供運行支撐用戶NOC效勞器1效勞器2效勞器…效勞器n交換機交換機交換機eth0eth0eth0eth0eth1eth1eth1eth1ILOILOILOILOeth2eth2eth2eth2ILOZONEILOZONE乙方硬件平臺乙方或運營商提供數(shù)據(jù)中心27需要配合的工作打分、統(tǒng)計數(shù)據(jù)接口打分通知數(shù)據(jù)處理接口服務取消/再加入數(shù)據(jù)接口短信平臺數(shù)據(jù)接口接口開發(fā)數(shù)據(jù)中心內的位置空間;相應網絡、電力、環(huán)境等;VPN連接數(shù)據(jù)中心建議使用運營商統(tǒng)一熱線提供客戶效勞乙方公司將提供工作平臺、培訓及相關支撐熱線服務建方安排一名經驗豐富的業(yè)務部門工作人員負責與我方對帳核算需要在預付費系統(tǒng)中開發(fā)相應的結算統(tǒng)計報表對帳結算預支充值服務開通技術改造預支充值服務使用與恢復改造其他可能涉及的改造核心邏輯28接口開發(fā)No.數(shù)據(jù)表1充值信息表2通話消費表3數(shù)據(jù)消費表4短信或增值消費表5日末余額表6用戶狀態(tài)表7轉網用戶表8套餐信息表9預支額度表No.數(shù)據(jù)表1預支額度更新請求表2預支額度更新反饋表No.數(shù)據(jù)表1預支額度更新請求表2預支額度更新反饋表No.數(shù)據(jù)表1預支充值服務短信通知2預支充值服務短信退訂預付費用戶預付費系統(tǒng)信用賬本…賬本資金賬本預支充值平臺行為分析與打分結算統(tǒng)計客服預支充值管理平臺充值/消費打分統(tǒng)計數(shù)據(jù)接口批量額度更新取消/再參加效勞取消/再參加短信平臺短信確認與取消1234打分統(tǒng)計數(shù)據(jù)接口1打分通知數(shù)據(jù)處理接口2服務取消/再加入數(shù)據(jù)接口3短信平臺數(shù)據(jù)接口429接口開發(fā)接口接口描述主要功能數(shù)據(jù)傳輸方式數(shù)據(jù)內容數(shù)據(jù)量估計1打分統(tǒng)計數(shù)據(jù)接口將用戶充值、消費等數(shù)據(jù)從預付費系統(tǒng)傳輸?shù)筋A支充值平臺，用于數(shù)據(jù)分析處理和客戶打分非實時，每天晚上批量傳輸充值數(shù)據(jù)消費數(shù)據(jù)日末余額數(shù)據(jù)用戶狀態(tài)、離網信息等與用戶數(shù)量直接相關，約為500M~1GB/每日

(*

按照10萬用戶估計，以下同）2打分通知數(shù)據(jù)處理接口將打分結果（預支充值額度表）從預支充值平臺傳輸?shù)筋A付費系統(tǒng)，用于向用戶信用模塊充值非實時，每月一次批量傳輸打分結果（預支充值額度表：用戶ID、預支充值額度）與用戶數(shù)量直接相關，初步估計10MB/每月3服務取消/再申請數(shù)據(jù)接口將用戶取消服務的數(shù)據(jù)從預支充值平臺傳輸?shù)筋A付費系統(tǒng)系統(tǒng)實時傳輸/非實時每天晚上傳輸取消服務的用戶列表初步估計，平均小于100條記錄每天4短信平臺數(shù)據(jù)接口將預支充值服務的用戶及信用額度數(shù)據(jù)傳遞給短信平臺，用于生成短信提醒用戶該項服務主要采用非實時，批量傳輸方式。提供預支充值服務的用戶及預支充值額度根據(jù)用戶數(shù)量，初步估計10MB/每月30系統(tǒng)改造—打分和效勞生效流程預付費用戶預付費系統(tǒng)信用賬本…賬本資金賬本預支充值平臺行為分析與打分結算統(tǒng)計客服預支充值管理平臺短信平臺1.充值/消費2.充值消費等數(shù)據(jù)3.預支額度更新5.效勞取消/再申請4.下發(fā)短信通知6.效勞取消/再申請7.預支效勞取消/再申請用戶消費和充值的詳單被將被預付費系統(tǒng)記錄這些記錄每天晚上通過接口傳遞到預支充值平臺預支充值平臺進行客戶分析、分類、打分，并把預支額度表(增量數(shù)據(jù))通過線下的方式傳遞給預付費系統(tǒng)，由預付費系統(tǒng)將額度更新到用戶的信用帳本，并傳回額度更新回執(zhí)預付費系統(tǒng)通過短信平臺通知用戶用戶可以通過客服熱線或短信選擇退出/再申請客服人員通過預支充值管理平臺〔Web〕執(zhí)行查詢確認和執(zhí)行退出/再申請操作，并通知預支充值平臺預支充值平臺通知預付費系統(tǒng)取消預支額度5.效勞取消/再申請6.效勞取消/再申請31系統(tǒng)改造—效勞使用與恢復量計算使用量計算方式一：預支充值平臺通過信用賬本的消費記錄計算使用量：信用賬本使用優(yōu)先級低于現(xiàn)金賬本，恢復優(yōu)先級高于現(xiàn)金賬本可以獲得信用賬本所有的消費記錄可以區(qū)分跨賬本消費記錄另外，關注：消費記錄是否包含賬本信息如果發(fā)生調減賬，采用何種方式，是否會對效勞計算產生影響預付費用戶預付費系統(tǒng)信用賬本…賬本資金賬本預支充值平臺行為分析與打分結算統(tǒng)計客服預支充值管理平臺短信平臺1.充值/消費2.充值消費等數(shù)據(jù)3.預支額度更新5.效勞取消/再申請4.下發(fā)短信通知6.效勞取消/再申請7.預支效勞取消/再申請5.效勞取消/再申請6.效勞取消/再申請32系統(tǒng)改造—效勞使用與恢復量計算使用量計算方法二：預支充值平臺通過日末賬戶總可用余額〔預付費系統(tǒng)需要設置每日24:00進行批量余額查詢〕和用戶的預支額度計算預支效勞的使用量：如果(日末賬戶總可用余額-預支額度)<0，預支效勞使用量=預支額度–日末賬戶總可用余額如果(日末賬戶總可用余額-預支額度)>=0，預支效勞使用量=0.如果用戶在當天有充值行為:如果〔充值前賬戶總可用余額-預支額度〕<0，預支效勞使用量=預支額度–充值前賬戶總可用余額如果〔充值前賬戶總可用余額-預支額度〕≥0，預支效勞使用量=0.在用戶充值時，優(yōu)先對預支金額進行恢復，恢復量等于充值前的預支金額使用量。用戶充值后，開始下一個預支效勞使用量的計算過程。關注點/討論點：賬戶總可用余額的計算方法及專用賬本的扣費限制預付費用戶預付費系統(tǒng)信用賬本…賬本資金賬本預支充值平臺行為分析與打分結算統(tǒng)計客服預支充值管理平臺短信平臺1.充值/消費2.充值消費等數(shù)據(jù)3.預支額度更新5.效勞取消/再申請4.下發(fā)短信通知6.效勞取消/再申請7.預支效勞取消/再申請5.效勞取消/再申請6.效勞取消/再申請33系統(tǒng)改造—轉/離網和效勞取消/再參加流程預付費用戶預付費系統(tǒng)信用賬本…賬本資金賬本預支充值平臺行為分析與打分結算統(tǒng)計客服預支充值管理平臺短信平臺1.轉/離網2.轉/離網數(shù)據(jù)9.效勞取消/再參加結果3.效勞取消/再參加7.效勞取消/再參加4.預支額度和欠款查詢并受理效勞取消/再參加5.效勞取消/再參加8.效勞取消/再參加6.效勞取消/再參加查詢實時余額和信用額度轉/離網：用戶發(fā)生轉/離網，記錄進入預付費系統(tǒng)轉/離網數(shù)據(jù)每天晚上通過接口傳給預支充值平臺做結算統(tǒng)計效勞取消