系統(tǒng)架構(gòu)設(shè)計

1、；技術(shù)架構(gòu)技術(shù)架構(gòu)總覽業(yè)務(wù)框架技術(shù)方案運營監(jiān)控治理安全防范接入層流量切換Https接入前后臺分離動靜分離預處理業(yè)務(wù)量監(jiān)控接口層服務(wù)網(wǎng)關(guān)，路由分發(fā)黑白名單業(yè)務(wù)鏈微服務(wù)/組件MQAPI SLA灰度訂單服務(wù)層Oauth認證產(chǎn)品異步/離線MapReduce日志收集隔離/降級Hystrix熔斷資源SSOAI調(diào)用棧供應(yīng)商安全巡檢DB水平擴充/HDFS服務(wù)器狀況身份認證讀寫分離數(shù)據(jù)層動態(tài)規(guī)劃數(shù)據(jù)存儲IP限制分布式緩存NoSQL網(wǎng)絡(luò)狀況.技術(shù)方案前臺技術(shù)架構(gòu)根據(jù)用戶設(shè)備及瀏覽器尺寸路由PCPADMobile其它智能設(shè)備頁面自適應(yīng)、最小寬度頁面自適應(yīng)頁面自適應(yīng)element-ui + vuejs + Echar

2、tsvuejs + muijsvuejs + muijs金豆云CMS配置編譯發(fā)布自自系統(tǒng)構(gòu)建：Webpack , Gulp基礎(chǔ)組件庫定定義義JSCSSResourceHtml5組樣件式*.js，*.vue*.sass，*.cssFont，ImgFont，Img基礎(chǔ)樣式庫技術(shù)方案微服務(wù)架構(gòu)結(jié)合現(xiàn)實情況，平臺服務(wù)計劃分二個階段完成，先完成服務(wù)化，后續(xù)在服務(wù)化的基礎(chǔ)上重構(gòu)成微服務(wù)第一步：服務(wù)化第二步：微服務(wù)Load Balancer服務(wù)注冊中心 zookeeper服務(wù)監(jiān)控基礎(chǔ)服務(wù)框架服務(wù)提供者服務(wù)提供者服務(wù)提供者spring bootWebServerWebServer業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼報警分

3、布式RPC服務(wù)框架dubbo異構(gòu)服務(wù)提供者服務(wù)提供者服務(wù)提供者實時數(shù)據(jù)語言服務(wù)注冊中心監(jiān)控Proxy業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼zookeeper集群暫停用戶訂單商品服務(wù)發(fā)布容器服務(wù)提供者服務(wù)提供者服務(wù)提供者恢復服務(wù)服務(wù)服務(wù)docker下線業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼持續(xù)集成工具服務(wù)治理jenkins用戶訂單商品服務(wù)依賴調(diào)用鏈路服務(wù)流量性能瓶頸SLA分析歷史信息關(guān)系分析追蹤控制分析統(tǒng)計DBDBDBDB技術(shù)方案動靜分離 - CDN 靜態(tài)資源訪問加速靜態(tài)資源文件（html，css，js，img等） 靜態(tài)數(shù)據(jù)返回業(yè)務(wù)靜態(tài)圖片用戶 用戶動態(tài)動態(tài)數(shù)據(jù)用戶靜態(tài)請求數(shù)據(jù)結(jié)果返回數(shù)據(jù)請求回源請求抓取數(shù)據(jù)靜態(tài)腳本附件W

4、eb程序數(shù)據(jù)庫內(nèi)網(wǎng)訪問，圖片視頻音頻數(shù)據(jù)更新維護ECS（服務(wù)器）OSS（云存儲服務(wù)） 智能壓縮對靜態(tài)資源進行壓縮，減少傳輸大小，加速分發(fā)效果 可視化監(jiān)控可通過視化監(jiān)控管理，查看監(jiān)控日志和統(tǒng)計分析制定合適的緩存策略，并可通過從源站刷新緩存等手段主動維護高訪問資源的緩存技術(shù)方案負載均衡 + 彈性擴展 流量調(diào)度多臺云服務(wù)器自動進行流量分發(fā)，獲得更高水平的容錯性能 擴展性支持云服務(wù)器動態(tài)擴展，實現(xiàn)無縫伸縮，伸縮過程不用更換任何設(shè)備，對相關(guān)調(diào)用和訪問者零影響 安全四層DDoS攻擊防護，支持應(yīng)用防火墻和CC防護，提供防護統(tǒng)計頁面，實時抵御網(wǎng)絡(luò)攻擊前期方案云服務(wù)器ECS負載均衡云服務(wù)器ECS后期根據(jù)業(yè)務(wù)擴展

5、增強負載均衡云服務(wù)器ECS云服務(wù)器ECS負載均衡云服務(wù)器ECS云服務(wù)器ECS技術(shù)方案消息系統(tǒng)消息隊列采用阿里云MQ消息發(fā)送/發(fā)布方消息接收/訂閱方TCPUDP HTTP SOAP 消息接收器消息發(fā)送器消息持久消息狀態(tài)流入路由器流出路由器元數(shù)據(jù)攔截器消息內(nèi)部服務(wù)攔截器轉(zhuǎn)換器組件調(diào)用事務(wù)管理故障恢復組件容器技術(shù)方案推薦引擎基于阿里云的RecEng（推薦引擎）和MaxCompute（大數(shù)據(jù)計算服務(wù)）搭建金豆云推薦引擎，實現(xiàn)千人千面基本推薦流程客戶接入數(shù)據(jù)特征提取計算用戶/物品評分用戶/物品用戶/物品的原始特征評分矩陣用戶/物品用戶/物品關(guān)系計算的耦合特征相關(guān)性計算+鄰近計算用戶的候選推薦集/物品相似

6、物品集推薦建模流程客戶效果數(shù)推薦請求API據(jù)OTS物品實模型樣本時修正表推薦處理線OTS離線計程算結(jié)果表基于業(yè)務(wù)目標OTS用戶實的監(jiān)督學習時修正表針對業(yè)務(wù)目標的API返回Ranking ModelOTS離線計算結(jié)果表離線計算在線計算技術(shù)方案用戶認證 SSO + OAuth2內(nèi)部系統(tǒng)內(nèi)部系統(tǒng)采單點登陸方式進行管理供應(yīng)系統(tǒng)資源系統(tǒng)人脈系統(tǒng)微店系統(tǒng)金豆云認證系統(tǒng)用戶信息外部系統(tǒng)外部系統(tǒng)連接主要分為2種方式：1. 通過ROP平臺實現(xiàn)數(shù)據(jù)交互2. 金豆云提供OAuth2認證機制給第三方，實現(xiàn)頁面與數(shù)據(jù)的交互Request User Url跳轉(zhuǎn)用戶授權(quán)生成Auth Code請求Access TokenRe

7、quest Access Url生成Access Token請求用戶OpenIDRequest Info Url生成OpenID獲取用戶資源通過token、openId及API技術(shù)方案分析平臺JSONEcharts | CuBIREST API報表Spring，SpringMVC，JMS，Sqoop事件監(jiān)聽定時任務(wù)數(shù)據(jù)導入SparkAPI接口數(shù)據(jù)分析數(shù)據(jù)融合MQ消息隊列HBaseHadoop HDFS 分析平臺基于業(yè)務(wù)數(shù)據(jù)進行數(shù)據(jù)映射與融合 整體架構(gòu)基于大數(shù)據(jù)分析框架設(shè)計，并通過模塊化設(shè)計進行內(nèi)部解耦，將數(shù)據(jù)收集，導入及分析功能圍繞分析模型系統(tǒng)處理 業(yè)務(wù)數(shù)據(jù)收集工作通過異步消息及定時導入方式實

8、現(xiàn) 底層技術(shù)實現(xiàn) 前端主要提供REST API供產(chǎn)品平臺進行數(shù)據(jù)獲取。同時采用Echarts或CuBI進行報表展現(xiàn) 中臺服務(wù)邏輯層使用Spring，SpringMVC作為應(yīng)用構(gòu)建及對外接口發(fā)布，配合MQ隊列機制處理異步消息。Spark作為核心數(shù)據(jù)處理引擎，進行MapReduce處理 持久層主要采用HBase進行大數(shù)據(jù)存儲，同時使用Hadoop HDFS支持分布式存儲技術(shù)方案數(shù)據(jù)庫設(shè)計原則1統(tǒng)一數(shù)據(jù)視圖保證數(shù)據(jù)的及時性、一致 性、準確性、完整性2數(shù)據(jù)應(yīng)用分離應(yīng)用系統(tǒng)只依賴邏輯數(shù)據(jù)庫應(yīng)用系統(tǒng)不直接訪問其它宿 主的數(shù)據(jù)庫，只能通過服務(wù) 訪問3數(shù)據(jù)讀寫分離訪問量大的數(shù)據(jù)庫做讀寫分離數(shù)據(jù)量大的數(shù)據(jù)庫做分

9、庫分表不同業(yè)務(wù)域數(shù)據(jù)庫做分區(qū)隔離重要數(shù)據(jù)配置備庫；MongoMongo業(yè)務(wù)DBDB業(yè)務(wù)MasterSlave數(shù)據(jù)庫數(shù)據(jù)庫(Master)(Slave)報表數(shù)據(jù)RedisRedisMasterSlave庫HBaseHadoop HDFSDocDocDoc合理使用緩存產(chǎn)品平臺數(shù)據(jù)庫設(shè)計方案采用二級緩存機制4 一級緩存使用Redis副本集，對頻繁訪問數(shù)據(jù)進行緩存。同時圍繞Redis單線程機制，針對大量并發(fā)場景設(shè)計了同一用戶的并發(fā)鎖策略。 二級緩存使用MongoDB副本集，對結(jié)構(gòu)化數(shù)據(jù)及頻繁更新數(shù)據(jù)進行文檔化數(shù)據(jù)存儲業(yè)務(wù)數(shù)據(jù)庫使用MySQL集群方案分析平臺基于大數(shù)據(jù)架構(gòu)設(shè)計方案，數(shù)據(jù)庫使用區(qū)域HBas

10、e部署策略，同時采用Hadoop HDFS進行分布式文件存儲技術(shù)架構(gòu) 運營監(jiān)控流量控制水平 擴展應(yīng)用：集群，無狀態(tài)，提高訪問量數(shù)據(jù)：讀寫分離，提高性能業(yè)務(wù)分區(qū)應(yīng)用：按業(yè)務(wù)域劃分成不同子系統(tǒng)數(shù)據(jù)：數(shù)據(jù)分區(qū)1. 分流分片應(yīng)用：不同業(yè)務(wù)類型分片數(shù)據(jù)：分庫分表，提高數(shù)據(jù)容量動靜分離應(yīng)用：分層，功能與非功能分開數(shù)據(jù)：冷熱數(shù)據(jù)分離無法緩解大流量頁面降級1.動態(tài)頁面降級到靜態(tài)2.整體降級到其他頁面Nginx前端限制3.頁面部分內(nèi)容業(yè)務(wù)功能降級舍棄一些非關(guān)鍵業(yè)務(wù)，應(yīng)用系統(tǒng)限流2. 降級如購物車庫存狀態(tài)3. 限流客戶端限流應(yīng)用系統(tǒng)降級降級一些下游系統(tǒng)，無法緩解如一次拆分暫停服務(wù)端限流大流量數(shù)據(jù)降級遠程服務(wù)降機到

11、本數(shù)據(jù)庫限流地緩存技術(shù)架構(gòu) 運營監(jiān)控SLA數(shù)據(jù)持久性數(shù)據(jù)可銷毀性不低于99.9999999%數(shù)據(jù)無法恢復數(shù)據(jù)可遷移性數(shù)據(jù)私密性遷入遷出網(wǎng)絡(luò)層訪問控制技術(shù)實現(xiàn)對不同用戶資源的隔離服務(wù)可用性數(shù)據(jù)知情權(quán)不低于99.95%對于數(shù)據(jù)、備份數(shù)據(jù)所在數(shù)據(jù)中心地理位置、數(shù)據(jù)備份數(shù)量具有知情權(quán)故障恢復能力服務(wù)資源調(diào)配能力7×24小時的運行維護用戶可在10分鐘內(nèi)啟用或釋放100臺云服務(wù)器，或在5分鐘內(nèi)完成停機升級CPU和內(nèi)存，并支網(wǎng)絡(luò)接入性能持在線實時升級公網(wǎng)帶寬多線接入，0Mbps200Mbps服務(wù)提供方SLA服務(wù)消費方技術(shù)架構(gòu) 治理灰度發(fā)布老系統(tǒng)老系統(tǒng)DB部分請求到舊系統(tǒng)上，另一部分請求到了新的灰度系統(tǒng)上走到Client轉(zhuǎn)發(fā)舊系統(tǒng)的請求，還是照原樣處理走到了新版灰度系統(tǒng)的請求，需要同時將請求轉(zhuǎn)發(fā)給舊系統(tǒng)上來對應(yīng)的接口上修改舊系統(tǒng)的數(shù)據(jù)如果走到新系統(tǒng)的請求查不到該用戶的數(shù)據(jù)，還需要首先同步一份來新系統(tǒng)上新系統(tǒng)新系統(tǒng)DBClient請求首先走到了新版本需要灰度的服務(wù)上，在經(jīng)過該服務(wù)處理后，給請求打上了tag，由于帶上了tag，后續(xù)訪問的都是配套灰度的A服務(wù)新版A服務(wù)服務(wù)Tag AB服務(wù)B服務(wù)Tag AC服務(wù)新版C服務(wù)技術(shù)架構(gòu) 安全安全策略1Https接入數(shù)據(jù)傳輸入過來加密，防止傳輸過程中數(shù)據(jù)被篡改、安全級別更高2黑白名單設(shè)置黑名單，使