廣告業(yè)務系統(tǒng)Serverless架構實踐

1、廣告業(yè)務系統(tǒng)Serverless架構實踐技術創(chuàng)新 變革未來目錄業(yè)務背景介紹技術架構演進Serverless實戰(zhàn) 對Serverless思考 Q&A公司 & 業(yè)務介紹 Mobvista是全球領先的第三方移動價值發(fā)現(xiàn)平臺，為全球應 用開發(fā)者提供獲客、變現(xiàn)及移動分析解決方案。開發(fā)者變現(xiàn)獲客移動分析解決方案請求展示點擊轉化行為價值M大腦(AI)廣告價值追蹤系統(tǒng) 架構演進初（2014年） 經(jīng)濟適用型展示點擊轉化行為Elastic Load BalancingAuto Scaling groupTracking SystemEC2 instance contentsEC2 instance content

2、sRegion - SG我們遇到的問題1.全球用戶訪問延時問題1. 提升全球用戶訪問體驗展示點擊轉化行為Auto Scaling groupTracking DeliverEC2 instance contentsRegion SG、TK、VG、FKElastic Load BalancingAuto Scaling groupTracking ReceiverEC2 instance contentsRegion SGElastic Load BalancingAmazon DynamoDB我們遇到的問題全球用戶訪問延時問題突發(fā)流量波動對穩(wěn)定性影響減低線上突發(fā)流量波動對穩(wěn)定性影響展示點擊Tr

3、acking DeliverEC2 instance contentsAuto Scaling groupRegion SG、TK、VG、FKElastic Load BalancingTracking BoosterAmazon DynamoDBRegion SG減低線上突發(fā)流量波動對穩(wěn)定性影響Amazon DynamoDBRegion SG轉化行為Elastic Load BalancingAuto Scaling groupTracking ReceiverEC2 instance contentsAmazon SQSAuto Scaling groupTracking MatcherE

4、C2 instance contents我們遇到的問題全球用戶訪問延時問題突發(fā)流量波動對穩(wěn)定性影響數(shù)據(jù)分析業(yè)務開發(fā)效率低通過中間件、大數(shù)據(jù)工具加速業(yè)務開發(fā)展示點擊Auto Scaling groupTracking DeliverEC2 instance contentsRegion SG、TK、VG、FKElastic Load BalancingAmazon DynamoDBAmazon S3Amazon EMR (Hive)Region VGAmazon RedshiftAmazon EMR (Spark Streaming)我們遇到的問題全球用戶訪問延時問題突發(fā)流量波動對穩(wěn)定性影響數(shù)據(jù)

5、分析業(yè)務開發(fā)效率低整體架構運維成本高Serverless，降低整體架構運維成本Amazon Kinesis StreamsRegion VG展示點擊Tracking DeliverEC2 instance contentsAuto Scaling groupRegion SG、TK、VG、FKElastic Load BalancingServerless，降低整體架構運維成本Amazon DynamoDBRegion VG轉化行為Amazon SQSAmazon API GatewayAWSLambda (receiver)AWSLambda (matcher)Serverless，降低整體

6、架構運維成本Amazon Kinesis StreamsAmazon Kinesis FirehoseAmazon S3AWS Lambda (ES Uploader)AWS Lambda (booster)Amazon DynamoDBAmazon EMR (Hive)Amazon RedshiftAmazon Kinesis AnalyticsAWS Lambda (Data Transform)AWS Lambda (Report Pusher)Amazon ElastiCacheAWS Lambda (Report Loader)Serverless 實 戰(zhàn)Kinesis + Lamb

7、da 實 戰(zhàn)Fluentd 內網(wǎng)跨可用區(qū)的流量費用Kinesis的流量峰值控制請求最大容量 并發(fā)機器數(shù)0.5M21kinesis的響應時間 50ms0.5x2x1x(1000/50)=20個分片Kinesis 的使用成本建議壓縮解壓的問題Zlib? Gzip?使用lambda轉換格式 改fluentd插件邏輯/lib/fluent/plugin/kinesis.rbKinesis Analytics 實 戰(zhàn)處理數(shù)據(jù)量過多需要進行kinesis analytics的分片操作aws -region us-east-1 kinesisanalytics update-application - ap

8、plication-name 3s-tracking-click-analytics -current- application-version-id 33 -application-update InputUpdates: InputId: 2.1,InputParallelismUpdate: CountUpdate:5 數(shù)據(jù)一致性問題正好一次？不可能的至多一次至少一次Amazon KinesisAmazon SQSAmazon DynamoDBAWSLambda離線報表以及實時報表的合并Table offlineQueryAmazon EMR (Hive)離線報表以及實時報表的合并(SELECT * FROMtable_offline WHERE time = 1537167600)Table realtimeTable offlineView Uni