




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、傳易金融云數(shù)據(jù)平臺介紹技術(shù)創(chuàng)新 變革未來公司介紹傳易集團是由中國領(lǐng)先的互聯(lián)網(wǎng)上市公司網(wǎng)易 集團和全球智能終端產(chǎn)品移動增值服務(wù)提供商 傳音控股集團共同創(chuàng)辦的合資公司,聚焦移動 互聯(lián)網(wǎng)領(lǐng)域,以互聯(lián)網(wǎng)金融、音樂、短視頻、 應(yīng)用市場、在線游戲等為主要業(yè)務(wù)方向。旗下網(wǎng)聚了非洲第一大在線音樂平臺Boomplay, 非洲排名第一的短視頻平臺 Vskit,非洲第 二大移動應(yīng)用分發(fā)平臺 Palmstore,以及互聯(lián) 網(wǎng)金融信貸理財和支付產(chǎn)品Palmcredit、Palmsave、Palmpay等已在非洲嶄露頭角的優(yōu) 秀互聯(lián)網(wǎng)產(chǎn)品,是中國互聯(lián)網(wǎng)最先開始非洲本 土化的企業(yè)之一。數(shù)據(jù)平臺理財注冊平臺信貸支付業(yè)務(wù)整體框
2、架海量的線上用戶豐富的應(yīng)用場景快速的授信、審批、交易和高度自動化實時反欺詐和快速迭代業(yè)務(wù)特點數(shù)據(jù)平臺特點數(shù)據(jù)種類多各種采集數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、三方數(shù)據(jù)數(shù)據(jù)類型多結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化處理方式多實時、準(zhǔn)實時、離線支持場景多申請、審批、交易、分析采集客戶端10+種數(shù)據(jù)實時和準(zhǔn)實時解析200+風(fēng)控變量風(fēng)控分析師能夠靈活快速分析所有數(shù)據(jù)高可用,支持橫向伸縮數(shù)據(jù)平臺目標(biāo)我們的規(guī)劃方案數(shù)據(jù)采集服務(wù)集群隊列集群S3數(shù)據(jù)采集數(shù)據(jù)采集數(shù)據(jù)上報埋點數(shù)據(jù)、授權(quán)數(shù)據(jù)數(shù)據(jù)采集服務(wù)接入節(jié)點,將數(shù)據(jù)轉(zhuǎn)發(fā)到隊列集群隊列集群NSQ消息隊列隊列集群實時業(yè)務(wù)處理ETL消費端數(shù)據(jù)結(jié)構(gòu)化處理S3消息緩存準(zhǔn)實時處理消費端文檔數(shù)據(jù)庫Mys
3、ql數(shù)據(jù)同步數(shù)據(jù)倉庫埋點數(shù)據(jù)ETL數(shù)據(jù)處理業(yè)務(wù)風(fēng)控指標(biāo)實時 解析用戶授信、交易申 請,根據(jù)申請時刻 采集的數(shù)據(jù)出授信 額度和交易審批實時處理處理用戶通訊錄、 通話記錄、短信等 信息解析用戶關(guān)系消費端故障,數(shù)據(jù) 可以延遲處理,但 不能丟失支持慢消費和數(shù)據(jù) 回溯準(zhǔn)實時處理ETL原始數(shù)據(jù)直接備份S3將數(shù)據(jù)結(jié)構(gòu)化處理,暫存S3S3結(jié)構(gòu)化數(shù)據(jù)直接轉(zhuǎn) 入數(shù)據(jù)倉庫埋點數(shù)據(jù)ETL后,存 入數(shù)據(jù)倉庫ETL消費端ETLS3消息緩存準(zhǔn)實時處理消費端文檔數(shù)據(jù)庫Mysql數(shù)據(jù)同步數(shù)據(jù)倉庫埋點數(shù)據(jù)ETL數(shù)據(jù)存儲主要用于通訊錄、通話記錄、短信 等大塊數(shù)據(jù)存儲和解析用戶關(guān)系表的存儲要支持靈活擴展文檔數(shù)據(jù)庫數(shù)據(jù)湖存儲所有原始數(shù)
4、據(jù)暫存中間的處理數(shù)據(jù)S3離線處理(OLAP)BI、風(fēng)控分析大規(guī)模并行處理跟其他服務(wù)之間無縫對接升級容易,易維護數(shù)據(jù)倉庫數(shù)據(jù)平臺方案開源方案Kafka + MongoDB + Mysql + Sqoop + Hadoop + Hive云服務(wù)方案Kinesis + DynamoDB + Aurora + DMS + Redshift開源方案問題:技術(shù)難度高,后期的維護和升級麻煩穩(wěn)定性低,開源問題較多,需要升級來保證與其他服務(wù)的兼容性不好,需要額外開發(fā)保證需要有經(jīng)驗的開發(fā)人力投入數(shù)據(jù)平臺方案開發(fā)現(xiàn)狀:僅3名開發(fā)人員基本無數(shù)據(jù)開發(fā)經(jīng)驗開發(fā)人員的技術(shù)棧不同兩個月上線數(shù)據(jù)平臺方案原則:充分利用其他項目中已
5、實現(xiàn)組件優(yōu)先選擇開發(fā)人員熟悉的和上手快的盡量整合AWS服務(wù),減少基礎(chǔ)服務(wù)人力投入聚焦業(yè)務(wù)實現(xiàn)數(shù)據(jù)平臺方案最后方案的架構(gòu)DynamoDBlambdaAurora數(shù)據(jù)采集平臺AZ-1AZ-2Kinesis FirehoseAmazon S3隊列集群KinesisKinesis 消費端業(yè)務(wù)單元集群DMSRedshiftlambda傳易金融數(shù)據(jù)平臺架構(gòu)一些使用注意事項消息隊列使用Kinesis Data Streams API,需要消費端來記錄已處理消息Kinesis Client Library (KCL)可以實現(xiàn)上面的功能,專注于每條記錄的處理KCL的每個分片不支持多個消費端同時處理KCL支持的語
6、言有限,不支持GO語言Kinesis將實時流傳送到S3,Redshift從S3 COPY數(shù)據(jù)到Redshift,遇到不兼容字符會導(dǎo)致任務(wù)阻塞, 阻塞期間的數(shù)據(jù)會丟失存儲到S3的目錄會自動加上年月日時如果數(shù)據(jù)量不大,存儲到S3的小文件較多,影響使用效率Kinesis FirehoseNoSql文檔數(shù)據(jù)庫如果不是強一致讀數(shù)據(jù),可能會讀取不到最終數(shù)據(jù)支持通過指定Hash key批量查詢,不支持批量查詢Hash keyDynamoDB用于不同數(shù)據(jù)庫之間數(shù)據(jù)同步和遷移DMS 對Redshift性能影響很大, 可以通過調(diào)整參數(shù)BatchApplyTimeoutMin來控制更新頻率數(shù)據(jù)源改了數(shù)據(jù)類型會導(dǎo)致任
7、務(wù)失敗,整個表需要重新同步只能從Aurora讀寫節(jié)點同步,不支持從只讀節(jié)點同步DMS使用COPY命令,varchar類型長度必須是正常長度的3倍設(shè)計表的時候 distkey 和 sortkey 要在一開始想好,創(chuàng)建表后無法更改表創(chuàng)建后,字段的類型無法修改盡量不要使用sql直接做數(shù)據(jù)清洗操作Redshift存在問題和優(yōu)化點:數(shù)據(jù)采集平臺需要額外維護,Kinesis支持手機端直接上報數(shù)據(jù),可以 直接干掉數(shù)據(jù)采集平臺Kinesis直接替換掉NSQ隊列集群用戶的復(fù)雜關(guān)系需要上圖數(shù)據(jù)庫處理業(yè)務(wù)集群可以考慮使用lambda實現(xiàn),實現(xiàn)無服務(wù)器隨著業(yè)務(wù)量的增長可以上EMR做ETL和流處理Redshift數(shù)據(jù)根據(jù)時間分表,冷數(shù)據(jù)轉(zhuǎn)移到S3,掛載回Redshift架構(gòu)迭代DynamoDBLambdaAuroraKinesis FirehoseLambda集群KinesisKinesis FirehoseLambdaAmazon S3DMSRedshiftLambda傳易數(shù)據(jù)平臺架構(gòu)演進-無服務(wù)器架構(gòu)AWS云服務(wù)方案:技術(shù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年湖北國土資源職業(yè)學(xué)院單招職業(yè)技能測試題庫及參考答案
- 商業(yè)綜合體改造抵押協(xié)議
- 2025年度養(yǎng)豬場動物疫病監(jiān)測與預(yù)警協(xié)議
- 2025年度個人信息保護與信息安全保密協(xié)議書
- 二零二五年度食品飲料企業(yè)財務(wù)代理記帳服務(wù)合同
- 2025年廣西自然資源職業(yè)技術(shù)學(xué)院單招職業(yè)技能測試題庫及答案一套
- 商業(yè)廣場改造貸款協(xié)議
- 2025年度公司終止職工勞動合同解除與就業(yè)援助合同
- 2025年北京綠色生態(tài)居住區(qū)拆遷補償與生態(tài)修復(fù)合同
- 2025年度商鋪轉(zhuǎn)租定金及租賃期終止處理合同
- 床位預(yù)約管理提高患者就診效率減少等待時間
- 吉利圍墻施工組織設(shè)計樣本
- 人教版三年級上冊數(shù)學(xué)應(yīng)用題100題及答案
- 第6課《飛向藍(lán)天的恐龍》兩課時學(xué)習(xí)任務(wù)單部編版四年級語文下冊
- 語文新課標(biāo)背景下單元整體教學(xué):六下第4單元大單元設(shè)計
- 福州地鐵公司招聘考試題目
- 小學(xué)語文期末質(zhì)量分析報告
- 口腔醫(yī)院客服培訓(xùn)課件
- 駕照體檢表完整版本
- 04G325吊車軌道聯(lián)結(jié)及車擋
- 華為公司員工培訓(xùn)與績效管理
評論
0/150
提交評論