Apache Doris助力中科軟打造保險(xiǎn)行業(yè)智能風(fēng)控平臺(tái)

ApacheDoris助力中科軟打造保險(xiǎn)行業(yè)智能風(fēng)控平臺(tái)劉釗毅中科軟科技資深數(shù)據(jù)架構(gòu)師01智能風(fēng)控平臺(tái)02數(shù)據(jù)架構(gòu)演進(jìn)03實(shí)踐場(chǎng)景04總結(jié)與展望01智能風(fēng)控平臺(tái)「中科軟簡(jiǎn)介」?公司成立時(shí)間：1996.5.30?注冊(cè)資本：59,360萬?國(guó)有控股：中科院軟件研究所、海淀國(guó)有資產(chǎn)投資經(jīng)營(yíng)公司?2006年1月23日在深圳新三板上市?2019年9月9日上交所上市，股票代碼603927?2023年實(shí)現(xiàn)營(yíng)業(yè)收入約65.03億，實(shí)現(xiàn)凈利潤(rùn)6.55億，同比增長(zhǎng)2.59%18000+行業(yè)應(yīng)用專業(yè)化人才?7000+專注壽險(xiǎn)、6000+專注財(cái)險(xiǎn)、5000+專注公共衛(wèi)生醫(yī)療及政府等行業(yè)；?涵蓋眾多行業(yè)的應(yīng)用軟件產(chǎn)品、開發(fā)服務(wù)、系統(tǒng)集成等；?公司擁有18000+人才，技術(shù)人員占比89%，82%+本科以上；?研發(fā)能力：與中科院軟件所成立“行業(yè)信息化聯(lián)合實(shí)驗(yàn)室”、“人工智能實(shí)驗(yàn)室”、“區(qū)塊鏈實(shí)驗(yàn)室”；?在保險(xiǎn)軟件廠商中綜合競(jìng)爭(zhēng)力排名第一，并保持連續(xù)十年排名第一；?國(guó)家規(guī)劃布局高新技術(shù)企業(yè)，國(guó)家鼓勵(lì)的重點(diǎn)軟件企業(yè)、軟件百?gòu)?qiáng)企業(yè)?！钢锌栖浐?jiǎn)介－市場(chǎng)占有率」自2011年起在IT解決方案市場(chǎng)競(jìng)爭(zhēng)分析中連續(xù)數(shù)年占據(jù)領(lǐng)導(dǎo)者地位數(shù)據(jù)來源：賽迪顧問2024.08約束層評(píng)估層記錄事實(shí)層環(huán)境層「保險(xiǎn)行業(yè)的知識(shí)體系框架－風(fēng)險(xiǎn)管理域」約束層評(píng)估層記錄事實(shí)層環(huán)境層8大風(fēng)險(xiǎn)體系信用風(fēng)險(xiǎn)戰(zhàn)略風(fēng)險(xiǎn)流動(dòng)性風(fēng)險(xiǎn)保險(xiǎn)風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)集中度風(fēng)險(xiǎn)聲譽(yù)風(fēng)險(xiǎn)操作風(fēng)險(xiǎn)風(fēng)險(xiǎn)綜合評(píng)級(jí)SARMRA自評(píng)估指標(biāo)556個(gè)標(biāo)準(zhǔn)層貼源層可操作管理文件200+規(guī)則集50000+客戶業(yè)務(wù)流程-保單業(yè)務(wù)流程-理賠業(yè)務(wù)流程-再保業(yè)務(wù)流程-收付業(yè)務(wù)流程-財(cái)務(wù)產(chǎn)品標(biāo)的渠道組織機(jī)構(gòu)營(yíng)銷風(fēng)險(xiǎn)客戶業(yè)務(wù)分類產(chǎn)品標(biāo)的物組織過程狀態(tài)時(shí)間期限地域權(quán)限控制收/付費(fèi)控制e.g.承保實(shí)務(wù)規(guī)程e.g.核保規(guī)則e.g.網(wǎng)銷系統(tǒng)功能菜單e.g.接受保單數(shù)據(jù)接口動(dòng)態(tài)產(chǎn)品結(jié)構(gòu)動(dòng)態(tài)產(chǎn)品結(jié)構(gòu)標(biāo)的子險(xiǎn)信息表保單基本信息表客戶信息表險(xiǎn)別代碼表保單保額保費(fèi)表保險(xiǎn)標(biāo)的項(xiàng)目表動(dòng)態(tài)產(chǎn)品結(jié)構(gòu)與藍(lán)圖動(dòng)態(tài)產(chǎn)品結(jié)構(gòu)與藍(lán)圖數(shù)據(jù)結(jié)構(gòu)的映射管理需求計(jì)劃表需求確認(rèn)表需求驗(yàn)證表需求變更申請(qǐng)需求計(jì)劃表需求確認(rèn)表需求驗(yàn)證表需求變更申請(qǐng)需求評(píng)審記錄用戶需求說明書詳細(xì)需求說明書軟件工具組織協(xié)同知識(shí)成果需求訪談?dòng)涗洝副ｋU(xiǎn)欺詐給各國(guó)保險(xiǎn)行業(yè)造成損失估計(jì)」賠付金額10-30%賠付金額賠付金額10-30%賠付金額10-40%賠付金額10-20%汽車保險(xiǎn)健康保險(xiǎn)案件數(shù)量的10%左右健康保險(xiǎn)農(nóng)業(yè)保險(xiǎn)案件數(shù)量的10%左右農(nóng)業(yè)保險(xiǎn)保險(xiǎn)欺詐行為造成的損失是非常驚人的;近年來通過強(qiáng)化組織并不斷提升技術(shù)含量危害日益加?。籟新保;續(xù)保;渠道接入][報(bào)案;立案;核賠;追償][新保;續(xù)保;渠道接入][報(bào)案;立案;核賠;追償][報(bào)案;立案;核賠;追償][新保;續(xù)保;渠道接入][報(bào)案;立案;核賠;追償][新保;續(xù)保;渠道接入][報(bào)案;立案;核賠;追償][報(bào)案;立案;核賠;追償]求結(jié)案后稽查CFR 01技術(shù)架構(gòu)演進(jìn)數(shù)據(jù)治理數(shù)據(jù)分析類應(yīng)用監(jiān)管類及專業(yè)應(yīng)用數(shù)據(jù)應(yīng)用統(tǒng)信報(bào)送月結(jié)償二代準(zhǔn)備金、精算實(shí)時(shí)大屏固定報(bào)表KPI系統(tǒng)MIS數(shù)據(jù)治理數(shù)據(jù)分析類應(yīng)用監(jiān)管類及專業(yè)應(yīng)用數(shù)據(jù)應(yīng)用統(tǒng)信報(bào)送月結(jié)償二代準(zhǔn)備金、精算實(shí)時(shí)大屏固定報(bào)表KPI系統(tǒng)MIS清單多維分析移動(dòng)端智能風(fēng)控智能風(fēng)控智能營(yíng)銷客戶畫像智能營(yíng)銷客戶畫像智能續(xù)保智能續(xù)保理賠反欺詐理賠反欺詐客戶評(píng)級(jí)Manager數(shù)據(jù)挖掘工具包SKLearnAutoML元數(shù)據(jù)管理數(shù)據(jù)服務(wù)WebServiceWebSocketSandBoxAPIJDBC主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理統(tǒng)一調(diào)度批量采集實(shí)時(shí)采集工具采集資源管理參數(shù)配置Impala/Presto分布式數(shù)據(jù)庫SQL查詢引擎數(shù)據(jù)模型分布式多維分析引擎SparkManager數(shù)據(jù)挖掘工具包SKLearnAutoML元數(shù)據(jù)管理數(shù)據(jù)服務(wù)WebServiceWebSocketSandBoxAPIJDBC主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理統(tǒng)一調(diào)度批量采集實(shí)時(shí)采集工具采集資源管理參數(shù)配置Impala/Presto分布式數(shù)據(jù)庫SQL查詢引擎數(shù)據(jù)模型分布式多維分析引擎SparkStreaming實(shí)時(shí)流處理引擎數(shù)據(jù)架構(gòu)列式數(shù)據(jù)庫圖數(shù)據(jù)庫關(guān)聯(lián)性分析MongDB文檔數(shù)據(jù)庫非結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫數(shù)據(jù)安全監(jiān)管要求行業(yè)標(biāo)準(zhǔn)資源管理YARN優(yōu)化存儲(chǔ)協(xié)同服務(wù)Zookeeper消息隊(duì)列日志采集分布式計(jì)算SparkKafka云管平臺(tái)（計(jì)算、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)資源）[支持AWS、阿里云、華為云等]RDBMS數(shù)據(jù)服務(wù)DataService數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)操作數(shù)據(jù)交換數(shù)據(jù)來源數(shù)據(jù)治理數(shù)據(jù)分析類應(yīng)用監(jiān)管類及專業(yè)應(yīng)用數(shù)據(jù)應(yīng)用統(tǒng)信報(bào)送月結(jié)償二代準(zhǔn)備金、精算實(shí)時(shí)大屏固定報(bào)表KPI數(shù)據(jù)治理數(shù)據(jù)分析類應(yīng)用監(jiān)管類及專業(yè)應(yīng)用數(shù)據(jù)應(yīng)用統(tǒng)信報(bào)送月結(jié)償二代準(zhǔn)備金、精算實(shí)時(shí)大屏固定報(bào)表KPI系統(tǒng)資產(chǎn)目錄移動(dòng)端多維分析MIS清單資產(chǎn)地圖智能風(fēng)控智能風(fēng)控智能營(yíng)銷智能營(yíng)銷客戶畫像智能續(xù)保智能續(xù)保理賠反欺詐客戶評(píng)級(jí)數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)運(yùn)營(yíng)Manage大數(shù)據(jù)開發(fā)管理平臺(tái)部署開發(fā)調(diào)試調(diào)度監(jiān)控?cái)?shù)據(jù)服務(wù)接口管理平臺(tái)RestfulAPIJDBC/FTP數(shù)據(jù)訂閱算法服務(wù)元數(shù)據(jù)管理外部接入批量采集實(shí)時(shí)采集工具采集Manage大數(shù)據(jù)開發(fā)管理平臺(tái)部署開發(fā)調(diào)試調(diào)度監(jiān)控?cái)?shù)據(jù)服務(wù)接口管理平臺(tái)RestfulAPIJDBC/FTP數(shù)據(jù)訂閱算法服務(wù)元數(shù)據(jù)管理外部接入批量采集實(shí)時(shí)采集工具采集資源管理參數(shù)配置主數(shù)據(jù)管理Doris分布式AP數(shù)據(jù)庫SQL查詢引擎+數(shù)據(jù)湖[IceBerg/ExtenalTable/Multi-Catalog]數(shù)據(jù)質(zhì)量管理Prometheus時(shí)序數(shù)據(jù)庫數(shù)據(jù)模型圖數(shù)據(jù)庫關(guān)聯(lián)性分析實(shí)時(shí)流處理引擎MongDB文檔數(shù)據(jù)庫非結(jié)構(gòu)化ElasticSearch搜索引擎數(shù)據(jù)倉(cāng)庫數(shù)據(jù)架構(gòu)數(shù)據(jù)安全監(jiān)管要求協(xié)同服務(wù)資源管理優(yōu)化存儲(chǔ)增量日志獲取消息隊(duì)列增量捕獲ZookeeperYARNHDFSDebeziumKafkaFlinkCDC云管平臺(tái)（計(jì)算、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)資源）[支持AWS、阿里云、華為云等]行業(yè)標(biāo)準(zhǔn)RDBMS數(shù)據(jù)服務(wù)DataService數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)操作數(shù)據(jù)交換數(shù)據(jù)來源「大數(shù)據(jù)技術(shù)開發(fā)管理平臺(tái)的建立」l調(diào)度流程監(jiān)控l可視化自定義l集群部署管理l調(diào)度流程監(jiān)控l可視化自定義l集群部署管理l組件服務(wù)管理l系統(tǒng)運(yùn)行監(jiān)控l消息隊(duì)列監(jiān)控l增量數(shù)據(jù)捕獲l多數(shù)據(jù)源管理l流批一體處理l流式入湖入倉(cāng)l高性能查詢l強(qiáng)兼容mysqll數(shù)據(jù)API構(gòu)建lETLjob構(gòu)建中科軟大數(shù)據(jù)技術(shù)開發(fā)管理平臺(tái)）實(shí)時(shí)數(shù)據(jù)獲取快速開發(fā)平臺(tái)任務(wù)管理平臺(tái)TaskManager實(shí)時(shí)數(shù)據(jù)獲取快速開發(fā)平臺(tái)任務(wù)管理平臺(tái)TaskManager智能調(diào)度平臺(tái)Scheduler運(yùn)維監(jiān)控平臺(tái)流批一體處理引擎分布式AP數(shù)據(jù)庫組件托管平臺(tái)03實(shí)踐場(chǎng)景「技術(shù)組件托管能力」「平臺(tái)快速開發(fā)能力-數(shù)據(jù)庫」見即所見的SQL調(diào)試界面。「平臺(tái)快速開發(fā)能力-ETL」4、支持對(duì)指定Catalog元數(shù)據(jù)的查詢、SQL5、支持對(duì)執(zhí)行模式、集群選擇、默認(rèn)生成、可用Function查詢等功能。括開始時(shí)間、結(jié)束時(shí)間、是否成功等信息。「平臺(tái)快速開發(fā)能力-機(jī)器學(xué)習(xí)」1.1.EDA(數(shù)據(jù)探索性分析)2.特征工程2.特征工程3.模型自動(dòng)化調(diào)優(yōu)3.模型自動(dòng)化調(diào)優(yōu)「平臺(tái)智能調(diào)度能力」「平臺(tái)運(yùn)維監(jiān)控能力」4、平臺(tái)集成了各功能組件的性能指標(biāo)監(jiān)控能4、平臺(tái)集成了各功能組件的性能指標(biāo)監(jiān)控能04總結(jié)展望「對(duì)服務(wù)高可用、數(shù)據(jù)高可靠的保障能力提升」服務(wù)高可用服務(wù)高可用?默認(rèn)一個(gè)集群，只能有一個(gè)Leader，可以有多個(gè)Follower和Observer。?Leader和Follower組成一個(gè)Paxos選舉組，如果Leader宕機(jī)，則剩下的Follower會(huì)自動(dòng)選出新的到IsMaster:true。在此基礎(chǔ)上，可以添加若干Follower和Observer。數(shù)據(jù)高