非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)運(yùn)營跨生態(tài)化業(yè)務(wù)應(yīng)用

1、非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)運(yùn)營跨生態(tài)化業(yè)務(wù)應(yīng)用技術(shù)創(chuàng)新，變革未來以客戶為中心的業(yè)務(wù)為何需要數(shù)字化？ 業(yè)務(wù)可度量，才可改進(jìn)。數(shù)字化轉(zhuǎn)型具備什么價值？高效、連接和創(chuàng)新。 FINRA金融監(jiān)管局基于AWS數(shù)據(jù)湖、AI等多種架構(gòu)和技 術(shù)，實現(xiàn)每天1550億筆交易體量下的動態(tài)實時監(jiān)管，有力證明了數(shù)字化轉(zhuǎn)型的三大價值。Data EngineeringModel SelectionML FrameworkData FrameworkTrained ModelScoringAlgorithmsEGRPython, R, Scala, SQLScala PythonScala, Python, RTestChosen Mo

2、delDataObservation-1 Observation-2Observation-nNotebook Promotion數(shù)據(jù)湖Amazon EC2Amazon EC2監(jiān)管模型開發(fā)生產(chǎn)環(huán)境FINRAAmazon 2020, Amazon Web Services, Inhc. oerritds affiliates. All rigSht3s reserved.Python, R, ScalaData FrameworkScala PythonIterative3信息化轉(zhuǎn)型專線支持的網(wǎng)點(diǎn)、ATM、POS機(jī)等客戶場景 項目經(jīng)理思維，架構(gòu)師思維以金融機(jī)構(gòu)為視角的專業(yè)化產(chǎn)品 基于完整需求進(jìn)行

3、瀑布式開發(fā)業(yè)務(wù)部門定義產(chǎn)品，科技部門實現(xiàn)產(chǎn)品由項目經(jīng)理、架構(gòu)師、領(lǐng)域開發(fā)人員組成 的開發(fā)中心、測試中心和數(shù)據(jù)中心自建，私有云大數(shù)據(jù) MVC/三層開發(fā)工具、運(yùn)維工具實現(xiàn)“人管機(jī)器”的技術(shù)自動化數(shù)字化轉(zhuǎn)型互聯(lián)網(wǎng)生態(tài)及自有App的用戶場景 產(chǎn)品思維、數(shù)據(jù)思維、體驗質(zhì)量思維 以客戶體驗為核心的生態(tài)化產(chǎn)品基于體驗點(diǎn)進(jìn)行敏捷開發(fā)業(yè)務(wù)部門和科技部門共同定義產(chǎn)品包含項目經(jīng)理、產(chǎn)品經(jīng)理、全棧開發(fā)組成 的兩個比薩團(tuán)隊自建+租用，私有云+公有云數(shù)據(jù)湖 現(xiàn)代化應(yīng)用DevOps、AIOps 業(yè)務(wù)自動化使用模式 思維模式 產(chǎn)品形態(tài)開發(fā)模式 合作模式團(tuán)隊組織 技術(shù)平臺 數(shù)據(jù)架構(gòu)應(yīng)用架構(gòu)開發(fā)運(yùn)維管理工具自動化程度數(shù)字化轉(zhuǎn)型究

4、竟會帶來哪些變化？不僅是數(shù)字化渠道、數(shù)字化產(chǎn)品、數(shù)字化管理，更重要 的是數(shù)字化思維模式。4如何啟動數(shù)字化轉(zhuǎn)型？AWS認(rèn)為，盤活數(shù)據(jù)資產(chǎn)是全局性的切入點(diǎn)。IDC預(yù)計1，到2025年，全 球數(shù)據(jù)總量達(dá)175ZB。6來源1 https:/files/www-content/our-story/trends/files/data-age-china-regional- idc.pdf來源：JP Morgan盤活數(shù)據(jù)資產(chǎn)的關(guān)鍵，首先是數(shù)據(jù)資產(chǎn)的特征洞察?；谶@些特征，有效設(shè)計業(yè)務(wù)閉環(huán)、 治理模式、組織形態(tài)、整體架構(gòu)和核心技術(shù)。歷史數(shù)據(jù)數(shù)字網(wǎng)絡(luò)數(shù)據(jù)場景應(yīng)用預(yù)測推薦超大數(shù)據(jù)鏈接超多數(shù)據(jù)整理超快信息洞察“超腦

5、”數(shù)字化應(yīng)用盤活數(shù)據(jù)資產(chǎn)的的目標(biāo)不是形成一個寬廣的“數(shù)據(jù)沼澤”，而是通過面向生態(tài)用戶形成以信息洞察為輸出，以智能應(yīng)用為 目標(biāo)的“數(shù)字化產(chǎn)品”。通過實際的業(yè)務(wù)回報來衡量相關(guān)洞察的效果，并通過增加數(shù)據(jù)維度和計算能力來不斷迭代優(yōu)化。生態(tài)一數(shù)據(jù)生態(tài)N數(shù)據(jù)6數(shù)據(jù)資產(chǎn)的特征洞察需要對數(shù)據(jù)進(jìn)行知識標(biāo)注。AWS數(shù)字資產(chǎn)盤活機(jī)器人解決方案包含框架和任務(wù)執(zhí)行 Bot，可以很低的成本對表格，圖片，PDF文件，視頻，爬蟲記錄等富文本數(shù)據(jù)進(jìn)行知識標(biāo)注，具備定制化 能力、易用性、資源整合和成本優(yōu)化等關(guān)鍵價值。運(yùn)營人員通過REST API指定S3文件夾和要執(zhí)行 的任務(wù)類型，及配置的運(yùn)行機(jī)器的資源類型，如 OCR，s3:/a

6、-media-bucket/images，3 instancesExecution Planner接收到指令后去S3爬取全部 待處理文件的元數(shù)據(jù)并存放在DynamoDB中，隨 后以AWS Batch Job的形式啟動相應(yīng)的機(jī)器人執(zhí) 行相應(yīng)的任務(wù)。機(jī)器人將調(diào)用預(yù)先部署好的模型推理接口，將任 務(wù)的結(jié)果存放在轉(zhuǎn)移到S3。架構(gòu)概述7在全球某領(lǐng)先保險集團(tuán)，借助AWS數(shù)字資產(chǎn)盤活機(jī)器人解決方案，實現(xiàn)對客戶自己的醫(yī)療相關(guān)數(shù)據(jù)（含打 印字體、手寫字體、中文、英文）的快速知識標(biāo)注，為下游自動化任務(wù)提高理賠效率打下堅實基礎(chǔ)。8臺灣某領(lǐng)先資管集團(tuán)，借助AWS數(shù)字資產(chǎn)盤活機(jī)器人解決方案，實現(xiàn)對市場資訊的快速 知識標(biāo)注

7、。9將知識標(biāo)簽數(shù)據(jù)，導(dǎo)入客戶自身的個股漲跌預(yù)測模型，支持股票分析師等人員預(yù)測 股價。10其次，盤活數(shù)據(jù)資產(chǎn)的架構(gòu)應(yīng)該是云原生架構(gòu)。國內(nèi)某領(lǐng)先基金公司，基于AWS推薦的挖掘數(shù)據(jù)資產(chǎn)思路， 結(jié)合自身業(yè)務(wù)特點(diǎn)制定“啟動-進(jìn)階-推廣-模式創(chuàng)新”的路線圖和整體架構(gòu)，前期部署智能投研等關(guān)鍵應(yīng)用， 逐步走向?qū)?nèi)沉淀數(shù)據(jù)資產(chǎn)、對外能力輸出的業(yè)務(wù)方向。On-PremRDS for OracleDSGEC2數(shù)據(jù)導(dǎo)入ClientEC2 KettleDSGAgentOracle DBAWS Direct Connect Data Inter-Connection Layer AppInternetEC2 指標(biāo)/圖分析

8、引擎EBS 存儲CloudWatchS3AWS SDKKinesis StreamEC2爬蟲 Private IPPrivate IPPrivate IP/Public Public/Private IP/Endpoint IP/EndpointNeptuneEC2 推理節(jié)點(diǎn)EMR ETLS3 Data Storage LayerApp API網(wǎng)關(guān)S3 Consumption LayerGlue數(shù)據(jù)目錄DynamoDBRedshiftQuickSightElasticSearchAI訓(xùn)練及其它服務(wù)器S3Security and DevOps LayerSagemakerAthenaData A

9、PI網(wǎng)關(guān)EKSLambdaAppSyncCodeComm CodeDeplo ityX-RayCognitoAWSIAMDirectory ServiceCFAWSConfigS3 Analysis and Process LayerEMRMSK攜寧SIRM互聯(lián)網(wǎng)數(shù)據(jù)服務(wù)App政府公開網(wǎng)站土地招牌掛網(wǎng)站行業(yè)網(wǎng)站DSG11云原生架構(gòu)應(yīng)能有效支撐微服務(wù)應(yīng)用。國內(nèi)某銀行，基于AWS推薦的業(yè)務(wù)組件與微服務(wù)架構(gòu)實現(xiàn)原則，從 應(yīng)用場景出發(fā)，對銀行業(yè)務(wù)通過領(lǐng)域建模方法論進(jìn)行解耦，并以微服務(wù)實現(xiàn)分布式架構(gòu)，短期實現(xiàn)沉淀不同 業(yè)務(wù)場景的業(yè)務(wù)邏輯、統(tǒng)一靈活編排、易于擴(kuò)展等價值，并為長期自服務(wù)、易上手、組織自治打下

10、良好基礎(chǔ)12云原生架構(gòu)應(yīng)是敏捷的。AWS的DevOps 自動化測試解決方案，將通過提供測試覆蓋率的方式提升尤 其是外包人員的代碼質(zhì)量，加快業(yè)務(wù)又快又好落地。13第三，挖掘數(shù)據(jù)資產(chǎn)，需要可解釋的人工智能。知識圖譜的數(shù)學(xué)思想源自歐拉的圖論，著名的七橋問題是圖論的代表性問題。知識圖 譜通過挖掘數(shù)據(jù)的關(guān)聯(lián)關(guān)系，將帶來可推導(dǎo)、可解釋、可復(fù)制等關(guān)鍵收益，幫助客戶從人教人，逐步走向人教機(jī)器、機(jī)器教人、機(jī)器 教機(jī)器的知識賦能體系。東普魯士柯尼斯堡（今日俄羅斯加里寧格勒）市區(qū)跨普 列戈利亞河兩岸，河中心有兩個小島。小島與河的兩岸 有七條橋連接。在所有橋都只能走一遍的前提下，如何 才能把這個地方所有的橋都走遍？E

11、dgeVertex14建圖關(guān)鍵代碼：g.addV().property(id, blue).as(b).addV().property(id, orange).as(o).addV().property(id, red).as(r).addV().property(id, green).as(g).addE(bridge).from(g).to(b).addE(bridge).from(g).to(o).addE(bridge).from(g).to(r).addE(bridge).from(g).to(r).addE(bridge).from(o).to(b).addE(bridge).fr

12、om(o).to(b).addE(bridge).from(o).to(r).addE(bridge).from(o).to(r).iterate()圖 游 走 關(guān) 鍵 代 碼 ： g.V().sideEffect(outE(bridge).aggregate(b ridges).barrier(). repeat(bothE().or( .not(select(e), .not(filter( .as(x).select(all, e).unfold().where(eq(x).as(e). otherV().until(select(all, e).count(local).as(c).

13、select(bridges).count(local).where(eq(c).hasNext()在投研、投顧、對公、零售、風(fēng)控等多種業(yè)務(wù)場景中，存在以智能問答、智能推薦、知識庫應(yīng)用系統(tǒng)為體 現(xiàn)形式的知識圖譜多種應(yīng)用。15為加速知識圖譜的落地，AWS重點(diǎn)推出BIG（Business Innovation Graph） Lab解決方案。Sagemaker平臺 Neptune圖數(shù)據(jù)庫S3存儲金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型文化提倡Go_Build 文化思維賦能產(chǎn)品 經(jīng)理思維架構(gòu)實踐混合云 聯(lián)邦架構(gòu)管理優(yōu)化“自研”模式技能強(qiáng)化AI能力 AWS FSI解決方案試點(diǎn)互聯(lián)網(wǎng) 創(chuàng)新應(yīng)用積累數(shù)據(jù)基石驗證DevOpsDat

14、alake知識圖譜AI工程積累模型AWS其它方案拉動AWS實現(xiàn)定制化需求 Partner實現(xiàn)通用需求AWS 知識圖譜 AI Lab5天的動手實驗室，實現(xiàn)從數(shù)據(jù)采集到智能問答賦能客戶自己實現(xiàn)完整過程Lab涉及產(chǎn)品包括：引領(lǐng) Partner知識圖譜產(chǎn)品目標(biāo)客戶：風(fēng)控部門、營銷部門、16內(nèi)審部門、產(chǎn)品部門、科技部門業(yè)務(wù)需求：公司關(guān)系分析，用戶 畫像，行情分析，基本面數(shù)據(jù)分析，上市公告分析，研報信息 流，智能標(biāo)簽，股市情感分析， 交易異常分析技術(shù)需求：大容量快速數(shù)據(jù)采集、方便的模型訓(xùn)練和推理基礎(chǔ)環(huán)境、完整的知識圖譜應(yīng)用框架中國某銀行，參考AWS推薦的知識圖譜技術(shù)，在獲得2018年銀保監(jiān)會一類成果獎后，

15、在智能問答、企業(yè)涉 訴風(fēng)險預(yù)警、企業(yè)財務(wù)智能分析等場景中，有效提升管理能力。17華南：中國某金融機(jī)構(gòu)在2020年6月份，派10支團(tuán)隊參加BIG Lab。其業(yè)務(wù)場景為：18客戶反饋我們是在壓力不斷加大的大環(huán)境下， 帶著實 際風(fēng)險管理的業(yè)務(wù)問題， 向先進(jìn)的科技生產(chǎn) 力尋求答案。此次比賽理論知識培訓(xùn)和實踐操作 同步開展， 為期一周的比賽緊張刺 激， 激發(fā)了大家的潛能， 學(xué)習(xí)收獲 滿滿！以消費(fèi)險為核心， 通過關(guān)系網(wǎng)絡(luò)及模型自動 化觸達(dá)潛力客戶， 對保險線上營銷能力提升， 及客戶保障意識喚醒有較大意義云服務(wù)能顯著縮短迭代周期、 降低 試錯成本， 特別適合于創(chuàng)意密集型 的工作；big-lab這種類似hac

16、kathon的活動形式， 極大 地激發(fā)了我們隊員的工作激情， 通過和專業(yè) 導(dǎo)師以及其它組隊員的思想碰撞， 我們在專 業(yè)知識、 工作方法等方面都獲得了很大提升。面對金融科技轉(zhuǎn)型的背景， 運(yùn)用知 識圖譜對于實際業(yè)務(wù)會帶了很大的 幫助， 特別是在一些關(guān)系復(fù)雜、 知 識繁重的場景中。授人以漁， 王大師對于學(xué)術(shù)的熱忱也非常 感染大家， 讓每個參賽選手都熱血滿滿， 干勁十足的去為了團(tuán)隊目標(biāo)去努力， 非常 感謝AWS的各位老師們！感謝亞馬遜為我們提供了 SageMaker、 Neptune這樣高效平臺， 依托于這兩個平臺我們能夠高效地 完成數(shù)據(jù)預(yù)處理和建模操作。19某租賃團(tuán)隊的實現(xiàn)成果：基于租賃物管理的智能

17、客戶成長檔案21設(shè)備故障預(yù)測對流式的iot數(shù)據(jù)進(jìn)行預(yù)測，準(zhǔn)確率為99.82%， 精度為98.91%，召回率為100%，F(xiàn)-Measure為 99.45%。飛機(jī)運(yùn)營監(jiān)控名稱應(yīng)用場景算法應(yīng)用隨機(jī)森林飛機(jī)運(yùn)營異常預(yù)警卷積神經(jīng)網(wǎng)絡(luò)線性分類器船舶設(shè)備故障預(yù)警最短路徑搜索關(guān)聯(lián)企業(yè)開源工具使用OCR：Tesseract飛機(jī)運(yùn)營報告、財報識別NLP：Jiagu船舶輿情分析爬蟲：requests飛機(jī)船舶航跡、輿情爬取畫圖：NetworkX建模：Protege數(shù)據(jù)清洗：Numpy、Pandas系統(tǒng)設(shè)計實驗中使用的算法及工具如果出現(xiàn)時長較短的異常，表示該飛機(jī)/航 空公司的運(yùn)營可能遇到困難，進(jìn)行預(yù)警。企業(yè)檔案及關(guān)聯(lián)圖

18、譜20華東：華東某銀行等4家金融機(jī)構(gòu)，在2020年6月份，參加BIG Lab上市公司業(yè)績公告自動化提?。ㄖR抽?。┐髷?shù)據(jù)輿情風(fēng)險傳導(dǎo)識別21基于圖神經(jīng)網(wǎng)絡(luò)的隱性集團(tuán)發(fā)現(xiàn)客戶信貸逾期風(fēng)險識別業(yè)務(wù)場景某金融機(jī)構(gòu)業(yè)務(wù)場景：上市公司業(yè)績公告自動化提?。ㄖR抽?。?2華北：2019年9月份，7家金融機(jī)構(gòu)共派出36人，在北京參加5天的知識圖譜BIG Lab，同樣獲得 豐富的成果。金融機(jī)構(gòu)名稱知識圖具體業(yè)務(wù)場景四大行之一租房價格預(yù)測某大型全國性商業(yè)銀行挖掘公司數(shù)據(jù)的關(guān)聯(lián)信息，進(jìn)行鏈?zhǔn)綘I銷和風(fēng)險傳播建模某大型全國性商業(yè)銀行基于風(fēng)控的反欺詐用戶體驗優(yōu)化某大型全國性商業(yè)銀行對公貸款關(guān)聯(lián)關(guān)系分析某區(qū)域性城商行比較基于知識圖譜和傳統(tǒng)關(guān)系型數(shù)據(jù)庫在用戶高危行為分析建模的區(qū)別某區(qū)域性城商行根據(jù)直銷用銀行客戶信息、產(chǎn)品信息及客戶交易信息進(jìn)行知識圖譜建模，分析客戶交易行為，探索客戶與產(chǎn)品之間的關(guān)系某區(qū)域性城商