金融大數(shù)據(jù)分析 課件 項(xiàng)目一 走進(jìn)金融大數(shù)據(jù) 任務(wù)1-4

金融大數(shù)據(jù)分析走進(jìn)金融大數(shù)據(jù)新天地目錄1大數(shù)據(jù)認(rèn)知與大數(shù)據(jù)思維2大數(shù)據(jù)的提出、演化和發(fā)展歷程3金融大數(shù)據(jù)的內(nèi)涵及理論基礎(chǔ)4大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用

走進(jìn)金融大數(shù)據(jù)新天地案例導(dǎo)入：瘋狂產(chǎn)生的數(shù)據(jù)

半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會生活，源源不斷涌現(xiàn)的海量數(shù)據(jù)已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快?；ヂ?lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融、電信等都在瘋狂產(chǎn)生著數(shù)據(jù)。在地球上，我們每天都會產(chǎn)生5億條推文、2940億封電子郵件、400萬GB的Facebook數(shù)據(jù)、650億條WhatsApp消息和72萬個(gè)小時(shí)的YouTube新視頻。全世界在2018年創(chuàng)建、捕獲、復(fù)制和消耗的數(shù)據(jù)總量為33澤字節(jié)（ZB），相當(dāng)于33萬億GB。2020年，這一數(shù)字增長到59ZB，預(yù)計(jì)到2025年將達(dá)到令人難以想象的175ZB。1澤字節(jié)是8,000,000,000,000,000,000,000比特。為了讓這些數(shù)字更直觀，我們假設(shè)每一個(gè)比特都是一枚1英鎊的硬幣，大約3毫米（0.1英寸）厚。由一摞硬幣組成的1ZB將有2550光年高，可以讓你到達(dá)最近的恒星系統(tǒng)半人馬座阿爾法星600次。目前，我們每年產(chǎn)生的數(shù)據(jù)量是這個(gè)數(shù)字的59倍，復(fù)合增長率估計(jì)在61%左右。（資料來源：中國科學(xué)技術(shù)館）各行各業(yè)都在瘋狂產(chǎn)生數(shù)據(jù)，每個(gè)人都被推進(jìn)了信息爆炸的時(shí)代。IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心InternetDataCenter）發(fā)布的《數(shù)據(jù)時(shí)代2025》白皮書預(yù)測：在2025年，全球數(shù)據(jù)量將達(dá)到史無前例的163ZB。

走進(jìn)金融大數(shù)據(jù)新天地請思考：如今的互聯(lián)網(wǎng)社會，海量數(shù)據(jù)源源不斷的產(chǎn)生，這將帶來了哪些挑戰(zhàn)？又將帶來哪些商機(jī)？任務(wù)一大數(shù)據(jù)認(rèn)知與大數(shù)據(jù)思維目錄1大數(shù)據(jù)的概念與內(nèi)涵3大數(shù)據(jù)的計(jì)算模式4大數(shù)據(jù)的處理與分析5大數(shù)據(jù)時(shí)代的思維變革2大數(shù)據(jù)的特征與結(jié)構(gòu)類型

2021年11月30日工信部正式發(fā)布《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》，要求到2025年，大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億元，年均復(fù)合增長率保持在25%左右，創(chuàng)新力強(qiáng)、附加值高、自主可控的現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系基本形成?！笆奈濉睍r(shí)期是我國工業(yè)經(jīng)濟(jì)向數(shù)字經(jīng)濟(jì)邁進(jìn)的關(guān)鍵時(shí)期，對大數(shù)據(jù)產(chǎn)業(yè)發(fā)展提出了新的要求，產(chǎn)業(yè)將步入集成創(chuàng)新、快速發(fā)展、深度應(yīng)用、結(jié)構(gòu)優(yōu)化的新階段。

根據(jù)中國電信招股說明書（艾瑞咨詢研究院預(yù)測整理數(shù)據(jù)），2015-2030年中國數(shù)據(jù)量規(guī)模呈幾何倍增長，2015-2030年中國數(shù)據(jù)量全球占比呈逐年上升的趨勢。資料來源：中國電信招股說明書，艾瑞咨詢研究院

大數(shù)據(jù)的概念與內(nèi)涵大數(shù)據(jù)（bigdata）是指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的特征與結(jié)構(gòu)類型數(shù)量（Volume）種類（Variety）價(jià)值（Value）速度（Velocity）準(zhǔn)確性（Veracity）可變性(Variability)波動性(Volatility)可視化(visualization)大數(shù)據(jù)的8V特征（一）大數(shù)據(jù)的8V特征

大數(shù)據(jù)的特征與結(jié)構(gòu)類型（二）大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)類型類型特點(diǎn)結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)字段含義確定,清晰,典型的如數(shù)據(jù)庫中的表結(jié)構(gòu)半結(jié)構(gòu)化數(shù)據(jù)具有一定結(jié)構(gòu),但語義不夠確定,典型的如HTML網(wǎng)頁,有些字段是確定的(title),有些不確定(table)非結(jié)構(gòu)化數(shù)據(jù)雜亂無章的數(shù)據(jù),很難按照一個(gè)概念去進(jìn)行抽取,無規(guī)律性

大數(shù)據(jù)的計(jì)算模式大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式解決的問題代表產(chǎn)品批處理計(jì)算針對靜態(tài)數(shù)據(jù)進(jìn)行大規(guī)模并行批處理MapReduce、Spark等流式計(jì)算針對流數(shù)據(jù)的實(shí)時(shí)計(jì)算Storm、S4、Flume、Streams、Puma、DStream、SuperMario等圖計(jì)算針對大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲管理和查詢分析HBase、Hive、Dremel、Cassandra、Shark、Hana、Impala等

大數(shù)據(jù)的處理與分析（一）大數(shù)據(jù)的處理流程數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)歸約數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)預(yù)處理數(shù)據(jù)存儲數(shù)據(jù)分析與挖掘數(shù)據(jù)可視化數(shù)據(jù)應(yīng)用

大數(shù)據(jù)的處理與分析（二）大數(shù)據(jù)分析的類型描述性分析診斷性分析預(yù)測性分析決策性分析

大數(shù)據(jù)時(shí)代的思維變革一切皆可量化全樣而非抽樣相關(guān)而非因果概率而非精確任務(wù)二大數(shù)據(jù)的提出、演化和發(fā)展歷程主講教師：許珊目錄1大數(shù)據(jù)的提出與演化3大數(shù)據(jù)在中國2大數(shù)據(jù)的發(fā)展歷程

大數(shù)據(jù)的提出與演化（一）大數(shù)據(jù)的提出與探討早在1980年，著名未來學(xué)家阿爾文·托夫勒(AlvinToffler）在《第三次浪潮》一書中將大數(shù)據(jù)盛贊為“第三次浪潮的華彩樂章”?！按髷?shù)據(jù)”這一概念最早公開出現(xiàn)于1998年，美國高性能計(jì)算公司SGI的首席科學(xué)家約翰·馬西（John?Mashey）在一個(gè)國際會議報(bào)告中指出：隨著數(shù)據(jù)量的快速增長，必將出現(xiàn)數(shù)據(jù)難理解、難獲取、難處理和難組織等四個(gè)難題，并用“Big?Data（大數(shù)據(jù)）”來描述這一挑戰(zhàn)，在計(jì)算領(lǐng)域引發(fā)思考。

大數(shù)據(jù)的提出與演化（二）大數(shù)據(jù)的演化信息化已經(jīng)歷了兩次高速發(fā)展的浪潮，始于上世紀(jì)80年代，隨個(gè)人計(jì)算機(jī)大規(guī)模普及應(yīng)用所帶來的以單機(jī)應(yīng)用為主要特征的數(shù)字化（信息化1.0），及始于上世紀(jì)90年代中期，隨互聯(lián)網(wǎng)大規(guī)模商用進(jìn)程所推動的以聯(lián)網(wǎng)應(yīng)用為主要特征的網(wǎng)絡(luò)化（信息化2.0）。

當(dāng)前，我們正在進(jìn)入以數(shù)據(jù)的深度挖掘和融合應(yīng)用為主要特征的智能化階段（信息化3.0）。在“人機(jī)物”三元融合的大背景下，以“萬物均需互聯(lián)、一切皆可編程”為目標(biāo)，數(shù)字化、網(wǎng)絡(luò)化和智能化呈融合發(fā)展新態(tài)勢。大數(shù)據(jù)的發(fā)展歷程萌芽時(shí)期（20世紀(jì)90年代至21世紀(jì)初）發(fā)展時(shí)期（21世紀(jì)初至2010年）興盛時(shí)期（2011年至今）010203大數(shù)據(jù)的發(fā)展歷程【數(shù)字中國】加快發(fā)展數(shù)字經(jīng)濟(jì)、建設(shè)數(shù)字中國中國特色社會主義進(jìn)入新時(shí)代，實(shí)現(xiàn)中華民族偉大復(fù)興的中國夢開啟新征程。黨中央決定實(shí)施國家大數(shù)據(jù)戰(zhàn)略，吹響了加快發(fā)展數(shù)字經(jīng)濟(jì)、建設(shè)數(shù)字中國的號角。習(xí)近平總書記在十九屆中共中央政治局第二次集體學(xué)習(xí)時(shí)的重要講話中指出：“大數(shù)據(jù)是信息化發(fā)展的新階段”，并做出了“推動大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展、構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)、運(yùn)用大數(shù)據(jù)提升國家治理現(xiàn)代化水平、運(yùn)用大數(shù)據(jù)促進(jìn)保障和改善民生、切實(shí)保障國家數(shù)據(jù)安全”的戰(zhàn)略部署，為我國構(gòu)筑大數(shù)據(jù)時(shí)代國家綜合競爭新優(yōu)勢指明了方向。黨的二十大報(bào)告指出，十年來，我們采取一系列戰(zhàn)略性舉措，推進(jìn)一系列變革性實(shí)踐，實(shí)現(xiàn)一系列突破性進(jìn)展，取得一系列標(biāo)志性成果。在“加快構(gòu)建新發(fā)展格局，著力推動高質(zhì)量發(fā)展”部分，報(bào)告強(qiáng)調(diào)，“建設(shè)現(xiàn)代化產(chǎn)業(yè)體系，堅(jiān)持把發(fā)展經(jīng)濟(jì)的著力點(diǎn)放在實(shí)體經(jīng)濟(jì)上，推進(jìn)新型工業(yè)化，加快建設(shè)制造強(qiáng)國、質(zhì)量強(qiáng)國、航天強(qiáng)國、交通強(qiáng)國、網(wǎng)絡(luò)強(qiáng)國、數(shù)字中國?！睌?shù)字改變生活，數(shù)字創(chuàng)造未來。讓我們一起見證數(shù)字中國的新繁榮、新進(jìn)步、新精彩。大數(shù)據(jù)在中國初期階段（2008年以前）成長階段（2009年-2012年）爆發(fā)階段（2013年-2015年）快速發(fā)展階段（2016年至今）【數(shù)字中國】我國《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》主要亮點(diǎn)工業(yè)和信息化部發(fā)布《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》（以下簡稱《規(guī)劃》），在延續(xù)“十三五”規(guī)劃關(guān)于大數(shù)據(jù)產(chǎn)業(yè)定義和內(nèi)涵的基礎(chǔ)上，進(jìn)一步強(qiáng)調(diào)數(shù)據(jù)要素價(jià)值?！兑?guī)劃》總體分為5章，具體內(nèi)容可以概括為“3個(gè)6”，即6項(xiàng)重點(diǎn)任務(wù)、6個(gè)專項(xiàng)行動、6項(xiàng)保障措施?！兑?guī)劃》的主要亮點(diǎn)可以歸納為“三新”。一是順應(yīng)新形勢。“十四五”時(shí)期，我國進(jìn)入由工業(yè)經(jīng)濟(jì)向數(shù)字經(jīng)濟(jì)大踏步邁進(jìn)的關(guān)鍵時(shí)期，經(jīng)濟(jì)社會數(shù)字化轉(zhuǎn)型成為大勢所趨，數(shù)據(jù)上升為新的生產(chǎn)要素，數(shù)據(jù)要素價(jià)值釋放成為重要命題，貫穿《規(guī)劃》始終。二是明確新方向。立足推動大數(shù)據(jù)產(chǎn)業(yè)從培育期進(jìn)入高質(zhì)量發(fā)展期，在“十三五”規(guī)劃提出的產(chǎn)業(yè)規(guī)模1萬億元目標(biāo)基礎(chǔ)上，提出“到2025年底，大數(shù)據(jù)產(chǎn)業(yè)測算規(guī)模突破3萬億元”的增長目標(biāo)，以及數(shù)據(jù)要素價(jià)值體系、現(xiàn)代化大數(shù)據(jù)產(chǎn)業(yè)體系建設(shè)等方面的新目標(biāo)。三是提出新路徑。為推動大數(shù)據(jù)產(chǎn)業(yè)高質(zhì)量發(fā)展，《規(guī)劃》提出了“以釋放數(shù)據(jù)要素價(jià)值為導(dǎo)向，以做大做強(qiáng)產(chǎn)業(yè)本身為核心，以強(qiáng)化產(chǎn)業(yè)支撐為保障”的路徑設(shè)計(jì)，增加了培育數(shù)據(jù)要素市場、發(fā)揮大數(shù)據(jù)特性優(yōu)勢等新內(nèi)容，將“新基建”、技術(shù)創(chuàng)新和標(biāo)準(zhǔn)引領(lǐng)作為產(chǎn)業(yè)基礎(chǔ)能力提升的著力點(diǎn)，將產(chǎn)品鏈、服務(wù)鏈、價(jià)值鏈作為產(chǎn)業(yè)鏈構(gòu)建的主要構(gòu)成，實(shí)現(xiàn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化的有機(jī)統(tǒng)一，并進(jìn)一步明確和強(qiáng)化了數(shù)據(jù)安全保障?！兑粓D讀懂《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》》來源：人民網(wǎng)2021年11月30日大數(shù)據(jù)在中國1.大數(shù)據(jù)分析服務(wù)公司：易觀科技易觀科技成立于2001年。它是一家提供數(shù)據(jù)咨詢和分析服務(wù)的公司，致力于為客戶提供專業(yè)的數(shù)據(jù)分析及市場研究服務(wù)。該公司通過大數(shù)據(jù)分析技術(shù)，幫助企業(yè)做出決策，并提高企業(yè)在競爭激烈的市場中的競爭力。易觀科技廣泛地應(yīng)用大數(shù)據(jù)科技，包括大數(shù)據(jù)采集、清理、分析、建模和可視化等領(lǐng)域。其客戶包括阿里巴巴、騰訊、百度等大型互聯(lián)網(wǎng)公司。中國大數(shù)據(jù)企業(yè)案例大數(shù)據(jù)在中國2.大數(shù)據(jù)應(yīng)用領(lǐng)域公司：同盾科技同盾科技是一家大數(shù)據(jù)應(yīng)用領(lǐng)域的公司，提供欺詐識別、風(fēng)險(xiǎn)管理和安全保障等服務(wù)。公司成立于2013年，總部位于北京。同盾科技應(yīng)用大數(shù)據(jù)分析技術(shù)，對申請人進(jìn)行風(fēng)險(xiǎn)評估。它使用機(jī)器學(xué)習(xí)算法和大數(shù)據(jù)挖掘技術(shù)，從大量的數(shù)據(jù)中尋找特征，并使用這些特征來檢測欺詐行為。目前，同盾科技已為數(shù)百個(gè)行業(yè)提供了風(fēng)險(xiǎn)管理服務(wù)，如銀行、消費(fèi)金融貸款和保險(xiǎn)等。從大數(shù)據(jù)國家戰(zhàn)略到行業(yè)發(fā)展、企業(yè)應(yīng)用，中國大數(shù)據(jù)發(fā)展掀起了一股熱潮，預(yù)示著巨大的發(fā)展前景。在以大數(shù)據(jù)、云計(jì)算、人工智能為核心的下一代信息技術(shù)的引領(lǐng)下，大數(shù)據(jù)未來也將會繼續(xù)直接影響到我國的經(jīng)濟(jì)發(fā)展和產(chǎn)業(yè)升級。因此，相信未來中國大數(shù)據(jù)領(lǐng)域?qū)^續(xù)迎來新一輪發(fā)展。中國大數(shù)據(jù)企業(yè)案例大數(shù)據(jù)在中國【動動手】請查閱相關(guān)資料，談?wù)勈裁词恰皷|數(shù)西算”？為何要實(shí)施“東數(shù)西算”工程？走進(jìn)金融大數(shù)據(jù)目錄1大數(shù)據(jù)認(rèn)知與大數(shù)據(jù)思維2大數(shù)據(jù)的提出、演化和發(fā)展歷程3金融大數(shù)據(jù)的內(nèi)涵及理論基礎(chǔ)4大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用任務(wù)三金融大數(shù)據(jù)內(nèi)涵及理論基礎(chǔ)主講教師：劉志敏目錄1金融大數(shù)據(jù)的基本概念2金融大數(shù)據(jù)的特征3金融大數(shù)據(jù)的理論基礎(chǔ)

金融大數(shù)據(jù)的基本概念猜一猜：你能舉例說明什么是金融大數(shù)據(jù)？

金融大數(shù)據(jù)的基本概念金融大數(shù)據(jù)指運(yùn)用大數(shù)據(jù)技術(shù)開展金融服務(wù)，即集合大規(guī)模結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過互聯(lián)網(wǎng)、云計(jì)算和數(shù)據(jù)挖掘等信息處理的方式進(jìn)行實(shí)時(shí)分析，向客戶提供全方位的信息，并通過分析和挖掘客戶交易與客戶的消費(fèi)習(xí)慣的信息，預(yù)測客戶的行為，以結(jié)合傳統(tǒng)的金融服務(wù)、開展資金融通、創(chuàng)新金融服務(wù)

課堂討論：金融大數(shù)據(jù)有哪些特征？金融大數(shù)據(jù)的特征

金融大數(shù)據(jù)的特征

金融大數(shù)據(jù)的特征

發(fā)起搶答：如何區(qū)分?jǐn)?shù)字化、電子化、網(wǎng)絡(luò)化、虛擬化？

金融大數(shù)據(jù)的理論基礎(chǔ)

1信息經(jīng)濟(jì)學(xué)2金融中介理論3金融功能理論

金融大數(shù)據(jù)的理論基礎(chǔ)

信息經(jīng)濟(jì)學(xué)理論基于信息不對稱，金融業(yè)的風(fēng)險(xiǎn)主要來自客戶信息的不完全和不對稱，金融大數(shù)據(jù)的出現(xiàn)有助于緩解信息不對稱的三個(gè)層次?？臻g維度上的信息不對稱.......................

主體之間時(shí)間維度上的信息不對稱.......................

過去與未來主體自身上的信息不對稱.......................

未意識的信息

金融大數(shù)據(jù)的理論基礎(chǔ)

金融中介理論認(rèn)為，金融中介的主要作用是生產(chǎn)、傳遞和處理信息。過去收集信息渠道：依靠銀行、券商、保險(xiǎn)等傳統(tǒng)金融中介機(jī)構(gòu)現(xiàn)在收集信息渠道：每一位互聯(lián)網(wǎng)用戶都能成為信息源

金融大數(shù)據(jù)的理論基礎(chǔ)

發(fā)起搶答：什么金融機(jī)構(gòu)理論？金融功能理論觀點(diǎn)第一，金融功能比金融機(jī)構(gòu)有更大的穩(wěn)定性；第二，金融功能比金融機(jī)構(gòu)更加重要，實(shí)質(zhì)重于形式。任務(wù)四

大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用主講教師：劉志敏

大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用…………金融大數(shù)據(jù)2.精準(zhǔn)營銷實(shí)時(shí)營銷交叉營銷個(gè)性化推薦客戶生命周期管理

1.客戶畫像個(gè)人客戶畫像企業(yè)客戶畫像4.運(yùn)營分析市場與渠道分析產(chǎn)品優(yōu)化輿情分析

3.風(fēng)險(xiǎn)管理中小企業(yè)貸款風(fēng)險(xiǎn)實(shí)時(shí)欺詐交易分析反洗錢業(yè)務(wù)分析5.其他應(yīng)用場景金融市場監(jiān)管金融產(chǎn)品創(chuàng)新金融安全投資決策信用評估…………

目錄1銀行業(yè)的應(yīng)用現(xiàn)狀2證券業(yè)的應(yīng)用現(xiàn)狀3保險(xiǎn)業(yè)應(yīng)用現(xiàn)狀

銀行業(yè)的應(yīng)用現(xiàn)狀銀行業(yè)大數(shù)據(jù)的發(fā)展歷程

銀行業(yè)的應(yīng)用現(xiàn)狀1.客戶精準(zhǔn)營銷通過廣泛收集各渠道、各類型的數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)整合各類信息、還原客戶真實(shí)面貌，可以幫助銀行切實(shí)掌握客戶的真實(shí)需求，并根據(jù)客戶需求快速做出應(yīng)對,在客戶畫像的基礎(chǔ)上銀行可以有效地開展精準(zhǔn)營銷。（1）實(shí)時(shí)營銷（2）個(gè)性