第3章 大數(shù)據(jù)、云計(jì)算與物聯(lián)網(wǎng)

第3章

大數(shù)據(jù)、云計(jì)算與物聯(lián)網(wǎng)目錄CONTENTS物聯(lián)網(wǎng)云計(jì)算大數(shù)據(jù)3.13.23.3大數(shù)據(jù)3.1大數(shù)據(jù)基本概念數(shù)據(jù)積累到一定階段并成為知識(shí)經(jīng)濟(jì)體系中核心資源過(guò)程中的一系列技術(shù)層面、資源層面以及思想層面的變革的總稱(chēng)，在技術(shù)層面體現(xiàn)為數(shù)據(jù)存儲(chǔ)、分析以及管理的創(chuàng)新和變革。大數(shù)據(jù)特點(diǎn)

容量巨大（volume）種類(lèi)復(fù)雜（variety）處理速度快（velocity）價(jià)值密度極低（value）真實(shí)性（veracity）“5V”基本特性大數(shù)據(jù)的發(fā)展歷程時(shí)間名稱(chēng)內(nèi)容1990~1999年萌芽時(shí)期作為大數(shù)據(jù)發(fā)展的萌芽時(shí)期，這一階段的大數(shù)據(jù)僅是一種構(gòu)想，大數(shù)據(jù)的具體內(nèi)涵也只是所儲(chǔ)存的數(shù)據(jù)容量巨大，而對(duì)數(shù)據(jù)的其他方面的問(wèn)題并沒(méi)有進(jìn)一步地探索。2000~2010年發(fā)展時(shí)期這一時(shí)期是大數(shù)據(jù)技術(shù)高速發(fā)展的階段，大數(shù)據(jù)逐步進(jìn)入到大眾的生活。2011年至今興盛時(shí)期2011年之后大數(shù)據(jù)的發(fā)展進(jìn)入了全面興盛的時(shí)期，越來(lái)越多的機(jī)構(gòu)對(duì)大數(shù)據(jù)的研究從基本概念、特性轉(zhuǎn)到數(shù)據(jù)資產(chǎn)、思維變革等多個(gè)角度的剖析。大數(shù)據(jù)也逐漸與各行各業(yè)深度融合，不斷變革原有行業(yè)的技術(shù)并創(chuàng)造出新技術(shù)，大數(shù)據(jù)的發(fā)展呈現(xiàn)蓬勃之勢(shì)。大數(shù)據(jù)關(guān)鍵技術(shù)030102數(shù)據(jù)采集數(shù)據(jù)管理基礎(chǔ)架構(gòu)數(shù)據(jù)理解與提取統(tǒng)計(jì)分析數(shù)據(jù)挖掘數(shù)據(jù)可視化大數(shù)據(jù)分析的基本方法可以歸納為5種：預(yù)測(cè)性分析、可視化分析、大數(shù)據(jù)挖掘算法、語(yǔ)義引擎和數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理。大數(shù)據(jù)技術(shù)棧大數(shù)據(jù)分析的基本方法大數(shù)據(jù)分析涉及的技術(shù)關(guān)鍵技術(shù)服務(wù)層工具層計(jì)算層存儲(chǔ)層傳輸層采集層大數(shù)據(jù)在金融領(lǐng)域應(yīng)用概況征信領(lǐng)域：聚合多類(lèi)數(shù)據(jù)；信用動(dòng)態(tài)評(píng)估；運(yùn)用數(shù)學(xué)模型；在線(xiàn)出具報(bào)告反洗錢(qián)領(lǐng)域商業(yè)銀行領(lǐng)域：形成非結(jié)構(gòu)化數(shù)據(jù)；創(chuàng)新服務(wù)模式；提升風(fēng)險(xiǎn)管控能力；優(yōu)化貸款流程證券投資領(lǐng)域：智能投顧；程序化交易；大數(shù)據(jù)基金保險(xiǎn)領(lǐng)域：挖掘客戶(hù)需求；個(gè)性化定價(jià)；欺詐行為識(shí)別大數(shù)據(jù)風(fēng)險(xiǎn)數(shù)據(jù)安全問(wèn)題隱私保護(hù)問(wèn)題數(shù)據(jù)壟斷問(wèn)題云計(jì)算3.2云計(jì)算概念

一種通過(guò)網(wǎng)絡(luò)按需提供的、可動(dòng)態(tài)調(diào)整的計(jì)算服務(wù)。它通過(guò)互聯(lián)網(wǎng)訪問(wèn)一個(gè)可定制的資源共享池，快速部署資源，按使用量付費(fèi)。這些資源包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用、服務(wù)等，不需要太多的管理或與服務(wù)提供商的交互。超大規(guī)模虛擬化通用性強(qiáng)，可靠專(zhuān)業(yè)高可擴(kuò)展性按需服務(wù)極其廉價(jià)潛在危險(xiǎn)性云計(jì)算特征編程模型數(shù)據(jù)存儲(chǔ)技術(shù)虛擬化技術(shù)資源管理技術(shù)云計(jì)算的服務(wù)模式基礎(chǔ)設(shè)施即服務(wù)平臺(tái)即服務(wù)軟件即服務(wù)云計(jì)算關(guān)鍵技術(shù)云部署的類(lèi)型公有云私有云混合云云計(jì)算面臨的問(wèn)題數(shù)據(jù)安全與監(jiān)管合規(guī)由于云計(jì)算相關(guān)的金融監(jiān)管政策尚不明朗，金融客戶(hù)擔(dān)心云上數(shù)據(jù)被云服務(wù)提供商“偷窺”或利用，云服務(wù)提供商也公開(kāi)發(fā)起“數(shù)據(jù)保護(hù)倡議”，支持云計(jì)算平臺(tái)上的數(shù)據(jù)所有權(quán)屬于客戶(hù)。云計(jì)算平臺(tái)不得將數(shù)據(jù)移作它用，平臺(tái)方有責(zé)任和義務(wù)幫助客戶(hù)保障數(shù)據(jù)的私密性、完整性與可用性。數(shù)據(jù)采集、整合、應(yīng)用的問(wèn)題數(shù)據(jù)采集不統(tǒng)一。如無(wú)法實(shí)現(xiàn)數(shù)據(jù)一次采集多方共享，無(wú)法實(shí)現(xiàn)開(kāi)發(fā)標(biāo)準(zhǔn)、接口統(tǒng)一，無(wú)法實(shí)現(xiàn)流程化數(shù)據(jù)清洗處理等。數(shù)據(jù)資源孤立。如獲取外部信息不全面，內(nèi)部信息獲取碎片化，內(nèi)、外信息時(shí)效滯后分散等。信息資源不共享。一是信息共享率低，信息化建設(shè)落后，數(shù)字化水平不完善，多項(xiàng)技術(shù)內(nèi)涵有待加強(qiáng)。二是信息資源共享難度大，由于各個(gè)地區(qū)和行業(yè)對(duì)于信息資源共享的實(shí)際需求不同，及時(shí)有效的信息共享具有一定難度。云計(jì)算的應(yīng)用概況金融云基于云計(jì)算商業(yè)模式應(yīng)用的金融產(chǎn)品、信息、服務(wù)、用戶(hù)、各類(lèi)機(jī)構(gòu)等平臺(tái)的總稱(chēng)。銀銀平臺(tái)通過(guò)多家銀行合作，聯(lián)合網(wǎng)絡(luò)、人才、產(chǎn)品和服務(wù)等，進(jìn)行優(yōu)勢(shì)互補(bǔ)、資源共享，共同為客戶(hù)提供整體服務(wù)便利的金融平臺(tái)。開(kāi)放銀行一種平臺(tái)合作模式，以API（ApplicationProgramInterface）技術(shù)實(shí)現(xiàn)平臺(tái)間的數(shù)據(jù)連通，并以雙向融合、開(kāi)放互動(dòng)的模式推動(dòng)銀行向金融服務(wù)平臺(tái)轉(zhuǎn)型。物聯(lián)網(wǎng)3.3

通過(guò)射頻識(shí)別（RadioFrequencyIdentification，RFID）、紅外感應(yīng)、衛(wèi)星定位（GPS）、激光掃描、無(wú)線(xiàn)傳感器等信息傳感技術(shù)，按約定的協(xié)議，根據(jù)社會(huì)需要實(shí)現(xiàn)物與物的聯(lián)網(wǎng)，進(jìn)行信息交換和通信，以實(shí)現(xiàn)對(duì)物品的智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。物聯(lián)網(wǎng)概念

物聯(lián)網(wǎng)基本特點(diǎn)030102利用云計(jì)算等技術(shù)及時(shí)對(duì)海量信息進(jìn)行處理，真正達(dá)到人與人的溝通和物與物的溝通。信息的安全機(jī)制與權(quán)限管理也需要更高層次的監(jiān)管與技術(shù)保障。全面感知安全傳遞大數(shù)據(jù)分析涉及的技術(shù)特點(diǎn)利用RFID、傳感器、二維碼以及未來(lái)可能的其他類(lèi)型傳感器，能夠隨時(shí)采集物體動(dòng)態(tài)。物聯(lián)網(wǎng)的發(fā)展歷程時(shí)間名稱(chēng)內(nèi)容1990~2005年起步探索階段這個(gè)階段物聯(lián)網(wǎng)對(duì)于從事貨物交易的企業(yè)影響尤為明顯，依靠物聯(lián)網(wǎng)技術(shù)進(jìn)行的企業(yè)管理創(chuàng)新，提升了企業(yè)對(duì)生產(chǎn)環(huán)境中各環(huán)節(jié)的精準(zhǔn)控制，提高了企業(yè)的管理效率。2006~2017年發(fā)展推進(jìn)階段這一階段的物聯(lián)網(wǎng)最明顯的特征是數(shù)據(jù)化，被稱(chēng)為大數(shù)據(jù)物聯(lián)網(wǎng)時(shí)代。2018年至今融合提升階段2018年，物聯(lián)網(wǎng)迎來(lái)真正的發(fā)展元年，物聯(lián)網(wǎng)開(kāi)始從概念走向成熟，廣泛應(yīng)用于生產(chǎn)、生活的各個(gè)領(lǐng)域。物聯(lián)網(wǎng)的組成要素物流，物聯(lián)網(wǎng)中的物流與傳統(tǒng)意義上的物流，除了在智能物流領(lǐng)域有一定的融合之外，物聯(lián)網(wǎng)的物流更多的是實(shí)體硬件上功能模塊在不同層次之間的集成。資金流，主要是支付或者投資的資金通過(guò)實(shí)體與虛擬貨幣的形式在各個(gè)主體之間流動(dòng)的過(guò)程，這種流動(dòng)也會(huì)伴隨著反向的實(shí)體或者虛擬產(chǎn)品的交換，而這種交換也是資金流重要的衡量標(biāo)準(zhǔn)。信息流，物聯(lián)網(wǎng)中最主要的可見(jiàn)傳輸內(nèi)容，行業(yè)特性明顯，在不同類(lèi)型個(gè)體當(dāng)中所體現(xiàn)出的形式與作用有很大差別?；ヂ?lián)網(wǎng)與無(wú)線(xiàn)通信網(wǎng)絡(luò)，是物聯(lián)網(wǎng)賴(lài)以發(fā)展的關(guān)鍵環(huán)節(jié)和基礎(chǔ)。物聯(lián)網(wǎng)技術(shù)內(nèi)容IPv6技術(shù)互聯(lián)網(wǎng)領(lǐng)域的一項(xiàng)基礎(chǔ)技術(shù)。物聯(lián)網(wǎng)通信協(xié)議以IP地址為基礎(chǔ)，IPv6技術(shù)作為一種新的網(wǎng)絡(luò)協(xié)議，地址容量是IPV4的數(shù)倍，支持動(dòng)態(tài)路由機(jī)制，為物聯(lián)網(wǎng)在各個(gè)行業(yè)的廣泛應(yīng)用和高速發(fā)展奠定了技術(shù)基礎(chǔ)。無(wú)線(xiàn)通信技術(shù)主要包括GPRS/CDMA無(wú)線(xiàn)通信技術(shù)、數(shù)傳電臺(tái)通信、擴(kuò)頻微波通信、無(wú)線(xiàn)網(wǎng)橋和衛(wèi)星通信無(wú)線(xiàn)局域網(wǎng)技術(shù)通過(guò)互聯(lián)網(wǎng)接入移動(dòng)終端、無(wú)線(xiàn)掃描器、射頻識(shí)別掃描儀等，為生活帶來(lái)更大的便捷。嵌入式技術(shù)將功能代碼嵌入到芯片中，通過(guò)芯片實(shí)現(xiàn)基本的控制功能。嵌入式技術(shù)是物聯(lián)網(wǎng)實(shí)際應(yīng)用的重要保障。傳感技術(shù)傳感技術(shù)起到感知的作用，感應(yīng)信息中的各種信號(hào)，有利于信息的傳遞，尋找信息源頭射頻識(shí)別技術(shù)可以有效地將自動(dòng)化中物聯(lián)網(wǎng)信息技術(shù)進(jìn)行識(shí)別，運(yùn)用射頻技術(shù)可以查找到目標(biāo)信息。納米技術(shù)納米技術(shù)在物聯(lián)網(wǎng)技術(shù)中占有較高的比重，對(duì)物聯(lián)網(wǎng)信息技術(shù)的影響較大。智能技術(shù)智能技術(shù)推動(dòng)人工智能技術(shù)模式的形成，確保物聯(lián)網(wǎng)擁有強(qiáng)大的信息處理能力。物聯(lián)網(wǎng)工作原理首先，射頻識(shí)別技術(shù)利用無(wú)線(xiàn)射頻信號(hào)識(shí)別目標(biāo)，并采集目標(biāo)對(duì)象的相關(guān)信息。其次，對(duì)于物聯(lián)網(wǎng)中的每個(gè)對(duì)象而言，還要探測(cè)物理狀態(tài)的改變能力，記錄環(huán)境中的動(dòng)態(tài)特征。接著，智能技術(shù)與嵌入式技術(shù)通過(guò)把物聯(lián)網(wǎng)中每個(gè)獨(dú)立節(jié)點(diǎn)植入芯片最后，隨著納米技術(shù)和微型化的發(fā)展，越來(lái)越小的物體將實(shí)現(xiàn)相互作用和連接。物聯(lián)網(wǎng)的網(wǎng)絡(luò)架構(gòu)用戶(hù)層UI接口應(yīng)用控制層數(shù)據(jù)服務(wù)器、通信服務(wù)器、終端服務(wù)器承載網(wǎng)絡(luò)層核心承載網(wǎng)絡(luò)接入層末梢節(jié)點(diǎn)網(wǎng)絡(luò)、應(yīng)用網(wǎng)關(guān)、采集數(shù)據(jù)接入末梢節(jié)點(diǎn)層二維碼識(shí)別、RFID讀寫(xiě)、感應(yīng)器物聯(lián)網(wǎng)的價(jià)值模式物聯(lián)網(wǎng)具備多主體、多維度的應(yīng)用特性，在產(chǎn)業(yè)應(yīng)用成熟后，物聯(lián)網(wǎng)將呈現(xiàn)出價(jià)值網(wǎng)的體系模式。硬件提供商（RFID、傳感器、智能芯片等）網(wǎng)絡(luò)運(yùn)營(yíng)商（電信網(wǎng)、互聯(lián)網(wǎng)、廣電網(wǎng)、電力網(wǎng)等）軟件提供商系統(tǒng)集成商解決方案提供商服務(wù)提供商上游下游感知傳遞整合推廣用戶(hù)物聯(lián)網(wǎng)綜合應(yīng)用平臺(tái)物聯(lián)網(wǎng)的價(jià)值傳遞在價(jià)值網(wǎng)體系中，用戶(hù)是價(jià)值輸送的最終目標(biāo)；物聯(lián)網(wǎng)綜合應(yīng)用平臺(tái)是價(jià)值交換、傳遞、共享和增值的主要場(chǎng)所，硬件提供商通過(guò)技術(shù)水平的提升，對(duì)物體的性狀進(jìn)行感知，提供設(shè)備為價(jià)值創(chuàng)造提供基礎(chǔ)和實(shí)現(xiàn)方式；網(wǎng)絡(luò)運(yùn)營(yíng)商是價(jià)值運(yùn)行的渠道和平臺(tái)，運(yùn)營(yíng)商了解用戶(hù)需求，通過(guò)軟件、系統(tǒng)集成和解決方案模式獲取價(jià)值元素，并交由服務(wù)提供商實(shí)施，完成價(jià)值增值過(guò)程。物聯(lián)網(wǎng)價(jià)值網(wǎng)體系將成為物聯(lián)網(wǎng)發(fā)展的主流模式，同時(shí)也會(huì)隨著市場(chǎng)和需求的變化不斷更新。物聯(lián)網(wǎng)價(jià)值模式的另外一個(gè)重要特征是價(jià)值累加基礎(chǔ)上的增值，這種增值過(guò)程來(lái)自于資源和價(jià)值活動(dòng)在補(bǔ)充與交換過(guò)程中所獲取的價(jià)值，這些價(jià)值會(huì)按照一定的方式在各個(gè)主體之間進(jìn)行分配。物理網(wǎng)在金融領(lǐng)域的應(yīng)用物聯(lián)網(wǎng)給銀行業(yè)帶來(lái)更有效的安全保障

物聯(lián)網(wǎng)為銀行客戶(hù)帶來(lái)全新用戶(hù)體驗(yàn)物聯(lián)網(wǎng)降低供應(yīng)鏈金融業(yè)務(wù)的操作風(fēng)險(xiǎn)物聯(lián)網(wǎng)擴(kuò)大了金融機(jī)構(gòu)的服務(wù)范圍

本章小結(jié)大數(shù)據(jù)是數(shù)據(jù)積累到一定階段并成為知識(shí)經(jīng)濟(jì)體系中核心資源過(guò)程中的一系列技術(shù)層面、資源層面以及思想層面的變革的總稱(chēng)，在技術(shù)層面體現(xiàn)為數(shù)據(jù)存儲(chǔ)、分析以及管理的創(chuàng)新和變革大數(shù)據(jù)具有“5V”的基本特點(diǎn)，“5V”指的是數(shù)據(jù)容量規(guī)模巨大（volume）、數(shù)據(jù)種類(lèi)復(fù)雜多樣（variety）、數(shù)據(jù)整合速度快（velocity）、數(shù)據(jù)價(jià)值密度極低（value）、真實(shí)性（veracity）大數(shù)據(jù)的發(fā)展階段：萌芽時(shí)期（1990~1999年）、發(fā)展時(shí)期（2000~2010年）、興盛時(shí)期（2011年至今）大數(shù)據(jù)分析的基本方法：預(yù)測(cè)性分析、可視化分析、大數(shù)據(jù)挖掘算法、語(yǔ)義引擎、數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)分析涉及的技術(shù)：數(shù)據(jù)采集、數(shù)據(jù)管理、基礎(chǔ)架構(gòu)、數(shù)據(jù)理解與提取、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化大數(shù)據(jù)可廣泛應(yīng)用于征信、反洗錢(qián)、商業(yè)銀行、證券投資、保險(xiǎn)等多個(gè)領(lǐng)域大數(shù)據(jù)風(fēng)險(xiǎn)包括：數(shù)據(jù)安全、隱私保護(hù)、數(shù)據(jù)壟斷等問(wèn)題云計(jì)算是一種通過(guò)網(wǎng)絡(luò)按需提供的、可動(dòng)態(tài)調(diào)整的計(jì)算服務(wù)。它通過(guò)互聯(lián)網(wǎng)訪問(wèn)一個(gè)可定制的資源共享池，快速部署資源，按使用量付費(fèi)。這些資源包括網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、應(yīng)用、服務(wù)等，不需要太多的管理或與服務(wù)提供商的交互云計(jì)算的特征：超大規(guī)模，虛擬化，通用性強(qiáng)、可靠專(zhuān)業(yè)，高可擴(kuò)展性，按需服務(wù)，極其廉價(jià)，潛在的危險(xiǎn)性云計(jì)算關(guān)鍵技術(shù)：編程模型、數(shù)據(jù)存儲(chǔ)技術(shù)、虛擬化技術(shù)、資源管理技術(shù)云計(jì)算的服務(wù)模式：基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）云部署類(lèi)型：公有云、私有云、混合云公有云（又稱(chēng)公有云）是由第三方提供商提供的云服務(wù)，用戶(hù)使用資源時(shí)付費(fèi)即可私有云是只對(duì)一個(gè)企業(yè)、組織或個(gè)人使用的云計(jì)算資源，由單個(gè)公司擁有、運(yùn)營(yíng)、控制和使用各種虛擬化資源和自助服務(wù)混合云以私有云為基礎(chǔ)，同時(shí)結(jié)合公有云的服務(wù)策略金融云是指基于云計(jì)算商業(yè)模式應(yīng)用的金融產(chǎn)品、信息、服務(wù)、用戶(hù)、各類(lèi)機(jī)構(gòu)等平臺(tái)的總稱(chēng)銀銀平臺(tái)是通過(guò)多家銀行合作，聯(lián)合網(wǎng)絡(luò)、人才、產(chǎn)品和服務(wù)等，進(jìn)行優(yōu)勢(shì)互補(bǔ)、資源共享，共同為客戶(hù)提供整體服務(wù)便利的金融平臺(tái)。銀銀平臺(tái)云服務(wù)包括支付結(jié)算服務(wù)、財(cái)富管理服務(wù)和信息科技服務(wù)開(kāi)放銀行是一種平臺(tái)合作模式，以API技術(shù)實(shí)現(xiàn)平臺(tái)間的數(shù)據(jù)連通，并以雙向融合、開(kāi)放互動(dòng)的模式推動(dòng)銀行向金融服務(wù)平臺(tái)轉(zhuǎn)型云計(jì)算的發(fā)展歷程：第一階段，理論完善階段（1956~2005年）；第二階段，發(fā)展準(zhǔn)備階段（2006~2008年）；第三階段，穩(wěn)步成長(zhǎng)階段（2009~2014年）；第四階段：高速發(fā)展階段（2015年至今）物聯(lián)網(wǎng)是指通過(guò)射頻識(shí)別、紅外感應(yīng)、衛(wèi)星定位（GPS）、激光掃描、無(wú)線(xiàn)傳感器等信息傳感技術(shù)，按約定的協(xié)議，根據(jù)社會(huì)需要實(shí)現(xiàn)物與物的聯(lián)網(wǎng)，進(jìn)行信息交換和通信，以實(shí)現(xiàn)對(duì)物品的智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)物聯(lián)網(wǎng)特點(diǎn)：經(jīng)濟(jì)性、交互性、高效性物聯(lián)網(wǎng)的發(fā)展歷程：1起步探索階段（19