大數(shù)據(jù)時代需求特征的轉(zhuǎn)變

大數(shù)據(jù)時代需求特征的轉(zhuǎn)變

現(xiàn)在大數(shù)據(jù)的概念在全球范圍內(nèi)很受歡迎。然而，在行業(yè)、學(xué)術(shù)界和其他領(lǐng)域，大數(shù)據(jù)的使用和應(yīng)用存在一些問題。有學(xué)者斷言人類已進(jìn)入“大數(shù)據(jù)時代”,大數(shù)據(jù)將對我們的思維方式、商業(yè)模式、管理手段等各方面將產(chǎn)生革命性影響。商業(yè)銀行基于數(shù)據(jù)的量化經(jīng)營雖已是其經(jīng)營現(xiàn)代化的一個重要特征,但如何在大數(shù)據(jù)浪潮中把握趨勢,挖掘出推動商業(yè)銀行精細(xì)化管理的有利因素,最重要步驟是要找準(zhǔn)契合大數(shù)據(jù)時代的方向和方法。一、大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)分析的對比1.大數(shù)據(jù)的基本概念。目前,關(guān)于大數(shù)據(jù)并沒有一個明確的基本概念,比較有代表性的觀點認(rèn)為:大數(shù)據(jù)并不純粹指數(shù)據(jù)量大,還應(yīng)涵蓋從交易信息到交互信息,從結(jié)構(gòu)化到非結(jié)構(gòu)化的各種新類型數(shù)據(jù)、分析方法、新思維認(rèn)知等內(nèi)容,其數(shù)據(jù)量的容量、增長頻率、變量生成速度、數(shù)據(jù)種類和復(fù)雜度等都是傳統(tǒng)的數(shù)據(jù)庫表格無法完全實現(xiàn)的。2.大數(shù)據(jù)的本質(zhì)特征。從大數(shù)據(jù)的本質(zhì)上看,其目的是預(yù)測未來和判斷趨勢,而傳統(tǒng)的數(shù)據(jù)分析更關(guān)注于分析過去及現(xiàn)在的狀況。其主要特征一是要分析與對象有關(guān)的所有數(shù)據(jù)而不是部分?jǐn)?shù)據(jù);二是承認(rèn)數(shù)據(jù)的復(fù)雜性,不再強調(diào)精確;三是不再探求事物的因果關(guān)系,強調(diào)相關(guān)關(guān)系。3.大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的區(qū)別。可以形象的認(rèn)為,大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別就像高像素單反相機和人工畫像的差異。從量上看,人工畫像只能表現(xiàn)人物形象中最主要的元素;相機可以將畫面中任何一個細(xì)微的細(xì)節(jié)都抓取下來,存儲信息更多,畫面的精細(xì)度、質(zhì)感等方面遠(yuǎn)勝于人工畫像。相機中幾個壞點(如噪聲數(shù)據(jù))對整體相片影響不大,但畫像只要有一個地方處理不好,整個就會大受影響。從豐富性上看,畫像只能從某一個角度來描寫,而相機可以從多個角度連續(xù)拍攝。畫像即使再傳神,也只能表現(xiàn)被畫者某一個角度,某一個神態(tài),對被畫者著表達(dá)的信息很少;相機的多角度、連續(xù)拍攝可以展現(xiàn)被拍者的立體形象、多種神情,任務(wù)形象更豐滿,傳遞的信息更多,更能真實反映實際。從速度上看,畫像需要數(shù)小時完成,而照相機可以在瞬間捕捉十?dāng)?shù)張照片,處理和形成的速度更快,對于運動物體或需實時畫像時照相機的優(yōu)勢更加明顯。因此,大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比,其優(yōu)勢主要體現(xiàn)在:一是數(shù)據(jù)的存儲容量大,涵蓋范圍廣,信息內(nèi)容多;二是對數(shù)據(jù)質(zhì)量不追求過于精準(zhǔn);三是計算速度快,智能分析能力強,可以動態(tài)獲取分析結(jié)果,具有較強的時效性。二、商業(yè)銀行高級管理能力不斷提升,資本質(zhì)量及風(fēng)險度量不斷增加1.從基于經(jīng)驗的管理轉(zhuǎn)變到基于量化的管理是商業(yè)銀行業(yè)務(wù)經(jīng)營模式變化的重要特征。目前,國內(nèi)外各大商業(yè)銀行早已步入量化經(jīng)營的時代,在開拓某一項新業(yè)務(wù)時,需要充分依據(jù)業(yè)務(wù)數(shù)據(jù)判斷潛在市場的規(guī)模,在進(jìn)行客戶風(fēng)險及價值的判斷環(huán)節(jié),要遵循嚴(yán)格的數(shù)據(jù)及規(guī)則構(gòu)建科學(xué)的評價模型。如果沒有足夠的數(shù)據(jù)基礎(chǔ),業(yè)務(wù)開拓及管理的不確定性增大,風(fēng)險也會增加。但同時,目前量化管理的特點是基于高度結(jié)構(gòu)化、嚴(yán)格定義和大量清洗后的歷史交易數(shù)據(jù),更多是用于報告已經(jīng)發(fā)生過的事情。因此,其利用的數(shù)據(jù)不夠大,挖掘的程度不夠深,應(yīng)用的領(lǐng)域不夠廣。國外先進(jìn)金融機構(gòu)已意識到相關(guān)問題,開始應(yīng)用海量的客戶交易和行為等數(shù)據(jù),基于新的數(shù)據(jù)分析技術(shù)支持經(jīng)營管理。例如,美國銀行構(gòu)建的反洗錢模型、富國銀行進(jìn)行的交叉銷售等。2.在實施新資本協(xié)議過程中,數(shù)據(jù)的挑戰(zhàn)貫穿整個過程。2012年,巴塞爾委員會發(fā)布“有效風(fēng)險數(shù)據(jù)整合和風(fēng)險報告的原則”,對新協(xié)議實施中數(shù)據(jù)的要求進(jìn)行了概括總結(jié)。委員會指出,2009年金融危機的一個最重要教訓(xùn),就是銀行的IT和數(shù)據(jù)架構(gòu)不足以支持金融風(fēng)險管理的要求,很多銀行無法及時、準(zhǔn)確地在集團(tuán)、跨業(yè)務(wù)條線、子公司間匯總風(fēng)險暴露和風(fēng)險集中度。因此,委員會明確要求銀行高層治理結(jié)構(gòu)中必須包括良好的數(shù)據(jù)整合能力,并采取措施建立一個良好的、有前瞻性的數(shù)據(jù)庫,幫助銀行及監(jiān)管者預(yù)測未來可能發(fā)生的風(fēng)險?；诖?各國銀行業(yè)新協(xié)議實施的評估過程中,最重要的工作之一,就是評估該國商業(yè)銀行的數(shù)據(jù)管理水平。2011年,我國銀監(jiān)會發(fā)布“監(jiān)管統(tǒng)計數(shù)據(jù)質(zhì)量管理良好標(biāo)準(zhǔn)”,確定了數(shù)據(jù)管理的15項原則、61條標(biāo)準(zhǔn),要求建立定期評估工作機制,并將標(biāo)準(zhǔn)實施情況作為銀行高級計量方法驗收的重要條件。從銀監(jiān)會現(xiàn)場評估結(jié)果來看,我國銀行業(yè)數(shù)據(jù)質(zhì)量管理仍有較大提升空間,領(lǐng)先銀行也僅處于“大體不符合”到“大體符合”的中間階段。監(jiān)管機構(gòu)之所以對數(shù)據(jù)如此重視,主要有四個原因:一是高級計量模型對數(shù)據(jù)依賴性強,模型越精細(xì),數(shù)據(jù)質(zhì)量對模型結(jié)果準(zhǔn)確性的影響就越大;二是數(shù)據(jù)質(zhì)量的高低直接關(guān)系到資本計量的準(zhǔn)確性,進(jìn)而影響風(fēng)險管理、監(jiān)管的有效性;三是隨著風(fēng)險管理量化水平的提高,需要采集、處理的風(fēng)險管理基礎(chǔ)數(shù)據(jù)范圍越來越大;四是委員會強調(diào)監(jiān)管者和銀行具有對風(fēng)險的預(yù)測能力,現(xiàn)有的數(shù)據(jù)、計量體系離這個要求差距較大。3.大數(shù)據(jù)契合新資本協(xié)議實施對數(shù)據(jù)的要求。新資本協(xié)議實施的本質(zhì)是提升資本對風(fēng)險的敏感程度,要求銀行能夠準(zhǔn)確地識別、度量風(fēng)險,并將計量結(jié)果貫穿到業(yè)務(wù)經(jīng)營管理的全流程之中。從資本協(xié)議發(fā)展的歷程看,BaselI作為標(biāo)準(zhǔn)法體系,僅在風(fēng)險資產(chǎn)的標(biāo)準(zhǔn)分類基礎(chǔ)上賦予統(tǒng)一的權(quán)重,而BaselII則更加依賴對客戶PD、債項LGD/EAD等風(fēng)險參數(shù)的估計,在風(fēng)險度量方面向前走了一大步。新資本協(xié)議的實施及標(biāo)準(zhǔn)的不斷提升,表面上是針對資本充足率,使用更高級的方法有助于節(jié)約資本,但這不是實施新協(xié)議的主要目的,其根本目的是建立完整的風(fēng)險識別、度量、預(yù)測和管理體系,進(jìn)而通過資本覆蓋非預(yù)期損失。從目前我國商業(yè)銀行實施資本計量高級方法的情況看,主要存在三方面的數(shù)據(jù)問題:一是數(shù)據(jù)范圍不夠,很多數(shù)據(jù)尚未得到有效利用。目前資本計量高級方法中主要依賴的數(shù)據(jù)是客戶財務(wù)信息、交易數(shù)據(jù)、區(qū)域及行業(yè)數(shù)據(jù)、宏觀經(jīng)濟(jì)數(shù)據(jù),客戶的定性變量。這些數(shù)據(jù)往往是依據(jù)設(shè)計好的表單結(jié)構(gòu)進(jìn)行采集,數(shù)據(jù)大多是靜態(tài)的、滯后的,而大量的客戶行為數(shù)據(jù),例如客戶的網(wǎng)點交易記錄、客戶訪問記錄、通話記錄等,都沒有得到有效考慮,相比而言這些數(shù)據(jù)雖然價值密度低,但代表了客戶的具體想法和行為,反映了客戶要做的事情和所需的服務(wù);二是數(shù)據(jù)質(zhì)量不高。由于我國商業(yè)銀行業(yè)務(wù)數(shù)據(jù)積累歷史較短,信息化程度較低等原因,數(shù)據(jù)短缺、奇異值較多、時間長度不夠等問題普遍存在,因此在資本計量模型建設(shè)過程中,由于要遵循一定的準(zhǔn)則和假設(shè),需要進(jìn)行大量的數(shù)據(jù)清洗,并基于業(yè)務(wù)合理性的判斷進(jìn)一步篩選,在這個過程中被動損失了很多數(shù)據(jù)和變量;三是商業(yè)銀行跨業(yè)務(wù)領(lǐng)域、跨子公司間相關(guān)數(shù)據(jù)未得到有效整合,也對風(fēng)險計量的準(zhǔn)確性及風(fēng)險識別的時效性產(chǎn)生一定影響,例如,通過對小企業(yè)主的信用卡交易情況與所屬企業(yè)貸款的關(guān)聯(lián)性分析可以發(fā)現(xiàn),在企業(yè)貸款違約之前,往往存在企業(yè)主信用卡嚴(yán)重的透支情況,而這些風(fēng)險特征的發(fā)現(xiàn),均需要各業(yè)務(wù)領(lǐng)域、子公司間數(shù)據(jù)的高度融合和關(guān)聯(lián)。因此,采用大數(shù)據(jù)技術(shù)可以很好的解決上述問題,并能夠從看似沒有任何規(guī)律的數(shù)據(jù)中挖掘出風(fēng)險特征和潛在的風(fēng)險點。三、在大數(shù)據(jù)時代進(jìn)行業(yè)務(wù)分析與決策大數(shù)據(jù)產(chǎn)生于新一代信息技術(shù)融合發(fā)展過程,是新一代信息技術(shù)中最有顛覆性的變革力量。就如《第三次浪潮》作者托夫勒所說:“如果說IBM主機拉開了信息化革命的大幕,那么大數(shù)據(jù)則是第三次浪潮的華彩樂章”。1.零售業(yè)務(wù)是商業(yè)銀行最能體現(xiàn)大數(shù)據(jù)優(yōu)勢的領(lǐng)域。未來銀行業(yè)的競爭將集中在對客戶相關(guān)數(shù)據(jù)的收集和分析環(huán)節(jié),銀行需要成功地通過各種渠道收集客戶數(shù)據(jù),精確分析客戶的意愿,為客戶提供個性化服務(wù)。大數(shù)據(jù)技術(shù)必將成為銀行實現(xiàn)一體化客戶關(guān)系管理,有效增強自身盈利能力的有力工具和核心競爭力。從商業(yè)銀行業(yè)務(wù)經(jīng)營的情況看,零售業(yè)務(wù)由于需要面對成千上億的客戶,涉及存款、貸款、匯款、理財?shù)确椒矫婷鏄I(yè)務(wù),例如,僅信用卡交易類數(shù)據(jù),一天的數(shù)據(jù)量就有近百萬筆,而其又會衍變出大量的消費習(xí)慣、投資偏好、日常生活規(guī)律等消費信息。因此其涵蓋的數(shù)據(jù)和信息是十分巨大的,可以從中挖掘出很多有規(guī)律、有價值的信息,是最能體現(xiàn)出大數(shù)據(jù)優(yōu)勢的業(yè)務(wù)領(lǐng)域。就如國外學(xué)者所言:“未來屬于能將數(shù)據(jù)轉(zhuǎn)化成產(chǎn)品的人或公司”。因此,哪家商業(yè)銀行能夠領(lǐng)先一步,積極探索大數(shù)據(jù)技術(shù)在零售業(yè)務(wù)領(lǐng)域的應(yīng)用,就必然能在日后的業(yè)務(wù)競爭中取得先機。2.大數(shù)據(jù)技術(shù)可以應(yīng)用于零售業(yè)務(wù)的全生命周期領(lǐng)域。在產(chǎn)品設(shè)計階段,可以通過對群體客戶的行為特征進(jìn)行分析。一是可以綜合分析多種服務(wù)交付渠道,包括網(wǎng)點、網(wǎng)絡(luò)、移動終端等的大量客戶行為數(shù)據(jù),建立預(yù)測分析模型,發(fā)現(xiàn)客戶行為模式,提高客戶服務(wù)價值;二是構(gòu)建客戶理財洞悉渠道,采用移動理財收集的數(shù)據(jù)能對不同地域的花銷和節(jié)約習(xí)慣等方面形成深刻洞悉,制定差異化的理財產(chǎn)品和營銷方式。在客戶營銷階段,可以利用其每月的存款額和支用額反映客戶不同的收入特征,再結(jié)合其網(wǎng)頁瀏覽記錄、信用卡消費記錄、投資記錄等,就能很好地把握其消費習(xí)慣和風(fēng)險偏好,為其制定個性化的產(chǎn)品配置和服務(wù)。在貸款申請階段,可以利用其收入、學(xué)歷、消費習(xí)慣等特征,在較短的時間內(nèi)預(yù)測業(yè)務(wù)發(fā)展趨勢、客戶信用變動等情況,支持業(yè)務(wù)審批。在貸后預(yù)警及反欺詐階段,可以對現(xiàn)在的銀行交易記錄包括非直接交易的數(shù)據(jù),如郵件、語音、視頻等進(jìn)行處理、分析,構(gòu)建客戶行為檔案,收集該客戶的基本信息以及所有歷史交易信息,進(jìn)行特征的分析與歸納,通過比對本次交易信息和歷史行為信息,找出正常和異常的信息,實現(xiàn)實時偵測功能。3.各種硬件、軟件設(shè)施的快速發(fā)展能夠支持大數(shù)據(jù)在零售業(yè)務(wù)領(lǐng)域的有效應(yīng)用。隨著信息傳輸、儲存技術(shù)的迅速發(fā)展以及物聯(lián)網(wǎng)技術(shù)的逐步應(yīng)用,成千上萬的網(wǎng)絡(luò)傳感器、二維碼、視頻采集器等設(shè)備嵌入到現(xiàn)實世界中,產(chǎn)生了大量的實時信息和機讀數(shù)據(jù)。同時,云計算技術(shù)的逐步成熟,將為物聯(lián)網(wǎng)等信息獲取端產(chǎn)生的海量數(shù)據(jù)提供巨大的存儲空間,并能夠利用超級計算機進(jìn)行高效化、智能化和多元化的計算、分析,使在線處理、實時處理變?yōu)榭赡?。隨著各類數(shù)據(jù)呈現(xiàn)爆炸式增長,商業(yè)銀行不應(yīng)再滿足于簡單的數(shù)據(jù)處理,而應(yīng)該通過各種新技術(shù)、新設(shè)備進(jìn)行數(shù)據(jù)分析,把握未來發(fā)展的規(guī)律,使相關(guān)部門做出更好的決策。因此,大數(shù)據(jù)可以讓零售業(yè)務(wù)的海量數(shù)據(jù)產(chǎn)生價值、并讓數(shù)據(jù)真正成為商業(yè)銀行寶貴的資產(chǎn)資源。4.不同產(chǎn)業(yè)領(lǐng)域已進(jìn)行的大數(shù)據(jù)實踐,為商業(yè)銀行大數(shù)據(jù)應(yīng)用提供了豐富經(jīng)驗。大數(shù)據(jù)不僅給信息處理技術(shù)、軟硬件開發(fā)等方面的企業(yè)帶來新的發(fā)展機會,還對醫(yī)療、零售、金融、制造、能源等領(lǐng)域的發(fā)展帶來新的沖擊,直接推動這些領(lǐng)域的產(chǎn)業(yè)升級。大數(shù)據(jù)分析已在不同領(lǐng)域得到了廣泛應(yīng)用,美國總統(tǒng)奧巴馬競選時就擁有一個幾十人的數(shù)據(jù)分析與挖掘團(tuán)隊,進(jìn)行大規(guī)模、深入的數(shù)據(jù)挖掘,幫助奧巴馬在獲取有效選民、投放廣告、募集資金方面提高工作的有效性,就像奧巴馬成功競選后媒體指出的那樣:華盛頓那些基于直覺與經(jīng)驗決策的競選人士的優(yōu)勢在急劇下降,取而代之的是數(shù)量分析專家與電腦程序員的工作,他們可以在大數(shù)據(jù)中獲取洞察。在公共衛(wèi)生領(lǐng)域,2009年GOOGLE利用特定檢索詞的使用頻率及流感在時間和空間上傳播間的關(guān)系,在不需要知道搜索詞和流感間的關(guān)系,也不需要醫(yī)生確認(rèn)的情況下,純粹依賴于大數(shù)據(jù)處理了4.5億個不同的數(shù)字模型,最終發(fā)現(xiàn)一個由45條檢索詞組合構(gòu)成的數(shù)學(xué)模型,其預(yù)測能力高達(dá)97%,與疾控中心的統(tǒng)計數(shù)據(jù)相比,時效性大大提前。在投資領(lǐng)域,GOOGLE日本公司基于用戶的搜索詞,將大數(shù)據(jù)技術(shù)應(yīng)用于實時預(yù)測股價走勢。其利用搜索關(guān)鍵詞和股價實時信息,構(gòu)建了數(shù)萬個數(shù)學(xué)模型,從中發(fā)現(xiàn)最可能的模式,用于預(yù)測未來股價變動情況。一些對沖基金(如DerwentCapital和MarketPsych)通過分析微博的文本數(shù)據(jù),尋找股市投資信號。現(xiàn)在,微博中的信息甚至被用于預(yù)測好萊塢的票房收入。在保險領(lǐng)域,不同于傳統(tǒng)保險行業(yè)將數(shù)據(jù)分析集中于保單、被保險人、服務(wù)提供商、代理人、保險利益、產(chǎn)品、核保和銷售賣點、理賠、市場營銷等領(lǐng)域,保險公司開始嘗試引入先進(jìn)的數(shù)據(jù)記錄系統(tǒng),將汽車加速計、剎車頻率和力度、每次行使里程和駕駛時間、駕駛位置、安全帶使用情況等納入分析,以求更準(zhǔn)確地預(yù)測保險人行為,合理計算不同保險人的保費。目前,國際大型金融機構(gòu)已開始逐步嘗試在零售業(yè)務(wù)領(lǐng)域進(jìn)行大數(shù)據(jù)技術(shù)的應(yīng)用,積極向強調(diào)“基于數(shù)據(jù)(事實)”的方向前進(jìn)。例如,在風(fēng)險管理領(lǐng)域,過去商業(yè)銀行可能要花費幾個小時(甚至幾天)才能分析出相關(guān)數(shù)據(jù)特征,輸出風(fēng)險管理報告,而通過整合多渠道(如分支行、網(wǎng)絡(luò)、移動終端、外部數(shù)據(jù)庫等)的海量數(shù)據(jù),利用大數(shù)據(jù)分析技術(shù),能實時得出相關(guān)趨勢特征,顯著提高風(fēng)險報告的獲取速度,預(yù)測風(fēng)險事件的發(fā)生。5.各大商業(yè)銀行已逐步嘗試進(jìn)行大數(shù)據(jù)分析及業(yè)務(wù)應(yīng)用。隨著大數(shù)據(jù)技術(shù)的逐步成熟,各大商業(yè)銀行已開始逐步利用大數(shù)據(jù)技術(shù)進(jìn)行風(fēng)險管理、客戶營銷等方面的業(yè)務(wù)活動。例如,花旗銀行利用大數(shù)據(jù)分析獲取客戶信息,并且分析預(yù)測客戶的下一步需求,進(jìn)而向客戶營銷相關(guān)金融產(chǎn)品,如某客戶為自己的孩子辦理了一張信用卡,其后花旗銀行根據(jù)此信用卡的消費情況、還款情況以及持卡人的各種金融產(chǎn)品消費行為,再結(jié)合持卡人的不同年齡及職業(yè),提前預(yù)判分析出這位客戶可能需要的金融產(chǎn)品,達(dá)到有效的精準(zhǔn)營銷。目前,國內(nèi)各大商業(yè)銀行也逐步嘗試?yán)么髷?shù)據(jù)技術(shù)進(jìn)行相關(guān)業(yè)務(wù)的拓展活動。如建設(shè)銀行利用客戶業(yè)務(wù)數(shù)據(jù),將客戶劃分為長期負(fù)債族、活躍結(jié)算族、基本需求族等八類客戶群,然后根據(jù)客戶的金融產(chǎn)品購買行為、宏觀市場因素、客戶生命周期等變化因素,進(jìn)行更加準(zhǔn)確的目標(biāo)客戶篩選,同時其由專業(yè)的業(yè)務(wù)和數(shù)據(jù)分析人員適時調(diào)整和修正客戶劃分的數(shù)據(jù)模型,從而進(jìn)一步提高客戶營銷的精準(zhǔn)性。營銷結(jié)果顯示,通過系統(tǒng)篩選的客戶產(chǎn)品購買意向達(dá)成率是隨機抽取客戶的1.5倍,實際購買率是隨機抽取客戶的6倍。四、積極推動大數(shù)據(jù)技術(shù)在商業(yè)銀行經(jīng)營