金融大數(shù)據(jù)方案

1、金融大數(shù)據(jù)方案目錄一、大數(shù)據(jù)金融的技術(shù)步驟二、大數(shù)據(jù)平臺(tái)服務(wù) 三、案例介紹技術(shù)技術(shù)和步驟數(shù)據(jù)采集數(shù)據(jù)清洗數(shù)據(jù)挖掘數(shù)據(jù)分析數(shù)據(jù)可視化使用分布式服務(wù)器，平臺(tái)能夠方便快捷的部署API接口豐富：可接入多來(lái)源數(shù)據(jù)和多種類型數(shù)據(jù)數(shù)據(jù)清洗：能在復(fù)雜策略環(huán)境下找出有用的信息數(shù)據(jù)挖掘：能自動(dòng)挖掘出信息的內(nèi)在屬性實(shí)時(shí)動(dòng)態(tài)：能自動(dòng)捕捉信息的實(shí)時(shí)變化技術(shù)特點(diǎn)采集瀏覽器插件PC/Server網(wǎng)頁(yè)APP采集渠道廣HTML網(wǎng)頁(yè)P(yáng)C/ServerAPP瀏覽器插件核心優(yōu)勢(shì)一：渠道廣全網(wǎng)數(shù)據(jù)實(shí)時(shí)采集采集自建DNS加速使用KV內(nèi)存數(shù)據(jù)庫(kù)借用CDN加速使用多線路多終端增加單位并發(fā)采集快、頻次快核心優(yōu)勢(shì)二：速度快采集IP限制驗(yàn)證碼行為

2、檢測(cè)互聯(lián)網(wǎng)可以穿透任意的阻止策略核心優(yōu)勢(shì)三：穿透強(qiáng)采集基礎(chǔ)資源：企業(yè)全息畫像基本注冊(cè)信息市場(chǎng)行業(yè)信息法人信息（公司結(jié)構(gòu)、股權(quán)信息）公司關(guān)聯(lián)方財(cái)務(wù)數(shù)據(jù)（主板創(chuàng)業(yè)板及新三板上市公司）非財(cái)務(wù)數(shù)據(jù)（包括人力資源，招標(biāo)中標(biāo)，訴訟數(shù)據(jù)等）媒體數(shù)據(jù)（傳統(tǒng)及社交媒體）無(wú)形資產(chǎn)（專利、版權(quán)、商譽(yù)、品牌價(jià)值等）稅務(wù)數(shù)據(jù)（企業(yè)所得稅、增值稅、個(gè)人所得稅）社保數(shù)據(jù)（非公開）銀行流水（非公開）工商年檢財(cái)務(wù)數(shù)據(jù)（非公開）互聯(lián)網(wǎng)數(shù)據(jù)（招聘、質(zhì)押、合同、債務(wù)、擔(dān)保數(shù)據(jù)等）第三方數(shù)據(jù)（金蝶、科技部等非公開）清洗數(shù)據(jù)清洗優(yōu)勢(shì)數(shù)據(jù)清洗大量的成功案例成功案例Beyebe導(dǎo)購(gòu)?fù)扑]家家悅定價(jià)決策系統(tǒng)諾亞舟產(chǎn)品監(jiān)控系統(tǒng)微車夫違章查詢經(jīng)驗(yàn)豐

3、富的團(tuán)隊(duì)優(yōu)秀團(tuán)隊(duì)七年的大數(shù)據(jù)清洗經(jīng)驗(yàn)涵蓋電商、零售、交通等行業(yè)獲得行業(yè)的認(rèn)可行業(yè)認(rèn)可百度、京東、走秀網(wǎng)等商業(yè)合同IBM、網(wǎng)宿科技戰(zhàn)略合作伙伴分析數(shù)據(jù)分析架構(gòu)NFS網(wǎng)絡(luò)文件系統(tǒng)Spark 通用計(jì)算框架BBase（Beyebe自有、基于Nosql）SparkSqlSparkStreamingMlib MachineLearningGraphX Graph Processing數(shù)據(jù)文件系統(tǒng)層計(jì)算層國(guó)產(chǎn)麒麟操作系統(tǒng)邏輯層針對(duì)金融大數(shù)據(jù)業(yè)務(wù)在計(jì)算層提供的接口上自主開發(fā)僅適用于金融大數(shù)據(jù)的邏輯應(yīng)用分析BBaseBMaster-Create()-UpDate()Client-Put()-Incr()Clie

4、nt-Put()-Incr()BRegionServerKeyValuesKeyValuesKeyValuesLogFlusherLogRollerBRegionBRegionBRegionSync()rollWriter()StoreMemStoreBFileStoreFileBFileStoreFileStoreMemStoreBFileStoreFileBFileStoreFileStoreMemStoreBFileStoreFileBFileStoreFileBLogNFSNFS分析信息抽取表達(dá)式的方法及系統(tǒng)人員要求低簡(jiǎn)單易學(xué)方便易用互聯(lián)網(wǎng)數(shù)據(jù)自定義語(yǔ)義語(yǔ)法數(shù)據(jù)字典表達(dá)式邏輯處理指令解

5、析采集配置關(guān)鍵字鍵值匹配分類抽取定義有效性檢查一致性檢查數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)審核結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)NFS數(shù)據(jù)存儲(chǔ)數(shù)據(jù)清洗數(shù)據(jù)抽取分析混合索引方法及系統(tǒng)內(nèi)碼偏移尋址頻繁修改屬性 價(jià)格/評(píng)論數(shù)據(jù)數(shù)據(jù)多層索引中英文混合搜索中文內(nèi)碼連續(xù)數(shù)組數(shù)據(jù)解決中文搜索的性能問(wèn)題解決某些數(shù)據(jù)屬性頻繁更新問(wèn)題分析數(shù)據(jù)審核數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)關(guān)鍵填充表達(dá)式上下文解析多級(jí)分類合并匹配庫(kù)（品牌）復(fù)雜策略有效數(shù)據(jù)人工機(jī)器學(xué)習(xí)半自動(dòng)化策略補(bǔ)充機(jī)器學(xué)習(xí)自動(dòng)化冗余檢查一致性檢查完整性檢查分析數(shù)據(jù)控制中心控制中心任務(wù)ID定位日志記錄操作指令優(yōu)先級(jí)可視化監(jiān)控服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)ID服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)ID服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)

6、ID服務(wù)器監(jiān)控任務(wù)ID監(jiān)控任務(wù)ID分布式服務(wù)器之間相互關(guān)聯(lián)報(bào)告報(bào)告調(diào)度分析數(shù)據(jù)分析平臺(tái)Beyebe大數(shù)據(jù)平臺(tái)SNS API負(fù)載均衡存儲(chǔ)API推薦 API權(quán)限管理用戶驗(yàn)證統(tǒng)計(jì)分析應(yīng)用建模反饋平臺(tái)用戶API應(yīng)用 API算法 API數(shù)據(jù)挖掘子平臺(tái)信息分類模型參數(shù)數(shù)據(jù)聚合關(guān)聯(lián)分析推薦引擎子平臺(tái)個(gè)性化信息決策精準(zhǔn)匹配智能反饋數(shù)據(jù)分析子平臺(tái)核心數(shù)據(jù)社區(qū)結(jié)構(gòu)關(guān)鍵路徑共性群體頁(yè)面解析語(yǔ)言分詞數(shù)據(jù)清洗特征抽取數(shù)據(jù)集成網(wǎng)絡(luò)分析基礎(chǔ)架構(gòu)分布式網(wǎng)絡(luò)爬蟲/蜘蛛新聞網(wǎng)頁(yè)SNS社交網(wǎng)絡(luò)元數(shù)據(jù)存儲(chǔ)圖片NFS文本BBaseSpark通用技術(shù)框架監(jiān)控報(bào)表服務(wù)評(píng)測(cè)日志分析數(shù)據(jù)緩存服務(wù)數(shù)據(jù)清洗、數(shù)據(jù)挖掘數(shù)據(jù)分析最終產(chǎn)品數(shù)據(jù)交易數(shù)據(jù)服

7、務(wù)數(shù)據(jù)產(chǎn)品數(shù)據(jù)采集、數(shù)據(jù)管道Beyebe致力于為企業(yè)提供數(shù)據(jù)交易、數(shù)據(jù)服務(wù)、數(shù)據(jù)產(chǎn)品Beyebe大數(shù)據(jù)服務(wù)內(nèi)容案例部分案例資質(zhì)行業(yè)對(duì)比數(shù)據(jù)維度比一比其他公司數(shù)據(jù)多樣化能采集互聯(lián)網(wǎng)全網(wǎng)數(shù)據(jù)，數(shù)據(jù)維度廣，數(shù)據(jù)多樣化只能采集企業(yè)內(nèi)部交易數(shù)據(jù)，數(shù)據(jù)來(lái)源單一數(shù)據(jù)清洗能夠?qū)Ω鞣N數(shù)據(jù)進(jìn)行清洗，并產(chǎn)出一致性，完整性的有效數(shù)據(jù)使用的數(shù)據(jù)都是標(biāo)準(zhǔn)化數(shù)據(jù)，沒(méi)有數(shù)據(jù)清洗經(jīng)驗(yàn)數(shù)據(jù)分析數(shù)據(jù)維度更廣泛，分析結(jié)果更具說(shuō)服力企業(yè)內(nèi)部的單一數(shù)據(jù)的分析結(jié)果粉飾財(cái)報(bào)股東、高管自身的風(fēng)險(xiǎn)帶來(lái)的潛在舞弊風(fēng)險(xiǎn)通過(guò)對(duì)股東、高管的相關(guān)信息進(jìn)行篩查以識(shí)別風(fēng)險(xiǎn)重大合同缺乏合同訂立與變更信息，信息的完整性，實(shí)務(wù)中難以快速提前實(shí)證，評(píng)估不準(zhǔn)的風(fēng)險(xiǎn)通過(guò)中國(guó)招標(biāo)網(wǎng)、國(guó)際招標(biāo)網(wǎng)等全國(guó)和地方性的網(wǎng)站抓取信息投資項(xiàng)目重大投資項(xiàng)目未披露，未通過(guò)審批提前動(dòng)工，強(qiáng)制停工，造成投資者利益損失的風(fēng)險(xiǎn)通過(guò)實(shí)時(shí)搜索證券社區(qū)相關(guān)信息進(jìn)行投資項(xiàng)目的動(dòng)向跟蹤重大