金融行業(yè)的大數(shù)據(jù)應(yīng)用案例及解決方案

目錄TOC\o"1-2"\h\z\u來自Connotate的解決方案 2金融數(shù)據(jù)聚集 2金融行業(yè)應(yīng)用 2金融行業(yè)應(yīng)用案例-華爾街個案 4用戶案例：FactSet 5Conotate功能介紹： 6來自Datameer的解決方案 8大型零售銀行 8金融機構(gòu) 8Datameer簡介 9來自Syncsort的解決方案 13Syncsort為金融服務(wù)行業(yè)提供的解決方案 13Syncsort的產(chǎn)品介紹 15

來自Connotate的解決方案金融數(shù)據(jù)聚集每天，所有的政治事件、金融行業(yè)動態(tài)、企業(yè)動態(tài)和其他的市場動態(tài)都會發(fā)布到網(wǎng)上。實時地監(jiān)控和了解金融行業(yè)的動態(tài)對于占領(lǐng)和穩(wěn)固金融數(shù)據(jù)的市場份額是必不可少的。速度和精準度是最關(guān)鍵的。自動化Web數(shù)據(jù)監(jiān)控和抽取功能，大大方便了金融數(shù)據(jù)提供商持續(xù)的跟蹤各銀行、客戶金融服務(wù)網(wǎng)站和世界各地的新聞、企業(yè)新聞、政府新聞和媒體新聞，并向其用戶推送所需的信息，自動化監(jiān)控的解決方案能夠做到：通過監(jiān)控市場動態(tài)，利用內(nèi)部變化監(jiān)控和關(guān)鍵字搜索方式，提供實時的更新報表通過復(fù)制收集的數(shù)據(jù)和減少數(shù)據(jù)上傳時的人工干預(yù)，大大提高了數(shù)據(jù)的精準度通過選擇性數(shù)據(jù)推送功能，向特定的管理員發(fā)出提醒，告知用戶哪些企業(yè)網(wǎng)站、新聞門戶和政府網(wǎng)站有重要的改變通過增加對金融文件的監(jiān)控力度（自動化抽?。蟠鬁p少了成本通過從世界各網(wǎng)站中收集精準的數(shù)據(jù)（語言不限）并轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，大大提高了數(shù)據(jù)收集的廣度通過一些指標性特征使管理人員迅速調(diào)整監(jiān)控個抽取的目標數(shù)據(jù)，提高商務(wù)和管理的靈活性有了Web數(shù)據(jù)自動化監(jiān)控和抽取的Connotate，管理人員和分析人員可以收到關(guān)于數(shù)據(jù)更新的報告，無需再依賴易于出錯的人工方式和繁瑣的腳本語言處理工具Connotate自動化監(jiān)控所有數(shù)據(jù)源的數(shù)據(jù)，如銀行網(wǎng)站等，下載PDF文件并把Web頁面轉(zhuǎn)化為Excel、XML或者適用的文件格式ThomsonReuters（路透社）、DowJones（道瓊斯）、FactSet和其他世界各主流金融數(shù)據(jù)商都新來Connotate，用Connotate進行數(shù)據(jù)監(jiān)控和抽取。金融行業(yè)應(yīng)用信息和內(nèi)容隨時可以在Web上獲得，隨著其價值的增加，對相關(guān)的信息內(nèi)容做出及時的措施、分析和加快決策就越來越顯得重要。有了Connotate的幫助下，投資者和分析師可以針對企業(yè)和部門的表現(xiàn)有更加深刻的認識，即使在市場看來并不是很明顯的表現(xiàn)。Connotate的必殺技在與不斷的標記來自Web上部門和政府的變化數(shù)據(jù)、新聞信息、諸如價格、庫存、產(chǎn)品供應(yīng)水平、生產(chǎn)力和招聘人員活動等操作數(shù)據(jù)，和各種能夠幫助預(yù)測分析的指標?，F(xiàn)在，從Web上精準的收集數(shù)據(jù)并進行數(shù)據(jù)分析成本是很高昂的。如今Connotate的自動化數(shù)據(jù)抽取和分析不僅為用戶大大減少了成本而且其操作也是非常簡易的—即使不是專業(yè)的編程人員或者IT架構(gòu)人員也可以進行部署和操作。詳情見下文：支持買賣雙方的決策—通過抽取一系列操作數(shù)據(jù)來加速對整個季度的趨勢分析對市場變化的反應(yīng)更加靈敏—通過實時地監(jiān)控市場動態(tài)為研究調(diào)查加大深度—通過鎖定需要監(jiān)控的數(shù)據(jù)源加速產(chǎn)品上市—通過監(jiān)控市場異常和機遇利用Web數(shù)據(jù)支持研究調(diào)查，以增加調(diào)查的質(zhì)量和效率。Connotate優(yōu)越的自動化數(shù)據(jù)監(jiān)控和抽取的解決方案能夠讓用戶實時地發(fā)現(xiàn)公共資源的價值，大大增加其透明度以更好的支持研究調(diào)查和投資決策。過去使用Web爬蟲的用戶，會發(fā)現(xiàn)要花費很大的精力對收集的數(shù)據(jù)進行處理后，數(shù)據(jù)才會有意義。與Web爬蟲工具不同的是，Connotate能夠抽取Web數(shù)據(jù)并轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)格式（CSV、XML、XLS等格式）Connotate使用戶不必等待季度報表或者成本昂貴的消費研究調(diào)查來進行投資決策。Connotate使用戶對數(shù)據(jù)抽取擁有最大的控制權(quán)。無論數(shù)據(jù)集的保存期限是幾天、幾周、還是幾個月，用戶都可以精準地定位需要的數(shù)據(jù)，并獲得實時的洞察。

金融行業(yè)應(yīng)用案例-華爾街個案Connotate使用戶對市場部門個體股票的微小動態(tài)都了如指掌，獲得支持買方購買的可行性洞察。華爾街一家投資機構(gòu)欲更好地了解個別企業(yè)、企業(yè)產(chǎn)品銷售情況和市場部門的微妙動態(tài)，其選擇是是實時地收集操作數(shù)據(jù)，其目的是為了應(yīng)對瞬息變化的股票市場做出更好的投資決策。隨之電子商務(wù)的大興崛起，除了純粹慣例地發(fā)布數(shù)據(jù)和季度報表，該企業(yè)抽取了不同企業(yè)、電子商務(wù)平臺、博客和社交平臺網(wǎng)站（Amazon和Crunchbase等）上的Web數(shù)據(jù)。該企業(yè)選擇了Connotate實地部署的解決方案，在幾周內(nèi)就設(shè)定好預(yù)訪問的網(wǎng)站，抽取營銷活動、價格數(shù)據(jù)、庫存情況和客戶偏好選擇等的數(shù)據(jù)。利用這些數(shù)據(jù)為相應(yīng)的金融趨勢、金融活動和金融觀點建立模型。在過去的一年里，該企業(yè)在Connotate的幫助下，在股票市場上獲得了額外的一百多萬美元的收益。Connotate實地部署能夠使數(shù)據(jù)分析更加靈活簡易了，更易于調(diào)整，更易于管理、查詢和定位。Connotate在電子商務(wù)上網(wǎng)頁內(nèi)抽取關(guān)于營銷活動和庫存情況的數(shù)據(jù)，然后只推送與上次抽取的數(shù)據(jù)相比有變化的數(shù)據(jù)—提供了清晰明了的定位信息。Connotate將抽取的數(shù)據(jù)轉(zhuǎn)換和推送結(jié)構(gòu)化數(shù)據(jù)，如CSV文件；將重點數(shù)據(jù)推送到分析應(yīng)用程序中進行趨勢分析“Connotate的解決方案為我們提供了產(chǎn)品價格、庫存情況、廣告話費、轉(zhuǎn)換率、訂單情況和其他重要的非結(jié)構(gòu)化數(shù)據(jù)信息，而這些數(shù)據(jù)（用其他工具）是很難抽取的但是卻是很有分析價值的?！盝asonJones，對沖基金投資組合經(jīng)理

用戶案例：FactSetFactSet在世界各地的成千上百個網(wǎng)站中收集數(shù)據(jù)，并向其金融行業(yè)的用戶推送數(shù)據(jù)，支持他們更好地做出投資決策。FactSet的客戶要求數(shù)據(jù)是精準、實時和完整的。隨著Web數(shù)據(jù)量的不斷增加，F(xiàn)actSet也在尋求能夠加快數(shù)據(jù)抽取自動化程度的工具。由于其業(yè)務(wù)的不斷擴大，F(xiàn)actSet分析師更多對更新數(shù)據(jù)有更大的需求。在使用Connotate之前，F(xiàn)actSet使用的是一種Web監(jiān)控工具（帶有少許的過濾功能）；一般分析師收到的35%的提醒信息是有效的。因此，F(xiàn)actSet希望能夠提高其數(shù)據(jù)抽取的效率并簡化工作流。自從選擇了Connotate之后，數(shù)據(jù)提醒的有效率從35%上升到90%。? FactSet選擇的是Connotate的實地部署解決方案，他們利用下拉式菜單和便捷式點擊頁面管理和設(shè)置了成千上萬個webAgents(Connotate數(shù)據(jù)抽取的工具)? Connotate使FactSet能夠訪問到一些沒有寬帶的偏遠地方的數(shù)據(jù)? Connotate使FactSet在無需增加管理人員的數(shù)量的同時增加企業(yè)監(jiān)控數(shù)量Connotate抽取的數(shù)據(jù)比我們之前使用的那套工具精準多了，推送的數(shù)據(jù)更加可靠、精準和便于使用。--ChrisClifford，F(xiàn)actSet的信息創(chuàng)建經(jīng)理說道

Conotate功能介紹：Connotate利用機器學(xué)習自動生成的高效代碼和輔助配置，其數(shù)據(jù)抽取的工具稱為Agent。在Agents的指引下，用戶能精準地獲得需要的信息—Connotate在過濾了廣告和無關(guān)信息的同時，將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成為支持業(yè)務(wù)流程的可讀性數(shù)據(jù)。Connotate的解決方案相比于網(wǎng)頁腳本工具要優(yōu)越得多，由于網(wǎng)站格式不斷變化，修整是一項很重要的工程，Connotate的解決方案具有較強的適用性。各網(wǎng)站都在不斷地更新。優(yōu)化解決方案，不但是為了精準地檢測網(wǎng)頁內(nèi)容的變化，而且是為了更有效率地提高推送信息。過濾垃圾信息和刪除重復(fù)數(shù)據(jù)可使工作流取得更大成效。部署選項Connotate能夠滿足用戶的業(yè)務(wù)之需，并且適應(yīng)今后的發(fā)展和變化。而且，Connotate能夠提供靈活實用的解決方案以滿足用戶具體的業(yè)務(wù)需求。詳情請訪問：/detail2.php?id=1

來自Datameer的解決方案大型零售銀行為了量化資產(chǎn)風險和遵守監(jiān)管報告的要求，如多德-弗蘭克法案，這家一流的零售銀行正在使用Datameer來驗證數(shù)據(jù)的準確度和質(zhì)量。銀行貸款和分支數(shù)據(jù)以及財富管理數(shù)據(jù)集成，數(shù)據(jù)質(zhì)量的舉措是負責確保每一條記錄是準確的。這個過程包括對數(shù)據(jù)超過50個數(shù)據(jù)的理智和質(zhì)量檢查。這些檢查的結(jié)果，隨著時間的推移的趨勢，以確保數(shù)據(jù)損壞和數(shù)據(jù)域的公差不改變不利和被報告給投資者和監(jiān)管機構(gòu)的風險狀況，審慎和符合監(jiān)管要求。Datameer之前，該銀行采用Teradata和Netezza公司和建設(shè)數(shù)據(jù)集市，以分析數(shù)據(jù)的質(zhì)量，使用他們的SAS應(yīng)用。這個過程是耗時和復(fù)雜，數(shù)據(jù)集市的做法沒有提供數(shù)據(jù)的完整性需要確定整體數(shù)據(jù)質(zhì)量。金融機構(gòu)為了提高客戶保留和參與，這家領(lǐng)先的金融研究機構(gòu)使用Datameer加快客戶的使用情況分析和產(chǎn)品改進。基于Web的平臺結(jié)合了全球性的公司具有強大的財務(wù)基本面分析，構(gòu)思一代，為用戶的工作流管理工具的信息和市場研究。該公司的產(chǎn)品管理團隊需要了解用戶訪問模式和產(chǎn)品互動的細節(jié)，以便更好地吸引和留住客戶。該公司此前使用OLAP多維數(shù)據(jù)集，存儲和報告用戶訪問日志，客戶數(shù)據(jù)和許可證信息。他們拼命用一個4-6周的周轉(zhuǎn)時間，提供新的或更新的數(shù)據(jù)。因此，產(chǎn)品管理一直非常被動，他們的大部分時間花在管理報告的過程，而不是理解最終用戶如何響應(yīng)特性和內(nèi)容。該公司選擇了Datameer加快洞察顧客使用，并加快新產(chǎn)品型號。有了Datameer，產(chǎn)品經(jīng)理現(xiàn)在可以快速地關(guān)聯(lián)在用戶的流量模式的變化（點擊流）和事件的背景下，如新版本，A/B測試和故障，以確定哪些工作或不執(zhí)行隊列分析。產(chǎn)品策略，現(xiàn)在可以迅速調(diào)整和改進Datameer釋放產(chǎn)品經(jīng)理的部署，把重點放在分析用戶的使用模式，并創(chuàng)造新的產(chǎn)品模型，而不是建設(shè)報告。Datameer簡介數(shù)據(jù)快速集成將您的IT資源從數(shù)據(jù)管道中釋放出來,為IT和商業(yè)用戶快速整合任何數(shù)據(jù)源。數(shù)據(jù)自由化無ETL數(shù)據(jù)是觀察事物的基礎(chǔ)。你掌握的數(shù)據(jù)越多，對事物的了解就會越深入。因此，你不僅要掌握傳統(tǒng)意義上的交易數(shù)據(jù)，而且還要掌握所有其它類型的數(shù)據(jù)，這樣才可以完全了解客戶，充分理解業(yè)務(wù)流程，提高業(yè)務(wù)績效。Datameer為了把所有數(shù)據(jù)整合到Hadoop，而不關(guān)注ETL和靜態(tài)模式的局限性。預(yù)建的數(shù)據(jù)連接向?qū)шP(guān)聯(lián)所有常見的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源，這就意味著，數(shù)據(jù)集成是一種簡單的，分成三個步驟的過程：集成存儲于哪里的數(shù)據(jù)、集成哪些數(shù)據(jù)、什么時候集成這些數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)包括：Oracle,DB2,MSSQL,MySQL等Teradata,Greenplum等XML,JSON,CSV等HBase,Cassandra非結(jié)構(gòu)化數(shù)據(jù)包括：Twitter,Facebook,LinkedIn,Jive等EmailLogFilesSaaS-CRM,GitHub,Jira,Zendesk等數(shù)據(jù)導(dǎo)入類型導(dǎo)入作業(yè)Datameer將所有數(shù)據(jù)以其原始格式直接導(dǎo)入到Hadoop。強大的采樣、解析、調(diào)度和數(shù)據(jù)保留等工具使得整個導(dǎo)入過程到了優(yōu)化和支持，從而用戶可以便捷高效地獲得他們所需要的數(shù)據(jù)。任何數(shù)據(jù)的無限相關(guān)性數(shù)據(jù)鏈接在某些使用場景下，如分析瞬息萬變的用戶數(shù)據(jù)時，系統(tǒng)需要在分析在進行的過程中即將數(shù)據(jù)導(dǎo)入Hadoop平臺中。這確保了用戶數(shù)據(jù)始終處于最新狀態(tài)。為此，Datameer為所有數(shù)據(jù)源都提供數(shù)據(jù)鏈接.開放數(shù)據(jù)平臺數(shù)據(jù)導(dǎo)出Datameer獨特的整合和分析能力的妙處在于其結(jié)果可以被導(dǎo)出至其他數(shù)據(jù)存儲，如數(shù)據(jù)庫、遠程文件服務(wù)器、數(shù)據(jù)倉庫或第三方BI（商業(yè)智能）軟件包。這種數(shù)據(jù)導(dǎo)出可以是手動的，也可被設(shè)定為每當工作薄更新時，或者按一定的時間間隔由系統(tǒng)自動進行操作。數(shù)據(jù)的應(yīng)用編程接口訪問（RESTAPI）數(shù)據(jù)獲取、發(fā)布、安置、刪除在某些使用場景下，如嵌入式分析（作為有更廣泛意義的CRM應(yīng)用程序的一部分）要求無需通過網(wǎng)站頁面即可獲取Datameer數(shù)據(jù)。有了Datameer的RESTAPI接口，遠程應(yīng)用程序即可通過命令行工具獲取Datameer數(shù)據(jù)。該API接口可通過腳本或者監(jiān)控工具運行。運行請求為URL地址和命令，而運行響應(yīng)會以JSON格式返回。產(chǎn)品信息詳情請訪問：/detail2.php?id=3

來自Syncsort的解決方案Syncsort為金融服務(wù)行業(yè)提供的解決方案金融服務(wù)企業(yè)深受全球金融危機的影響，更受到新的條例和同行競爭壓力的影響。這也是目前主流的銀行、投資公司和信貸企業(yè)依賴Syncsort提供的數(shù)據(jù)整合方案的重要原因?，F(xiàn)在，爆炸式的數(shù)據(jù)量讓金融服務(wù)機構(gòu)頭暈?zāi)X脹，因此及時地獲得關(guān)鍵信心，對于他們提高風險評估，確保合規(guī)和提高服務(wù)水平來說是至關(guān)重要的。四十多年來為金融機構(gòu)的服務(wù)經(jīng)驗，Syncsort為用戶提供數(shù)據(jù)整合方案，幫助用戶從海量數(shù)據(jù)中抽取有價值的數(shù)據(jù)。實現(xiàn)在更少的時間和更少的硬件資源內(nèi)，為金融機構(gòu)解決更多來自大型主機和Hadoop之間的所有問題。Syncsort為許多金融機構(gòu)的關(guān)鍵業(yè)務(wù)提供技術(shù)支持。其中包括：風險調(diào)整后的盈利能力分行的效益數(shù)據(jù)倉庫回復(fù)和重組提高跨渠道和跨產(chǎn)品的關(guān)系管理提高銷售額、營銷效果、和績效管理報表和分析把復(fù)雜的基礎(chǔ)架構(gòu)簡單化，實現(xiàn)靈活調(diào)整，減少分析需要的時間通過把不同的圖像、不同的渠道和產(chǎn)品信息整合在一起，發(fā)現(xiàn)商業(yè)洞察發(fā)現(xiàn)新的商業(yè)機會實行風險管理以應(yīng)對新增的管理條例進行系統(tǒng)風險管理并升級本地的風險管理程序減少成本，如大型機的轉(zhuǎn)移和硬件的更新?lián)Q代

Syncsort的產(chǎn)品介紹Syncsort為用戶提供快速、安全的企業(yè)級別的大數(shù)據(jù)解決方案，主要是針對大型機和Hadoop上出現(xiàn)的問題。Syncsort能夠為世界各地的用戶在更短的時間內(nèi)收集、處理和發(fā)送更多精準的數(shù)據(jù)，而且所需要的資源和成本更加低。世界上前100強的企業(yè)基本上都是Syncsort的客戶，而且Syncsort已經(jīng)應(yīng)用于全球85個國家中，為用戶進行寶貴的數(shù)據(jù)處理，加快數(shù)據(jù)倉庫的效率和大型機對數(shù)據(jù)的處理速度，優(yōu)化云端的數(shù)據(jù)集成。DMX-h：一種更智能的HadoopETL&數(shù)據(jù)分類工具更全面的釋放Hadoop的潛能，是一種更加智能的大數(shù)據(jù)分類、集成和處理工具。隨著越來越多的企業(yè)青睞Hadoop，但是他們面臨越來越多的限制了Hadoop潛能的問題。DMX-h是一種智能的Hadoop分類和HadoopETL工具，為用戶大大釋放了Hadoop的潛能。使用Syncsort的企業(yè)能夠使他們的Hadoop分類&HadoopETL更加智能。減少自定義代碼的需要，更加智能地連接到用戶的所有數(shù)據(jù)和大大提高了Hadoop數(shù)據(jù)處理的效率。

DMX-h是一種更加智能的HadoopETL工具！Syncsort是一種智能和獨特HadoopETL工具，使企業(yè)用戶在Hadoop上用更少的時間進行獲取更多的數(shù)據(jù)價值。Syncsort成功解決了企業(yè)在Hadoop上部署ETL的問題，無代碼，無腳本，無需調(diào)優(yōu)，就只是一種更加智能的數(shù)據(jù)集成方案，Syncsort的HadoopETL性能是無敵的，超強的連通性和優(yōu)越分類。更智能的應(yīng)用—HadoopETL工具，無編碼