【新浪財經(jīng)-馮兆意】等待鉆取的油田：互聯(lián)網(wǎng)財經(jīng)大數(shù)據(jù)

Discoverthebeneath80%DiscovertheBeneath80%等待鉆取的油田——互聯(lián)網(wǎng)財經(jīng)大數(shù)據(jù)新浪財經(jīng)馮兆意A、數(shù)據(jù)連接一切什么是大數(shù)據(jù)

新浪財經(jīng)大數(shù)據(jù)情況新浪財經(jīng)大數(shù)據(jù)類型專注于大數(shù)據(jù)與金融創(chuàng)新什么是大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新更廣的信息范圍新的數(shù)據(jù)與分析類型實時信息來自新技術(shù)的數(shù)據(jù)非傳統(tǒng)形式的媒體大數(shù)據(jù)量社交媒體數(shù)據(jù)最新流行詞定義大數(shù)據(jù)*2012年對95個國家中26個行業(yè)的1144名專業(yè)人員調(diào)查結(jié)果結(jié)構(gòu)化數(shù)據(jù)：存在于關(guān)系數(shù)據(jù)庫中，多年來一直主導(dǎo)著IT應(yīng)用；半結(jié)構(gòu)化數(shù)據(jù)：包括電子郵件、文字處理文件以及大量發(fā)布在網(wǎng)絡(luò)上的新聞等，以內(nèi)容為根底，這也是谷歌和百度存在的理由；非結(jié)構(gòu)化數(shù)據(jù)：廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)之中。伴隨著社交網(wǎng)絡(luò)、移動計算和傳感器等新技術(shù)不斷產(chǎn)生，有報告稱，超過80%的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)是一個涵蓋多種技術(shù)的概念，簡單地說，是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。“大數(shù)據(jù)”理念定義為4個V，即數(shù)量〔Volume〕、多樣性〔Variety〕、速度〔Velocity〕及數(shù)據(jù)的準(zhǔn)確性〔Veracity〕。新浪財經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Volume1000+萬活躍用戶400000+條評論30000+條資訊100萬+條財經(jīng)博文大量1000萬，1/7股民新浪財經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Velocity7*24小時全球市場直播毫秒級更新頻率的美股實時行情數(shù)據(jù)日志分析速度1分鐘高速新浪財經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Variety國內(nèi)最多用戶的滬深互聯(lián)網(wǎng)行情產(chǎn)品超過200種外匯行情國內(nèi)首家覆蓋美股全市場覆蓋場外市場海量視頻，文本，博文，數(shù)據(jù)多樣新浪財經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新Veracity670家國內(nèi)外合作媒體73家境內(nèi)外行情、數(shù)據(jù)合作伙伴562個高端專欄作家超20個國家和地區(qū)記者站85%+可信度代表投資者總體真實新浪財經(jīng)大數(shù)據(jù)類型專注于大數(shù)據(jù)與金融創(chuàng)新新浪影響主流中國，微博會聚社會力量新浪財經(jīng)大數(shù)據(jù)專注于大數(shù)據(jù)與金融創(chuàng)新社交網(wǎng)絡(luò)權(quán)威媒體開放平臺每天超過100萬優(yōu)質(zhì)媒體及意見領(lǐng)袖貢獻(xiàn)內(nèi)容每天超過1億主流用戶通過新浪網(wǎng)來了解世界每天超過40億頁面訪問及內(nèi)容消費注冊用戶超過5億人均好友超過200人每天新發(fā)微博內(nèi)容量超過1.3億用戶每日時長超過90分鐘超過34萬平臺開發(fā)者超過5萬應(yīng)用和網(wǎng)站可以使用微博賬號直接登錄每日超過600萬站外分享至微博，超過6000萬流量導(dǎo)出新浪+微博雙核聯(lián)動專注于大數(shù)據(jù)與金融創(chuàng)新新聞行情用戶微博搜索股吧B、新浪大數(shù)據(jù)平臺架構(gòu)大數(shù)據(jù)平臺架構(gòu)大數(shù)據(jù)挖掘框架專注于大數(shù)據(jù)與金融創(chuàng)新專注于大數(shù)據(jù)與金融創(chuàng)新用戶建模的根底準(zhǔn)備HTML

JS

META

…

DW〔標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)化〕行為收集ETLUDF集群報告報表API效勞數(shù)據(jù)發(fā)現(xiàn)用戶

(產(chǎn)品)合作

伙伴C、新浪財經(jīng)大數(shù)據(jù)應(yīng)用新聞中的新主題，新概念-MotifInvesting輿情分析與股票正負(fù)面-Multi-FactorStrategy

用戶瀏覽行為與投資表現(xiàn)-BehaviorAnalysis專注于大數(shù)據(jù)與金融創(chuàng)新新聞數(shù)據(jù)挖掘證券關(guān)注度StockAttention新新聞NewNews主題聚類TopicCluster行業(yè)聚合IndustryCluster輿情監(jiān)控MonitoringPublicOpinion事件影響預(yù)測EventInfluenceForecast其他Others自然語言是人類最自然最重要的交流工具，也是人類獲取信息和表達(dá)信息的重要載體，隨著線上媒體的不斷開展，每天會產(chǎn)生海量信息流。

新浪財經(jīng)每日產(chǎn)生30000條財經(jīng)資訊，我們從中可以得到什么？專注于大數(shù)據(jù)與金融創(chuàng)新新聞數(shù)據(jù)—話題挖掘—概念潛在語義分析(LSA)LSA(隱性語義分析)的目的是要從文本中發(fā)現(xiàn)隱含的語義維度——即“Topic”或者“Concept”。我們知道，在文檔的向量空間模型〔VSM〕中，文檔被表示成由特征詞出現(xiàn)概率組成的多維向量，這種方法的好處是可以將query和文檔轉(zhuǎn)化成同一空間下的向量計算相似度，可以對不同詞項賦予不同的權(quán)重專注于大數(shù)據(jù)與金融創(chuàng)新LSA的概率圖模型：

新聞數(shù)據(jù)案例1—話題挖掘—概念潛在語義分析(LSA)新聞TOPIC聚類—小時頻率專注于大數(shù)據(jù)與金融創(chuàng)新新聞數(shù)據(jù)案例2—策略因子—新聞大數(shù)據(jù)策略專注于大數(shù)據(jù)與金融創(chuàng)新績效統(tǒng)計統(tǒng)計項新聞大數(shù)據(jù)策略滬深300三個月收益14.31%8.02%年化收益70.73%36.15%年超額收益34.58%N/A最大回撤(三個月)-4.75%-1.14%夏普比率(三個月)51.77%40.24%ALPHA收益(三個月)0.56%N/A最長盈利區(qū)間數(shù)54最長虧損區(qū)間數(shù)22區(qū)間數(shù)量1212勝率75.00%66.67%新聞對于股市，兼具：根本面/情緒面/大數(shù)據(jù)，新聞不僅是信息的最初來源，而且記錄著傳播過程，是投資決策中的重要依據(jù)。我們使用新聞大數(shù)據(jù)進(jìn)行選股，在保證大數(shù)據(jù)的前提下，著力量化兩個核心要素：1.新聞中個股情感判斷。2.PV點擊量增速。點擊量增速反映該條新聞的熱度，但由于不同個股PV量級不同，不能簡單用增量作為篩選因子，必須做“增速”的處理后才能衡量公司自身進(jìn)入公共視野的程度。在基于上訴邏輯中，我們在只有好消息的股票中，篩選點擊量增速最大的50只股票，形成股票池，20140801～20141101的回溯結(jié)果如右圖。新聞數(shù)據(jù)案例3—新詞發(fā)現(xiàn)專注于大數(shù)據(jù)與金融創(chuàng)新大數(shù)據(jù)產(chǎn)品—大數(shù)據(jù)i指數(shù)專注于大數(shù)據(jù)與金融創(chuàng)新大數(shù)據(jù)應(yīng)用，我們還在做哪些有意思的開掘？專注于大數(shù)據(jù)與金融創(chuàng)新精準(zhǔn)營銷在用戶需要的時間和地點，推薦合適的金融產(chǎn)品。大數(shù)據(jù)聯(lián)盟市場OPENAPI，OPENDATA投資習(xí)慣分析根據(jù)用戶模擬交易流水，分析您的風(fēng)險偏好與期望收益。用戶群體行為分析通過分析用戶群體行為，得知投資收益高的這部分用戶分析方法的共同點。數(shù)據(jù)市場案例—利用專利數(shù)據(jù)進(jìn)行的量化研究專注于大數(shù)據(jù)與金融創(chuàng)新LeadingScore=Exp[C0+C06*P06(-1)創(chuàng)造公開平均專利壽命 +C07*P07(-1)實用新型平均專利壽命 +C08*P08(-1)外觀專利平均專利壽命 +C09*P09(-1)創(chuàng)造授權(quán)平均專利壽命 +C15*P15(-1)當(dāng)年度創(chuàng)造授權(quán)平均審查期 +C19*P19(-1)當(dāng)年度創(chuàng)造公開IPC分類號平均數(shù) +C20*P20(-1)當(dāng)年度實用新型IPC分類號平均數(shù) +C25*P25(-1)當(dāng)年度創(chuàng)造公開平均頁數(shù) +C26*P26(-1)當(dāng)年度實用新型專利說明書平均頁數(shù) +C31*P31(-1)當(dāng)年度創(chuàng)造公開權(quán)利要求平均數(shù) +C32*P32(-1)當(dāng)年度實用新型權(quán)利要求平均數(shù) +C37*P37(-1)當(dāng)年度創(chuàng)造公開獨權(quán)平均數(shù) +C38*P38(-1)當(dāng)年度實用新型獨權(quán)平均數(shù) +C44*P44(-1)當(dāng)年度實用新型附圖平均數(shù)] 〔數(shù)據(jù)來源：新浪財經(jīng)數(shù)據(jù)合作伙伴〕數(shù)據(jù)市場案例—利用專利數(shù)據(jù)進(jìn)行的量化研究(續(xù))專注于大數(shù)據(jù)與金融創(chuàng)新ROE成長的公司數(shù)/全部公司數(shù)TOP5%績優(yōu)股績效領(lǐng)先大盤一倍預(yù)測前5%績優(yōu)股預(yù)測前10%績優(yōu)股預(yù)測后5%與10%績差股大盤平均表現(xiàn) 〔數(shù)據(jù)來源：新浪財經(jīng)數(shù)據(jù)合作伙伴〕新浪財經(jīng)-大數(shù)據(jù)對金融企業(yè)的價值

專注于大數(shù)據(jù)與金融創(chuàng)新數(shù)據(jù)消費-》數(shù)據(jù)創(chuàng)新-》數(shù)據(jù)共享用戶傾聽市場認(rèn)知金融企業(yè)產(chǎn)品研發(fā)市場活動企業(yè)營銷行業(yè)生態(tài)企業(yè)合作市場營銷用戶傾聽用戶畫像用戶分類營銷創(chuàng)新指數(shù)創(chuàng)新產(chǎn)品市場感知策略研究用戶開展數(shù)據(jù)共享聯(lián)合創(chuàng)新數(shù)據(jù)生態(tài)互聯(lián)經(jīng)濟(jì)造就了“大數(shù)據(jù)”時代，惟有那些在數(shù)據(jù)獲取、形成洞察力和將洞察力轉(zhuǎn)化為行動方面表現(xiàn)優(yōu)秀的企業(yè)才能有持