互聯(lián)網大數據庫

關于會議2014.1.8-北京-國家會議中心-大數據分會B關于會議關于會議關于會議新浪信息系統(tǒng)部高級數據挖掘經理李云輝新浪大數據處理微軟托管技術高級架構師王健籍CloudOS之力，鼓IDC云帆酷訊公司商業(yè)分析總負責人（BIleader）秦宇演講主題：大數據那些事阿里共享業(yè)務事業(yè)部數據挖掘專李傳福大規(guī)模用戶行為數據分析樂蜂網大數據平臺部高級經理羅萌樂蜂網大數據技術與應用百度加速樂資深安全顧問秦波web安全大數據IBM新興市場部大數據中心總監(jiān)王曉梅大數據時代下的新機會，新價值關于會議關于會議關于主題2013出門不提大數據感覺都不是IDC圈的人！“大家還沒搞清PC時代的時候，移動互聯(lián)網來了，

還沒搞清移動互聯(lián)網的時候，大數據時代來了。”

——馬云BD大數據是啥？BDBD,為何你如此的屌！定義大數據？大交易數據大交互數據大數據集成大數據處理OLTPOLAP；數據倉庫社交媒體數據其他如（設備）HADOOP數據特征數據量速度多樣性價值TB->PB以上GB->TB持續(xù)，年增長60%數據量穩(wěn)定，增長不快多維數據結構化數據為主數據挖掘，預測統(tǒng)計和報表傳統(tǒng)數據大數據“大數據”指數據集的大小超過了現有典型的數據庫軟件和工具的處理能力。于此同時，及時捕捉、存儲、聚合、管理這些大數據以及對數據的深度分析的新技術和新能力。正在快速增長，就像摩爾定律一樣。 ——mckinneyglobalinstitute用大智慧去匹配大數據，探索新的價值?！R超TB->PB以上GB->TB持續(xù)，年增長60%數據量穩(wěn)定，增長不快多維數據結構化數據為主數據挖掘，預測統(tǒng)計和報表左右未來的四大趨勢社交網絡將不僅包含個人員，也將包括設備，以及產品的公司期待2013年使用內部企業(yè)社交網絡應用移動應用程序下載首次超過PC銷售額的新開發(fā)應用將集成分析功能左右未來的四大趨勢數據價值華爾街根據民眾情緒拋售股票；對沖基金依據購物網站的顧客評論，分

析企業(yè)產品銷售狀況；銀行根據求職網站的崗位數量，推斷就業(yè)率；投資機構搜集并分析上市企業(yè)聲明，從中尋找破產的蛛絲馬跡；美國疾病控制和預防中心依據網民搜索，分析全球范圍內流感等病疫的傳播狀況；6.美國總統(tǒng)奧巴馬的競選團隊依據選民的微博，實時分析選民對總統(tǒng)競選人的喜好。對比傳統(tǒng)1.結構化、關系性2.小樣本3.因果4.非實時1.數據全集2.大樣本（全集）3.關聯(lián)4.實時要求傳統(tǒng)數據大數據先行者們用大數據的人們啊，你們在干啥？淘寶雙11350億哪里來？阿里巴巴應用業(yè)務系統(tǒng)離線建模任務提交調度管理數據源云梯業(yè)務系統(tǒng)在線數據天網調度數據挖掘服務器IDEGETWAY相似商品類目關聯(lián)相似店鋪用戶分群相似品牌購物周期品牌偏好價格偏好類目偏好店鋪偏好。。。搜索引擎推薦引擎投放系統(tǒng)。。。個性化LIST活動投放首頁搜索物流寶推薦。。。數據模型會員商家商品品牌物流會員分層體系會員誠信度評估用戶評價標簽年齡性別預測母嬰寶寶年齡預測用戶個性化偏好商家綜合排序商家成長指數商家誠信預警模型商家排序商品基本標簽商品質量評分關鍵屬性挖掘商品生命周期品牌分層模型品牌相識模型品牌排序模型品牌特性模型物流數據集市物流時效預測補貨模型分倉模型LBS模型數據集市基礎算法挖掘工具產品分析基礎支撐物流雷達350億！不容易！新浪大數據之路？全景圖用戶量大增長快產品多樣更新快海量數據處理能力hadoophbaseScribe\firehose需求量大變化快需求多樣計算復雜數據規(guī)范化易用化、擴展能力數據倉庫業(yè)務數據集市SLA服務標準數據獲取周期長分析需求撞墻數據開放、安全管理能力數據指數自助統(tǒng)計查詢數據校準管理業(yè)務多需穩(wěn)定計算實時性計算資源掌控能力資源管理調度系統(tǒng)實時計算數據穩(wěn)定性高數據口徑一致數據質量管理能力數據質量監(jiān)控異常返回分析元數據管理系統(tǒng)需求能力數據平臺建設路線服務體系數據倉庫hadoophbaseScribe\firehose調度系統(tǒng)監(jiān)控系統(tǒng)實時計算元數據管理系統(tǒng)分布式數據挖掘平臺hadoop優(yōu)化、hadoop2.0、數據分離高性能計算資源及數據管理各種主題倉庫數據倉庫各種主題倉庫第一階段第一階段第一階段面向普通用戶和企業(yè)用戶的實時查詢、統(tǒng)計分析系統(tǒng)各種服務體系應用案例分詞詞庫情感詞庫分詞算法博文分析基礎分組興趣元距離用戶關系基礎用戶樣本庫用戶基礎視圖用戶屬性基礎用戶成熟度用戶影響力用戶行為基礎重點用戶流量監(jiān)測外部競爭基礎口碑模型用戶興趣圖譜話題識別內容模型圈子屬性標簽用戶圈子發(fā)現社區(qū)地位判別關系模型用戶狀態(tài)識別商業(yè)賬號識別商業(yè)模型用戶流失預測推薦模型用戶運營模型多棲傾向發(fā)現競爭力模型競爭基礎輿情監(jiān)測微報告風聲墻微指數風云榜電影口碑六度人脈IBM我們準備好了，你們來買吧！IBM金融犯罪管理解決方案方案案例分析師利用現有案例分析歷史數據，找出規(guī)律。業(yè)務規(guī)則分析師分解規(guī)則調查員使用IBM的ODMODM接受業(yè)務事件并執(zhí)行事件規(guī)則判斷，過來可以欺詐交易給規(guī)則引擎處理對于ODM規(guī)則引擎評分超過一定