9-2-社會(huì)化數(shù)據(jù)的混合存儲(chǔ)和高效處理-任鑫琦

的混合存儲(chǔ)和高效處理謝擔(dān)任研發(fā)工作，后加入秒針系統(tǒng)負(fù)責(zé)明略，先后負(fù)責(zé)了NoahArk、 1社會(huì)化數(shù)據(jù)特點(diǎn) 2社會(huì)關(guān)系網(wǎng)絡(luò)的存儲(chǔ)架構(gòu) 3混合存儲(chǔ)體系的落地實(shí)踐“社會(huì)化數(shù)據(jù)”11“社會(huì)化媒體數(shù)據(jù)”22情報(bào)分析融反洗錢控制偷稅漏稅業(yè)內(nèi)審的數(shù)據(jù)難題如何做數(shù)據(jù)關(guān)聯(lián)分析？從業(yè)務(wù)視角看數(shù)據(jù)數(shù)據(jù)離散，價(jià)值低，從業(yè)務(wù)視角看數(shù)據(jù)數(shù)據(jù)離散，價(jià)值低，挖掘和變現(xiàn)能力難度大真正的大數(shù)據(jù)分析，全面系統(tǒng)包括挖掘，分析，關(guān)聯(lián)等的數(shù)據(jù)分析實(shí)現(xiàn)對(duì)于某一個(gè)人、某一件事或某一種社會(huì)狀態(tài)的現(xiàn)實(shí)態(tài)勢(shì)的聚焦，在時(shí)間序列上離散的、貌似各不相關(guān)的數(shù)據(jù)集合中，找到一種或多種與人的活動(dòng)、事件的發(fā)展以及社會(huì)的運(yùn)作有機(jī)聯(lián)系的連量量中會(huì)將不符合規(guī)則的數(shù)中會(huì)將不符合規(guī)則的數(shù)行刪除、修改，雖然符合了數(shù)據(jù)庫(kù)，然而這種操作的正變化時(shí)，接入-治理-表結(jié)構(gòu)--業(yè)務(wù)一系列功能SCHEMA?據(jù)據(jù)整理，通常無(wú)法有效處本型或日志型數(shù)據(jù)，造成大計(jì)分析等過(guò)程獨(dú)立到不同整理，通常無(wú)法有效處本型或日志型數(shù)據(jù)，造成大 1社會(huì)化數(shù)據(jù)特點(diǎn) 2社會(huì)化關(guān)系網(wǎng)絡(luò)的存儲(chǔ)架構(gòu) 3混合存儲(chǔ)體系的落地實(shí)踐冊(cè)話單冊(cè)話單息合 人型 手機(jī)人型車 錄車庫(kù)網(wǎng)庫(kù)網(wǎng)行籍庫(kù)住宿行知識(shí)工程事、地、物、組織弄清數(shù)據(jù)的本質(zhì)：概念—關(guān)聯(lián)—應(yīng)用—表示乘坐乘坐ZZ13車車廂號(hào)相同發(fā)到站相發(fā)到站相同鄰鄰座關(guān)聯(lián)同行人員E人員I人員人員I人員G人員G人員J人員A人員B人員J人員A人員B人員D人員C人員人員C人員Fsite圖引式圖Server 1社會(huì)化數(shù)據(jù)特點(diǎn) 2社會(huì)化關(guān)系網(wǎng)絡(luò)的存儲(chǔ)架構(gòu) 3混合存儲(chǔ)體系的落地實(shí)踐ApplicationLayerApplicationLayerRestfulRestfulAPIpServiceAdhocQueryeGraphProcessingElasticeGraphProcessingElasticSearchTitanTitanGraphDatabaseHBaseHBase趟過(guò)的坑(1)11?Titan使用鄰接表存儲(chǔ)點(diǎn)邊?邊經(jīng)過(guò)編碼后存儲(chǔ)和查找代價(jià)仍然很大?同類邊合并?原始信息使用其他存儲(chǔ)22?Titan對(duì)SuperNode有優(yōu)化，但效果不好?SuperNode標(biāo)記趟過(guò)的坑(2) 3多點(diǎn)查詢效率?TinkerPop?TitanMultiVertexQuery接口?根據(jù)場(chǎng)景特定優(yōu)化 4索引性能和靈活度?優(yōu)化相應(yīng)組件?復(fù)雜索引統(tǒng)一管理趟過(guò)的坑(355?并行導(dǎo)入=多進(jìn)程+多線程?劃分子圖,并行處理?打開(kāi)batch-loading，解決一致性問(wèn)題?優(yōu)化參數(shù)，提高效率?調(diào)優(yōu)底層存儲(chǔ)，如避免hotspotting等據(jù)性能個(gè)數(shù)/秒)OnYarnContainerG存明略數(shù)據(jù)關(guān)聯(lián)關(guān)系挖掘的大數(shù)據(jù)解決方案提供商以自主研發(fā)的安全大數(shù)據(jù)平臺(tái)MDP為基礎(chǔ)，圍繞數(shù)據(jù)關(guān)聯(lián)分析挖掘產(chǎn)品SCOPA和分布式數(shù)據(jù)挖掘系統(tǒng)DI，憑借明略大數(shù)據(jù)科學(xué)家豐富的多領(lǐng)域知識(shí)積累，實(shí)現(xiàn)明略獨(dú)特的挖掘復(fù)雜數(shù)據(jù)價(jià)值的能力，幫助政府、公安、稅務(wù)、金融機(jī)構(gòu)等客戶，在安全可靠的環(huán)境下，整理、分析、利用不同來(lái)源的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。核心理念在于，利用數(shù)據(jù)的連接性，挖掘數(shù)據(jù)間的關(guān)系，激