大數(shù)據(jù)量交叉證認算法研究課件

高丹中國虛擬天文臺研發(fā)團隊ChineseVirtualObservatory

大數(shù)據(jù)量交叉證認算法研究大數(shù)據(jù)量交叉證認算法研究-LAMOST內容星表介紹交叉證認的意義現(xiàn)有的交叉證認工具交叉證認概念交叉證認方法比較B-tree索引HTM索引HTM索引分區(qū)+kdtree進一步工作11/29-12/032大數(shù)據(jù)量交叉證認算法研究-LAMOST星表星表是包含天體信息（如赤經、赤緯、星等、流量）的二維數(shù)據(jù)表格多波段：光學、紅外、射電、X射線等星表的每一行對應一個天體，不同星表的同一天體的共同屬性是位置信息赤經：0~360度赤緯：-90~90度11/29-12/033大數(shù)據(jù)量交叉證認算法研究-LAMOST星表實例11/29-12/034大數(shù)據(jù)量交叉證認算法研究-LAMOST交叉證認的必要性多波段數(shù)據(jù)急劇增長革命性步驟：數(shù)據(jù)融合聯(lián)系橋梁：位置交叉證認11/29-12/035大數(shù)據(jù)量交叉證認算法研究-LAMOST交叉證認的意義多波段數(shù)據(jù)融合，獲得天體多波段信息對天體的物理性質、演化規(guī)律獲得更全面系統(tǒng)的認識為進一步的統(tǒng)計分析、數(shù)據(jù)挖掘做準備提取天體的參數(shù)越多，越有利于天體分類和測光紅移的計算增加了發(fā)現(xiàn)新天體的概率LAMOST三大核心子課題之一虛擬天文臺數(shù)據(jù)融合必由之路11/29-12/036大數(shù)據(jù)量交叉證認算法研究-LAMOST現(xiàn)有的交叉證認工具SIMBADALADINNEDMASTTOPCATOpenSkyqueryGVO-cross-match11/29-12/037大數(shù)據(jù)量交叉證認算法研究-LAMOST現(xiàn)有工具的優(yōu)缺點 優(yōu)點：界面友好數(shù)據(jù)資源豐富缺點：不能進行大樣本的交叉證認參數(shù)不能自由選擇交叉證認結果需要用戶進一步加工沒有對結果進行分類沒給出交叉證認的概率只能與特定的數(shù)據(jù)交叉證認11/29-12/038大數(shù)據(jù)量交叉證認算法研究-LAMOST交叉證認的概念將不同星表或數(shù)據(jù)庫中的源按位置屬性將它們聯(lián)系起來，在相同位置的源或一定誤差半徑范圍內的源，被證認為是同一天體。11/29-12/039大數(shù)據(jù)量交叉證認算法研究-LAMOST證認的判斷方法有兩個源分別在星表a、b中，它們的誤差半徑分別為r1，r2，它們的之間的球面距離為d。如果它們的關系滿足，則認為它們是同一天體。（1）11/29-12/0310大數(shù)據(jù)量交叉證認算法研究-LAMOST證認的判斷方法（例子）2MASS：r1=0.1ra=357.661036243116,decl=0.434507548194SDSS：r2=0.1ra=357.661059,decl=0.434484d：0.1兩個源滿足(1)式，被證認為同一個天體11/29-12/0311大數(shù)據(jù)量交叉證認算法研究-LAMOST索引Indexingmechanismsusedtospeedupaccesstodesireddata.11/29-12/0312大數(shù)據(jù)量交叉證認算法研究-LAMOSTB-tree索引的交叉證認為星表的ra，decl兩列建B-tree索引以小表為中心，在大表中遍歷尋找證認源以(1)式為判斷算法復雜度O(N*N)11/29-12/0313大數(shù)據(jù)量交叉證認算法研究-LAMOSTB-tree索引的交叉證認（續(xù)）11/29-12/0314大數(shù)據(jù)量交叉證認算法研究-LAMOSTB-tree索引方法優(yōu)缺點優(yōu)點：證認精度高缺點：內存限制，索引不好速度慢，算法復雜度高11/29-12/0315大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTMTheSpatialIndexisaquadtreeofsphericaltriangles.Thetreeisbuiltinthefollowingway:Startoutwith8trianglesonthesphereusingthe3maincirclestodeterminethem.Then,everytrianglecanbedecomposedinto4newtrianglesbydrawingmaincirclesbetweenmidpointsofitsedges11/29-12/0316大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTMpcodera=45.0,decl=66.0,level=14N300311/29-12/0317大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTMlevelLevelArea(arcmin^2)NumLeaves101.77E18,388,608111.43E033,554,432121.11E0134,217,728132.77E-1536,870,912146.92E-22,147,483,648151.73E-28,589,934,592201.69E-58,796,093,022,208251.65E-89,007,199,254,740,92211/29-12/0318大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTM索引的交叉證認由星表的精度選取一定的HTM級數(shù)由星表的ra,decl計算出HTMpcode值兩個B-tree索引一個空間索引N*N遍歷自然連接省去(1)式判斷，要求兩個星表級數(shù)一樣，即精度差不多11/29-12/0319大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTM索引的交叉證認（續(xù)）11/29-12/0320大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTM索引方法優(yōu)缺點優(yōu)點：索引好，空間索引解決了內存限制問題缺點：速度慢，沒有解決算法復雜度問題認證精度低漏源概率高大量一對多、多對一混雜要求兩個表精度差不多11/29-12/0321大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTM索引分區(qū)+kdtree的交叉證認以小表為中心，把HTM索引當作分區(qū)對每個分區(qū)的大表，把ra、decl作為參數(shù)建kdtree對每個分區(qū)內的每個源，在kdtree中找最近鄰用(1)式證認判斷HTM級數(shù)比星表精度低，漏源可能性小11/29-12/0322大數(shù)據(jù)量交叉證認算法研究-LAMOSTHTM索引分區(qū)+kdtree方法優(yōu)缺點優(yōu)點：索引好，空間索引解決了內存限制問題分區(qū)，算法復雜度降低，速度快證認精度高缺點：HTM級數(shù)難確定11/29-12/0323大數(shù)據(jù)量交叉證認算法研究-LAMOST進一步工作進一步改進和優(yōu)化算法嘗試其他索引算法，如HEALpix優(yōu)化交叉證認界面實現(xiàn)參數(shù)自由選擇和加工計算證認的概率提供與上層的數(shù)據(jù)挖掘和可視化工具的接口集成