矩陣略圖與流數(shù)據(jù)機(jī)器學(xué)習(xí)

上傳人：逗*** IP屬地：寧夏上傳時(shí)間：2024-12-22 格式：PPTX 頁(yè)數(shù)：103 大?。?.06MB 積分：15 舉報(bào) 版權(quán)申訴

矩陣略圖與流數(shù)據(jù)機(jī)器學(xué)習(xí)_第2頁(yè)

矩陣略圖與流數(shù)據(jù)機(jī)器學(xué)習(xí)_第3頁(yè)

矩陣略圖與流數(shù)據(jù)機(jī)器學(xué)習(xí)_第4頁(yè)

矩陣略圖與流數(shù)據(jù)機(jī)器學(xué)習(xí)_第5頁(yè)

已閱讀5頁(yè)，還剩98頁(yè)未讀，繼續(xù)免費(fèi)閱讀

版權(quán)說(shuō)明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

矩陣略圖與流數(shù)據(jù)機(jī)器學(xué)習(xí)報(bào)告提綱流數(shù)據(jù)計(jì)算與學(xué)習(xí)背景介紹FrequentDirections(FD)矩陣略圖算法簡(jiǎn)介OurWorks滑動(dòng)窗口上的最優(yōu)矩陣略圖算法矩陣略圖加速老虎機(jī)的通用框架總結(jié)與展望數(shù)據(jù)流模型數(shù)據(jù)流是一個(gè)由海量數(shù)據(jù)組成的數(shù)據(jù)序列SinglePass:每個(gè)數(shù)據(jù)最多訪問一次SmallSpace:存儲(chǔ)空間非常小Smalltime:更新(插入刪除)速度快CPU內(nèi)存：數(shù)據(jù)摘要回答近似查詢頻繁項(xiàng)有哪些/數(shù)據(jù)分布是什么/Top-K是什么？流式機(jī)器學(xué)習(xí)StreamEfficientLearning(LearnabilitywithTime-SharingComputationalResourceConcerns),

Zhi-hua

Zhou傳統(tǒng)機(jī)器學(xué)習(xí)流式機(jī)器學(xué)習(xí)數(shù)據(jù)特性基于預(yù)先給定的有限數(shù)據(jù)集處理潛在無(wú)限且不斷變化的數(shù)據(jù)流數(shù)據(jù)大小數(shù)據(jù)集大小已知，數(shù)據(jù)集包含所有數(shù)據(jù)數(shù)據(jù)流可能無(wú)限大，需要及時(shí)處理數(shù)據(jù)變化數(shù)據(jù)特征在數(shù)據(jù)集中已隱含，假設(shè)不變數(shù)據(jù)特征可能隨時(shí)間變化計(jì)算/存儲(chǔ)資源假設(shè)有足夠的資源處理所有數(shù)據(jù)有限的資源，需要及時(shí)處理數(shù)據(jù)學(xué)習(xí)策略通常采用離線學(xué)習(xí)策略需要近似的略圖算法和動(dòng)態(tài)調(diào)整策略Z.-H.Zhou,“LearnabilitywithTime-SharingComputationalResourceConcerns,”Aug.24,2024,arXiv:arXiv:2305.02217.Accessed:Oct.08,2024.[Online].Available:/abs/2305.02217流式機(jī)器學(xué)習(xí)StreamEfficientLearning(LearnabilitywithTime-SharingComputationalResourceConcerns),

Zhi-hua

Zhou計(jì)算/存儲(chǔ)資源受限潛在的

無(wú)限數(shù)據(jù)流流量變化

突發(fā)/空閑

分布變化流學(xué)習(xí)模型調(diào)度策略高效算子流式高效機(jī)器學(xué)習(xí)設(shè)計(jì)高效吞吐能力的流數(shù)據(jù)算法刻畫誤差與計(jì)算/存儲(chǔ)復(fù)雜度之間的理論關(guān)系依據(jù)數(shù)據(jù)流變化動(dòng)態(tài)分析需要使用的流數(shù)據(jù)算子自適應(yīng)地實(shí)現(xiàn)計(jì)算資源與近似精度的折中ML4Sketch&

Sketch4ML機(jī)器學(xué)習(xí)優(yōu)化的略圖算法(ML4Sketch)基于學(xué)習(xí)的頻率估計(jì)[Hsuetal.2019]基于學(xué)習(xí)的低秩近似[Indyketal.2019]基于學(xué)習(xí)的分位數(shù)估計(jì)[Schieferetal.2023]基于學(xué)習(xí)的子圖計(jì)數(shù)估計(jì)[Zhaoetal.2023]略圖算法優(yōu)化的機(jī)器學(xué)習(xí)(Sketch4ML)在線學(xué)習(xí)線性老虎機(jī)算法[Kuzborskijetal.2019,Yuetal.2017]在線梯度下降[Luoetal.2016]核學(xué)習(xí)增量略圖近似核矩陣[Zhangetal.2019]圖機(jī)器學(xué)習(xí)動(dòng)態(tài)圖上的異常檢測(cè)[Bhatiaetal.2023]本次報(bào)告聚焦數(shù)據(jù)流上的矩陣略圖算法及其在流式機(jī)器學(xué)習(xí)上的應(yīng)用矩陣近似問題

矩陣近似問題

矩陣近似問題…

…

矩陣略圖(Matrix

Sketch)相關(guān)工作FrequentDirections(FD)Sketch[Liberty,KDD’13,BestPaper]

LM-FD&DI-FDSketch[Weietal.,SIGMOD’16]

SparseFDSketch[Huang,ICML’18,BestPaperrunnerup]滑動(dòng)窗口上的矩陣略圖算法數(shù)據(jù)流上的矩陣略圖算法稀疏向量流上的矩陣略圖算法可持久化的矩陣略圖算法FDATTP&FDBITPSketch[Shietal.,SIGMOD’21]滑動(dòng)窗口上的最優(yōu)矩陣略圖算法DS-FDSketch[Yinetal.,VLDB’24,BestPaperNomination]

矩陣略圖在流式機(jī)器學(xué)習(xí)上的研究和應(yīng)用線性老虎機(jī)算法[Kuzborskijetal.,AISTATS’19][Chenetal.,IJCAI’20]

在線核學(xué)習(xí)[Zhangetal.,ICML’19]圖機(jī)器學(xué)習(xí)[Bhatiaetal.,KDD’23]報(bào)告提綱流數(shù)據(jù)計(jì)算與學(xué)習(xí)背景介紹FrequentDirections(FD)矩陣略圖算法簡(jiǎn)介OurWorks滑動(dòng)窗口上的最優(yōu)矩陣略圖算法矩陣略圖加速老虎機(jī)的通用框架總結(jié)與展望FD算法

FD算法

從頻率估計(jì)問題出發(fā)理解FD算法

CPUMemoryi1i1i2i5i9i1i1i9i7Nitemsi3頻率估計(jì)問題

CPUMemoryi1i1i2i5i9i1i1i9i3i7Nitems頻率估計(jì)問題

CPUMemoryi1i1i2i5i9i1i1i9i3i7NitemsMisra-Gries摘要（1982）

123456789

Demaine,Lopez-Ortiz與Munro(2002)Karp,Shenker與Papadimitriou(2003)

123456789

Demaine,Lopez-Ortiz與Munro(2002)Karp,Shenker與Papadimitriou(2003)Misra-Gries摘要（1982）