版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
關(guān)于矩陣低秩分解理論從稀疏表示到低秩分解稀疏表示壓縮感知(Compressedsensing)第2頁,共38頁,2024年2月25日,星期天從稀疏表示到低秩分解矩陣低秩分解矩陣低秩稀疏分解(Sparseandlow-rankmatrixdecomposition)低秩矩陣恢復(fù)(Low-rankMatrixRecovery)魯棒主成分分析(Robustprinciplecomponentanalysis,RPCA)低秩稀疏非相干分解(Rank-sparsityincoherence)observationlow-ranksparse第3頁,共38頁,2024年2月25日,星期天預(yù)備知識第4頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)(魯棒主成分分析RPCA)在許多實際應(yīng)用中,給定的數(shù)據(jù)矩陣D往往是低秩或近似低秩的,但存在隨機幅值任意大但是分布稀疏的誤差破壞了原有數(shù)據(jù)的低秩性,為了恢復(fù)矩陣D的低秩結(jié)構(gòu),可將矩陣D分解為兩個矩陣之和,即D=A+E,其中矩陣A和E未知,但A是低秩的。當矩陣E的元素服從獨立同分布的高斯分布時,可用經(jīng)典的PCA來獲得最優(yōu)的矩陣A,即求解下列最優(yōu)化問題:
當E為稀疏的大噪聲矩陣時,問題轉(zhuǎn)化為雙目標優(yōu)化問題:
引入折中因子λ,將雙目標優(yōu)化問題轉(zhuǎn)換為單目標優(yōu)化問題:第5頁,共38頁,2024年2月25日,星期天RPCA的求解凸松弛NP難問題松弛后矩陣核范數(shù)第6頁,共38頁,2024年2月25日,星期天迭代閾值算法(iterativethresholding,IT)將最優(yōu)化問題正則化,便得到優(yōu)化問題:優(yōu)化問題式的拉格朗日函數(shù)為使用迭代閾值算法交替更新矩陣A,E和Y。當E=Ek,Y=Yk時,當A=Ak+1,Y=Yk時,當A=Ak+1
,E=Ek+1時,其中:步長δk滿足0<δk
<1IT算法的迭代式形式簡單且收斂,但它的收斂速度比較慢,且難以選取合適的步長第7頁,共38頁,2024年2月25日,星期天加速近端梯度算法(acceleratedproximalgradient,APG)將優(yōu)化問題式的等式約束松弛到目標函數(shù)中,得到如下的拉格朗日函數(shù):記于是L(A,E,μ)=g(A,E,μ)+f(A,E)。函數(shù)g(A,E,μ)不可微,而f(A,E)光滑且具有李普希茲連續(xù)梯度,即存在Lf>0,使得其中:表示函數(shù)f(A,E)關(guān)于矩陣變量A和E的Fréchet梯度。此處取Lf=2。對于給定的與D同型的兩個矩陣YA和YE,作L(A,E,μ)的部分二次逼近:第8頁,共38頁,2024年2月25日,星期天加速近端梯度算法(acceleratedproximalgradient,APG)為了得到更新YA和YE時的步長,需先確定參數(shù)tk+1:于是YA和YE的迭代更新公式為:參數(shù)μ的迭代公式為其中:為事先給定的正數(shù);0<η<1。盡管APG與IT算法類似,但它卻大大降低了迭代次數(shù)。第9頁,共38頁,2024年2月25日,星期天由于核范數(shù)的對偶范數(shù)為譜范數(shù),所以優(yōu)化問題的對偶問題為:其中:表示矩陣元素絕對值最大的值。當優(yōu)化問題對偶式取得最優(yōu)值時,必定滿足即此優(yōu)化問題等價于:上述優(yōu)化問題是非線性、非光滑的,可以使用最速上升法求解。當時,定義正規(guī)錐其中表示函數(shù)J(.)的次梯度。此時,優(yōu)化問題的最速上升方向為Wk=D-Dk,其中Dk為D在N(Yk)上的投影。使用線性搜索方法確定步長大?。河谑牵賙的更新過程為DULL比APG算法具有更好的可擴展性,這是因為在每次迭代過程中對偶方法不需要矩陣的完全奇異值分解。對偶方法(DUL)第10頁,共38頁,2024年2月25日,星期天增廣拉格朗日乘子法(augmentedLagrangemultipliers,ALM)構(gòu)造增廣拉格朗日函數(shù):當Y=Yk,μ=μk
,使用交替式方法求解塊優(yōu)化問題
minA,EL(A,E,Yk,μk)。使用精確拉格朗日乘子法交替迭代矩陣A和E,直到滿足終止條件為止。若則第11頁,共38頁,2024年2月25日,星期天再更新矩陣E:記分別收斂于,則矩陣Y的更新公式為最后更新參數(shù)μ:其中:ρ>1為常數(shù);ε>0為比較小的正數(shù)。第12頁,共38頁,2024年2月25日,星期天交替方向方法(alternatingdirectionmethods,ADM,IALM)ADM對ALM做了改善,即不精確拉格朗日乘子法(inexactALM它不需要求的精確解,即矩陣A和E的迭代更新公式為:第13頁,共38頁,2024年2月25日,星期天求解方法性能比較第14頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用圖像恢復(fù)第15頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用圖像去光照影響恢復(fù)第16頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用視頻背景建模Candès,Li,Ma,andW.,JACM,May2011.第17頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用圖像類別標簽凈化第18頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用文本主題分析傳統(tǒng)PCARPCA第19頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用音樂詞曲分離第20頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用圖像矯正與去噪第21頁,共38頁,2024年2月25日,星期天低秩矩陣恢復(fù)應(yīng)用圖像對齊第22頁,共38頁,2024年2月25日,星期天低秩矩陣補全當數(shù)據(jù)矩陣D含丟失元素時,可根據(jù)矩陣的低秩結(jié)構(gòu)來恢復(fù)矩陣的所有元素,稱此恢復(fù)過程為矩陣補全(MC)。記Ω為集合[m]×[n]的子集,這里[m]表示集合{1,2,…,m}。MC的原始模型可描述為如下的優(yōu)化問題:其中:為一線性投影算子,即為便于優(yōu)化,凸松弛后轉(zhuǎn)化為:第23頁,共38頁,2024年2月25日,星期天低秩矩陣補全求解MC問題可應(yīng)用ALM算法求解,將原優(yōu)化問題重新表示為:于是構(gòu)造上述問題的部分增廣拉格朗日函數(shù)為第24頁,共38頁,2024年2月25日,星期天低秩矩陣補全應(yīng)用智能推薦系統(tǒng)第25頁,共38頁,2024年2月25日,星期天低秩矩陣補全應(yīng)用電影去雨線處理第26頁,共38頁,2024年2月25日,星期天低秩矩陣表示(LRR)低秩矩陣表示(LRR)是將數(shù)據(jù)集矩陣D表示成字典矩陣B(也稱為基矩陣)下的線性組合,即D=BZ,并希望線性組合系數(shù)矩陣Z是低秩的。為此,需要求解下列優(yōu)化問題:為便于優(yōu)化,凸松弛后轉(zhuǎn)化為:若選取數(shù)據(jù)集D本身作為字典,則有那么其解為,這里是D的SVD分解。當D是從多個獨立子空間的采樣組合,那么為對角塊矩陣,每個塊對應(yīng)著一個子空間。此即為子空間聚類(SparseSubspaceClustering)。第27頁,共38頁,2024年2月25日,星期天低秩矩陣表示(LRR)為了對噪聲和野點更加魯棒,一個更合理的模型為:一般意義上的LRR可以看做:第28頁,共38頁,2024年2月25日,星期天低秩矩陣表示求解構(gòu)造上述優(yōu)化問題的增廣拉格朗日乘子函數(shù)為當時,X的更新公式為Z的更新公式為E的更新公式為拉格朗日乘子的迭代公式為參數(shù)μ的更新式為第29頁,共38頁,2024年2月25日,星期天低秩矩陣表示的應(yīng)用圖像分割B.Chengetal.Multi-taskLow-rankAffinityPursuitforImageSegmentation,ICCV2011.第30頁,共38頁,2024年2月25日,星期天低秩矩陣表示的應(yīng)用顯著性檢測Langetal.SaliencyDetectionbyMultitaskSparsityPursuit.IEEETIP2012.
第31頁,共38頁,2024年2月25日,星期天低秩矩陣表示新近的發(fā)展研究LatentLRRLiuandYan.LatentLow-RankRepresentationforSubspaceSegmentationandFeatureExtraction,ICCV2011.
第32頁,共38頁,2024年2月25日,星期天低秩矩陣表示新近的發(fā)展研究FixedRankRepresentation(FRR)Liu,Lin,Torre,andSu,Fixed-RankRepresentationforUnsupervisedVisualLearning,CVPR2012.
第33頁,共38頁,2024年2月25日,星期天低秩矩陣表示新近的發(fā)展研究KernelLRRWangetal.,StructuralSimilarityandDistanceinLearning,AnnualAllertonConf.Communication,ControlandComputing2011.第
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度木材運輸碳排放交易合作合同4篇
- 2025年度個人藝術(shù)品投資收藏合同4篇
- 吉林省長春市凈月實驗中學(xué)2024-2025學(xué)年九年級上學(xué)期期末化學(xué)試題(含答案)
- 園區(qū)物業(yè)服務(wù)質(zhì)量提升考核試卷
- 2025版微信公眾號內(nèi)容版權(quán)授權(quán)與運營維護服務(wù)合同3篇
- 原材料卸車作業(yè)中安全生產(chǎn)獎勵制度合同3篇
- 2025年代理經(jīng)銷銷售合同
- 2025年農(nóng)產(chǎn)品合同模板
- 2025年合資合約示范
- 二零二五年度貴州事業(yè)單位合同制工人聘用協(xié)議3篇
- 2025水利云播五大員考試題庫(含答案)
- 中藥飲片驗收培訓(xùn)
- 手術(shù)室??谱o士工作總結(jié)匯報
- DB34T 1831-2013 油菜收獲與秸稈粉碎機械化聯(lián)合作業(yè)技術(shù)規(guī)范
- 創(chuàng)傷處理理論知識考核試題及答案
- 2019級水電站動力設(shè)備專業(yè)三年制人才培養(yǎng)方案
- 肝素誘導(dǎo)的血小板減少癥培訓(xùn)課件
- 抖音認證承諾函
- 高等數(shù)學(xué)(第二版)
- 四合一體系基礎(chǔ)知識培訓(xùn)課件
- ICD-9-CM-3手術(shù)與操作國家臨床版亞目表
評論
0/150
提交評論