張量分解學(xué)習(xí)

關(guān)于張量分解學(xué)習(xí)第一頁，共四十七頁，2022年，8月28日2基本概念及記號第二頁，共四十七頁，2022年，8月28日3張量（tensor）多維數(shù)組基本概念及記號一階張量（向量）二階張量（矩陣）三階張量第三頁，共四十七頁，2022年，8月28日4張量空間由若干個向量空間中的基底的外積張成的空間基本概念及記號向量的外積和內(nèi)積第四頁，共四十七頁，2022年，8月28日5階（order/ways/modes/rank）張成所屬張量空間的向量空間的個數(shù)一階張量（向量）：二階張量（矩陣）：三階或更高階張量：零階張量（數(shù)量）：基本概念及記號三階張量：第五頁，共四十七頁，2022年，8月28日6纖維（fiber）基本概念及記號mode-1（列）纖維：

mode-2（行）纖維：

mode-3（管）纖維：第六頁，共四十七頁，2022年，8月28日7切片（slice）基本概念及記號水平切片：

側(cè)面切片：

正面切片：

第七頁，共四十七頁，2022年，8月28日8內(nèi)積和范數(shù)設(shè)

內(nèi)積：

（Frobenius）范數(shù)：基本概念及記號第八頁，共四十七頁，2022年，8月28日9秩一張量/可合張量N階張量是一個秩一張量，如果它能被寫成N個向量的外積，即基本概念及記號三階秩一張量：第九頁，共四十七頁，2022年，8月28日10（超）對稱和（超）對角立方張量：各個mode的長度相等對稱：一個立方張量是對稱的，如果其元素在下標(biāo)的任意排列下是常數(shù)。如一個三階立方張量是超對稱的，如果對角：僅當(dāng)時，基本概念及記號張量的（超）對角線第十頁，共四十七頁，2022年，8月28日11展開（matricization/unfolding/flattening）將N階張量沿mode-n展開成一個矩陣基本概念及記號三階張量的mode-1展開第十一頁，共四十七頁，2022年，8月28日12n-mode（矩陣）乘積一個張量和一個矩陣的n-mode乘積，其元素定義為這個定義可以寫成沿mode-n展開的形式性質(zhì)：基本概念及記號第十二頁，共四十七頁，2022年，8月28日13n-mode（向量）乘積一個張量和一個向量的n-mode乘積，其元素定義為性質(zhì)：基本概念及記號第十三頁，共四十七頁，2022年，8月28日14矩陣的Kronecker乘積

，則性質(zhì)：基本概念及記號第十四頁，共四十七頁，2022年，8月28日15矩陣的Kronecker乘積矩陣的Kronecker積還和張量和矩陣的n-mode乘積有如下關(guān)系基本概念及記號第十五頁，共四十七頁，2022年，8月28日16矩陣的Khatri-Rao乘積

，則性質(zhì)：基本概念及記號第十六頁，共四十七頁，2022年，8月28日17矩陣的Hadamard乘積

，則性質(zhì)：基本概念及記號第十七頁，共四十七頁，2022年，8月28日18CP分解第十八頁，共四十七頁，2022年，8月28日19CP分解的其他名字PolyadicFormofaTensor,Hitchcock,1927PARAFAC(ParallelFactors),Harshman,1970CANDECOMP/CAND(Canonicaldecomposition),Carroll&Chang,1970TopographicComponentsModel,M?cks,1988CP(CANDECOMP/PARAFAC),Kiers,2000CP分解第十九頁，共四十七頁，2022年，8月28日20CP分解的張量形式將一個張量表示成有限個秩一張量之和，比如一個三階張量可以分解為CP分解三階張量的CP分解第二十頁，共四十七頁，2022年，8月28日21CP分解的矩陣形式因子矩陣：秩一張量中對應(yīng)的向量組成的矩陣，如利用因子矩陣，一個三階張量的CP分解可以寫成展開形式CP分解第二十一頁，共四十七頁，2022年，8月28日22CP分解的切片形式三階張量的CP分解有時按（正面）切片寫成如下形式：

其中CP分解三階張量CP分解的正面切片形式第二十二頁，共四十七頁，2022年，8月28日23帶權(quán)CP分解為了計算方便，通常假設(shè)因子矩陣的列是單位長度的，從而需要引入一個權(quán)重向量，使CP分解變?yōu)閷τ诟唠A張量，有

其展開形式為CP分解第二十三頁，共四十七頁，2022年，8月28日24張量的秩和秩分解張量的秩定義為用秩一張量之和來精確表示所需要的秩一張量的最少個數(shù)，記為秩分解：

可見秩分解是一個特殊的CP分解，對應(yīng)于矩陣的SVD目前還沒有方法能夠直接求解一個任意給定張量的秩，這被證明是一個NP-hard問題

CP分解第二十四頁，共四十七頁，2022年，8月28日25張量的秩不同于矩陣的秩，高階張量的秩在實數(shù)域和復(fù)數(shù)域上不一定相同。例如一個三階張量

在實數(shù)域內(nèi)進行秩分解得到的因子矩陣為

而在復(fù)數(shù)域內(nèi)進行分解得到的因子矩陣為CP分解第二十五頁，共四十七頁，2022年，8月28日26張量的低秩近似相對于矩陣的SVD來說，高階張量的秩分解唯一性不需要正交性條件保證，只需滿足：

這里表示矩陣的k-秩：任意k列都線性無關(guān)的最大的kCP分解第二十六頁，共四十七頁，2022年，8月28日27張量的低秩近似然而在低秩近似方面，高階張量的性質(zhì)比矩陣SVD差Kolda給出了一個例子，一個立方張量的最佳秩-1近似并不包括在其最佳秩-2近似中，這說明張量的秩-k近似無法漸進地得到下面的例子說明，張量的“最佳”秩-k近似甚至不一定存在CP分解第二十七頁，共四十七頁，2022年，8月28日28張量的低秩近似退化：如果一個張量能夠被一系列的低秩張量任意逼近邊緣秩（borderrank）：能夠任意逼近一個張量的最少的成分個數(shù)CP分解秩2秩3一個秩為2的張量序列收斂到一個秩3張量第二十八頁，共四十七頁，2022年，8月28日29CP分解的計算分解成多少個秩一張量（成分）之和？通常的做法是從1開始嘗試，知道碰到一個“好”的結(jié)果為止如果有較強的應(yīng)用背景和先驗信息，可以預(yù)先指定對于給定的成分?jǐn)?shù)目，怎么求解CP分解？目前仍然沒有一個完美的解決方案從效果來看，交替最小二乘（AlternatingLeastSquare）是一類比較有效的算法CP分解第二十九頁，共四十七頁，2022年，8月28日30CP分解的計算以一個三階張量為例，假定成分個數(shù)已知，目標(biāo)為作為ALS的一個子問題，固定和，求解

得

再通過歸一化分別求出和CP分解第三十頁，共四十七頁，2022年，8月28日31CP分解的計算ALS算法并不能保證收斂到一個極小點，甚至不一定能收斂到穩(wěn)定點，它只能找到一個目標(biāo)函數(shù)不再下降的點算法的初始化可以是隨機的，也可以將因子矩陣初始化為對應(yīng)展開的奇異向量，如將初始化為的前個左奇異向量CP分解第三十一頁，共四十七頁，2022年，8月28日32CP分解的應(yīng)用計量心理學(xué)語音分析化學(xué)計量學(xué)獨立成分分析神經(jīng)科學(xué)數(shù)據(jù)挖掘高維算子近似隨即偏微分方程…………CP分解第三十二頁，共四十七頁，2022年，8月28日33Tucker分解第三十三頁，共四十七頁，2022年，8月28日34Tucker分解的其他名字Three-modefactoranalysis(3MFA/Tucker3),Tucker,1966Three-modeprincipalcomponentanalysis(3MPCA),Kroonenberg&DeLeeuw,1980N-modeprincipalcomponentsanalysis,Kapteynetal.,1986Higher-orderSVD(HOSVD),DeLathauweretal.,2000N-modeSVD,VasilescuandTerzopoulos,2002Tucker分解第三十四頁，共四十七頁，2022年，8月28日35Tucker分解Tucker分解是一種高階的主成分分析，它將一個張量表示成一個核心（core）張量沿每一個mode乘上一個矩陣。對于三階張量來說，其Tucker分解為因子矩陣通常是正交的，可以視為沿相應(yīng)mode的主成分Tucker分解第三十五頁，共四十七頁，2022年，8月28日36Tucker分解容易看出，CP分解是Tucker分解的一種特殊形式：如果核心張量是對角的，且，則Tucker分解就退化成了CP分解Tucker分解三階張量的Tucker分解第三十六頁，共四十七頁，2022年，8月28日37Tucker分解的矩陣形式三階Tucker分解的展開形式為Tucker分解可以推廣到高階張量Tucker分解第三十七頁，共四十七頁，2022年，8月28日38Tucker2和Tucker1對于三階張量固定一個因子矩陣為單位陣，就得到Tucker分解一個重要的特例：Tucker2。例如固定，則進一步，固定兩個因子矩陣，就得到了Tucker1，例如令第二、三個因子矩陣為單位陣，則Tucker分解就退化成了普通的PCATucker分解第三十八頁，共四十七頁，2022年，8月28日39張量的n-秩近似一個N階張量的n-秩定義為若設(shè)，則叫做一個秩-

張量如果，則很容易得到的一個精確秩-Tucker分解；然而如果至少有一個使得，則通過Tucker分解得到的就是的一個秩-近似Tucker分解第三十九頁，共四十七頁，2022年，8月28日40張量的n-秩近似Tucker分解截斷的Tucker分解：秩-近似第四十頁，共四十七頁，2022年，8月28日41張量的n-秩近似對于固定的n-秩，Tucker分解的唯一性不能保證，所以需要添加其他的約束通常要求核心張量是“簡單”的，如各個mode的主成分之間盡量不發(fā)生相互作用（稀疏性），或者其他的“簡單性”約束Tucker分解第四十一頁，共四十七頁，2022年，8月28日42Tucker分解的計算HOSVD：利用SVD對每個mode做一次Tucker1分解（截斷或者不截斷）HOSVD不能保證得到一個較好的近似，但HOSVD的結(jié)果可以作為一個其他迭代算法（如HOOI）的很好的初始解Tucker分解第四十二頁，共四十七頁，2022年，8月28日43Tucker分解的計算為了導(dǎo)出HOOI迭代算法，先考慮目標(biāo)函數(shù)從而應(yīng)該滿足Tucker分解第四十三頁，共四十七頁，2022年，8月28日44Tucker分解的計算目標(biāo)函數(shù)的平方變?yōu)門ucker分解第四十四頁，共