深度學(xué)習(xí)與圖像處理實(shí)戰(zhàn)-神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)深度學(xué)習(xí)與圖像處理實(shí)戰(zhàn)知識要點(diǎn)3.1矩陣3.1.1矩陣定義3.1.2矩陣加法3.1.3矩陣乘法3.1.4矩陣的轉(zhuǎn)置3.1.5矩陣的逆3.2隨機(jī)變量及概率分布3.2.1隨機(jī)變量定義3.2.2離散型隨機(jī)變量的概率分布3.2.3連續(xù)型隨機(jī)變量及其概率密度函數(shù)目錄3.1矩陣線性代數(shù)提供了一種緊湊的表示和操作線性方程組的方法。例如，以下方程組：3.1.1矩陣定義由

個數(shù)

按照一定順序排成的m行n列的矩形數(shù)表，稱為

矩陣，矩陣用大寫英文字母表示，如矩陣A可以記作：其中aij為位于矩陣A中的第i行第j列的元素，例如，第1行第1列的元素是a11。矩陣A有m行n列，可以記為Amxn。3.1矩陣矩陣的維度即行數(shù)×列數(shù)。例如，下面這個矩陣A是4×2矩陣，即4行2列矩陣。行數(shù)和列數(shù)相等的矩陣稱為n階矩陣或n階方陣。例如，下面這個矩陣B是2階方陣，即2行2列矩陣。3.1矩陣向量X是4維行向量，也就是X的維度是1×4。行數(shù)為m、列數(shù)為1的矩陣稱為列矩陣或者列向量，列矩陣示例如下。向量X是4維列向量，也就是X的維度是4×1。向量是一種特殊的矩陣，行數(shù)為1的向量稱為行向量，列數(shù)為1的向量稱為列向量。行數(shù)為1、列數(shù)為n的矩陣稱為行矩陣或者行向量，行矩陣示例如下。3.1矩陣3.1.2矩陣加法若矩陣A和矩陣B的行數(shù)和列數(shù)都相等，則矩陣A和B可以做加法運(yùn)算，否則不能做加法運(yùn)算。矩陣

，矩陣A和B都是m行n列，則

是矩陣A和B的和，記為C=A+B，即：由于加法滿足交換律和結(jié)合律，因此A+B=B+A成立。3.1矩陣矩陣的運(yùn)算都可以通過Python的第三方庫NumPy來完成，在使用NumPy之前，需要使用conda或者pip完成NumPy安裝。具體安裝NumPy的方法有兩種，如下。condainstallnumpy#使用conda安裝pipinstallnumpy #使用pip安裝【案例】3.1矩陣NumPy是Python的一種開源的數(shù)值計算擴(kuò)展工具。這種工具可用來存儲和處理大型矩陣，比Python自身的嵌套列表結(jié)構(gòu)要高效得多，其支持大量的維度數(shù)組與矩陣運(yùn)算。矩陣的加法和減法與代數(shù)中的符號一致，分別為“+”“-”，計算方法如下面代碼所示。importnumpyasnpx=np.array([[1,2],[3,4]])y=np.array([[2,2],[2,2]])m=x+yn=x-yprint(m,n)3.1矩陣3.1.3矩陣乘法數(shù)

與矩陣

的乘積為

，即：01OPTION常量-矩陣乘法數(shù)乘矩陣就是用數(shù)乘矩陣的每個元素。因此，常量和矩陣的每個元素相乘，相乘以后，矩陣的行列數(shù)不變，示例如下。3.1矩陣矩陣的加法和常量與矩陣的乘法合起來，統(tǒng)稱為矩陣的線性運(yùn)算，示例如下。將A和B相乘，乘積記為C=AB，即：02OPTION矩陣-向量乘法3.1矩陣根據(jù)矩陣和向量的乘法法則，m×n的矩陣乘n×1的向量，得到的是m×1的向量。

如：3×2的矩陣和2×1的向量相乘，最終得到3×1的向量。假設(shè)A是向量，B是矩陣，乘積C=AB，即：根據(jù)向量和矩陣的乘法法則，1×m的向量和m×n的矩陣相乘，得到的是1×n的向量，即：

1×2的向量和2×3的矩陣相乘，最終得到1×3的向量。3.1矩陣03OPTION矩陣-矩陣乘法矩陣和矩陣的乘法可以視為一組向量-向量乘法。設(shè)矩陣

，

，則它們的乘積AB等于矩陣，其中C的第i行第j列的元素等于A的第i行的元素和B的第j列的元素的外積的和，如下面的公式所示：矩陣A和矩陣B進(jìn)行乘法運(yùn)算時，A的列數(shù)必須和B的行數(shù)相同，即，否則，無法進(jìn)行乘法運(yùn)算。3.1矩陣矩陣乘法的幾個性質(zhì)。矩陣乘法滿足結(jié)合律：

矩陣乘法滿足分配律：矩陣通常是不可交換的:3.1矩陣04OPTION使用Python求矩陣的數(shù)乘、矩陣和矩陣的乘法在NumPy中，使用np.dot(a,b)完成矩陣a和矩陣b的乘法運(yùn)算，*和np.multiply是按照矩陣中對應(yīng)位置的元素進(jìn)行相乘的。具體代碼如下。importnumpyasnpa=[[1,2],[3,4]]b=[[2,2],[2,2]]a=np.array(a)b=np.array(b)#數(shù)乘>>>3*aarray([[3,6],[9,12]])#矩陣和矩陣的乘法>>>np.dot(a,b)array([[6,6],[14,14]])#矩陣按位相乘>>>a*barray([[2,4],[6,8]])>>>np.multiply(a,b)array([[2,4],[6,8]])3.1矩陣3.1.4矩陣定義將其對應(yīng)的行和列互換位置，得到一個n×m的新矩陣，即：設(shè)m×n矩陣（m行n列）：3.1矩陣稱為矩陣A的轉(zhuǎn)置矩陣，記為AT。從上面的定義可以看出，A的轉(zhuǎn)置為這樣一個n×m矩陣B，B的第j行第i列元素是A的第i行第j列元素，記為AT=B。直觀來看，將A的所有元素都按照行列數(shù)進(jìn)行位置調(diào)換，即得到轉(zhuǎn)置矩陣B，如下：A和B是矩陣，K是常數(shù)，則矩陣的轉(zhuǎn)置基本性質(zhì)如下：3.1矩陣這些性質(zhì)比較容易驗(yàn)證，具體的推導(dǎo)過程本書略過，有興趣的讀者可以根據(jù)矩陣的相關(guān)定義進(jìn)行證明。下面介紹用Python求矩陣的轉(zhuǎn)置。矩陣的轉(zhuǎn)置操作在NumPy中使用運(yùn)算符號“T”表示，具體代碼如下。importnumpyasnpa=np.array([[1,2],[3,4]])print(a.T)3.1矩陣3.1.5矩陣的逆在定義矩陣的逆之前，先介紹一下單位矩陣E，主對角線上元素都為1的n階對角矩陣如下：如果矩陣A是一個n階方陣（行和列都等于n的矩陣），存在一個n階方陣B，使AB=BA=E，則稱矩陣A可逆，矩陣B為矩陣A的逆矩陣，簡稱逆陣。如果方陣A可逆，則A的逆陣是唯一的，推理過程如下。假設(shè)B和C都是A的逆陣，則AB=BA=E，AC=CA=E，繼而則B=BE=B(AC)=(BA)C=EC=C，也就是B=C。通常方陣A的逆陣記為A-1，AA-1=A-1A=E。3.1矩陣下面介紹用Python求矩陣的逆。矩陣求逆的操作用inv函數(shù)，具體代碼如下。importnumpyasnpimportnumpy.linalgaslga=np.array([[1,2,3],[4,5,6],[7,8,9]])>>>lg.inv(a)array([[3.15251974e+15,-6.30503948e+15,3.15251974e+15],[-6.30503948e+15,1.26100790e+16,-6.30503948e+15],[3.15251974e+15,-6.30503948e+15,3.15251974e+15]])3.2隨機(jī)變量及概率分布3.2.1矩陣定義隨機(jī)變量的定義：設(shè)e表示一次隨機(jī)試驗(yàn)的結(jié)果，隨機(jī)試驗(yàn)的樣本空間為，為定義在樣本空間上的實(shí)值單值函數(shù)，則稱為隨機(jī)變量。這樣一來，樣本空間可以很好地映射到一系列的實(shí)值上，方便了接下來對各種性質(zhì)的討論。隨機(jī)變量可以分為離散型隨機(jī)變量和非離散型隨機(jī)變量，其中非離散型隨機(jī)變量主要以連續(xù)型隨機(jī)變量為主。3.2隨機(jī)變量及概率分布隨機(jī)變量可能取到的值是有限的，例如

，x只能取集合{1,2,3}中的值。01OPTION離散型隨機(jī)變量

隨機(jī)變量可能取到的值是無限的，例如

，x的取值是一個連續(xù)的范圍。假設(shè)

是一個隨機(jī)變量，表示放射性粒子衰變所需的時間。在這種情況下，

具有無限多的可能值，因此它是連續(xù)型隨機(jī)變量。這里將x在兩個實(shí)常數(shù)a和b之間的取值概率（其中

）表示為：02OPTION連續(xù)型隨機(jī)變量3.2隨機(jī)變量及概率分布定義：設(shè)X是一個隨機(jī)變量，x是任意實(shí)數(shù)，函數(shù)

為X分布函數(shù)，有時也記為

03OPTION分布函數(shù)因此，若已知X分布函數(shù)，就可以知道X落在任意區(qū)間上的概率。從這個意義上說，分布函數(shù)完整地描述了隨機(jī)變量的統(tǒng)計規(guī)律性。如果將x看成數(shù)軸上隨機(jī)點(diǎn)的坐標(biāo)，那么分布函數(shù)在處的函數(shù)值就表示X落在區(qū)間上的概率。3.2隨機(jī)變量及概率分布3.2.2離散型隨機(jī)變量的概率分布對于離散型隨機(jī)變量X，可以取的值有X1,X2,…,Xn，對應(yīng)的概率為P(X1),P(X2),…,P(Xn)。伯努利分布又稱為0-1分布。伯努利試驗(yàn)是只有兩種可能結(jié)果的單次隨機(jī)試驗(yàn)，即對于一個隨機(jī)變量而言，它只有兩種結(jié)果。例如，硬幣拋出正面的概率為P（其中），如果拋出正面，則為1，否則為0，這就是一個典型的伯努利分布，可表示為：01OPTION伯努利分布3.2隨機(jī)變量及概率分布伯努利分布的Python實(shí)現(xiàn)如下。#數(shù)組模塊導(dǎo)入importnumpyasnp#統(tǒng)計計算模塊導(dǎo)入fromscipyimportstats#繪圖模塊導(dǎo)入importmatplotlib.pyplotasplt#（1）定義隨機(jī)變量：拋1次硬幣，0代表失敗，即反面朝上；1代表成功，即正面朝上X=np.arange(0,2,1)>>>Xarray([0,1])#（2）求對應(yīng)分布的概率：概率質(zhì)量函數(shù)（ProbabilityMassFunction，PMF）#硬幣正面朝上的概率p=0.5pList=stats.bernoulli.pmf(X,p)>>>pListarray([0.5,0.5])3.2隨機(jī)變量及概率分布#（3）繪圖#用來正常顯示中文標(biāo)簽plt.rcParams['font.sans-serif']=['SimHei']#不需要將兩點(diǎn)相連plt.plot(X,pList,linestyle='None',marker='o')#繪制豎線，參數(shù)說明：plt.vlines(x坐標(biāo)值,y坐標(biāo)最小值,y坐標(biāo)最大值)plt.vlines(X,0,pList)plt.xlabel('隨機(jī)變量：拋1次硬幣結(jié)果為反面記為0，為正面記為1')plt.ylabel('概率值')plt.title('伯努利分布：p=%0.2f'%p)伯努利分布程序運(yùn)行結(jié)果3.2隨機(jī)變量及概率分布如果試驗(yàn)E是一個伯努利試驗(yàn)，將E獨(dú)立重復(fù)地進(jìn)行n次，則稱這一串重復(fù)的獨(dú)立試驗(yàn)為n重伯努利試驗(yàn)。二項(xiàng)分布是n重伯努利試驗(yàn)成功次數(shù)的離散概率分布。x表示拋出正面概率為P（其中0≤P≤1）的硬幣在n次獨(dú)立拋擲中出現(xiàn)正面的數(shù)量。02OPTION二項(xiàng)分布表示組合數(shù)二項(xiàng)分布的Python實(shí)現(xiàn)如下。#數(shù)組模塊導(dǎo)入importnumpyasnp#統(tǒng)計計算模塊導(dǎo)入fromscipyimportstats#繪圖模塊導(dǎo)入importmatplotlib.pyplotasplt#（1）定義隨機(jī)變量：拋5次硬幣，正面朝上的次數(shù)#做某件事的次數(shù)n=5#做成功某件事的概率p=0.5X=np.arange(0,n+1,1)>>>Xarray([0,1,2,3,4,5])3.2隨機(jī)變量及概率分布#（2）求對應(yīng)概率分布#參數(shù)含義為：n為試驗(yàn)次數(shù)，p為單次試驗(yàn)成功的概率pList=stats.binom.pmf(X,n,p)>>>pListarray([0.03125,0.15625,0.3125,0.3125,0.15625,0.03125])#（3）繪圖plt.rcParams['font.sans-serif']=['SimHei']plt.plot(X,pList,linestyle='None',marker='o')plt.vlines(X,0,pList)plt.xlabel('隨機(jī)變量：拋5次硬幣，正面朝上的次數(shù)')plt.ylabel('概率值')plt.title('二項(xiàng)分布：n=%i,p=%0.2f'%(n,p))plt.show()二項(xiàng)分布程序運(yùn)行結(jié)果3.2隨機(jī)變量及概率分布幾何分布與二項(xiàng)分布類似，也是由n重伯努利分布構(gòu)成的。隨機(jī)變量x表示第一次成功所進(jìn)行試驗(yàn)的次數(shù)，則隨機(jī)變量x的概率分布表示為：03OPTION幾何分布幾何分布的Python實(shí)現(xiàn)如下。#數(shù)組模塊導(dǎo)入importnumpyasnp#統(tǒng)計計算模塊導(dǎo)入fromscipyimportstats#繪圖模塊導(dǎo)入importmatplotlib.pyplotasplt#（1）定義隨機(jī)變量：首次成功所需次數(shù)k#做某件事的次數(shù)k=5#做成功某件事的概率p=0.6X=np.arange(1,k+1,1)#X#>>>#array([1,2,3,4,5])3.2隨機(jī)變量及概率分布#（2）求對應(yīng)分布的概率#參數(shù)含義為：pmf(第X次成功,單次試驗(yàn)成功概率為p)pList=stats.geom.pmf(X,p)#pList#>>>#array([0.6,0.24,0.096,0.0384,0.01536])#（3）繪圖plt.rcParams['font.sans-serif']=['SimHei']plt.plot(X,pList,linestyle='None',marker='o')plt.vlines(X,0,pList)plt.xlabel('隨機(jī)變量：表白k次才首次成功')plt.ylabel('概率值')plt.title('幾何分布：p=%0.2f'%p)plt.show()幾何分布程序運(yùn)行結(jié)果3.2隨機(jī)變量及概率分布3.2.3連續(xù)型隨機(jī)變量及其概率密度函數(shù)對于隨機(jī)變量X，其分布函數(shù)為F(x)，若存在一個非負(fù)的可積函數(shù)f(x)，使得對任意實(shí)數(shù)x，有：則稱X為連續(xù)型隨機(jī)變量。其中f(x)為X的概率分布密度函數(shù)，簡稱概率密度函數(shù)，記為X～f(x)。概率密度函數(shù)的積分，即函數(shù)f(x)與x軸圍成的面積，是隨機(jī)變量落入某一區(qū)間的概率圖

概率密度函數(shù)的積分3.2隨機(jī)變量及概率分布隨機(jī)變量落入(a,b)中任意等長度的子區(qū)間內(nèi)的可能性是相同的?；蛘哒f它落入(a,b)的概率只依賴于子區(qū)間內(nèi)的長度而與子區(qū)間的位置無關(guān)，表示為X～U(a,b)。01OPTION均勻分布'''均勻分布'''#數(shù)組模塊導(dǎo)入importnumpyasnp#統(tǒng)計計算模塊導(dǎo)入fromscipyimportstats#繪圖模塊導(dǎo)入importmatplotlib.pyplotasplt

#（1）定義隨機(jī)變量：-4到4之間的落點(diǎn)X=np.arange(-4,4,0.1)print(X)均勻分布的Python實(shí)現(xiàn)如下。3.2隨機(jī)變量及概率分布#（2）求對應(yīng)分布的概率#參數(shù)含義為：loc表示從-4開始，scale表示均勻分布的區(qū)間是8pList=stats.uniform.pdf(X,loc=-4,scale=8)print(pList)#（3）繪圖plt.rcParams['font.sans-serif']=['SimHei']#用來正常顯示負(fù)號plt.rcParams['axes.unicode_minus']=Falseplt.plot(X,pList,linestyle='-')#plt.vlines(X,pList,linestyle='-')plt.xlabel('隨機(jī)變量：-4到4之間的落點(diǎn)')plt.ylabel('概率值')plt.title('均勻分布')plt.show()均勻分布程序運(yùn)行結(jié)果3.2隨機(jī)變量及概率分布

是分布的一個參數(shù)，常被稱為率參數(shù)（RateParameter），即每單位時間內(nèi)發(fā)生某事件的次數(shù)。指數(shù)分布的區(qū)間是。如果一個隨機(jī)變量X呈指數(shù)分布，則可以寫成

。02OPTION指數(shù)分布'''指數(shù)分布'''#數(shù)組模塊導(dǎo)入importnumpyasnp#統(tǒng)計計算模塊導(dǎo)入fromscipyimportstats#繪圖模塊導(dǎo)入importmatplotlib.pyplotasplt#（1）定義隨機(jī)變量：從上次發(fā)車開始，等公交車的時間#公交車的時間間隔是10分鐘tau=10lam=1/tau#X=np.arange(0,80,0.1)print(X)指數(shù)分布的Python實(shí)現(xiàn)如下。3.2隨機(jī)變量及概率分布#（2）求對應(yīng)分布的概率#參數(shù)含義為：scale表示事件發(fā)生的時間間隔pList=stats.expon.pdf(X,scale=tau)print(pList)#（3）繪圖plt.rcParams['font.sans-serif']=['SimHei']plt.plot(X,pList,linestyle='-')#plt.vlines(X,pList,linestyle='-')plt.xlabel('隨機(jī)變量：從上次發(fā)車開始，等公交車的時間')plt.ylabel('概率值')plt.title('指數(shù)分布：lambda=%0.2f'%lam)