《機器學(xué)習(xí)-Python實戰(zhàn)（微課版）》課件 第二章 機器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)

第二章機器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)本章主要講述機器學(xué)習(xí)中相關(guān)的數(shù)學(xué)概念、包括線性代數(shù)，多元微積分及概率統(tǒng)計等相關(guān)知識。通過本節(jié)學(xué)習(xí)可以：熟悉機器學(xué)習(xí)中數(shù)學(xué)的用法熟悉機器學(xué)習(xí)中線性代數(shù)熟悉機器學(xué)習(xí)中多元微積分熟悉機器學(xué)習(xí)中概率與統(tǒng)計相關(guān)知識點學(xué)習(xí)目標(biāo)線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分在機器學(xué)習(xí)的科學(xué)研究與工程實踐中，經(jīng)常會遇到m*n線性方程組。它使用m個方程描述個n未知量之間的線性關(guān)系。這一線性方程組很容易用矩陣-向量形式簡記為：向量空間??1,??2,?,????線性相關(guān)

?至少有一個向量可以用其余向量線性表示。??1,??2,?,????線性無關(guān)，??1,??2,?,????，??線性相關(guān)

???可以由??1,??2,?,????唯一線性表示。??可以由??1,??2,?,????線性表示

???(??1,??2,?,????)=??(??1,??2,?,????,??)。向量組的線性表示設(shè)??(????×??)=??，則??的秩??(??)與??的行列向量組的線性相關(guān)性關(guān)系為：若??(????×??)=??=??，則??的行向量組線性無關(guān)。若??(????×??)=??<??，則??的行向量組線性相關(guān)。若??(????×??)=??=??，則??的列向量組線性無關(guān)。若??(????×??)=??<??，則??的列向量組線性相關(guān)。向量組的秩與矩陣的秩之間的關(guān)系若??1,??2,?,????與??1,??2,?,????是向量空間??的兩組基，則基變換公式為：其中??是可逆矩陣，稱為由基??1,??2,?,????到基??1,??2,?,????的過渡矩陣。??維向量空間的基變換公式及過渡矩陣線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分A稱為矩陣，是一個按照長方陣列排列的復(fù)數(shù)或?qū)崝?shù)集合。x跟b代表n*1向量和m*1向量。矩陣向量矩陣A可以是線性系統(tǒng)、濾波器、無線信道等的符號表示；而科學(xué)和工程中遇到的向量可分為三種：物理向量：泛指既有幅值，又有方向的物理量，如速度、加速度、位移等。幾何向量：為了將物理向量可視化，常用帶方向的(簡稱有向)線段表示，這種有向線段稱為幾何向量。代數(shù)向量：兒何向量可以用代數(shù)形式表示。向量矩陣的加法設(shè)??=(

),??=(

)是兩個??×??矩陣，則??×??矩陣??=(

)=

+

稱為矩陣??與??的和，記為??+??=??。矩陣的數(shù)乘設(shè)??=(aij)是??×??矩陣，??是一個常數(shù)，則??×??矩陣(kaij)稱為數(shù)??與矩陣??的數(shù)乘，記為k??。矩陣的乘法設(shè)??=(aij)是??×??矩陣，??=(bij)是??×??矩陣，那么??×??矩陣??=(cij)，其中cij=ai1b1j+ai2b2j

+?+ainbnj

=

稱為????的乘積，記為??=????。矩陣線性運算(????)??=??,(????)??=????????,(????)??=??????,(??±??)??=????±????

????、?????、???三者之間的關(guān)系??可逆?????=??;?|??|≠0;???(??)=??;

???可以表示為初等矩陣的乘積；

???無零特征值；

?Ax=0只有零解。有關(guān)?????的結(jié)論這里A,B均可為逆矩陣。分塊求逆公式線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分統(tǒng)計學(xué)是研究如何搜集資料、整理資料和進(jìn)行量化分析、推斷的一門科學(xué)，在科學(xué)計算、工業(yè)和金融等領(lǐng)域有著重要應(yīng)用，統(tǒng)計分析是機器學(xué)習(xí)的基本方法與統(tǒng)計分析相關(guān)的基本概念有以下幾個總體：根據(jù)定目的確定的所要研究事物的全體樣本：從總體中隨機抽取的若干個體構(gòu)成的集合推斷：以樣本所包含的信息為基礎(chǔ)對總體的某些特征作出判斷、預(yù)測和估計推斷可靠性：對推斷結(jié)果從概率上的確認(rèn)，作為決策的重要依據(jù)統(tǒng)計分析分為描述性統(tǒng)計和推斷性統(tǒng)計，描述性統(tǒng)計是通過對樣本進(jìn)行整理、分析并就數(shù)據(jù)的分布情況獲取有意義的信息，從而得到結(jié)論。推斷統(tǒng)計又分為參數(shù)估計和假設(shè)檢驗，參數(shù)估計是對樣本整體中某個數(shù)值進(jìn)行估計，如推斷總體平均數(shù)等，而假設(shè)檢驗是通過對所做的推斷驗證，從而進(jìn)擇行才方案統(tǒng)計分析

統(tǒng)計基礎(chǔ)議程

統(tǒng)計基礎(chǔ)議程均值、標(biāo)準(zhǔn)差、方差、協(xié)方差均值描述的是樣本集合的平均值標(biāo)準(zhǔn)差描述是樣本集合的各個樣本點到均值的距離分布，描述的是樣本集的分散程度在機器學(xué)習(xí)中的方差就是估計值與其期望值的統(tǒng)計方差。如果進(jìn)行多次重復(fù)驗證的過程，就會發(fā)現(xiàn)模型在訓(xùn)練集上的表現(xiàn)并不固定，會出現(xiàn)波動，這些波動越大，它的方差就越大協(xié)方差主要用來度量兩個隨機變量關(guān)系，如果結(jié)果為正值，則說明兩者是正相關(guān)的；結(jié)果為負(fù)值，說明兩者是負(fù)相關(guān)的；如果為0，就是統(tǒng)計上的“相互獨立”統(tǒng)計基礎(chǔ)議程

統(tǒng)計基礎(chǔ)

正則化與交叉驗證L0正則化L1正則化L2正則化HoldOut檢驗簡單交叉檢驗K折交叉檢驗留一交叉檢驗統(tǒng)計基礎(chǔ)議程

常見概率分布議程參數(shù)估計是用樣本統(tǒng)計量去估計總體的參數(shù)，即根據(jù)樣本數(shù)據(jù)選擇統(tǒng)計量去推斷總體的分布或數(shù)字特征。估計參數(shù)的目的，是希望用較少的參數(shù)去描述數(shù)據(jù)的總體分布，前提是要了解樣本總體分布（如正態(tài)分布），這樣就只需要估計其中參數(shù)的值。如果無法確認(rèn)總體分布，那就要采用非參數(shù)估計的方法。參數(shù)估計是統(tǒng)計推斷的種基本形式，分為點估計和區(qū)間估計兩部分。其中有多種方法，除了最基本的最小二乘法和極大似然法、貝葉斯估計、極大后驗估計，還有矩估計、一致最小方差無偏估計、最小風(fēng)險估計、最小二乘法、最小風(fēng)險法和極小化極大熵法等。參數(shù)估計議程

假設(shè)檢驗議程

假設(shè)檢驗議程線性代數(shù)向量空間矩陣分析概率與統(tǒng)計多元微積分導(dǎo)數(shù)和微分的概念或者導(dǎo)數(shù)函數(shù)的可導(dǎo)性與連續(xù)性之間的關(guān)系：函數(shù)??(??)在x0處可微???(??)在x0處可導(dǎo)。若函數(shù)在點x0處可導(dǎo)，則??=??(??)在點x0處連續(xù)，反之則不成立。即函數(shù)連續(xù)不一定可導(dǎo)。??′(x0)存在???′?(x0)=??′+(x0)高等數(shù)學(xué)切線方程:法線方程：平面曲線的切線和法線設(shè)函數(shù)??=??(??)，??=??(??)在點??可導(dǎo)，則：??±??′=??′±??′(????)′=????′+????′??(????)=??????+??????四則運算復(fù)合函數(shù)，反函數(shù)，隱函數(shù)以及參數(shù)方程所確定的函數(shù)的微分法反函數(shù)的運算法則:設(shè)??=??(??)在點??的某鄰域內(nèi)單調(diào)連續(xù)，在點??處可導(dǎo)且??′(??)≠0，則其反函數(shù)在點??所對應(yīng)的??處可導(dǎo)，并且有復(fù)合函數(shù)的運算法則:若??=??(??)在點??可導(dǎo),而??=??(??)在對應(yīng)點??(??=??(??))可導(dǎo),則復(fù)合函數(shù)??=??(??(??))在點??可導(dǎo),且復(fù)合函數(shù)費馬定理若函數(shù)??(??)滿足條件：函數(shù)??(??)在x0的某鄰域內(nèi)有定義，并且在此鄰域內(nèi)恒有??(??)≤??(x0)或??(??)≥??(x0),??(??)在x0處可導(dǎo),則有??′(x0)=0微分中值定理設(shè)函數(shù)??(??)滿足條件：在[??,??]上連續(xù)；在(??,??)內(nèi)可導(dǎo)；則在(??,??)內(nèi)存在一個??，使拉格朗日中值定理設(shè)函數(shù)??(??)，??(??)滿足條件：在[??,??]上連續(xù)；在(??,??)內(nèi)可導(dǎo)且??′(??)，??′(??)均存在，且??′(??)≠0則在(??,??)內(nèi)存在一個??，使柯西中值定理設(shè)函數(shù)??(??)在(??,??)區(qū)間內(nèi)可導(dǎo)，如果對???∈(??,??)，都有??′(??)>0（或??′(??)<0），則函數(shù)??(??)在(??,??)內(nèi)是單調(diào)增加的（或單調(diào)減少）。（取極值的必要條件）設(shè)函數(shù)??(??)在??0處可導(dǎo)，且在??0處取極值，則??′(??0)=0。函數(shù)單調(diào)性的判斷設(shè)函數(shù)??′(x)在x0的某一鄰域內(nèi)可微，且??′(??0)=0（或??(??)在x0處連續(xù)，但??′(x0)不存在）。若當(dāng)??經(jīng)過x0時，??′(??)由“+”變“-”，則??(x0)為極大值；若當(dāng)??經(jīng)過x0時，??′(??)由“-”變“+”，則??(x0)為極小值；若??′(x)經(jīng)過??=??0的兩側(cè)不變號，則??(x0)不是極值。設(shè)??(??)在點x0處有??″(??)≠0，且??′(??0)=0，則當(dāng)??′′(x0)<0時，??(x0)為極大值；當(dāng)??′′(x0)>0時，??(x0)為極小值。注：如果??′′(x0)=0，此方法失效。極值充分條件(凹凸性的判別定理）若在I上??″(??)<0（或??″(??)>0），則??(??)在I上是凸的（或凹的）。(拐點的判別定理1)若