《機(jī)器學(xué)習(xí)-Python實(shí)戰(zhàn)（微課版）》課件 第二章 機(jī)器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)

第二章機(jī)器學(xué)習(xí)數(shù)學(xué)基礎(chǔ)本章主要講述機(jī)器學(xué)習(xí)中相關(guān)的數(shù)學(xué)概念、包括線性代數(shù)，多元微積分及概率統(tǒng)計(jì)等相關(guān)知識(shí)。通過本節(jié)學(xué)習(xí)可以：熟悉機(jī)器學(xué)習(xí)中數(shù)學(xué)的用法熟悉機(jī)器學(xué)習(xí)中線性代數(shù)熟悉機(jī)器學(xué)習(xí)中多元微積分熟悉機(jī)器學(xué)習(xí)中概率與統(tǒng)計(jì)相關(guān)知識(shí)點(diǎn)學(xué)習(xí)目標(biāo)線性代數(shù)向量空間矩陣分析概率與統(tǒng)計(jì)多元微積分在機(jī)器學(xué)習(xí)的科學(xué)研究與工程實(shí)踐中，經(jīng)常會(huì)遇到m*n線性方程組。它使用m個(gè)方程描述個(gè)n未知量之間的線性關(guān)系。這一線性方程組很容易用矩陣-向量形式簡(jiǎn)記為：向量空間??1,??2,?,????線性相關(guān)

?至少有一個(gè)向量可以用其余向量線性表示。??1,??2,?,????線性無關(guān)，??1,??2,?,????，??線性相關(guān)

???可以由??1,??2,?,????唯一線性表示。??可以由??1,??2,?,????線性表示

???(??1,??2,?,????)=??(??1,??2,?,????,??)。向量組的線性表示設(shè)??(????×??)=??，則??的秩??(??)與??的行列向量組的線性相關(guān)性關(guān)系為：若??(????×??)=??=??，則??的行向量組線性無關(guān)。若??(????×??)=??<??，則??的行向量組線性相關(guān)。若??(????×??)=??=??，則??的列向量組線性無關(guān)。若??(????×??)=??<??，則??的列向量組線性相關(guān)。向量組的秩與矩陣的秩之間的關(guān)系若??1,??2,?,????與??1,??2,?,????是向量空間??的兩組基，則基變換公式為：其中??是可逆矩陣，稱為由基??1,??2,?,????到基??1,??2,?,????的過渡矩陣。??維向量空間的基變換公式及過渡矩陣線性代數(shù)向量空間矩陣分析概率與統(tǒng)計(jì)多元微積分A稱為矩陣，是一個(gè)按照長(zhǎng)方陣列排列的復(fù)數(shù)或?qū)崝?shù)集合。x跟b代表n*1向量和m*1向量。矩陣向量矩陣A可以是線性系統(tǒng)、濾波器、無線信道等的符號(hào)表示；而科學(xué)和工程中遇到的向量可分為三種：物理向量：泛指既有幅值，又有方向的物理量，如速度、加速度、位移等。幾何向量：為了將物理向量可視化，常用帶方向的(簡(jiǎn)稱有向)線段表示，這種有向線段稱為幾何向量。代數(shù)向量：兒何向量可以用代數(shù)形式表示。向量矩陣的加法設(shè)??=(

),??=(

)是兩個(gè)??×??矩陣，則??×??矩陣??=(

)=

+

稱為矩陣??與??的和，記為??+??=??。矩陣的數(shù)乘設(shè)??=(aij)是??×??矩陣，??是一個(gè)常數(shù)，則??×??矩陣(kaij)稱為數(shù)??與矩陣??的數(shù)乘，記為k??。矩陣的乘法設(shè)??=(aij)是??×??矩陣，??=(bij)是??×??矩陣，那么??×??矩陣??=(cij)，其中cij=ai1b1j+ai2b2j

+?+ainbnj

=

稱為????的乘積，記為??=????。矩陣線性運(yùn)算(????)??=??,(????)??=????????,(????)??=??????,(??±??)??=????±????

????、?????、???三者之間的關(guān)系??可逆?????=??;?|??|≠0;???(??)=??;

???可以表示為初等矩陣的乘積；

???無零特征值；

?Ax=0只有零解。有關(guān)?????的結(jié)論這里A,B均可為逆矩陣。分塊求逆公式線性代數(shù)向量空間矩陣分析概率與統(tǒng)計(jì)多元微積分統(tǒng)計(jì)學(xué)是研究如何搜集資料、整理資料和進(jìn)行量化分析、推斷的一門科學(xué)，在科學(xué)計(jì)算、工業(yè)和金融等領(lǐng)域有著重要應(yīng)用，統(tǒng)計(jì)分析是機(jī)器學(xué)習(xí)的基本方法與統(tǒng)計(jì)分析相關(guān)的基本概念有以下幾個(gè)總體：根據(jù)定目的確定的所要研究事物的全體樣本：從總體中隨機(jī)抽取的若干個(gè)體構(gòu)成的集合推斷：以樣本所包含的信息為基礎(chǔ)對(duì)總體的某些特征作出判斷、預(yù)測(cè)和估計(jì)推斷可靠性：對(duì)推斷結(jié)果從概率上的確認(rèn)，作為決策的重要依據(jù)統(tǒng)計(jì)分析分為描述性統(tǒng)計(jì)和推斷性統(tǒng)計(jì)，描述性統(tǒng)計(jì)是通過對(duì)樣本進(jìn)行整理、分析并就數(shù)據(jù)的分布情況獲取有意義的信息，從而得到結(jié)論。推斷統(tǒng)計(jì)又分為參數(shù)估計(jì)和假設(shè)檢驗(yàn)，參數(shù)估計(jì)是對(duì)樣本整體中某個(gè)數(shù)值進(jìn)行估計(jì)，如推斷總體平均數(shù)等，而假設(shè)檢驗(yàn)是通過對(duì)所做的推斷驗(yàn)證，從而進(jìn)擇行才方案統(tǒng)計(jì)分析

統(tǒng)計(jì)基礎(chǔ)議程

統(tǒng)計(jì)基礎(chǔ)議程均值、標(biāo)準(zhǔn)差、方差、協(xié)方差均值描述的是樣本集合的平均值標(biāo)準(zhǔn)差描述是樣本集合的各個(gè)樣本點(diǎn)到均值的距離分布，描述的是樣本集的分散程度在機(jī)器學(xué)習(xí)中的方差就是估計(jì)值與其期望值的統(tǒng)計(jì)方差。如果進(jìn)行多次重復(fù)驗(yàn)證的過程，就會(huì)發(fā)現(xiàn)模型在訓(xùn)練集上的表現(xiàn)并不固定，會(huì)出現(xiàn)波動(dòng)，這些波動(dòng)越大，它的方差就越大協(xié)方差主要用來度量?jī)蓚€(gè)隨機(jī)變量關(guān)系，如果結(jié)果為正值，則說明兩者是正相關(guān)的；結(jié)果為負(fù)值，說明兩者是負(fù)相關(guān)的；如果為0，就是統(tǒng)計(jì)上的“相互獨(dú)立”統(tǒng)計(jì)基礎(chǔ)議程

統(tǒng)計(jì)基礎(chǔ)

正則化與交叉驗(yàn)證L0正則化L1正則化L2正則化HoldOut檢驗(yàn)簡(jiǎn)單交叉檢驗(yàn)K折交叉檢驗(yàn)留一交叉檢驗(yàn)統(tǒng)計(jì)基礎(chǔ)議程

常見概率分布議程參數(shù)估計(jì)是用樣本統(tǒng)計(jì)量去估計(jì)總體的參數(shù)，即根據(jù)樣本數(shù)據(jù)選擇統(tǒng)計(jì)量去推斷總體的分布或數(shù)字特征。估計(jì)參數(shù)的目的，是希望用較少的參數(shù)去描述數(shù)據(jù)的總體分布，前提是要了解樣本總體分布（如正態(tài)分布），這樣就只需要估計(jì)其中參數(shù)的值。如果無法確認(rèn)總體分布，那就要采用非參數(shù)估計(jì)的方法。參數(shù)估計(jì)是統(tǒng)計(jì)推斷的種基本形式，分為點(diǎn)估計(jì)和區(qū)間估計(jì)兩部分。其中有多種方法，除了最基本的最小二乘法和極大似然法、貝葉斯估計(jì)、極大后驗(yàn)估計(jì)，還有矩估計(jì)、一致最小方差無偏估計(jì)、最小風(fēng)險(xiǎn)估計(jì)、最小二乘法、最小風(fēng)險(xiǎn)法和極小化極大熵法等。參數(shù)估計(jì)議程

假設(shè)檢驗(yàn)議程

假設(shè)檢驗(yàn)議程線性代數(shù)向量空間矩陣分析概率與統(tǒng)計(jì)多元微積分導(dǎo)數(shù)和微分的概念或者導(dǎo)數(shù)函數(shù)的可導(dǎo)性與連續(xù)性之間的關(guān)系：函數(shù)??(??)在x0處可微???(??)在x0處可導(dǎo)。若函數(shù)在點(diǎn)x0處可導(dǎo)，則??=??(??)在點(diǎn)x0處連續(xù)，反之則不成立。即函數(shù)連續(xù)不一定可導(dǎo)。??′(x0)存在???′?(x0)=??′+(x0)高等數(shù)學(xué)切線方程:法線方程：平面曲線的切線和法線設(shè)函數(shù)??=??(??)，??=??(??)在點(diǎn)??可導(dǎo)，則：??±??′=??′±??′(????)′=????′+????′??(????)=??????+??????四則運(yùn)算復(fù)合函數(shù)，反函數(shù)，隱函數(shù)以及參數(shù)方程所確定的函數(shù)的微分法反函數(shù)的運(yùn)算法則:設(shè)??=??(??)在點(diǎn)??的某鄰域內(nèi)單調(diào)連續(xù)，在點(diǎn)??處可導(dǎo)且??′(??)≠0，則其反函數(shù)在點(diǎn)??所對(duì)應(yīng)的??處可導(dǎo)，并且有復(fù)合函數(shù)的運(yùn)算法則:若??=??(??)在點(diǎn)??可導(dǎo),而??=??(??)在對(duì)應(yīng)點(diǎn)??(??=??(??))可導(dǎo),則復(fù)合函數(shù)??=??(??(??))在點(diǎn)??可導(dǎo),且復(fù)合函數(shù)費(fèi)馬定理若函數(shù)??(??)滿足條件：函數(shù)??(??)在x0的某鄰域內(nèi)有定義，并且在此鄰域內(nèi)恒有??(??)≤??(x0)或??(??)≥??(x0),??(??)在x0處可導(dǎo),則有??′(x0)=0微分中值定理設(shè)函數(shù)??(??)滿足條件：在[??,??]上連續(xù)；在(??,??)內(nèi)可導(dǎo)；則在(??,??)內(nèi)存在一個(gè)??，使拉格朗日中值定理設(shè)函數(shù)??(??)，??(??)滿足條件：在[??,??]上連續(xù)；在(??,??)內(nèi)可導(dǎo)且??′(??)，??′(??)均存在，且??′(??)≠0則在(??,??)內(nèi)存在一個(gè)??，使柯西中值定理設(shè)函數(shù)??(??)在(??,??)區(qū)間內(nèi)可導(dǎo)，如果對(duì)???∈(??,??)，都有??′(??)>0（或??′(??)<0），則函數(shù)??(??)在(??,??)內(nèi)是單調(diào)增加的（或單調(diào)減少）。（取極值的必要條件）設(shè)函數(shù)??(??)在??0處可導(dǎo)，且在??0處取極值，則??′(??0)=0。函數(shù)單調(diào)性的判斷設(shè)函數(shù)??′(x)在x0的某一鄰域內(nèi)可微，且??′(??0)=0（或??(??)在x0處連續(xù)，但??′(x0)不存在）。若當(dāng)??經(jīng)過x0時(shí)，??′(??)由“+”變“-”，則??(x0)為極大值；若當(dāng)??經(jīng)過x0時(shí)，??′(??)由“-”變“+”，則??(x0)為極小值；若??′(x)經(jīng)過??=??0的兩側(cè)不變號(hào)，則??(x0)不是極值。設(shè)??(??)在點(diǎn)x0處有??″(??)≠0，且??′(??0)=0，則當(dāng)??′′(x0)<0時(shí)，??(x0)為極大值；當(dāng)??′′(x0)>0時(shí)，??(x0)為極小值。注：如果??′′(x0)=0，此方法失效。極值充分條件(凹凸性的判別定理）若在I上??″(??)<0（或??″(??)>0），則??(??)在I上是凸的（或凹的）。(拐點(diǎn)的判別定理1)若