3第三章數(shù)學(xué)基礎(chǔ)知識

1、版權(quán)所有 2018 華為技術(shù)有限公司數(shù)學(xué)基礎(chǔ)版權(quán)所有 2018 華為技術(shù)有限公司u 掌握線性代數(shù)的基礎(chǔ)知識及應(yīng)用u 掌握概率與信息論的基礎(chǔ)知識及應(yīng)用u 掌握數(shù)值計算的作用以及優(yōu)化問題的分類與解決方法版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)矩陣的概念及矩陣運算u概率與信息論u數(shù)值計算特殊矩陣特征分解版權(quán)所有 2018 華為技術(shù)有限公司u 線性代數(shù)是代數(shù)學(xué)的一個分支，主要處理線性問題。線性關(guān)系是指數(shù)學(xué)對象之間的關(guān)系是以一次形式來表達的。線性代數(shù)需要解決的第一個問題就是求解線性方程組。u 行列式矩陣向量。版權(quán)所有 2018 華為技術(shù)有限公司 月份姓名小陳1081220小劉4428小姚2-4-2

2、-5 月份姓名小李24510小黃4226小傅-2223u 為了避免肥胖，提升員工健康狀況，2018年初大數(shù)據(jù)部門組織月度跑步活動。規(guī)則如下：部門為參與者在月初定制月度目標，對完成目標者進行獎勵，對未完成者進行懲罰，獎懲金額為： 表1 大數(shù)據(jù)部表 表2 云部門版權(quán)所有 2018 華為技術(shù)有限公司 那么問題轉(zhuǎn)化為，若能求得此方程組的解，即可求得部門每月制定的每公里的獎勵金額。版權(quán)所有 2018 華為技術(shù)有限公司u 向量： u 矩陣： 版權(quán)所有 2018 華為技術(shù)有限公司 u 行列式的意義： 行列式等于矩陣特征值的乘積。 行列式的絕對值可以用來衡量矩陣參與矩陣乘法后空間擴大或縮小了多少。如果行列式是

3、0，那么空間至少沿著某一維完全收縮了，使其失去了所有的體積；如果行列式是1，那么這個轉(zhuǎn)換保持空間體積不變。版權(quán)所有 2018 華為技術(shù)有限公司版權(quán)所有 2018 華為技術(shù)有限公司u 轉(zhuǎn)置矩陣的性質(zhì)： 版權(quán)所有 2018 華為技術(shù)有限公司 u 跡運算返回的是矩陣對角元素的和：u 跡運算的性質(zhì)：版權(quán)所有 2018 華為技術(shù)有限公司 根據(jù)引入案例，可得：u 第一季度大數(shù)據(jù)部門與云部門跑步情況可表示如下： u 對上述矩陣做以下矩陣運算：u 根據(jù)矩陣相乘規(guī)則，方程組（1.1）可以用矩陣表示為：版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)矩陣的概念及矩陣運算u概率與信息論u數(shù)值計算特殊矩陣特征分解版權(quán)所

4、有 2018 華為技術(shù)有限公司 u 單位矩陣：所有沿主對角線的元素都是1，而其他位置的所有元素都是0的矩陣。任意矩陣與單位矩陣相乘，都不會改變。版權(quán)所有 2018 華為技術(shù)有限公司 u 對角矩陣的性質(zhì)： 對角矩陣的和、差、積、方冪為主對角線上元素的和、差、積、方冪。 其逆矩陣為：版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)矩陣的概念及矩陣運算u概率與信息論u數(shù)值計算特殊矩陣特征分解版權(quán)所有 2018 華為技術(shù)有限公司 u 特征分解是使用最廣的矩陣分解之一，即我們通過將矩陣分解成一組特征向量和特征值乘積的方法來發(fā)現(xiàn)矩陣表示成數(shù)組元素時不明顯的函數(shù)性質(zhì)。例如

5、：版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司版權(quán)所有 2018 華為技術(shù)有限公司 u 矩陣的正定性： 所有特征值都是負數(shù)的矩陣稱為負定。 所有特征值都是非正數(shù)的矩陣稱為半負定。 所有特征值都是正數(shù)的矩陣稱為正定。 所有特征值都是非負數(shù)的矩陣稱為半正定。版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 計算偽逆的算法實際基于以下公式版權(quán)所有 2018 華為技術(shù)有限公司 要素對象 12版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 u 相關(guān)系數(shù)矩陣及相關(guān)系數(shù)：u 主成分貢獻率及累計貢獻率： 版權(quán)所有 2018 華

6、為技術(shù)有限公司u線性代數(shù)概率論基本概念u概率與信息論u數(shù)值計算隨機變量及其分布函數(shù)隨機變量的數(shù)字特征信息論版權(quán)所有 2018 華為技術(shù)有限公司u 概率論使我們能夠提出不確定的聲明以及在不確定性存在的情況下進行推理，而信息論使我們能夠量化概率分布中的不確定性總量。u 不確定性有3種可能的來源：被建模系統(tǒng)內(nèi)在的隨機性不完全觀測不完全建模版權(quán)所有 2018 華為技術(shù)有限公司u 滿足以下三個特點的試驗稱為隨機試驗： 可以在相同的條件下重復(fù)進行。 每次試驗的可能結(jié)果不止一個，并且能事先明確試驗的所有可能結(jié)果。 進行一次試驗之前不能確定哪一個結(jié)果會出現(xiàn)。u 舉例：版權(quán)所有 2018 華為技術(shù)有限公司版權(quán)所

7、有 2018 華為技術(shù)有限公司版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)概率論基本概念u概率與信息論u數(shù)值計算隨機變量及其分布函數(shù)隨機變量的數(shù)字特征信息論版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 0 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 面積為1 版權(quán)所有 2018 華為技術(shù)有限公司 (0,1).版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司

8、 版權(quán)所有 2018 華為技術(shù)有限公司伯努利分布二項分布高斯分布泊松分布指數(shù)分布拉普拉斯分布混合分布狄拉克分布經(jīng)驗分布范疇分布間隔背靠背版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司u 對于離散型隨機變量：u 對于連續(xù)型隨機變量：版權(quán)所有 2018 華為技術(shù)有限公司 u 條件概率： u 貝葉斯公式： u 條件概率的鏈式法則： 版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)概率論基本概念u概率與信息論u數(shù)值計算隨機變量及

9、其分布函數(shù)隨機變量的數(shù)字特征信息論版權(quán)所有 2018 華為技術(shù)有限公司u 數(shù)學(xué)期望（或均值，亦簡稱期望）：版權(quán)所有 2018 華為技術(shù)有限公司 u 協(xié)方差：u 相關(guān)系數(shù)：版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)概率論基本概念u概率與信息論u數(shù)值計算隨機變量及其分布函數(shù)隨機變量的數(shù)字特征信息論版權(quán)所有 2018 華為技術(shù)有限公司信息論是應(yīng)用數(shù)學(xué)的一個分支，主要研究的是對一個信號包含信息的多少進行量化。信息論創(chuàng)立的標志是1948年香農(nóng)發(fā)表論文“A Mathematical Theory of Communication”。在這篇文章中香農(nóng)創(chuàng)造性的采用概率論的方法來研究通信中的問題，并且對信息

10、給予了科學(xué)的定量描述，第一次提出了信息熵的概念。版權(quán)所有 2018 華為技術(shù)有限公司正反版權(quán)所有 2018 華為技術(shù)有限公司 u 例如：拋一枚均勻硬幣的信息熵是多少？版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)數(shù)值計算基礎(chǔ)概念u概率與信息論u數(shù)值計算最優(yōu)化問題的分類及解決方法版權(quán)所有 2018 華為技術(shù)有限公司u 數(shù)值計算：指有效使用數(shù)字計算機求數(shù)學(xué)問題近似解的方法與過程，以及由相關(guān)理論構(gòu)成的學(xué)科。其中用計算機解決實際問題的過程如下：認識實際問題數(shù)學(xué)模型數(shù)值計算方法程序設(shè)計上機計算結(jié)果版權(quán)所有 2018 華為技術(shù)有限公司 u 下溢：當接近零的數(shù)被四舍五入為零時發(fā)生下溢。許多函數(shù)在其參數(shù)為零而

11、不是一個很小的正數(shù)時才會表現(xiàn)出質(zhì)的不同。u 上溢：當大量級的數(shù)被近似為或時發(fā)生上溢。進一步的運算通常會導(dǎo)致這些無限值變?yōu)榉菙?shù)字。u 大數(shù)吃小數(shù)：當時，+=，發(fā)生數(shù)值異常。u函數(shù)可以對上溢和下溢進行數(shù)值穩(wěn)定： 版權(quán)所有 2018 華為技術(shù)有限公司 u 病態(tài)條件數(shù)：條件數(shù)指的是函數(shù)相對于輸入的微小變化而變化的快慢程度。u 考慮函數(shù)()=(1) ，當 ()具有特征分解時，其條件數(shù)為 這是最大和最小特征值的模之比。當該數(shù)很大時，矩陣求逆對輸入的誤差特別敏感。版權(quán)所有 2018 華為技術(shù)有限公司u線性代數(shù)數(shù)值計算基礎(chǔ)概念u概率與信息論u數(shù)值計算最優(yōu)化問題的分類及解決方法版權(quán)所有 2018 華為技術(shù)有限公

12、司 u 最優(yōu)化問題()() 目標函數(shù)的極小（極大）. ()0,=1，2， 不等式約束 ()=0，=1，2， 等式約束版權(quán)所有 2018 華為技術(shù)有限公司 u 約束優(yōu)化：優(yōu)化問題的分支。有時候，在的所有可能值下最大化或最小化一個函數(shù)()不是我們所希望的。相反，我們可能希望在的某些集合中找()的最大值或最小值。集合內(nèi)的點稱為可行點。u 無約束條件，可以寫為：()常用方法為Fermat定理。即令()=0，求得臨界點。然后驗證臨界點是否取得極值。u 等式約束條件，可以寫為：()版權(quán)所有 2018 華為技術(shù)有限公司 u 不等式約束條件，可以寫為：通常方法為引入新的變量_和_，將所有的等式、不等式約束以及

13、()構(gòu)造成廣義拉格朗日函數(shù)，即 廣義拉格朗日的梯度為0。 所有關(guān)于和KKT乘子的約束都滿足。 不等式約束顯示的“互補松弛型”： ()=0.我們可以使用一組簡單的性質(zhì)來描述約束優(yōu)化問題的最優(yōu)點，這些性質(zhì)稱為KKT（Kuhn-Kuhn-Tucker）條件。具體如下：版權(quán)所有 2018 華為技術(shù)有限公司u 梯度下降：導(dǎo)數(shù)告訴我們?nèi)绾胃膩砺晕⒌馗纳啤＠?，我們知道對于足夠小的來說，()是比()小的。因此我們可以將往導(dǎo)數(shù)的反方向移動一小步來減小()，這種技術(shù)稱為梯度下降。u 一維函數(shù)的極值問題： 函數(shù)的局部極值點意味著不能通過移動減小或增大()。 ()=0的點稱為臨界點或駐點。 函數(shù)的極值點一定是駐點

14、，反之未必。版權(quán)所有 2018 華為技術(shù)有限公司 （a）（b）（c）（d）u 凸函數(shù)：對于(0，1)，任意_1，_2， 都有(_1+(1) _2 )(_1 )+(1)(_2)， 則稱()是一個凸函數(shù)。凸函數(shù)的極值點出現(xiàn)在駐點處。版權(quán)所有 2018 華為技術(shù)有限公司u 推廣至多維函數(shù)的情形，用偏導(dǎo)數(shù)描述函數(shù)相對于各自變量的變化程度。u 梯度（gradient）：是相對于一個向量的導(dǎo)數(shù)，符號一般記為_ ()，()在方向（單位向量）的方向?qū)?shù)即是 _ ().u 對于一個最小化()的任務(wù)，我們希望找到其向下變化最快的方向，其中為與梯度_ ()的夾角。 u 可見，()數(shù)值減小最大的方向就是梯度的負方向。

15、版權(quán)所有 2018 華為技術(shù)有限公司 版權(quán)所有 2018 華為技術(shù)有限公司二維空間多維空間版權(quán)所有 2018 華為技術(shù)有限公司隨機變量的分布函數(shù)、分布律、密度函數(shù)有什么聯(lián)系和區(qū)別？版權(quán)所有 2018 華為技術(shù)有限公司1. (單選) 三個矩陣A、B、C的行列數(shù)分別是3行2列、2行3列、3行3列，則下列哪個運算有意義？（ ）ACBCA+BAB-BCABCDE(C)=CE(X+Y)=E(X)+E(Y)E(CX)=CE(X)E(XY)=E(X)E(Y)ABCD2. (單選) X、Y是隨機變量，C是常數(shù)，下列選項中對數(shù)學(xué)期望的性質(zhì)描述不正確的是？（ ） 版權(quán)所有 2018 華為技術(shù)有限公司3. (判斷題) 主成分分析（Principal Component Analysis，PCA）是一種統(tǒng)計方法。通過正交變換將一組可能存在相關(guān)性