考研高數(shù)總復(fù)習(xí)歐幾里得空間第七節(jié)(講解)課件

節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二Foil1一、定義在解析幾何中，兩個(gè)點(diǎn)和間的距離等于向量

-的長(zhǎng)度.在歐氏空間中我們同樣可引入定義13

長(zhǎng)度|-

|稱為向量和的距離記為d(,

).不難證明距離的三條基本性質(zhì)：1)d(,

)

=

d(

,)

；2)d(,

)

0，并且僅當(dāng)

=時(shí)等號(hào)才成立;3)

d(,

)

d(,

)

+

d(,

)

(三角不等式).一、定義在解析幾何中，兩個(gè)點(diǎn)和間的距離等于向量Foil2二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)到一個(gè)平面(或一條直線)上所有點(diǎn)的距離以垂線最短.下面可以證明一個(gè)固定向量和一個(gè)子空間中各向量的距離也是以“垂線最短”.先設(shè)一個(gè)子空間W，它是由向量1,2,…,k所生成，即W=L(1,2,…,k).說(shuō)一個(gè)向量垂直于子空間W，就是指向量垂直于W

中任何一個(gè)向量.容易驗(yàn)證垂直于W

的充分必要條件是二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)Foil3垂直于每個(gè)i

(i=1,2,…,k).現(xiàn)在來(lái)證明向量到子空間各向量間的距離以垂線最短.設(shè)

是給定的一向量，

是W

中的向量，且滿足

-垂直于W.要證明到W中各向量的距離以垂線最短，就是要證明，對(duì)W中任一向量，有|-

||-

|.我們可以畫(huà)出下面的示意圖：垂直于每個(gè)i(i=1,2,…,k).Foil4---W

圖9-2---W圖9-2Foil5證明-

=(-)+(-

).因W

是子空間，

W，W，則

-W.故

-垂直于-.由勾股定理，有|-

|2+|-|2=|-

|2

，故|-

||-

|.證畢證明-=(-)+(-Foil6三、最小二乘法1.引例上述幾何事實(shí)可以用來(lái)解決一些實(shí)際問(wèn)題.其中的一個(gè)應(yīng)用就是解決最小二乘法問(wèn)題.先看下面的例子.引例已知某種材料在生產(chǎn)過(guò)程中的廢品率y與某種化學(xué)成分x

有關(guān).下列表中記載了某工廠生產(chǎn)中y

與相應(yīng)的x

的幾次數(shù)值：三、最小二乘法1.引例上述幾何事實(shí)可以用來(lái)解決一些實(shí)際問(wèn)Foil7y()1.000.90.90.810.600.560.35x()3.63.73.83.94.04.14.2我們想找出y

對(duì)x

的一個(gè)近似公式.解把表中數(shù)值畫(huà)出圖來(lái)看，發(fā)現(xiàn)它的變化趨勢(shì)近于一條直線.因此我們決定選取x

的一次式ax+b

來(lái)表達(dá).當(dāng)然最好能選到適當(dāng)?shù)腶,b

使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.000.90.9Foil83.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.實(shí)際上是不可能的.任何a,b

代入上面各式都會(huì)發(fā)生些誤差.于是想找a,b使得上面各式的誤差的平方和最小，即找a,b使3.8a+b-0.9=0,都成立.實(shí)際上是不可Foil9(3.6a+b-1.00)2+(3.7a+b-0.9)2

+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2

最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現(xiàn)在轉(zhuǎn)向一般的最小二乘法問(wèn)題.(3.6a+b-1.00)2+(3.7a+Foil102.定義定義14

線性方程組可能無(wú)解.即任何一組數(shù)x1,x2,…,xs

都可能使2.定義定義14線性方程組可能無(wú)解.即任何一組數(shù)Foil11不等于零.我們?cè)O(shè)法找x10,x20,…,xs0

使(1)最小,

這樣的x10,x20,…,xs0稱為方程組的最小二乘解.這種問(wèn)題就叫做最小二乘法問(wèn)題.3.最小二乘法的代數(shù)表示下面我們利用歐氏空間的概念來(lái)表達(dá)最小二乘法，并給出最小二乘解所滿足的條件.令不等于零.我們?cè)O(shè)法找x10,x20,…,xs0Foil12(2)(2)Foil13用距離的概念，就是|Y-B|2.最小二乘法就是找x10,x20,…,xs0

使Y

與B

的距離最短.但從知道向量Y

就是用距離的概念，就是|Y-B|2.最小二乘法就是找xFoil14把A

的各列向量分別記成1,2,…,s.由它們生成的子空間為L(zhǎng)(1,2,…,s

).Y

就是L(1,2,…,s

)中的向量.于是最小二乘法問(wèn)題可敘述成：找X

使最小，就是在L(1,2,…,s

)

中找一向量Y

，使得B

到它的距離比到子空間L(1,2,…,s

)中其他向量的距離都短.把A的各列向量分別記成1,2,…,sFoil154.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AX=x11+x22+…+xss

是所要求的向量，則C=B-Y=B-AX必須垂直于子空間L(1,2,…,s

).為此只須而且必須(C,1)=(C,2)=…=(C,s)=0.4.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AXFoil16回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1T

C=0,2T

C=0,…,sT

C=0.而1T,2T

,…,sT

按行正好排成矩陣AT

，上述一串等式合起來(lái)就是AT(B-AX)=0，或AT

AX=AT

B.回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1Foil17這就是最小二乘解所滿足的代數(shù)方程，它是一個(gè)線性方程組，系數(shù)矩陣是ATA，常數(shù)項(xiàng)是ATB.這種線性方程組總是有解的.(參見(jiàn)第5章習(xí)題17)現(xiàn)在回到前面的例子，易知這就是最小二乘解所滿足的代數(shù)方程，它是一個(gè)線性方程組，系數(shù)矩Foil18最小二乘解a,b

所滿足的方程是即為解得a=-1.05,b=4.81(取三位有效數(shù)字).最小二乘解a,b所滿足的方程是即為解得a=-1.Foil19本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!若想結(jié)束本堂課,請(qǐng)單擊返回按鈕.本節(jié)內(nèi)容已結(jié)束!本節(jié)內(nèi)容已結(jié)束!本節(jié)內(nèi)容已結(jié)束!本節(jié)內(nèi)Foil20節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二乘法最小二乘法節(jié)向量到子空間的距離定義向量到子空間各向量間的最短距離最小二Foil21一、定義在解析幾何中，兩個(gè)點(diǎn)和間的距離等于向量

-的長(zhǎng)度.在歐氏空間中我們同樣可引入定義13

長(zhǎng)度|-

|稱為向量和的距離記為d(,

).不難證明距離的三條基本性質(zhì)：1)d(,

)

=

d(

,)

；2)d(,

)

0，并且僅當(dāng)

=時(shí)等號(hào)才成立;3)

d(,

)

d(,

)

+

d(,

)

(三角不等式).一、定義在解析幾何中，兩個(gè)點(diǎn)和間的距離等于向量Foil22二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)到一個(gè)平面(或一條直線)上所有點(diǎn)的距離以垂線最短.下面可以證明一個(gè)固定向量和一個(gè)子空間中各向量的距離也是以“垂線最短”.先設(shè)一個(gè)子空間W，它是由向量1,2,…,k所生成，即W=L(1,2,…,k).說(shuō)一個(gè)向量垂直于子空間W，就是指向量垂直于W

中任何一個(gè)向量.容易驗(yàn)證垂直于W

的充分必要條件是二、向量到子空間各向量間的最短距離在中學(xué)所學(xué)幾何中知道一個(gè)點(diǎn)Foil23垂直于每個(gè)i

(i=1,2,…,k).現(xiàn)在來(lái)證明向量到子空間各向量間的距離以垂線最短.設(shè)

是給定的一向量，

是W

中的向量，且滿足

-垂直于W.要證明到W中各向量的距離以垂線最短，就是要證明，對(duì)W中任一向量，有|-

||-

|.我們可以畫(huà)出下面的示意圖：垂直于每個(gè)i(i=1,2,…,k).Foil24---W

圖9-2---W圖9-2Foil25證明-

=(-)+(-

).因W

是子空間，

W，W，則

-W.故

-垂直于-.由勾股定理，有|-

|2+|-|2=|-

|2

，故|-

||-

|.證畢證明-=(-)+(-Foil26三、最小二乘法1.引例上述幾何事實(shí)可以用來(lái)解決一些實(shí)際問(wèn)題.其中的一個(gè)應(yīng)用就是解決最小二乘法問(wèn)題.先看下面的例子.引例已知某種材料在生產(chǎn)過(guò)程中的廢品率y與某種化學(xué)成分x

有關(guān).下列表中記載了某工廠生產(chǎn)中y

與相應(yīng)的x

的幾次數(shù)值：三、最小二乘法1.引例上述幾何事實(shí)可以用來(lái)解決一些實(shí)際問(wèn)Foil27y()1.000.90.90.810.600.560.35x()3.63.73.83.94.04.14.2我們想找出y

對(duì)x

的一個(gè)近似公式.解把表中數(shù)值畫(huà)出圖來(lái)看，發(fā)現(xiàn)它的變化趨勢(shì)近于一條直線.因此我們決定選取x

的一次式ax+b

來(lái)表達(dá).當(dāng)然最好能選到適當(dāng)?shù)腶,b

使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,y()1.000.90.9Foil283.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0都成立.實(shí)際上是不可能的.任何a,b

代入上面各式都會(huì)發(fā)生些誤差.于是想找a,b使得上面各式的誤差的平方和最小，即找a,b使3.8a+b-0.9=0,都成立.實(shí)際上是不可Foil29(3.6a+b-1.00)2+(3.7a+b-0.9)2

+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2

最小.這里討論的是誤差的平方即二乘方，故稱為最小二乘法.現(xiàn)在轉(zhuǎn)向一般的最小二乘法問(wèn)題.(3.6a+b-1.00)2+(3.7a+Foil302.定義定義14

線性方程組可能無(wú)解.即任何一組數(shù)x1,x2,…,xs

都可能使2.定義定義14線性方程組可能無(wú)解.即任何一組數(shù)Foil31不等于零.我們?cè)O(shè)法找x10,x20,…,xs0

使(1)最小,

這樣的x10,x20,…,xs0稱為方程組的最小二乘解.這種問(wèn)題就叫做最小二乘法問(wèn)題.3.最小二乘法的代數(shù)表示下面我們利用歐氏空間的概念來(lái)表達(dá)最小二乘法，并給出最小二乘解所滿足的條件.令不等于零.我們?cè)O(shè)法找x10,x20,…,xs0Foil32(2)(2)Foil33用距離的概念，就是|Y-B|2.最小二乘法就是找x10,x20,…,xs0

使Y

與B

的距離最短.但從知道向量Y

就是用距離的概念，就是|Y-B|2.最小二乘法就是找xFoil34把A

的各列向量分別記成1,2,…,s.由它們生成的子空間為L(zhǎng)(1,2,…,s

).Y

就是L(1,2,…,s

)中的向量.于是最小二乘法問(wèn)題可敘述成：找X

使最小，就是在L(1,2,…,s

)

中找一向量Y

，使得B

到它的距離比到子空間L(1,2,…,s

)中其他向量的距離都短.把A的各列向量分別記成1,2,…,sFoil354.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AX=x11+x22+…+xss

是所要求的向量，則C=B-Y=B-AX必須垂直于子空間L(1,2,…,s

).為此只須而且必須(C,1)=(C,2)=…=(C,s)=0.4.最小二乘解的求法應(yīng)用前面所講的結(jié)論，設(shè)Y=AXFoil36回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1T

C=0,2T

C=0,…,sT

C=0.而1T,2T

,…,sT

按行正好排成矩陣AT

，上述一串等式合起來(lái)就是AT(B-AX)=0，或AT

AX=AT

B.回憶矩陣乘法規(guī)則，上述一串等式可以寫成矩陣相乘的式子，即1Foil37這就是最小二乘解所滿足的代數(shù)方程，它是一個(gè)線性方程組，系數(shù)矩陣是ATA，常數(shù)項(xiàng)是ATB.這種線性方程組總是有解的.(參見(jiàn)第5章習(xí)題17)現(xiàn)在回到前面的例子，易知這就是最小二乘解所滿足的