向量到子空間的距離

1、一一. 向量到子空間的距離向量到子空間的距離 二二. 最小二乘法最小二乘法第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積 向量間的距離向量間的距離長(zhǎng)度長(zhǎng)度 稱為向量稱為向量 和和 的距離，的距離， 基本性質(zhì)基本性質(zhì)（i） ,dd （ii） 并且僅當(dāng)并且僅當(dāng) 的等號(hào)才成立的等號(hào)才成立; ,0,d （iii）(三角形不等式三角形不等式) ,.ddd 定義定義 ,.d 記為記為第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積2.向量到子空間的距離向量到子空間的距離(1) 設(shè)設(shè) 為一固定向量為一固定向量 ，如果，如果 與子空間與子空間

2、中中 W 每個(gè)向量垂直，每個(gè)向量垂直， 稱稱 垂直于子空間垂直于子空間 記作記作 ,W.W 如果如果 那么那么 12(,),kWL ,1,2, .iWik W第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積(2) 向量到子空間中的各向量的距離以垂線為最短向量到子空間中的各向量的距離以垂線為最短. 如圖示意，如圖示意，的向量，那么對(duì)的向量，那么對(duì)有有W . W 對(duì)給定的對(duì)給定的, ,設(shè)設(shè)是是 W 中的滿足中的滿足 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積 , 因因 是子空間，是子空間，W,WW則則,W 由勾股定理由勾股定理2

3、22, 證明：證明：. 故故所以所以.第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積二二. 最小二乘法最小二乘法1.問(wèn)題提出問(wèn)題提出，先看實(shí)際例子，先看實(shí)際例子.我們想找出我們想找出 y 對(duì)對(duì) x 的一個(gè)近似公式的一個(gè)近似公式.例例. 已知某種材料在生產(chǎn)過(guò)程中的廢品率已知某種材料在生產(chǎn)過(guò)程中的廢品率 y 與某種與某種化學(xué)成份化學(xué)成份 x 有關(guān)有關(guān).下列表中記載了某工廠生產(chǎn)下列表中記載了某工廠生產(chǎn)中中 y 與相應(yīng)的與相應(yīng)的 x 的幾次數(shù)值：的幾次數(shù)值：(%)y(%)x1.000.90.9 0.81 0.60 0.56 0.35 3 3. . 6 6 3 3. .

4、 7 7 3 3. . 8 8 3 3. . 9 9 4 4. . 0 0 4 4. . 1 1 4 4. . 2 2第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積55解解 把表中數(shù)值畫(huà)出圖把表中數(shù)值畫(huà)出圖勢(shì)近于一條直線，如圖勢(shì)近于一條直線，如圖.來(lái)看，發(fā)現(xiàn)它的變化趨來(lái)看，發(fā)現(xiàn)它的變化趨因此我們決定選取因此我們決定選取 的的xaxb 一次式一次式 來(lái)表達(dá)來(lái)表達(dá).第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積當(dāng)然最好能選到適當(dāng)?shù)漠?dāng)然最好能選到適當(dāng)?shù)?使得下面的等式使得下面的等式,a b3.61.000,ab ab3.70.90,

5、 3.80.90,ab 3.90.810,ab 4.00.600,ab 4.10.560,ab 4.20.350ab第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積都成立都成立.實(shí)際上是不可能的。任何實(shí)際上是不可能的。任何 代入上面各式代入上面各式 ,a b都發(fā)生些誤差都發(fā)生些誤差.于是想找到于是想找到 使得上面各式的誤差使得上面各式的誤差,a b的平方和最小，即找的平方和最小，即找 使使 ,a b222(3.61.00)(3.70.9)(3.80.9)ababab 222(3.90.81)(4.00.60)(4.10.56)ababab 2(4.20.35)a

6、b 最小最小.此誤差的平方即二乘方此誤差的平方即二乘方,最小二乘問(wèn)題最小二乘問(wèn)題. 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積 12,n sijnAXb AaRbb bb （2） 可能無(wú)解，即任意可能無(wú)解，即任意 都可能使都可能使 12,sx xx 211221niiissiia xa xa xb （3） 不等于零，設(shè)法找實(shí)數(shù)組不等于零，設(shè)法找實(shí)數(shù)組 使（使（3）最?。┳钚?20001,sxxx這樣的這樣的 為方程組（為方程組（2）的最小二乘解，）的最小二乘解， 20001,sxxx此問(wèn)題叫最小二乘法問(wèn)題此問(wèn)題叫最小二乘法問(wèn)題.一般一般問(wèn)題問(wèn)題，實(shí)系數(shù)線性

7、方程組，實(shí)系數(shù)線性方程組第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積2.問(wèn)題的解決問(wèn)題的解決在在（1）之下再設(shè)之下再設(shè) 12111,.sssjjjjnjjjjjYa xa xa xAX （4） 用距離的概念，（用距離的概念，（3）就是）就是 2.YB 由（由（4）知）知 112212,sssYxxxA 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積找找 使（使（3）最小，等價(jià)于找子空間）最小，等價(jià)于找子空間 X12(,)sL 中向量中向量 使使 到它的距離到它的距離 比到比到 YB()YB 12(,)sL 中其它向量的距離都

8、短中其它向量的距離都短. 設(shè)設(shè) 為此必為此必 ,CBYBAX 12(,)sCL 這等價(jià)于這等價(jià)于 12( ,)( ,)( ,)0,sCCC （5） 即即 120,0,0,sCCC 這樣（這樣（5）等價(jià)于）等價(jià)于 或或 0A BAX A AXA B （6） (6) 就是最小二乘解所滿足的代數(shù)方程就是最小二乘解所滿足的代數(shù)方程. 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積3.6 11.003.7 10.903.8 10.90,3.9 10.814.0 10.604.1 10.564.2 10.35 AB最小二乘解最小二乘解 a, b 所滿足的方程就是所滿足的方程就是 0,aA AA Bb 回到前面的問(wèn)題回到前面的問(wèn)題.由問(wèn)題知由問(wèn)題知 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積解得解得（取三位