向量到子空間的距離

1、一一. 向量到子空間的距離向量到子空間的距離 二二. 最小二乘法最小二乘法第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積 向量間的距離向量間的距離長度長度 稱為向量稱為向量 和和 的距離，的距離， 基本性質(zhì)基本性質(zhì)（i） ,dd （ii） 并且僅當(dāng)并且僅當(dāng) 的等號才成立的等號才成立; ,0,d （iii）(三角形不等式三角形不等式) ,.ddd 定義定義 ,.d 記為記為第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積2.向量到子空間的距離向量到子空間的距離(1) 設(shè)設(shè) 為一固定向量為一固定向量 ，如果，如果 與子空間與子空間

2、中中 W 每個向量垂直，每個向量垂直， 稱稱 垂直于子空間垂直于子空間 記作記作 ,W.W 如果如果 那么那么 12(,),kWL ,1,2, .iWik W第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積(2) 向量到子空間中的各向量的距離以垂線為最短向量到子空間中的各向量的距離以垂線為最短. 如圖示意，如圖示意，的向量，那么對的向量，那么對有有W . W 對給定的對給定的, ,設(shè)設(shè)是是 W 中的滿足中的滿足 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積 , 因因 是子空間，是子空間，W,WW則則,W 由勾股定理由勾股定理2

3、22, 證明：證明：. 故故所以所以.第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積二二. 最小二乘法最小二乘法1.問題提出問題提出，先看實(shí)際例子，先看實(shí)際例子.我們想找出我們想找出 y 對對 x 的一個近似公式的一個近似公式.例例. 已知某種材料在生產(chǎn)過程中的廢品率已知某種材料在生產(chǎn)過程中的廢品率 y 與某種與某種化學(xué)成份化學(xué)成份 x 有關(guān)有關(guān).下列表中記載了某工廠生產(chǎn)下列表中記載了某工廠生產(chǎn)中中 y 與相應(yīng)的與相應(yīng)的 x 的幾次數(shù)值：的幾次數(shù)值：(%)y(%)x1.000.90.9 0.81 0.60 0.56 0.35 3 3. . 6 6 3 3. .

4、 7 7 3 3. . 8 8 3 3. . 9 9 4 4. . 0 0 4 4. . 1 1 4 4. . 2 2第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積55解解 把表中數(shù)值畫出圖把表中數(shù)值畫出圖勢近于一條直線，如圖勢近于一條直線，如圖.來看，發(fā)現(xiàn)它的變化趨來看，發(fā)現(xiàn)它的變化趨因此我們決定選取因此我們決定選取 的的xaxb 一次式一次式 來表達(dá)來表達(dá).第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積當(dāng)然最好能選到適當(dāng)?shù)漠?dāng)然最好能選到適當(dāng)?shù)?使得下面的等式使得下面的等式,a b3.61.000,ab ab3.70.90,

5、 3.80.90,ab 3.90.810,ab 4.00.600,ab 4.10.560,ab 4.20.350ab第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積都成立都成立.實(shí)際上是不可能的。任何實(shí)際上是不可能的。任何 代入上面各式代入上面各式 ,a b都發(fā)生些誤差都發(fā)生些誤差.于是想找到于是想找到 使得上面各式的誤差使得上面各式的誤差,a b的平方和最小，即找的平方和最小，即找 使使 ,a b222(3.61.00)(3.70.9)(3.80.9)ababab 222(3.90.81)(4.00.60)(4.10.56)ababab 2(4.20.35)a

6、b 最小最小.此誤差的平方即二乘方此誤差的平方即二乘方,最小二乘問題最小二乘問題. 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積 12,n sijnAXb AaRbb bb （2） 可能無解，即任意可能無解，即任意 都可能使都可能使 12,sx xx 211221niiissiia xa xa xb （3） 不等于零，設(shè)法找實(shí)數(shù)組不等于零，設(shè)法找實(shí)數(shù)組 使（使（3）最?。┳钚?20001,sxxx這樣的這樣的 為方程組（為方程組（2）的最小二乘解，）的最小二乘解， 20001,sxxx此問題叫最小二乘法問題此問題叫最小二乘法問題.一般一般問題問題，實(shí)系數(shù)線性

7、方程組，實(shí)系數(shù)線性方程組第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積2.問題的解決問題的解決在在（1）之下再設(shè)之下再設(shè) 12111,.sssjjjjnjjjjjYa xa xa xAX （4） 用距離的概念，（用距離的概念，（3）就是）就是 2.YB 由（由（4）知）知 112212,sssYxxxA 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積找找 使（使（3）最小，等價于找子空間）最小，等價于找子空間 X12(,)sL 中向量中向量 使使 到它的距離到它的距離 比到比到 YB()YB 12(,)sL 中其它向量的距離都

8、短中其它向量的距離都短. 設(shè)設(shè) 為此必為此必 ,CBYBAX 12(,)sCL 這等價于這等價于 12( ,)( ,)( ,)0,sCCC （5） 即即 120,0,0,sCCC 這樣（這樣（5）等價于）等價于 或或 0A BAX A AXA B （6） (6) 就是最小二乘解所滿足的代數(shù)方程就是最小二乘解所滿足的代數(shù)方程. 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積3.6 11.003.7 10.903.8 10.90,3.9 10.814.0 10.604.1 10.564.2 10.35 AB最小二乘解最小二乘解 a, b 所滿足的方程就是所滿足的方程就是 0,aA AA Bb 回到前面的問題回到前面的問題.由問題知由問題知 第九章第九章 7.7.向量到子空間的距離向量到子空間的距離 最小二乘積最小二乘積解得解得（取三位