數(shù)學(xué)建模解多元線性回歸問題(共14頁)

1、精選優(yōu)質(zhì)文檔-傾情為你奉上公司年銷售額的分析摘 要公司年銷售額通常和很多因素有關(guān)，但它們之間并不是確定性關(guān)系，所以我們用回歸分析來處理，并建立了多元線性回歸模型。本文用最小二乘的方法給出了變量間相關(guān)關(guān)系的回歸方程，針對各因素對公司年銷售額的影響我們與偏回歸平方和聯(lián)系起來，并將各因素的影響程度進(jìn)行了排序。還通過F檢驗(yàn)和T檢驗(yàn)分別驗(yàn)證了回歸方程的顯著性和方程系數(shù)的顯著性。最后我們采用了逐個剔除的方法找出了影響年銷售額的主要因素，并且建立了新的回歸方程，再次進(jìn)行檢驗(yàn)，新回歸方程高度顯著，最后得到了個人可支配收入、價格、投資和廣告費(fèi)密切相關(guān)的結(jié)論。第一問：我們首先對附表1的數(shù)據(jù)進(jìn)行處理，利用MATLA

2、B對殘差向量進(jìn)行分析，剔除其中的異常點(diǎn)。然后建立起多元線性回歸模型，采用最小二乘的方法來估計(jì)回歸方程的參數(shù)。我們引入偏回歸平方和的概念來判定各因素對年銷售額的影響程度，并對各因素的影響程度由深到淺進(jìn)行了排序。第二問：通過對回歸平方和和剩余平方和的分析，并且運(yùn)用F檢驗(yàn)法來判定線性回歸方程的顯著性。由于回歸方程顯著并不意味著每個自變量，,對因變量的影響都是重要的。所以我們對方程系數(shù)的顯著性用T檢驗(yàn)法進(jìn)行了檢驗(yàn)。最后通過逐個剔除的方法找出了其中的主要因素,主要因素為：個人可支配的收入、價格、投資、廣告費(fèi)這四個方面。第三問：通過逐個剔除的方法建立了新的回歸方程，并對新的回歸方程進(jìn)行顯著性檢驗(yàn)，對方程系

3、數(shù)進(jìn)行顯著性檢驗(yàn)。得到了公司的年銷售額與個人可支配收入、價格、投資和廣告費(fèi)密切相關(guān)的結(jié)論。關(guān)鍵詞：多元線性回歸 最小二乘法 F檢驗(yàn) T檢驗(yàn) 偏回歸平方和1 問題重述在經(jīng)濟(jì)流通領(lǐng)域中，某公司的年銷售額（）與個人可支配的收入（）；商人的回扣（）；價格（）；研究與發(fā)展費(fèi)（）；投資（）；廣告費(fèi)（）；銷售費(fèi)用（）；總的工業(yè)廣告預(yù)算（）等有關(guān)。附表1中是某公司的原始數(shù)據(jù)。建立模型，分析各因素對年銷售額的影響程度。并對所做模型進(jìn)行檢驗(yàn)，找出影響銷售額的主要因素。最后分析主要因素與銷售額的關(guān)系，并給出結(jié)論。2 問題分析對于公司年銷售額的分析，我們知道，和有關(guān)的變量有8個，研究與變量，,之間的定量關(guān)系的問題為多

4、元回歸問題。又因?yàn)樵S多多元非線性回歸問題都可以化為多元線性回歸問題，所以對于本問題我們建立了多元線性回歸的數(shù)學(xué)模型。第一問：首先對附表1的數(shù)據(jù)進(jìn)行處理，對殘差向量進(jìn)行，剔除其中的異常點(diǎn)。然后我們建立了多元線性回歸的數(shù)學(xué)模型，并采用了最小二乘法來估計(jì)參數(shù)。把模型寫成矩陣的形式，化簡整理得其正規(guī)方程組，通過對正規(guī)方程組的求解，最后得到回歸方程。對于各因素對年銷售額的影響程度，由于利用偏回歸平方和可以衡量每個變量在回歸中所起的作用大?。从绊懗潭龋?，我們對每個變量的偏回歸平方和進(jìn)行了計(jì)算，最后把影響程度由深到淺的各因素進(jìn)行了排序。第二問：回歸方程的顯著性檢驗(yàn)：事先我們并不能斷定隨機(jī)變量與一般變量，,

5、之間是否確有線性關(guān)系。在求線性回歸方程前線性回歸模型只是一種假設(shè)，所以在求出線性回歸方程之后，我們需要對其進(jìn)行統(tǒng)計(jì)檢驗(yàn)。將總的平方和分解為回歸平方和和剩余平方和，運(yùn)用F檢驗(yàn)法來判定線性回歸方程的顯著性?；貧w系數(shù)的顯著性檢驗(yàn)：由于回歸方程顯著并不意味著每個自變量，,對因變量的影響都是重要的。而我們要找出響銷售額的主要因素，即從回歸方程中剔除那些次要的、可有可無的變量，這就需要我們對每個變量進(jìn)行考察。顯然，如果某個變量對的作用不顯著，那么在多元線性回歸模型中，它前面的系數(shù)就可以取值為零。因此，檢驗(yàn)因子是否顯著等價于檢驗(yàn)假設(shè) 。最后再運(yùn)用T檢驗(yàn)法來辨別模型中哪些因子是顯著的。第三問：由于回歸系數(shù)之間

6、存在相關(guān)性，當(dāng)從原回歸方程中剔除一個變量時，其他變量，特別是與它密切相關(guān)的一些變量的回歸系數(shù)就會受到影響，剔除一個變量后，這個變量對的影響很大部分轉(zhuǎn)加到另一個變量對的影響上。所以，我們對回歸系數(shù)進(jìn)行一次檢驗(yàn)后，只能剔除所有不顯著因子中值最小的，然后重新建立新的回歸方程，再對新的回歸系數(shù)逐個進(jìn)行檢驗(yàn)，直到余下的回歸系數(shù)都顯著為止。3 符號說明表一符號說明影響年銷售額的因素。（）年銷售額（）相互獨(dú)立且服從同一正態(tài)分布的隨機(jī)變量（）變量的偏回歸平方和總平方和回歸平方和剩余平方和待估計(jì)系數(shù)參數(shù)（）的回歸值參數(shù)的最小二乘估計(jì)（）4 模型假設(shè)1.影響銷售額的各個因素相互之間關(guān)聯(lián)性不大，即相互獨(dú)立。2.異常

7、值認(rèn)為是人為因素引起的，可將其剔除。5 模型的建立與求解第一問：5.1模型 “多元線性回歸的數(shù)學(xué)模型” 5.1.1 模型的建立1、處理數(shù)據(jù)我們先通過MATLAB（程序見附錄1）對原始數(shù)據(jù)進(jìn)行檢驗(yàn)，對殘差向量進(jìn)行分析，得到了殘差向量分析圖，剔除其中的異常點(diǎn)。2、設(shè)隨機(jī)變量假如變量與另外8個變量，,的內(nèi)在聯(lián)系是線性的，它的第次試驗(yàn)數(shù)據(jù)是 =1,2，,8 （1）那么這一組數(shù)據(jù)可以假設(shè)有如下的結(jié)構(gòu)式： （2）其中，是9個待估計(jì)參數(shù)，,是8個可以精確測量的一般變量，是38個相互獨(dú)立且服從同一正態(tài)分布的隨機(jī)變量，這就是多元線性回歸的數(shù)學(xué)模型。 令， ， ， 那么多元線性回歸的數(shù)學(xué)模型（2）可以寫成矩陣形式

8、 （3）其中是38維隨機(jī)向量，它的分量是相互獨(dú)立的。3、參數(shù)的最小二乘估計(jì)為了估計(jì)參數(shù)，我們采用最小二乘估計(jì)法。設(shè)分別是參數(shù)，的最小二乘估計(jì)，則回歸方程為 （4）由最小二乘法知道，應(yīng)使得全部觀察值與回歸值的偏差平方和達(dá)到最小，即使 (5)所以是的非負(fù)二次式，最小值一定存在。根據(jù)微積分學(xué)中的極值原理，應(yīng)是下列正規(guī)方程組的解： (6)顯然，正規(guī)方程組的系數(shù)矩陣是對稱矩陣，用來表示，則，且其右端常數(shù)項(xiàng)矩陣亦可采用矩陣和來表示：。所以可以得到回歸方程的回歸系數(shù)： (7)4、由于利用偏回歸平方和可以衡量每個變量在回歸中所起的作用大?。从绊懗潭龋O(shè)是p個變量所引起的回歸平方和，是p-1個變量所引起的回

9、歸平方和（即除去），則偏回歸平方和為：=-=-= （8）就是去掉變量后，回歸平方和所減少的量。5.1.2 模型的求解1、數(shù)據(jù)篩選通過MATLAB（程序見附錄1）作圖如下：此時可見第八個點(diǎn)、第十四個點(diǎn)和第二十八個點(diǎn)是異常點(diǎn)，于是刪除原始數(shù)據(jù)中第八行和第十四行和第二十八行數(shù)據(jù)。2、回歸方程的求解 由附表1和所得的公式（7），運(yùn)用MATLAB進(jìn)行編程（程序見附錄2），可得正規(guī)矩陣的系數(shù)矩陣為:回歸系數(shù)為：， ， ， 回歸方程為：3、偏回歸平方和的比較運(yùn)用MATLAB進(jìn)行編程（程序見附錄2），得到各因素的偏回歸平方和：（）0.33840.00300.36850.10090.14291.24180.14

10、720.1963根據(jù)的大小可判斷各因素對年銷售額的影響程度：第二問：5.2 模型 5.2.1 模型的建立1、設(shè)隨機(jī)變量回歸方程的顯著性檢驗(yàn)(F檢驗(yàn))：因?yàn)槭堑趥€試驗(yàn)點(diǎn)上的回歸值，顯然總的偏差平方和為 （9）它的自由度為，又因?yàn)椋渲谢貧w平方和為 （10）是由于引入變量，,后引起的，剩余平方和 （11）它是由于實(shí)驗(yàn)誤差和其他一些因素引起的。如果變量y與變量，,之間無線性關(guān)系，則模型（2）中的一次項(xiàng)系數(shù)應(yīng)均為零。所以要檢驗(yàn)變量y與變量，,之間是否有線性關(guān)系，即要檢驗(yàn)假設(shè) （12）是否成立，這一點(diǎn)可以通過比較和來實(shí)現(xiàn)?？梢宰C明：在滿足矩陣X滿秩和假設(shè)成立的條件下， （13）和相互獨(dú)立，從而 （14）

11、這樣就用統(tǒng)計(jì)量F檢驗(yàn)假設(shè)成立與否，若對于給定的一組數(shù)據(jù)，算得 （15）在顯著水平下，認(rèn)為回歸方程有顯著意義。2、方程系數(shù)的顯著性檢驗(yàn)（T檢驗(yàn)）：某個自變量如果對作用不顯著, 則它的系數(shù)就應(yīng)取值為0, 因此檢驗(yàn)每個自變量是否顯著, 就要檢驗(yàn)假設(shè):在假設(shè)下, 可應(yīng)用檢驗(yàn)： （16）其中為矩陣的對角線上第個元素。對給定的檢驗(yàn)水平, 從分布表中可查出與對應(yīng)的臨界值, 如果有, 則拒絕假設(shè), 即認(rèn)為與0有顯著差異, 這說明對有重要作用不應(yīng)剔除; 如果有則接受假設(shè), 即認(rèn)為成立, 這說明對不起作用, 應(yīng)予剔除。采用，來檢驗(yàn)回歸系數(shù)是否顯著。5.2.2 模型的求解1、回歸方程的顯著性檢驗(yàn)：運(yùn)用MATLAB進(jìn)

12、行編程（程序見附錄2）取，。所以回歸方程高度顯著。2、方程系數(shù)的顯著性檢驗(yàn)：第一次檢驗(yàn)對所得各項(xiàng)回歸系數(shù)進(jìn)行t檢驗(yàn)t2.78070.26012.90181.51821.80715.32661.83422.1176剔除第一次檢驗(yàn)所有不顯著因子中t值最小的因子t2.8291剔除2.98811.53001.82135.44031.87532.2608剔除第二次檢驗(yàn)所有不顯著因子中t值最小的因子t3.63623.6725剔除1.50005.22661.41372.0924剔除第三次檢驗(yàn)所有不顯著因子中t值最小的因子t9.73803.38112.15114.9474剔除1.9319剔除第四次檢驗(yàn)所有不顯

13、著因子中t值最小的因子t9.14992.93842.27274.9818剔除計(jì)算知：，所以，顯著，其余變量對貢獻(xiàn)不大，應(yīng)剔除。5.3 模型 由第二問得到，是影響銷售額的主要因素，我們只考慮這四個因素與銷售額的關(guān)系，再根據(jù)第一問的方法，運(yùn)用MATLAB求解，重新建立回歸方程：然后再次檢驗(yàn)新的回歸方程的顯著性，得，所以回歸方程高度顯著。又因?yàn)椋ㄓ缮蠁柨芍┧宰宰兞?，高度顯著。最后得出結(jié)論：銷售額的大小與個人可支配收入、價格、投資和廣告費(fèi)密切相關(guān)。6 模型的評價6.1模型的優(yōu)點(diǎn) 本文對于各種因素對于銷售額的影響建立了多元線性回歸模型，全面綜合考慮了各個方面的因素，避免了單一因素分析的不準(zhǔn)確性，得出

14、了合理的數(shù)學(xué)模型。并且通過各因素的顯著性分析，找到了影響銷售額的主要因素，較符合實(shí)際情況，模型可靠，并且模型相對簡單，利于操作；該方法不僅適用于本題，也適用于其他方面的數(shù)據(jù)預(yù)測，有實(shí)際背景，可運(yùn)用于實(shí)踐，具有廣泛適用性。6.2模型的缺點(diǎn) 本文忽略了除了所給因素之外的因素對銷售額的影響，與實(shí)際問題存在偏差。同時是在假設(shè)各因素相互獨(dú)立的情況下對銷售額的影響進(jìn)行分析，可能會導(dǎo)致誤差7 模型的改進(jìn)與推廣模型中得到最優(yōu)回歸方程的方法是從包含全部變量的回歸方程中逐次剔除不顯著因子，這種方法是在不顯著因子不多時采用，當(dāng)不顯著因子較多時，則工作量將會相當(dāng)大，因?yàn)槊刻蕹粋€變量就得重新計(jì)算回歸系數(shù)。鑒于以上問題

15、，我們引入了逐步回歸分析的方法，它的基本思想是將因子一個個引入，引入因子的條件是，該因子的偏回歸平方和經(jīng)檢驗(yàn)時顯著的。同時，每引入一個新因子后，要對老因子逐個檢驗(yàn)，將偏回歸平方和變?yōu)椴伙@著的因子剔除。這種方法不需要計(jì)算偏相關(guān)系數(shù)，計(jì)算較簡便，并且由于每步都作檢驗(yàn)，因而保證了最后所得的方程中所有因子都是顯著的。若回歸方程是擬合好的，就可以進(jìn)一步利用它來進(jìn)行預(yù)報(bào)和控制。預(yù)報(bào)問題，用統(tǒng)計(jì)數(shù)學(xué)的語言來說就是一個區(qū)間估計(jì)問題。在建立氣象預(yù)報(bào)、地震預(yù)報(bào)、自動控制等數(shù)學(xué)模型時，都可以用到本文的模型。8 參考文獻(xiàn)1 馬新民，王逸迅. 概率與數(shù)理統(tǒng)計(jì)M. 北京：機(jī)械工業(yè)出版社，2010.2 劉衛(wèi)國. MATLA

16、B程序設(shè)計(jì)與應(yīng)用M. 北京：高等教育出版社，2009.3 茆詩松. 回歸分析及其試驗(yàn)設(shè)計(jì)M. 上海：華東師范大學(xué)出版社，1986.9 附錄1、篩選數(shù)據(jù)程序%data(14,:)=;%data(28,:)=;%data(8,:)=;n=35;m=8;alpha=0.05;y=data(:,9);x1=data(:,1);x2=data(:,2);x3=data(:,3);x4=data(:,4);x5=data(:,5);x6=data(:,6);x7=data(:,7);x8=data(:,8);X=ones(n,1),x1,x2,x3,x4,x5,x6,x7,x8;b,bint,r,rint

17、,s=regress(y,X,alpha);% b 回歸系數(shù)% bint 回歸系數(shù)的區(qū)間估計(jì)% r 殘差% rint 殘差置信區(qū)間% stats 用于檢驗(yàn)回歸模型的統(tǒng)計(jì)量，有三個數(shù)值：相關(guān)系數(shù)R2、F值、與F對應(yīng)的概率p,相關(guān)系數(shù)R2越接近1，說明回歸方程越顯著；%F > F1-（k，n-k-1）時拒絕H0，F(xiàn)越大，說明回歸方程越顯著；與F對應(yīng)的概率p 時拒絕H0，回歸模型成立。% Y為n*1的矩陣；% X為（ones(n,1),x1,xm）的矩陣；% alpha顯著性水平s2=sum(r.2)/(n-m-1);b,bint,s,s2rcoplot(r,rint); %用這個圖來來做參差

18、及其置信區(qū)間的圖，如果數(shù)據(jù)的置信區(qū)間不包含零點(diǎn)，則可認(rèn)為這個數(shù)據(jù)是異常的，應(yīng)把它剔除2、求多元回歸方程并且進(jìn)行顯著性檢驗(yàn)m,n=size(data);Y=data(:,9);X=zeros(38,9);X(:,1)=1;Z=zeros(38,1);t=zeros(1,8);Q=zeros(1,8);for i=1:m for j=2:9 X(i,j)=data(i,j-1); endendA=X'*X;C=inv(A);b=C*X'*Y; %求多元線性回歸方程的系數(shù)for i=1:mZ(i)=b(1)+b(2)*data(i,1)+b(3)*data(i,2)+b(4)*dat

19、a(i,3)+b(5)*data(i,4)+b(6)*data(i,5)+b(7)*data(i,6)+b(8)*data(i,7)+b(9)*data(i,8);end%將數(shù)據(jù)代入回歸方程，求出理論值for i=2:9 Q(i-1)=(b(i).*b(i)/C(i,i); %求各因素所占比重endQft=m-8-1;St=0;Sf=0;for i=1:m St=St+(Y(i)-Z(i).*(Y(i)-Z(i); %求S剩 Sf=Sf+(Z(i)-mean(Y).*(Z(i)-mean(Y); %求S總endp=sqrt(St/ft)for i=2:9 t(i-1)=abs(b(i)/(p*sqrt(C(i,i); %t檢驗(yàn)endbtStSfZCF=(Sf/8)/(St/f