數(shù)據(jù)挖掘中的統(tǒng)計學

數(shù)據(jù)挖掘中的統(tǒng)計學參考資料：Wiki：統(tǒng)計學研究者July的CSDN蝸牛向前沖2013年6月2日星期日綱要概率論條件概率全概率貝葉斯公式離散型隨機變量連續(xù)型隨機變量概率論總結數(shù)理統(tǒng)計數(shù)學期望方差協(xié)方差相關系數(shù)主成分分析中心極限定理χ2分布、t分布、F分布正態(tài)分布簡史正態(tài)分布簡史誤差計算中英文對照概率分布集中趨勢離散程度分布形態(tài)2013-06-02Sunday2概率論條件概率全概率貝葉斯公式離散型隨機變量連續(xù)型隨機變量概率論總結2013-06-02Sunday3條件概率定義：在同一個樣本空間Ω中的事件A、B,如果從Ω中隨機選出的一個元素屬于B，那么這個隨機選出的元素也屬于A的概率就定義為B條件下A發(fā)生的條件概率，即為P(A|B)=|A∩B|/|B|分子、分母同除以|Ω|，得到條件概率的公式：P(A|B)=P(A∩B)/P(B)亦稱為后驗概率。P(A|B)與P(B|A)的關系為：P(A|B)×P(B)=P(B|A)×P(A)2013-06-02Sunday4全概率公式

2013-06-02Sunday5貝葉斯公式

2013-06-02Sunday6貝葉斯公式正概率是由原因推結果(現(xiàn)在推未來)，稱為概率論某藥廠用從甲、乙、丙三地收購而來的藥材加工生產(chǎn)出一種中成藥，三地的供貨量分別占40%，35%和25%，且用這三地的藥材能生產(chǎn)出優(yōu)等品的概率分別為0.65，0.70和0.85，求從該廠產(chǎn)品中任意取出一件成品是優(yōu)等品的概率。（0.7175）逆概率是由結果推原因(現(xiàn)在推過去)，稱為數(shù)理統(tǒng)計如果一件產(chǎn)品是優(yōu)質品，它的材料來自甲地的概率有多大呢？（0.3624）2013-06-02Sunday7離散型隨機變量

2013-06-02Sunday8連續(xù)型隨機變量

2013-06-02Sunday9連續(xù)型隨機變量

2013-06-02Sunday10連續(xù)型隨機變量圖片來源：《大嘴巴漫談數(shù)據(jù)挖掘》2013-06-02Sunday11概率論總結圖片來源：《概率論與數(shù)理統(tǒng)計》盛驟版2013-06-02Sunday12概率論總結圖片來源：《概率論與數(shù)理統(tǒng)計》盛驟版2013-06-02Sunday13數(shù)理統(tǒng)計數(shù)學期望方差協(xié)方差相關系數(shù)主成分分析中心極限定理χ2分布、t分布、F分布2013-06-02Sunday14數(shù)學期望MathematicalExpectation隨機變量X的期望值vs樣本均值積分的本質亦是求和例：擲色子一次，期望值為3.52013-06-02Sunday15方差Variance方差：變量距其期望值的距離；亦稱為二階矩2013-06-02Sunday16協(xié)方差Covariance

協(xié)方差矩陣兩個向量的協(xié)方差cov(X,Y)和cov(Y,X)互為轉置矩陣2013-06-02Sunday17相關系數(shù)CorrelationCoefficient

而實際上，上述數(shù)據(jù)的函數(shù)關系為y=0.10+0.01x；E(x)=3.8，E(y)=0.138，x-E(x)、y-E(y)得x=(?2.8,?1.8,?0.8,1.2,4.2)、

y=(?0.028,?0.018,?0.008,0.012,0.042),得皮爾遜相關系數(shù)2013-06-02Sunday18相關系數(shù)CorrelationCoefficient2013-06-02Sunday19主成分分析PrincipalComponentAnalysis又稱主分量分析，PCA指將多個變量通過線性變換以選出較少個數(shù)重要變量的方法，在減少數(shù)據(jù)集維數(shù)的同時，保持數(shù)據(jù)集的對方差貢獻最大的特征。

PCA的目的是使變換后的數(shù)據(jù)有最大的方差，這些性質不同于普通模型為求穩(wěn)定性往往會減小方差；主要方法：對協(xié)方差矩陣進行特征分解，得出數(shù)據(jù)的主成分(特征向量)和權值(特征值)步驟：數(shù)據(jù)標準化；求特征協(xié)方差矩陣；通過正交變換使非對角線的元素為0，求得特征值和特征向量；對特征值降序排列，取最大k個組成特征向量矩陣；投影矩陣=原始樣本數(shù)據(jù)×特征向量矩陣；(理論依據(jù)為SVD)2013-06-02Sunday20中心極限定理

獨立變量和

2013-06-02Sunday21中心極限定理

獨立同分布變量和

2013-06-02Sunday22中心極限定理

此定理表明：二項分布的極限是正態(tài)分布；二項分布是離散分布，正態(tài)分布是連續(xù)分布n重伯努利試驗在出現(xiàn)第r個A前A不出現(xiàn)的試驗次數(shù)的概率分布為負二項分布，又稱帕斯卡分布。獨立同分布

2013-06-02Sunday23中心極限定理

若序列滿足李雅普若夫條件：

獨立變量2013-06-02Sunday24χ2分布、t分布、F分布在正態(tài)分布、中心極限定理確立之下，20世紀后χ2分布、t分布、F分布也出現(xiàn)了2013-06-02Sunday25正態(tài)分布簡史正態(tài)分布簡史誤差計算2013-06-02Sunday26正態(tài)分布簡史17世紀，惠更斯(1629-1695)研究賭博時創(chuàng)立數(shù)學期望；18世紀，伯努利(1667-1748)伯努利大數(shù)定律：事件發(fā)生的頻率依概率收斂于事件的概率；1909年由伯萊爾證明；18世紀，棣莫弗(1667-1754)二項概率逼近：用二項分布逼近正態(tài)分布，并提出了中心極限定理；18世紀，拉普拉斯(1749-1827)建立了中心極限定理的一般形式；19世紀，勒讓德(1752-1833)發(fā)明最小二乘法；19世紀，高斯(1777-1855)正態(tài)誤差理論(以下有詳解)；19世紀，拉普拉斯在高斯研究的基礎上，用中心極限定理論證了正態(tài)分布(高斯分布)；19世紀，海根提出元誤差學說，逐步正式確立誤差服從正態(tài)分布。2013-06-02Sunday27誤差計算

即可解得系數(shù)a、b。

2013-06-02Sunday28誤差計算

2013-06-02Sunday29中英文對照概率分布集中趨勢離散程度分布形態(tài)2013-06-02Sunday30中英文對照-概率分布ProbabilityTheory：概率論MathematicalStatistics：數(shù)理統(tǒng)計SampleSpace：樣本空間RandomOccurrence：隨機事件Fundamentalevent：基本事件Certainevent:必然事件Impossibleevent：不可能事件RandomVariable：隨機變量DiscreteRandomVariable：離散型ContinuousRandomVariable:連續(xù)型Bayes’sFormula：貝葉斯公式ProbabilityDistribution：概率分布DistributionFunction：分布函數(shù)DistributionLaw：分布律ProbabilityDensity：概率密度ConditionalDistribution：條件分布UniformlyDistribution：均勻分布BinomialDistribution：二項分布BernoulliDistribution：伯努利分布GeometricDistribution：幾何分布PoissonDistribution：泊松分布ExponentitalDistribution：指數(shù)分布MathematicalExpectation：數(shù)學期望Variance：方差Covariance：協(xié)方差CorrelationCoefficient：相關系數(shù)NormalDistribution：正態(tài)分布CentralLimitTherem：中心極限定理Chebyshev’sInequality：切比雪夫不等式PrincipalComponentAnalysis：主成分分析2013-06-02Sunday31中英文對照-集中趨勢

2013-06-02Sunday32中英文對照-離散程度Rang