機(jī)器學(xué)習(xí)和數(shù)據(jù)處理的常見算法的簡(jiǎn)單介紹及優(yōu)缺點(diǎn)分析

機(jī)器學(xué)習(xí)和數(shù)據(jù)解決的常見算法的簡(jiǎn)樸介紹及優(yōu)缺點(diǎn)分析在我們?nèi)粘Ｉ钪兴玫降耐扑]系統(tǒng)、智能圖片美化應(yīng)用和聊天機(jī)器人等應(yīng)用中，多個(gè)各樣的機(jī)器學(xué)習(xí)和數(shù)據(jù)解決算法正盡職盡責(zé)地發(fā)揮著自己的功效。本文篩選并簡(jiǎn)樸介紹了某些最常見算法類別，還為每一種類別列出了某些實(shí)際的算法并簡(jiǎn)樸介紹了它們的優(yōu)缺點(diǎn)。目錄正則化算法（RegularizationAlgorithms）集成算法（EnsembleAlgorithms）決策樹算法（DecisionTreeAlgorithm）回歸（Regression）人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork）深度學(xué)習(xí)（DeepLearning）支持向量機(jī)（SupportVectorMachine）降維算法（DimensionalityReductionAlgorithms）聚類算法（ClusteringAlgorithms）基于實(shí)例的算法（Instance-basedAlgorithms）貝葉斯算法（BayesianAlgorithms）關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（AssociationRuleLearningAlgorithms）圖模型（GraphicalModels）01正則化算法（RegularizationAlgorithms）它是另一種辦法（普通是回歸辦法）的拓展，這種辦法會(huì)基于模型復(fù)雜性對(duì)其進(jìn)行處罰，它喜歡相對(duì)簡(jiǎn)樸能夠更加好的泛化的模型。例子：嶺回歸（RidgeRegression）最小絕對(duì)收縮與選擇算子（LASSO）GLASSO彈性網(wǎng)絡(luò)（ElasticNet）最小角回歸（Least-AngleRegression）優(yōu)點(diǎn)：其處罰會(huì)減少過(guò)擬合總會(huì)有解決辦法缺點(diǎn)：處罰會(huì)造成欠擬合很難校準(zhǔn)02集成算法（Ensemblealgorithms）集成辦法是由多個(gè)較弱的模型集成模型組，其中的模型能夠單獨(dú)進(jìn)行訓(xùn)練，并且它們的預(yù)測(cè)能以某種方式結(jié)合起來(lái)去做出一種總體預(yù)測(cè)。該算法重要的問(wèn)題是要找出哪些較弱的模型能夠結(jié)合起來(lái)，以及結(jié)合的辦法。這是一種非常強(qiáng)大的技術(shù)集，因此廣受歡迎。BoostingBootstrappedAggregation（Bagging）AdaBoost層疊泛化（StackedGeneralization）（blending）梯度推動(dòng)機(jī)（GradientBoostingMachines，GBM）梯度提高回歸樹（GradientBoostedRegressionTrees，GBRT）隨機(jī)森林（RandomForest）優(yōu)點(diǎn)：當(dāng)先最先進(jìn)的預(yù)測(cè)幾乎都使用了算法集成。它比使用單個(gè)模型預(yù)測(cè)出來(lái)的成果要精確的多缺點(diǎn)：需要大量的維護(hù)工作03決策樹算法（DecisionTreeAlgorithm）決策樹學(xué)習(xí)使用一種決策樹作為一種預(yù)測(cè)模型，它將對(duì)一種item（表征在分支上）觀察所得映射成有關(guān)該item的目的值的結(jié)論（表征在葉子中）。樹模型中的目的是可變的，能夠采一組有限值，被稱為分類樹；在這些樹構(gòu)造中，葉子表達(dá)類標(biāo)簽，分支表達(dá)表征這些類標(biāo)簽的連接的特性。例子：分類和回歸樹（ClassificationandRegressionTree，CART）IterativeDichotomiser3（ID3）C4.5和C5.0（一種強(qiáng)大辦法的兩個(gè)不同版本）優(yōu)點(diǎn)：容易解釋非參數(shù)型缺點(diǎn)：趨向過(guò)擬合可能或陷于局部最小值中沒(méi)有在線學(xué)習(xí)04回歸算法（Regression

Algorithm）回歸是用于預(yù)計(jì)兩種變量之間關(guān)系的統(tǒng)計(jì)過(guò)程。當(dāng)用于分析因變量和一種多個(gè)自變量之間的關(guān)系時(shí)，該算法能提供諸多建模和分析多個(gè)變量的技巧。具體一點(diǎn)說(shuō)，回歸分析能夠協(xié)助我們理解當(dāng)任意一種自變量變化，另一種自變量不變時(shí)，因變量變化的典型值。最常見的是，回歸分析能在給定自變量的條件下預(yù)計(jì)出因變量的條件盼望。回歸算法是統(tǒng)計(jì)學(xué)中的重要算法，它已被納入統(tǒng)計(jì)機(jī)器學(xué)習(xí)。例子：普通最小二乘回歸（OrdinaryLeastSquaresRegression，OLSR）線性回歸（LinearRegression）邏輯回歸（LogisticRegression）逐步回歸（StepwiseRegression）多元自適應(yīng)回歸樣條（MultivariateAdaptiveRegressionSplines，MARS）本地散點(diǎn)平滑預(yù)計(jì)（LocallyEstimatedScatterplotSmoothing，LOESS）優(yōu)點(diǎn)：直接、快速出名度高缺點(diǎn)：規(guī)定嚴(yán)格的假設(shè)需要解決異常值05人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而構(gòu)建的算法模型。它是一種模式匹配，常被用于回歸和分類問(wèn)題，但擁有龐大的子域，由數(shù)百種算法和各類問(wèn)題的變體構(gòu)成。例子：感知器反向傳輸Hopfield網(wǎng)絡(luò)徑向基函數(shù)網(wǎng)絡(luò)（RadialBasisFunctionNetwork，RBFN）優(yōu)點(diǎn)：在語(yǔ)音、語(yǔ)義、視覺(jué)、各類游戲（如圍棋）的任務(wù)中體現(xiàn)極好。算法能夠快速調(diào)節(jié)，適應(yīng)新的問(wèn)題。缺點(diǎn)：需要大量數(shù)據(jù)進(jìn)行訓(xùn)練訓(xùn)練規(guī)定很高的硬件配備模型處在「黑箱狀態(tài)」，難以理解內(nèi)部機(jī)制元參數(shù)（Metaparameter）與網(wǎng)絡(luò)拓?fù)溥x擇困難。06深度學(xué)習(xí)（DeepLearning）深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)的最新分支，它受益于當(dāng)代硬件的快速發(fā)展。眾多研究者現(xiàn)在的方向重要集中于構(gòu)建更大、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，現(xiàn)在有許多辦法正在聚焦半監(jiān)督學(xué)習(xí)問(wèn)題，其中用于訓(xùn)練的大數(shù)據(jù)集只包含極少的標(biāo)記。例子：深玻耳茲曼機(jī)（DeepBoltzmannMachine，DBM）DeepBeliefNetworks（DBN）卷積神經(jīng)網(wǎng)絡(luò)（CNN）StackedAuto-Encoders優(yōu)點(diǎn)/缺點(diǎn)：見神經(jīng)網(wǎng)絡(luò)07支持向量機(jī)（SupportVectorMachines）給定一組訓(xùn)練事例，其中每個(gè)事例都屬于兩個(gè)類別中的一種，支持向量機(jī)（SVM）訓(xùn)練算法能夠在被輸入新的事例后將其分類到兩個(gè)類別中的一種，使本身成為非概率二進(jìn)制線性分類器。SVM模型將訓(xùn)練事例表達(dá)為空間中的點(diǎn)，它們被映射到一幅圖中，由一條明確的、盡量寬的間隔分開以分辨兩個(gè)類別。隨即，新的示例會(huì)被映射到同一空間中，并基于它們落在間隔的哪一側(cè)來(lái)預(yù)測(cè)它屬于的類別。優(yōu)點(diǎn)：在非線性可分問(wèn)題上體現(xiàn)優(yōu)秀缺點(diǎn)：非常難以訓(xùn)練很難解釋08降維算法（DimensionalityReductionAlgorithms）和集簇辦法類似，降維追求并運(yùn)用數(shù)據(jù)的內(nèi)在構(gòu)造，目的在于使用較少的信息總結(jié)或描述數(shù)據(jù)。這一算法可用于可視化高維數(shù)據(jù)或簡(jiǎn)化接下來(lái)可用于監(jiān)督學(xué)習(xí)中的數(shù)據(jù)。許多這樣的辦法可針對(duì)分類和回歸的使用進(jìn)行調(diào)節(jié)。例子：主成分分析（PrincipalComponentAnalysis(PCA)）主成分回歸（PrincipalComponentRegression(PCR)）偏最小二乘回歸（PartialLeastSquaresRegression(PLSR)）Sammon映射（SammonMapping）多維尺度變換（MultidimensionalScaling(MDS)）投影尋蹤（ProjectionPursuit）線性鑒別分析（LinearDiscriminantAnalysis(LDA)）混合鑒別分析（MixtureDiscriminantAnalysis(MDA)）二次鑒別分析（QuadraticDiscriminantAnalysis(QDA)）靈活鑒別分析（FlexibleDiscriminantAnalysis(FDA)）優(yōu)點(diǎn)：可解決大規(guī)模數(shù)據(jù)集無(wú)需在數(shù)據(jù)上進(jìn)行假設(shè)缺點(diǎn)：難以搞定非線性數(shù)據(jù)難以理解成果的意義09聚類算法（ClusteringAlgorithms）聚類算法是指對(duì)一組目的進(jìn)行分類，屬于同一組（亦即一種類，cluster）的目的被劃分在一組中，與其它組目的相比，同一組目的更加彼此相似（在某種意義上）。例子：K-均值（k-Means）k-Medians算法ExpectationMaximi封層ation(EM)最大盼望算法（EM）分層集群（HierarchicalClstering）優(yōu)點(diǎn)：讓數(shù)據(jù)變得故意義缺點(diǎn)：成果難以解讀，針對(duì)不尋常的數(shù)據(jù)組，成果可能無(wú)用。10基于實(shí)例的算法（Instance-basedAlgorithms）基于實(shí)例的算法（有時(shí)也稱為基于記憶的學(xué)習(xí)）是這樣學(xué)習(xí)算法，不是明確歸納，而是將新的問(wèn)題例子與訓(xùn)練過(guò)程中見過(guò)的例子進(jìn)行對(duì)比，這些見過(guò)的例子就在存儲(chǔ)器中。之因此叫基于實(shí)例的算法是由于它直接從訓(xùn)練實(shí)例中建構(gòu)出假設(shè)。這意味這，假設(shè)的復(fù)雜度能隨著數(shù)據(jù)的增加而變化：最糟的狀況是，假設(shè)是一種訓(xùn)練項(xiàng)目列表，分類一種單獨(dú)新實(shí)例計(jì)算復(fù)雜度為O（n）例子：K近來(lái)鄰（k-NearestNeighbor(kNN)）學(xué)習(xí)向量量化（LearningVectorQuantization(LVQ)）自組織映射（Self-OrganizingMap(SOM)）局部加權(quán)學(xué)習(xí)（LocallyWeightedLearning(LWL)）優(yōu)點(diǎn)：算法簡(jiǎn)樸、成果易于解讀缺點(diǎn)：內(nèi)存使用非常高計(jì)算成本高不可能用于高維特性空間11貝葉斯算法（BayesianAlgorithms）貝葉斯辦法是指明確應(yīng)用了貝葉斯定理來(lái)解決如分類和回歸等問(wèn)題的辦法。例子：樸素貝葉斯（NaiveBayes）高斯樸素貝葉斯（GaussianNaiveBayes）多項(xiàng)式樸素貝葉斯（MultinomialNaiveBayes）平均一致依賴預(yù)計(jì)器（AveragedOne-DependenceEstimators(AODE)）貝葉斯信念網(wǎng)絡(luò)（BayesianBeliefNetwork(BBN)）貝葉斯網(wǎng)絡(luò)（BayesianNetwork(BN)）優(yōu)點(diǎn)：快速、易于訓(xùn)練、給出了它們所需的資源能帶來(lái)良好的體現(xiàn)缺點(diǎn)：如果輸入變量是有關(guān)的，則會(huì)出現(xiàn)問(wèn)題12關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（AssociationRuleLearningAlgorithms）關(guān)聯(lián)規(guī)則學(xué)習(xí)辦法能夠提取出對(duì)數(shù)據(jù)中的變量之間的關(guān)系的最佳解釋。例如說(shuō)一家超市的銷售數(shù)據(jù)中存在規(guī)則{洋蔥，土豆}=>{漢堡}，那闡明當(dāng)一位客戶同時(shí)購(gòu)置了洋蔥和土豆的時(shí)候，他很有可能還會(huì)購(gòu)置漢堡肉。例子：Apriori算法（Apriorialgorithm）Eclat算法（Eclatalgorithm）FP-growth13圖模型（GraphicalModels）圖模型或概率圖模型（PGM/probabilisticgraphicalmodel）是一