2025年人工智能實踐探索深度學(xué)習(xí)應(yīng)用解析

一、決策樹算法簡介：決策樹算法是一種迫近離散函數(shù)值的措施。它是一種經(jīng)典的分類措施，首先對數(shù)據(jù)進(jìn)行處理，運(yùn)用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對新數(shù)據(jù)進(jìn)行分析。本質(zhì)上決策樹是通過一系列規(guī)則對數(shù)據(jù)進(jìn)行分類的過程。決策樹措施的基本思想是：運(yùn)用訓(xùn)練集數(shù)據(jù)自動地構(gòu)造決策樹，然后根據(jù)這個決策樹對任意實例進(jìn)行鑒定。其中決策樹(DecisionTree)是一種簡樸不過廣泛使用的分類器。通過訓(xùn)練數(shù)據(jù)構(gòu)建決策樹，可以高效的對未知的數(shù)據(jù)進(jìn)行分類。決策數(shù)有兩大長處：1)決策樹模型可以讀性好，具有描述性，有助于人工分析；2)效率高，決策樹只需要一次構(gòu)建，反復(fù)使用，每一次預(yù)測的最大計算次數(shù)不超過決策樹的深度。決策樹算法構(gòu)造決策樹來發(fā)現(xiàn)數(shù)據(jù)中蘊(yùn)涵的分類規(guī)則.怎樣構(gòu)造精度高、規(guī)模小的決策樹是決策樹算法的關(guān)鍵內(nèi)容。決策樹構(gòu)造可以分兩步進(jìn)行。第一步，決策樹的生成：由訓(xùn)練樣本集生成決策樹的過程。一般狀況下，訓(xùn)練樣本數(shù)據(jù)集是根據(jù)實際需要有歷史的、有一定綜合程度的，用于數(shù)據(jù)分析處理的數(shù)據(jù)集。第二步，決策樹的剪技：決策樹的剪枝是對上一階段生成的決策樹進(jìn)行檢查、校正和修下的過程，重要是用新的樣本數(shù)扼集(稱為測試數(shù)據(jù)集)中的數(shù)據(jù)校驗決策樹生成過程中產(chǎn)生的初步規(guī)則，將那些影響預(yù)衡精確性的分枝剪除、決策樹措施最早產(chǎn)生于上世紀(jì)60年代，到70年代末。由JRossQuinlan提出了ID3算法，此算法的目的在于減少樹的深度。不過忽視了葉子數(shù)目的研究。C4.5算法在ID3算法的基礎(chǔ)上進(jìn)行了改善，對于預(yù)測變量的缺值處理、剪枝技術(shù)、派生規(guī)則等方面作了較大改善，既適合于分類問題，又適合于回歸問題。本節(jié)將就ID3算法展開分析和實現(xiàn)。ID3算法：ID3算法最早是由羅斯昆(J.RossQuinlan)于1975年在悉尼大學(xué)提出的一種分類預(yù)測算法，算法的關(guān)鍵是“信息熵”。ID3算法通過計算每個屬性的信息增益，認(rèn)為信息增益高的是好屬性，每次劃分選用信息增益最高的屬性為劃分原則，反復(fù)這個過程，直至生成一種能完美分類訓(xùn)練樣例的決策樹。在ID3算法中，決策節(jié)點屬性的選擇運(yùn)用了信息論中的熵概念作為啟發(fā)式函數(shù)。在這種屬性選擇措施中，選擇具有最大信息增益(informationgain)的屬性作為目前劃分節(jié)點。通過這種方式選擇的節(jié)點屬性可以保證決策樹具有最小的分枝數(shù)量，使得到的決策樹冗余最小。ID3(Examples,Target_attribute,Attributes)Examples即訓(xùn)練樣例集。Target_attribute是這棵是除目標(biāo)屬性外供學(xué)習(xí)到的決策樹測試的屬性列表。返回能正確分類給定Examples的決策樹。●創(chuàng)建樹的Root結(jié)點●如果Examples都為正，那么返回label=+的單結(jié)點樹Root●如果Examples都為反，那么返回label=的單結(jié)點樹RootTarget_attribute值●A+Attributes中分類Examples能力最好*的屬性●對于A的每個可能值v;●令Examples,為Examples中滿足A屬性值為v,的子集●在這個新分支下加一個葉子結(jié)點，結(jié)點的label=Examples●否則在這個新分支下加一個子樹ID3(Examples,二、試驗過程1.試驗數(shù)據(jù)集這個樣例集中，每個屬性都是離散值的，持續(xù)的屬性已經(jīng)被離散化。將圖中的樣例集轉(zhuǎn)換成圖2中所示的格式并保留到文獻(xiàn)中以供項目程序讀取數(shù)據(jù)。圖2中“@attribute”行所對應(yīng)的是樣例集中的測試屬性和目的屬性，以及它們屬性值。而“@data”行背面的每一行數(shù)據(jù)則對應(yīng)了樣例集中的一條樣例。測試屬性：outlook,天氣狀況，屬性值為{sunny,overcast,rainy};humidity,濕度，屬性值為{high,normal};Play,與否適合打球，屬性值為{yes,no}。123456789圖3所示為本項目最終的輸出成果。項目的輸出成果詳細(xì)的給出了在構(gòu)建決策樹的過程中候選屬性的信息增益、測試屬性的選用成果、測試屬性的各個屬性值所對應(yīng)的分24<DecisionTreevalue="12<wsunnyYES2.實現(xiàn)環(huán)節(jié)：第二步：開始遞歸地創(chuàng)立決策樹。首先為樣例集中的每一種測試屬性分派一種權(quán)值，權(quán)值越小代表屬性的重要性越高。創(chuàng)立決策樹的過程中要計算樣本的總體熵，計算各個屬性的信息增益，將信息增益值最大的屬性定為測試屬性(根結(jié)點),然后開始從根節(jié)第三步：輸出目的概念weather的決策樹xml格式，此項需要引入jaxen-1.1.1.jar包，編譯整個項目并運(yùn)行生成決策樹。關(guān)鍵代碼：//給定原始數(shù)據(jù)的子集(subset中存儲行號),當(dāng)以第index個屬性為節(jié)點時計算它的信息熵{int[][]info=newint[attfor(inti=0;i<info.lengtinfo[i]=newint[attributevalue.get(decatint[]count=newint[a{Stringnodevalue=data.gintnodeind=attributevalue.get(index).indexOf(nodevalue);Stringdecvalue=data.gintdecind=attributevalue.get(decatt).in}{entropy+=getEntropy(info[i])*c}}//構(gòu)建決策樹List<Element>list=root.sellterator<Element>iter{if(ele.attributeValue("value}{}doubleentropy=calEntropy(subset,s{}}ArrayList<String>attvalues=attributevalue.get(minlndexele.addElement(nodeName).addAttribute("ArrayList<Integer>al=newArrayList<Integer>();}}有效算法。直到誤差反向傳播算法(BP算法)的提出，成功地處理了求解非線性持續(xù)函BP網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆可分問題，因此在實際應(yīng)用過程中受到了限制。而BP網(wǎng)絡(luò)卻擁有良好的繁泛化能力、輸出的差值(即誤差),以便根據(jù)此差值調(diào)整權(quán)值。這種過程不停迭代，最終使得信號基于BP算法的多層前饋型網(wǎng)絡(luò)模型的拓?fù)錁?gòu)造如上圖所示。BP算法的數(shù)學(xué)描述：三層BP前饋網(wǎng)絡(luò)的數(shù)學(xué)模型如上圖所示。三層前饋網(wǎng)中，輸輸入層到隱層之間的權(quán)值矩陣用V表達(dá)，V=(v?,v?,…,…),其中列向量v,為隱層第j個神經(jīng)元對應(yīng)的權(quán)向量；隱層到輸出層之間的權(quán)值矩陣用W表達(dá)， W=(w,W?,…w.…w),其中列向量w為輸出層第k個神經(jīng)元對應(yīng)的權(quán)向量。下面分析各層信號之間的數(shù)學(xué)關(guān)系。對于輸出層，有對于隱層，有以上兩式中，轉(zhuǎn)移函數(shù)f(x)均為單極性Sigmoid函數(shù)：f(x)具有持續(xù)、可導(dǎo)的特點，且有f'(x)=f(x)[1-f(x)]以上共同構(gòu)成了三層前饋網(wǎng)了的數(shù)學(xué)模型。當(dāng)網(wǎng)絡(luò)輸出和期望輸出不相等時，存在輸出誤差E如下：將以上誤差定義式展開至隱層，有深入展開至輸入層，有由上式可以看出，網(wǎng)絡(luò)輸入誤差是兩層權(quán)值W和V的函數(shù)，因此調(diào)整權(quán)值可以變化誤差E。顯然，調(diào)整權(quán)值的原則是使誤差不停的減小，因此應(yīng)使權(quán)值的調(diào)整量與誤差的負(fù)梯度成正比，即：式中負(fù)號表達(dá)梯度下降，常數(shù)η∈(0,1)表達(dá)比例系數(shù)，在訓(xùn)練中反應(yīng)了學(xué)習(xí)速率。決定，即：學(xué)習(xí)速率、本層誤差信號和本層輸入信號X/Y。其中輸出層誤差信號同網(wǎng)絡(luò)的期望輸出與實際輸出之差有關(guān)，直接反應(yīng)了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號均有關(guān)，是從輸出層開始逐層反傳過來的。試驗輸入與輸出：將它轉(zhuǎn)化為一種32位的向量，向量的每個分量就是其二進(jìn)制形式對應(yīng)的位上的0或1。將目的輸出品Problems@JavadocADeclarationASearchConsoleXTest(1)[JavaApplication]C:\ProgramFilesVava\jre8\bin\javaw.exe(2016年1月12日下午9:12:22)訓(xùn)練完畢，下面請輸入一個任意數(shù)字，神經(jīng)網(wǎng)絡(luò)將自動判斷它是正數(shù)還是負(fù)數(shù)，奇數(shù)還是偶12是一個正偶數(shù)關(guān)鍵代碼：privatevoidforward(double[]layer0,double[]layer1,doufor(intj=1,len=layer1.length;j!=len;++j){for(inti=0,len2=layer0.length;i!=len2;sum+=wei}privatevoidoutputErr(){for(intidoptDelta[idx]=o*(1d-o)*(targerrSum+=Math.abs(optDelta[idx]);}*Calculatefor(int