2024機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)算法通常，人們將SVM、KNN等之前介紹的算法理解為淺層學(xué)習(xí)，模型的識(shí)別能力更多取決于特征選取的有效性。淺層學(xué)習(xí)使用時(shí)，需要花費(fèi)至少一半的時(shí)間在數(shù)據(jù)清洗與特征提取上，有人形象地將這些步驟稱為“特征工程”，是對(duì)其巨大工作量的一種描述。從本章開始我們介紹神經(jīng)網(wǎng)絡(luò)，后面章節(jié)介紹深度學(xué)習(xí)算法，神經(jīng)網(wǎng)絡(luò)是人類第一次從自身生理結(jié)構(gòu)上獲得靈感，從而產(chǎn)生的一種新算法，從某種程度來(lái)說(shuō)，也是人類理解自身的一次巨大進(jìn)步。目錄TOC\o"1-1"\h\u199781神經(jīng)網(wǎng)絡(luò)算法概述 3246482示例：helloworld！神經(jīng)網(wǎng)絡(luò) 6266863示例：使用神經(jīng)網(wǎng)絡(luò)算法識(shí)別驗(yàn)證碼 7229104示例：使用神經(jīng)網(wǎng)絡(luò)算法檢測(cè)Java出攻擊 9神經(jīng)網(wǎng)絡(luò)算法概述人的大腦是由無(wú)數(shù)的神經(jīng)元組成的復(fù)雜網(wǎng)絡(luò)，見(jiàn)圖14-1。神經(jīng)元是具有長(zhǎng)突起的細(xì)胞，它由細(xì)胞體、軸突和樹突組成。圖14-1 人體神經(jīng)網(wǎng)絡(luò)圖每個(gè)神經(jīng)元可以有一或多個(gè)樹突，其結(jié)構(gòu)如圖14-2所示，可以接受刺激并將興奮傳入細(xì)胞體。每個(gè)神經(jīng)元只有一個(gè)軸突，可以把興奮從胞體傳送到另一個(gè)神經(jīng)元或其他組織，如肌肉或腺體。神經(jīng)元信息處理與傳遞過(guò)程如圖14-3所示。圖14-2 神經(jīng)元結(jié)構(gòu)圖14-3 神經(jīng)元信息傳遞處理過(guò)程神經(jīng)網(wǎng)絡(luò)算法就是模擬了人體神經(jīng)元的工作原理，多個(gè)輸入?yún)?shù)，分別具有各自的權(quán)重，經(jīng)過(guò)激勵(lì)函數(shù)的處理后，得到輸出，如圖14-4所示。輸出可以再對(duì)接下一級(jí)的神經(jīng)網(wǎng)絡(luò)的輸入，從而組成更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)。圖14-4 人工神經(jīng)網(wǎng)絡(luò)信息傳遞處理過(guò)程大腦里的生物神經(jīng)細(xì)胞和其他的神經(jīng)細(xì)胞是相互連接在一起的。為了創(chuàng)建一個(gè)人工神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)細(xì)胞也要以同樣方式相互連接在一起。為此可以有許多不同的連接方式，其中最容易理解并且也是最廣泛地使用的，就是把神經(jīng)細(xì)胞一層一層地連結(jié)在一起。這一種類型的神經(jīng)網(wǎng)絡(luò)就叫前饋網(wǎng)絡(luò)，如圖14-5所示。圖14-5 前饋網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)如果對(duì)預(yù)測(cè)錯(cuò)誤的神經(jīng)元施加懲罰，從輸出層開始層層向上查找預(yù)測(cè)錯(cuò)誤的神經(jīng)元，微調(diào)這些神經(jīng)元對(duì)應(yīng)的權(quán)重，可以達(dá)到修復(fù)錯(cuò)誤的目的，這樣的算法就叫做反向傳播算法。Scikit-Learn中的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)都是使用反向傳播算法。本文重點(diǎn)介紹算法在安全領(lǐng)域的應(yīng)用，神經(jīng)網(wǎng)絡(luò)的公式推導(dǎo)請(qǐng)參考其他機(jī)器學(xué)習(xí)專業(yè)書籍。示例：helloworld！神經(jīng)網(wǎng)絡(luò)導(dǎo)入相關(guān)庫(kù)：fromsklearn.neural_networkimportMLPClassifier設(shè)置訓(xùn)練樣本以及對(duì)應(yīng)的標(biāo)注：>>>X=[[0.,0.],[1.,1.]]>>>y=[0,1]實(shí)例化多層神經(jīng)網(wǎng)絡(luò)算法，其中隱藏層一共兩層，對(duì)應(yīng)神經(jīng)元個(gè)數(shù)分別為5個(gè)和2個(gè)：>>>clf=MLPClassifier(solver='lbfgs',alpha=1e-5,... hidden_layer_sizes=(5,2),random_state=1)>>>clf.fit(X,y)預(yù)測(cè)結(jié)果：>>>clf.predict([[2.,2.],[-1.,-2.]])array([1,0])示例：使用神經(jīng)網(wǎng)絡(luò)算法識(shí)別驗(yàn)證碼MNIST是一個(gè)入門級(jí)的計(jì)算機(jī)視覺(jué)數(shù)據(jù)集，如圖14-6所示，它包含各種手寫數(shù)字圖片，它也包含每一張圖片對(duì)應(yīng)的標(biāo)簽，告訴我們這個(gè)是數(shù)字幾。我們使用神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別由MNIST組成的驗(yàn)證碼。完整演示代碼請(qǐng)見(jiàn)本書GitHub上的14-1.py。圖14-6 MNIST數(shù)據(jù)1.數(shù)據(jù)搜集和數(shù)據(jù)清洗在線抓取最新的MNIST，并將前60000個(gè)樣本作為訓(xùn)練樣本，剩下的作為測(cè)試樣本。其中圖片大小為28×28，所以輸入?yún)?shù)個(gè)數(shù)為784。如果出現(xiàn)樣本下載失敗，可以直接去MNIST網(wǎng)站上下載，具體信息可以參考第3章內(nèi)容：importmatplotlib.pyplotaspltfromsklearn.datasetsimportfetch_mldatafromsklearn.neural_networkimportMLPClassifiermnist=fetch_mldata("MNISToriginal")X,y=mnist.data/255.,mnist.targetX_train,X_test=X[:60000],X[60000:]y_train,y_test=y[:60000],y[60000:]特征化實(shí)例化神經(jīng)網(wǎng)絡(luò)算法，隱藏層為一層，神經(jīng)元個(gè)數(shù)為50：mlp=MLPClassifier(hidden_layer_sizes=(50,),max_iter=10,alpha=1e-4,solver='sgd',verbose=10,tol=1e-4,random_state=1,learning_rate_init=.1)訓(xùn)練模型mlp.fit(X_train,y_train)效果驗(yàn)證print("Trainingsetscore:%f"%mlp.score(X_train,y_train))print("Testsetscore:%f"%mlp.score(X_test,y_test))準(zhǔn)確率達(dá)到了97%左右，效果非常不錯(cuò)：Trainingsetscore:0.985733Testsetscore:0.971000示例：使用神經(jīng)網(wǎng)絡(luò)算法檢測(cè)Java出攻擊完整演示代碼請(qǐng)見(jiàn)本書GitHub上的14-2.py。數(shù)據(jù)搜集和數(shù)據(jù)清洗使用ADFA-LD數(shù)據(jù)集中Java溢出攻擊的相關(guān)數(shù)據(jù)（見(jiàn)圖14-7），ADFA-LD數(shù)據(jù)集詳細(xì)介紹請(qǐng)閱讀第3章相關(guān)內(nèi)容。圖14-7 ADFA-LD系統(tǒng)調(diào)用抽象成向加載ADFA-LD中的正常樣本數(shù)據(jù)：defload_adfa_training_files(rootdir):x=[]y=[]list=os.listdir(rootdir)foriinrange(0,len(list)):path=os.path.join(rootdir,list[i])ifos.path.isfile(path):x.append(load_one_flle(path))y.append(0)returnx,y定義遍歷目錄下文件的函數(shù)：defdirlist(path,allfile):filelist=os.listdir(path)forfilenameinfilelist:filepath=os.path.join(path,filename)ifos.path.isdir(filepath):dirlist(filepath,allfile)else:allfile.append(filepath)returnallfile從攻擊數(shù)據(jù)集中篩選和Java溢出攻擊相關(guān)的數(shù)據(jù)：defload_adfa_java_files(rootdir):x=[]y=[]allfile=dirlist(rootdir,[])forfileinallfile:ifre.match(r"../data/ADFA-LD/Attack_Data_Master/Java_Meterpreter_\d+/UAD-Java-Metfile):x.append(load_one_flle(file))y.append(1)returnx,y特征化由于ADFA-LD數(shù)據(jù)集都記錄了函數(shù)調(diào)用序列，且每個(gè)文件包含的函數(shù)調(diào)用序列的個(gè)數(shù)都不一致，可以參考第3章中的詞集模型進(jìn)行特征化。x2,y2=load_adfa_hydra_ftp_files("../data/ADFA-LD/Attack_Data_Master/"x=x1+x2y=y1+y2vectorizer=CountVectorizer(min_df=1)x=vectorizer.fit_transform(x)x=x.toarray()訓(xùn)練樣本實(shí)例化神經(jīng)網(wǎng)絡(luò)算法，構(gòu)建一個(gè)具有兩層隱藏層的多層神經(jīng)網(wǎng)絡(luò)：mlp=MLPClassifier(hidden_layer_sizes=(150,50),max_iter=10,alpha=1e-4,solver='sgd