智能計算平臺應用開發(fā)（高級）-智能計算機應用平臺開發(fā)人工智能算法優(yōu)化-智能計算機網(wǎng)絡優(yōu)化

第8章人工智能算法優(yōu)化網(wǎng)絡優(yōu)化性能優(yōu)化網(wǎng)絡優(yōu)化人工智能算法通常包含多個需要預先選擇或者設置的超參數(shù)，設置得當?shù)某瑓?shù)能夠有效提升構(gòu)建的模型的性能和實際應用的效果。手動設置和調(diào)整超參數(shù)是一項極為艱難的任務，需要具有豐富的經(jīng)驗并進行大量的反復嘗試。超參數(shù)優(yōu)化超參數(shù)的優(yōu)化可以定義為：對于模型需要設置的n個超參數(shù)，找到最優(yōu)的超參數(shù)設置，使得基于此超參數(shù)設置訓練得到的模型具有最優(yōu)的性能評價指標。優(yōu)化超參數(shù)的難點每個類型的超參數(shù)都有很多選擇，且數(shù)據(jù)規(guī)模較大，構(gòu)建的模型結(jié)構(gòu)復雜，使得計算成本很高。通過算法實現(xiàn)高效和自動化的超參數(shù)優(yōu)化已經(jīng)成為一個重要的研究方向。超參數(shù)優(yōu)化常見的超參數(shù)優(yōu)化方法網(wǎng)格搜索隨機搜索貝葉斯優(yōu)化遺傳算法……超參數(shù)優(yōu)化——網(wǎng)格搜索網(wǎng)格搜索是一種最基本的超參數(shù)優(yōu)化算法，其實質(zhì)上是在一定的空間范圍內(nèi)按照擬定的坐標系將待搜索參數(shù)劃分成長短相同的網(wǎng)格，坐標系中每一個點代表一組參數(shù)組合，將這個給定區(qū)間內(nèi)的每個點依次帶入模型中，驗證每個點對應的模型的性能，能夠使得模型的性能最佳的點被認為是最優(yōu)參數(shù)。超參數(shù)優(yōu)化——網(wǎng)格搜索網(wǎng)格搜索的優(yōu)點在所劃分網(wǎng)格內(nèi)，大部分的點所對應的分類準確率都非常低，只有在一個較小的區(qū)間中所對應的參數(shù)的準確率較高。由于網(wǎng)格搜索的算法需要遍歷所有網(wǎng)格對應的點，所以這必然會產(chǎn)生大量不必要的無效計算，從而導致浪費大量的計算時間。當設定區(qū)間足夠大，且步長足夠小時，網(wǎng)格搜索法可以找出全局最優(yōu)解。網(wǎng)格搜索的缺點超參數(shù)優(yōu)化——隨機搜索隨機搜索與網(wǎng)格搜索不同之處在于，隨機搜索沒有將坐標系中每一個點都帶入模型進行驗證，而是給每個超參數(shù)定義一個邊緣分布，從指定的分布中隨機選取固定數(shù)量的超參數(shù)進行組合。由于實際中超參數(shù)的最優(yōu)值往往僅存在于一個完整分布中的一小塊部分，使用網(wǎng)絡搜索并不能保證能直接搜索到合適的超參數(shù)，而隨機搜索則大大提高了找到合適參數(shù)的可能性。超參數(shù)優(yōu)化——隨機搜索網(wǎng)格搜索的優(yōu)點不能利用先驗知識選擇超參數(shù)組合，否則容易陷入局部最優(yōu)，使得隨機搜索的結(jié)果無法保證能夠取得全局最優(yōu)。隨機搜索中的每個超參數(shù)是獨立的，收斂速度更快，能夠更快地減少驗證集的誤差。網(wǎng)格搜索的缺點超參數(shù)優(yōu)化——貝葉斯優(yōu)化貝葉斯優(yōu)化是一種近似逼近的方法，屬于基于序列模型優(yōu)化（SMBO）的算法。SMBO算法使用先前觀察到的函數(shù)確定函數(shù)的下一個采樣點。貝葉斯優(yōu)化假設函數(shù)符合高斯過程，在函數(shù)方程未知的情況下根據(jù)已有的采樣點來預估函數(shù)最大值。高斯過程可簡要表示為在某個連續(xù)空間上的觀測域的統(tǒng)計模型，每個點的輸入空間都是高斯分布的隨機變量，只需要確定期望和協(xié)方差函數(shù)，即可得到一個高斯過程。超參數(shù)優(yōu)化——貝葉斯優(yōu)化貝葉斯優(yōu)化通過無限維的高斯過程來描述最優(yōu)超參數(shù)搜索問題。在這個高斯過程中可以得到每一組輸入超參數(shù)的均值和方差。均值代表這組超參數(shù)最終的期望效果，均值越大表示模型最終指標的值越大。方差表示這組超參數(shù)效果的不確定性，方差越大表示這組超參數(shù)越不確定是否能夠取得最大值。超參數(shù)優(yōu)化——貝葉斯優(yōu)化定義一個Acquisitionfunction用于平衡均值和方差的比例，目前主流的方法為EI方法。EI方法描述的是下一個待搜索的點能比當前最好的值擁有更好的期望，如式（1）所示。式（1）在式（1）中，

表示當前最優(yōu)的一組超參數(shù)，

為當前超參數(shù)對應的指標的值，由于EI方法是一個高斯過程，所以后驗概率為高斯形式，實現(xiàn)過程較為簡單。超參數(shù)優(yōu)化——貝葉斯優(yōu)化貝葉斯優(yōu)化算法的過程（1）對于給定的觀測值，使用高斯過程更新函數(shù)的后驗期望值。（2）找到能夠最大化EI的一組超參數(shù)。（3）計算該組超參數(shù)對應的函數(shù)的值。（4）上述過程重復指定的迭代次數(shù)，或者直到收斂為止。超參數(shù)優(yōu)化——遺傳算法遺傳算法源于達爾文的進化論、孟德爾的群體遺傳學說和魏茨曼的物種選擇學說，模擬生物在自然環(huán)境中優(yōu)勝劣汰、適者生存的遺傳和進化過程而形成，是一種具有自適應能力的、全局性的概率搜索算法。超參數(shù)優(yōu)化——遺傳算法上述的這個過程使種群像自然進化一樣，后代種群比前代更加適應于環(huán)境，末代種群中的最優(yōu)個體經(jīng)過解碼可以作為問題近似最優(yōu)解。遺傳算法首先進行編碼將表現(xiàn)型映射到基因型，從而將解空間映射到編碼空間，每個編碼對應問題的一個解，稱為染色體或個體。初始種群產(chǎn)生之后，按照適者生存和優(yōu)勝劣汰的原理，逐代演化產(chǎn)生出越來越好的近似解。在每一代根據(jù)問題域中個體的適應度大小選擇個體，并借助自然遺傳學的遺傳算子進行組合交叉和變異，產(chǎn)生出代表新的解集的種群。（3）雙親選擇超參數(shù)優(yōu)化——遺傳算法根據(jù)染色體的適應度計算出每個染色體被選為親代染色體的概率，如式（2）所示。

表示染色體

被選為親代染色體的概率。根據(jù)每個染色體對應的概率，隨機從種群

中選擇2個染色體作為親代染色體，分別表示為

和

。式（2）超參數(shù)優(yōu)化——遺傳算法將親代染色體

和

進行基因交叉重組，更新各自的基因編碼如式（3）所示。

和

分別是染色體

基因重組前后的編碼，

和

分別是染色體

基因重組前后的編碼，

為隨機重組因子，且

。（4）基因重組式（3）自動機器學習機器學習的應用需要大量的人工干預，主要表現(xiàn)在特征提取、模型選擇和參數(shù)調(diào)節(jié)等步驟，這些需要人工干預的步驟對操作人員有一定的要求。為了能夠降低機器學習的使用門檻，使得在機器學習領域沒有什么經(jīng)驗的人也能夠使用，自動機器學習誕生在這樣的需求之中。自動機器學習——自動機器學習是什么自動機器學習（AutomaticMachineLearning，AML）是對機器學習模型從構(gòu)建到應用的全過程自動化，最終構(gòu)建出端對端的模型。自動機器學習試圖實現(xiàn)整個機器學習過程的自動化，能夠?qū)⑴c特征、模型、優(yōu)化、評價有關的重要步驟自動化地進行，盡可能的減少機器學習過程中的人工干預。自動機器學習——自動機器學習是什么機器學習的角度自動化角度實現(xiàn)自動機器學習能夠通過自動執(zhí)行的重復性任務來提高工作效率，有助于數(shù)據(jù)科學家將注意力集中在問題上而不是模型中。自動化機器學習管道還有助于避免可能因人工誤操作而引入的錯誤，從而提升整個系統(tǒng)的健壯性。自動機器學習可以看作是一個在給定數(shù)據(jù)和任務上學習和泛化能力非常強大的系統(tǒng)，并且非常容易使用。自動機器學習可以看作是設計一系列高級的控制系統(tǒng)去操作機器學習模型，使得模型可以自動化地學習到合適的參數(shù)和配置而無需人工干預。自動機器學習——自動學習框架目前已經(jīng)有很多框架實現(xiàn)了自動化部分或整個機器學習的管道。TPOTauto-sklearnAutoKeras自動機器學習——自動學習框架TPOTTPOT（Tree-basedPipelineOptimizationTool）是賓夕法尼亞大學遺傳算法實驗室開發(fā)的一個自動機器學習框架。TPOT能夠智能地探索自動機器學習中的繁瑣的部分，從諸多種可能的組合中找到最適合當前數(shù)據(jù)情況的算法及其參數(shù)。自動機器學習——自動學習框架TPOT框架的運作流程圖自動機器學習——自動學習框架TPOT能夠自動執(zhí)行特征選擇、特征構(gòu)造等方法構(gòu)建新特征，并通過特征預處理將數(shù)據(jù)變換至更適合建模要求。并且能夠選擇合適的算法與模型，進行模型參數(shù)的調(diào)節(jié)與優(yōu)化。實際的模型訓練過程中TPOT框架主要包括了特征預處理、特征降維、特征選擇、模型選擇4部分所使用的大部分算法都基于scikit-learn機器學習框架。自動機器學習——自動學習框架特征預處理主要用于變換數(shù)據(jù)，包括了數(shù)據(jù)標準化（StandardScaler），數(shù)據(jù)縮放（RobustScaler），多項式特征構(gòu)造（PolynomialFeatures）。特征降維使用基于隨機SVD的一種主成分分析變種RandomizedPCA。自動機器學習——自動學習框架特征選擇（包含4種方法）采用遞歸特征消除策略的RFE；選擇最佳前n個特征的SelectKBset方法；選擇最優(yōu)前n%特征的SelectPercentile；移除不符合最小方差閾值特征的SelectPercentile。自動機器學習——自動學習框架模型選擇（包含的模型分為分類與回歸兩類）DecisionTreeClassfier（決策樹分類器）DecisionTreeRegressor（決策樹回歸器）RandomForestClassifier（隨機森林分類器）RandomForestRegressor（隨機森林回歸器）LogisticRegression（邏輯回歸）LinearRegression（線性回歸）KNeighborsClassifier（K-近鄰分類器）GaussianNB（高斯樸素貝葉斯）……自動機器學習——自動學習框架針對模型選擇和參數(shù)調(diào)優(yōu)的問題，TPOT使用了遺傳編程。遺傳編程遺傳編程是在遺傳算法的基礎之上發(fā)展出來的一種利用自然進化的原理進行程序進化的編程方法，與遺傳算法的最大區(qū)別在于其個體是可以執(zhí)行的程序而非字符串。自動機器學習——自動學習框架遺傳編程先隨機生成一個初始種群，構(gòu)成最優(yōu)化問題搜索空間，該種群每個個體均為樹狀結(jié)構(gòu)，且適用于給定問題環(huán)境。計算每個個體的適應度，通過遺傳算子處理適應度較高的個體，通過復制、突變、交叉等遺傳操作對種群不斷進行迭代和優(yōu)化，產(chǎn)生下一代群體。經(jīng)過不停迭代，直至下一代滿足目標函數(shù)且穩(wěn)定后為止。自動機器學習——自動學習框架auto-sklearnauto-sklearn是FrankHutter團隊開發(fā)的工具包，先通過元學習對機器學習模型及其超參數(shù)配置進行篩選，選出一批性能表現(xiàn)可能優(yōu)秀的候補之后，使用貝葉斯優(yōu)化對這批模型進行超參數(shù)優(yōu)化，最后得到一個最推薦使用的模型和超參數(shù)配置。自動機器學習——自動學習框架auto-sklearn的整體流程圖自動機器學習——自動學習框架元學習auto-sklearn使用的元學習又被稱為學會學習（LearningtoLearn），在機器學習領域中指讓計算機具備選擇機器學習方法的能力，是一種通過大數(shù)據(jù)指導樣本數(shù)據(jù)的學習方法。auto-sklearn中采用元學習方法作為貝葉斯優(yōu)化的補充，能夠縮小算法選擇和超參數(shù)優(yōu)化的搜索范圍，顯著地提高效率。自動機器學習——自動學習框架元學習在初始階段，評估每個候選算法在各個數(shù)據(jù)集上的性能，并提取這些數(shù)據(jù)的元特征，構(gòu)成元數(shù)據(jù)。采用適當?shù)脑惴▽υ獢?shù)據(jù)進行元學習，獲得數(shù)據(jù)集特征與算法性能間的映射關系，形成元知識庫。算法的選擇需要依靠元知識的指導，當新的數(shù)據(jù)集加入時，可先對該數(shù)據(jù)集進行特征提取，然后根據(jù)與元知識庫的特征匹配程度，選擇最優(yōu)的算法。自動機器學習——自動學習框架AutoKerasAutoKeras是一個用于自動化機器學習的開源軟件庫，提供自動搜索深度學習模型的架構(gòu)和超參數(shù)的功能。AutoKeras基于深度學習數(shù)據(jù)庫Keras構(gòu)建，具有高效、安裝簡單、參數(shù)可調(diào)、案例豐富、易于修改等特點。AutoKeras不僅能幫助開發(fā)人員快速準確地創(chuàng)建模型，也利于研究員更深刻的理解架構(gòu)搜索的方法。自動機器學習——自動學習框架AutoKeras的運作流程圖自動機器學習——自動學習框架初始化模型初始化模型時會將網(wǎng)絡模塊放入生成器作為種子。網(wǎng)絡模塊包括MlpModule和CnnModule兩種。CnnModule包括CnnGenerator、ResNetGenerator和DenseNetGenerator，它們用于在初始時生成3個對應的model，分別為CNN、ResNet和DenseNet。自動機器學習——自動學習框架訓練過程程序會將所有的模型放進訓練隊列中，然后開始彈出模型并且訓練，得到模型在相應數(shù)據(jù)集中的評分。這個訓練過程只為了評估，因此不需要充分訓練以節(jié)省資源。自動機器學習——自動學習框架搜索過程在搜索的過程中，將模型和訓練后得到的對應評估進行排序并放入搜索隊列，在允許的時間范圍內(nèi)，使用退火算法判定隊列中的模型是否需要進行變形。假如產(chǎn)生了變形且變形結(jié)果并不在已有的模型中，使用高斯過程回歸估計變形后的模型對應的acq分數(shù)（Acquisitionfunction的得分），最后acq分數(shù)最高的網(wǎng)絡將被加入模型列表中和訓練隊列中。自動機器學習——自動學習框架在AutoKeras運作流程中，訓練和搜索是同時進行的。在訓練的同時進行網(wǎng)絡結(jié)構(gòu)的搜索。最終程序訓練acq分數(shù)最高的模型得到對應的評分，然后輸出結(jié)果。變形是隨機的，選擇哪種變形方式或者選取加寬哪一層都是隨機的。在AutoKeras中提供了網(wǎng)絡的3種變形方式深度寬度層之間的連接自動機器學習——ModelArts自動學習ModelArts自動學習是幫助人們實現(xiàn)AI應用的低門檻、高靈活、零代碼的定制化模型開發(fā)工具，能夠根據(jù)標注數(shù)據(jù)自動設計模型、自動