基于Nadam優(yōu)化器的全連接神經(jīng)網(wǎng)絡(luò)在水泥3 d及28 d抗壓強(qiáng)度預(yù)測中的應(yīng)用實踐

水泥抗壓強(qiáng)度值是衡量水泥質(zhì)量的一個重要指標(biāo)，也是確定水泥標(biāo)號的一個主要依據(jù)，在實際的生產(chǎn)過程中起到重要的作用，它是一個典型的非線性、多變量、不確定、多時滯的復(fù)雜系統(tǒng)。目前，國內(nèi)外學(xué)者對水泥抗壓強(qiáng)度預(yù)測進(jìn)行了多方面的研究，崔運(yùn)美通過線性回歸分析及非線性回歸分析建立了1d抗壓強(qiáng)度和28d抗壓強(qiáng)度模型；張大鵬等通過多元回歸分析方法建立28d抗壓強(qiáng)度模型；林遠(yuǎn)煌通過使用BP神經(jīng)網(wǎng)絡(luò)建立了水泥配料各組分摻入量與28d抗壓強(qiáng)度的模型。由于該系統(tǒng)的非線性、多變量、多時滯等特性，導(dǎo)致傳統(tǒng)的預(yù)測方法準(zhǔn)確性較差，難以在實際生產(chǎn)過程中普遍推廣和應(yīng)用。近些年來一些研究者將人工智能算法應(yīng)用到了水泥強(qiáng)度預(yù)測方面，取得了一定的效果。隨著深度學(xué)習(xí)技術(shù)近些年的快速發(fā)展，在非線性回歸分析中得到了較好的效果，針對以上水泥抗壓強(qiáng)度預(yù)測存在的問題，本文基于TensorFlow深度學(xué)習(xí)框架，采用Python編程語言，使用Nadam優(yōu)化器的全連接神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法，實現(xiàn)了對水泥3d抗壓強(qiáng)度和28d抗壓強(qiáng)度的預(yù)測。1、TensorFlow及Keras深度學(xué)習(xí)框架TensorFlow是Google開源的基于數(shù)據(jù)流圖的機(jī)器學(xué)習(xí)框架，支持Python和C++語言。廣泛應(yīng)用在圖像分類、物體檢測、模型預(yù)測等領(lǐng)域。Keras是基于TensorFlow和Theano的深度學(xué)習(xí)庫，包括由Python編寫而成的高級神經(jīng)網(wǎng)絡(luò)API，使用Keras可以快速實現(xiàn)對TensorFlow的再次封裝，大幅減少純粹使用TensorFlow實現(xiàn)深度學(xué)習(xí)的代碼量。本文中的環(huán)境包括Anaconda及Pycharm，在Anaconda中配置了Python3.7虛擬環(huán)境供Pycharm使用，TensorFlow版本為2.3.0。Pycharm是由JetBrains打造的一款PythonIDE，本文采用Pycharm2020.3，其環(huán)境設(shè)置見圖1。圖1Python虛擬環(huán)境2、特征參數(shù)選取及數(shù)據(jù)預(yù)處理水泥強(qiáng)度的影響因素較多，其主要影響因素有熟料的質(zhì)量、SO3含量、混合材的摻入量及粉磨細(xì)度等。熟料的礦物組成及其結(jié)構(gòu)決定了熟料的質(zhì)量，對水泥強(qiáng)度的增長起決定性作用，水泥28d強(qiáng)度基本依賴于C3S的含量，C3S含量高早期強(qiáng)度增長率高，在28d時已基本發(fā)揮出最高強(qiáng)度的絕大部分；C2S主要影響水泥后期強(qiáng)度；C3A主要對1d、3d等早期強(qiáng)度影響大；C4AF對水泥強(qiáng)度無較大的影響。因此，合理、穩(wěn)定的礦物組成是確保水泥強(qiáng)度及其增長率的重要因素。水泥中SO3含量主要來源于石膏，其含量的變化影響硅酸鹽水泥的水化，尤其是C3A的早期水化。混合材的摻入量對水泥性能有一定的影響，采用燒失量取代石灰石摻入量作為特征較直觀。粉磨細(xì)度對水泥各齡期強(qiáng)度有一定的影響，粉磨越細(xì)、顆粒級配越窄，水泥水化反應(yīng)速度越快，強(qiáng)度越高，尤其對早期強(qiáng)度的影響最為顯著。樣本數(shù)據(jù)包括某廠12個月759組P·O42.5數(shù)據(jù)，部分?jǐn)?shù)據(jù)見表1。表1樣本原始數(shù)據(jù)模型選取細(xì)度、比表面積、初凝、終凝、燒失量、CaO、SO3、1d抗壓強(qiáng)度共計8個參數(shù)作為輸入特征參數(shù)，3d抗壓強(qiáng)度及28d抗壓強(qiáng)度分別作為3d及28d強(qiáng)度預(yù)測神經(jīng)網(wǎng)絡(luò)輸出特征進(jìn)行模型辨識。數(shù)據(jù)預(yù)處理主要包括誤差處理和數(shù)據(jù)變換，由于樣本數(shù)據(jù)有不同的工程單位，且在數(shù)值上相差很大，直接使用這些未經(jīng)過數(shù)據(jù)變換（歸一化）的原始數(shù)據(jù)容易引起計算誤差增大和計算的不確定，影響學(xué)習(xí)速度及精度，為了加快神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度和模型精度，樣本數(shù)據(jù)必須經(jīng)過歸一化處理才能作為訓(xùn)練樣本輸入。歸一化使用sklearn的MinMaxScaler函數(shù)進(jìn)行[0，1]區(qū)間的歸一。需要重點(diǎn)說明數(shù)據(jù)歸一化在深度學(xué)習(xí)中在實踐過程中發(fā)現(xiàn)十分關(guān)鍵，直接影響模型精度，不可忽視。計算公式如下：3、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及預(yù)測Momentum（動量）算法是計算梯度的指數(shù)加權(quán)平均數(shù)，并利用該值來更新參數(shù)值，可有效解決局部最優(yōu)問題（如鞍點(diǎn)問題）。RMSProp（RootMeanSquareProp）算法是在對梯度進(jìn)行指數(shù)加權(quán)平均的基礎(chǔ)上，引入平方和平方根，有助于減少抵達(dá)最小值路徑上的擺動，并允許使用一個更大的學(xué)習(xí)率，從而加快算法學(xué)習(xí)速度。Adam是一種可以替代傳統(tǒng)隨機(jī)梯度下降過程的一階優(yōu)化算法，它能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重，可以看作是修正后的Momentum+RMSProp算法，相對傳統(tǒng)的SGD隨機(jī)梯度下降優(yōu)化器，Adam對超參數(shù)的魯棒性更好。Nadam類似于帶有Nesterov動量項的Adam。公式如下：一般而言，在想使用帶動量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

全連接神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層及輸出層，具備前向傳播計算損失及反向傳播更新參數(shù)的特性，其結(jié)構(gòu)圖如圖2所示。圖2全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖全連接神經(jīng)網(wǎng)絡(luò)具有前向傳播與反向傳播性能，前向傳播每層經(jīng)過線性計算和激活函數(shù)計算網(wǎng)絡(luò)輸出，反向傳播采用優(yōu)化算法進(jìn)行模型參數(shù)更新，相對于BP網(wǎng)絡(luò)采用梯度下降（SGD）算法進(jìn)行模型參數(shù)更新帶來的梯度爆炸或消失（即在梯度函數(shù)上出現(xiàn)的以指數(shù)級遞增或者遞減的情況）等問題，本文采用Relu激活函數(shù)及Nadam優(yōu)化算法可有效解決上述問題?；贜adam優(yōu)化器的水泥強(qiáng)度預(yù)測全連接神經(jīng)網(wǎng)絡(luò)模型包括一個輸入層（8節(jié)點(diǎn)）、隱含層1（256個節(jié)點(diǎn)）、BN層、隱含層2（128個節(jié)點(diǎn)）、BN層、隱含層3（128個節(jié)點(diǎn)）、DropOut（128個節(jié)點(diǎn)）、輸出層（1個節(jié)點(diǎn)）。隱含層使用Relu作為激活函數(shù)，輸出層使用Linear作為激活函數(shù)，模型損失函數(shù)采用mse（均方誤差），學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為5?000。將數(shù)據(jù)集的90%用于訓(xùn)練，10%用于測試。訓(xùn)練結(jié)果見圖3。圖3模型訓(xùn)練結(jié)果3d抗壓強(qiáng)度訓(xùn)練集數(shù)據(jù)預(yù)測曲線如圖4所示。圖4基于Nadam優(yōu)化器的訓(xùn)練集數(shù)據(jù)3d強(qiáng)度預(yù)測曲線3d抗壓強(qiáng)度測試集數(shù)據(jù)預(yù)測曲線如圖5所示。圖5基于Nadam優(yōu)化器的測試集數(shù)據(jù)3d強(qiáng)度預(yù)測曲線模型的損失（均方誤差）分別為：訓(xùn)練集=0.000?59，測試集=0.048。測試集數(shù)據(jù)預(yù)測絕對誤差在0.017~2.14之間，測試集數(shù)據(jù)預(yù)測相對誤差在0.061%~7.47%之間。28d抗壓強(qiáng)度訓(xùn)練集數(shù)據(jù)預(yù)測曲線如圖6所示。圖6基于Nadam優(yōu)化器的訓(xùn)練集數(shù)據(jù)28d強(qiáng)度預(yù)測曲線28d抗壓強(qiáng)度測試集數(shù)據(jù)預(yù)測曲線如圖7所示。圖7基于Nadam優(yōu)化器的測試集數(shù)據(jù)28d強(qiáng)度預(yù)測曲線模型的損失（均方誤差）分別為：訓(xùn)練集=0.000?73，測試集=0.048。測試集數(shù)據(jù)預(yù)測絕對誤差在0.02~1.62之間，測試集數(shù)據(jù)預(yù)測相對誤差在0.04%~3.57%之間。采用SGD隨機(jī)梯度優(yōu)化器的28d抗壓強(qiáng)度預(yù)測模型訓(xùn)練及測試結(jié)果見圖8及圖9。圖8基于SGD優(yōu)化器的訓(xùn)練集數(shù)據(jù)28d強(qiáng)度預(yù)測曲線圖9基于SGD優(yōu)化器的測試集數(shù)據(jù)28d強(qiáng)度預(yù)測曲線Nadam與SGD優(yōu)化器28d強(qiáng)度預(yù)測模型對比見表2，由于訓(xùn)練集模型均方誤差分別為0.000?73及0.021，可見Nadam模型精度明顯優(yōu)于SGD模型。表2Nadam與SGD優(yōu)化器28d強(qiáng)度預(yù)測模型數(shù)據(jù)對比4、結(jié)