電力檢測(cè)-基于深度學(xué)習(xí)的輸出電設(shè)備缺陷自動(dòng)識(shí)別方法

[全]電力檢測(cè)-基于深度學(xué)習(xí)的輸出電設(shè)備缺陷自動(dòng)識(shí)別方法電力系統(tǒng)有別于其他行業(yè)，維護(hù)不能隨意中斷生產(chǎn)，這會(huì)在事故發(fā)生之前做好充分的預(yù)測(cè)一在事故發(fā)生之前解決故障，重點(diǎn)是輸電線路的預(yù)防性巡檢工作。擔(dān)負(fù)高電壓大電流的長(zhǎng)期工作，隨著全球危險(xiǎn)的輻射氣象天候頻發(fā)，對(duì)電網(wǎng)安全運(yùn)行形成越來越大的影響。隨著伴隨著天空平原的不斷提高，各地巡檢被越來越多的采用。每一次巡視任務(wù)完成后產(chǎn)生大量的巡檢圖片。方式，大都是基于人工判?讀的方式來完成目標(biāo)的確定和缺陷的分類，人工判讀方式讀入勞動(dòng)強(qiáng)度大、工作效率低。細(xì)節(jié)因素的影響，往往會(huì)漏判或錯(cuò)誤判別很多缺陷。以上兩方面的功能不能存在的巡檢方式，隨心所欲的診斷電子設(shè)備的缺陷，而且還帶有巡檢效果，從而導(dǎo)致線路狀態(tài)狀態(tài)欠缺。位，這些都帶著輸電線路巡檢工作效果大打折扣，給輸電線路安全隱患工。問題拆分首先采用F-Rcnn算法自動(dòng)從遠(yuǎn)程巡檢照片中識(shí)別出需要檢測(cè)的輸運(yùn)設(shè)備，然后將輸電設(shè)備送入針對(duì)該設(shè)備的缺陷分類，判斷該設(shè)備是否具有缺陷以及缺陷類型。若有缺陷，則在圖片中進(jìn)行缺陷設(shè)備自動(dòng)定位位置以及缺陷類型，最終生成缺陷報(bào)告，給潛在人員提供缺陷信息。本發(fā)明的分析過程具有準(zhǔn)確率高、處理速度快、好等優(yōu)點(diǎn)，實(shí)現(xiàn)了輸電線路巡檢照片的自動(dòng)分析，無需人工參與。問題解決首先使用多目標(biāo)識(shí)別算法從無人機(jī)巡檢照片或視頻中識(shí)別出目標(biāo)設(shè)備，然后使用深度學(xué)習(xí)分類器對(duì)目標(biāo)設(shè)備的是否有缺陷以及缺陷類型進(jìn)行判斷。[0045]具體的說，如圖2所示，將每次無人機(jī)巡檢得到的輸電線路設(shè)備照片首先送入Faster-Rcnn模型提取出其中包含輸電設(shè)備的區(qū)域，并判斷每塊區(qū)域所包含的輸電設(shè)備的種類，然后依據(jù)其種類將其送入該種設(shè)備的缺陷分類模型(缺陷分類器），判斷其是否具有缺陷以及缺陷類型。如果有缺陷，則將缺陷設(shè)備所在位置以及缺陷類型在輸電線路設(shè)備照片中標(biāo)注出來。[0046]其中，F(xiàn)aster-Rcnn模型及缺陷分類模型的構(gòu)建如圖1所示，[0047](I)Faster-Rcnn樣本制作。將一定規(guī)模的無人機(jī)輸電線路巡（10萬張以上)進(jìn)行人工標(biāo)注，標(biāo)出圖中所有的輸電設(shè)備名稱和位置，從中隨機(jī)選取總數(shù)9/10的圖片作為訓(xùn)練數(shù)據(jù)集，另外的1/10圖片作為測(cè)試數(shù)據(jù)集。[0048](2)Faster-Rcnn模型訓(xùn)練。將步驟⑴的帶有標(biāo)簽的數(shù)據(jù)輸入到Faster-Rcnn中對(duì)模型訓(xùn)練。訓(xùn)練使用隨機(jī)梯度下降方法對(duì)模型參數(shù)進(jìn)行更新，迭代20萬步，最終完成模型訓(xùn)練。[0049](3)Faster-Rcnn模型測(cè)試與修正。使用步驟（1)的測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練完成的Faster-Rcnn模型進(jìn)行測(cè)試，得到其準(zhǔn)確率。依據(jù)準(zhǔn)確率高低判斷是否要添加數(shù)據(jù)和更改訓(xùn)練參數(shù)繼續(xù)訓(xùn)練模型。[0050]⑷輸電設(shè)備缺陷分類器樣本制作。針對(duì)每一種輸電設(shè)備，收集包含正常輸電設(shè)備的和存在缺陷的輸電設(shè)備樣本，并為每張圖片打上缺陷種類標(biāo)簽。取總數(shù)9/10的圖片作為訓(xùn)練數(shù)據(jù)集，另外的1/10圖片作為測(cè)試數(shù)據(jù)集。[0051](5)訓(xùn)練輸電設(shè)備缺陷分類器。針對(duì)每一種輸電設(shè)備訓(xùn)練分類器使用步驟(4)中制作的訓(xùn)練樣本數(shù)據(jù)訓(xùn)練分類器。分類器的深度網(wǎng)絡(luò)模型選用DeepResidualNeuralNetworks。[0052](6)輸電設(shè)備缺陷分類器測(cè)試與修正。針對(duì)每一中輸電設(shè)備的缺陷分類器，使用步驟⑷中的測(cè)試數(shù)據(jù)測(cè)試器準(zhǔn)確率。依據(jù)準(zhǔn)確率高低，判斷接下來是否需要添加樣本或修改訓(xùn)練參數(shù)繼續(xù)進(jìn)行訓(xùn)練。[0053](7)Faster-Rcnn模型及缺陷分類模型構(gòu)建后，并經(jīng)過實(shí)際使用，在新增的機(jī)器識(shí)別的結(jié)果中抽取部分典型的圖片，重新制作新的訓(xùn)練樣本。在原有模型的基礎(chǔ)上不斷更新模型參數(shù)，使得模型不斷優(yōu)化，準(zhǔn)確率不斷提高。[00M]對(duì)于Faster-Rcnn模型，其算法具體步驟如圖4所示，為：[0055](11)、使用卷積神經(jīng)網(wǎng)絡(luò)從原始圖片中提取圖片的卷積特征；[0056](12)、使用RPNNet(結(jié)構(gòu)如圖5所示)提取可能存在目標(biāo)設(shè)備的候選區(qū)域；[0057]其中所述RPNNet結(jié)構(gòu)如圖5所示，特性為：在卷積之后得到的特征圖上使用3*3的卷積核進(jìn)行卷積，那么這個(gè)3*3的區(qū)域卷積后可以獲得一個(gè)η維的特征向量。因?yàn)檫@個(gè)3*3的區(qū)域上，每一個(gè)特征圖上得到一個(gè)1維向量，η個(gè)特性圖即可得到η維特征向量。3*3滑窗中心點(diǎn)位置，對(duì)應(yīng)預(yù)測(cè)輸入圖像3種尺度（128,256,512)，3種長(zhǎng)寬比（1:1，1:2,2:1)的regionproposal，這種映射的機(jī)制稱為anchor，產(chǎn)生了k=9個(gè)anchor。即每個(gè)3*3區(qū)域可以產(chǎn)生9個(gè)regionproposal。所以對(duì)于這個(gè)40*60的featuremap，總共有約20000(40*60*9)個(gè)anchor，也就是預(yù)測(cè)20000個(gè)regionproposal。[0058]后邊接入到兩個(gè)全連接層，S卩cls_layer和reg_layer分別用于分類和邊框回歸；cls_layer包含2個(gè)元素，用于判別目標(biāo)和非目標(biāo)的估計(jì)概率;Reg_layer包含4個(gè)坐標(biāo)元素(x，y,w，h)，用于確定目標(biāo)位置;cls:正樣本，與真實(shí)區(qū)域重疊大于0.7,負(fù)樣本，與真實(shí)區(qū)域重疊小于〇.3;reg:返回區(qū)域位置。[0059](13)、針對(duì)步驟⑴中提取的候選區(qū)域，使用ROIpoolinglayer從原始圖片的卷積特征圖中提取特征向量，將每個(gè)候選區(qū)域的特征向量送入分類器進(jìn)行分類，判斷其所屬的設(shè)備種類，同時(shí)精確回歸出包含輸電設(shè)備的矩形區(qū)域的坐標(biāo)。，其中ROIpoolinglayer層將每個(gè)候選區(qū)域的特征圖均勾分成MXN塊，對(duì)每塊進(jìn)行maxpooling操作。[0060]其中使用的卷積神經(jīng)網(wǎng)絡(luò)的特征如下：[0061](21)卷積神經(jīng)網(wǎng)絡(luò)模型屬于多層的神經(jīng)網(wǎng)絡(luò)，每一層的神經(jīng)網(wǎng)絡(luò)由多個(gè)二維平面構(gòu)成，每一個(gè)平面又包含多個(gè)神經(jīng)元。一般包含卷積操作和池化操作。卷積神經(jīng)網(wǎng)絡(luò)的輸入是數(shù)字圖像，之后卷積層和池化層交替進(jìn)行，如圖3所示。[0062](22)卷積操作。卷積層得到的特征圖是輸入圖像和卷積核運(yùn)算之后再加上一個(gè)偏置然后通過激活函數(shù)所得。公式表示如下：[0063]I[0064]其中1表示第幾層，k代表卷積核，b代表偏置，Mj代表第j個(gè)特征圖。[0065](23)池化操作。池化層對(duì)有對(duì)卷積層中的特征進(jìn)行局部平均的作用，通常池化層尺寸大小為n*n，對(duì)于卷積層中n*n個(gè)相鄰單元取最大值或平均值，分別對(duì)應(yīng)了max-pooling和mean-pooling兩種下采樣方法，可以減少特征圖的分辨率，減少對(duì)位移形變的敏感程度。卷積的公式表示如下：[0066]9[0067]其中，Pooling(*)表示池化函數(shù)，一般對(duì)輸入圖像的n*n鄰域的像素求平均或者最大值，每個(gè)特征圖包含參數(shù)β和b。[0068](24)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練[0069]前向傳播:對(duì)于每一個(gè)訓(xùn)練樣本輸入到神經(jīng)網(wǎng)絡(luò)中，然后按照網(wǎng)絡(luò)結(jié)構(gòu)與當(dāng)前權(quán)值計(jì)算出輸出值。[0070]反向傳播:依據(jù)前向傳播得到值計(jì)算與真實(shí)值之間的誤差，反向計(jì)算出卷積神經(jīng)網(wǎng)絡(luò)中的各個(gè)參數(shù)的對(duì)于誤差函數(shù)的梯度，并且依據(jù)該梯度更新各個(gè)層的權(quán)重值，使得計(jì)算誤差越來越小。[0071]前向傳播和反向傳播交替進(jìn)行，不斷更新模型參數(shù)，使得模型在訓(xùn)練樣本上誤差函數(shù)值逐漸減小，模型準(zhǔn)確率逐漸提高。[0072]前面所述卷積神經(jīng)網(wǎng)絡(luò)有三種可能的結(jié)構(gòu)：VGG(如圖6所示），ResNet(如圖7所示），PvaNet(如圖8所示）。[0073]對(duì)于缺陷分類模型，是采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，可能的網(wǎng)絡(luò)結(jié)構(gòu)包括Alexnet(如圖9所示），GoogleNet(如圖10所示），ResNet(如圖7所示），可以對(duì)輸電設(shè)備是否有缺陷以及缺陷類型進(jìn)行判斷。[0074]下面將以開口銷缺失的識(shí)別方法構(gòu)建為例子對(duì)本發(fā)明進(jìn)行進(jìn)一步說明，在輸電設(shè)備中關(guān)鍵部位的螺釘都會(huì)有開口銷進(jìn)行加固，開口銷脫落為常見的一種缺陷，如圖11左側(cè)為正常螺釘，右側(cè)螺釘?shù)拈_口銷脫落為不正常螺釘。[0075]首先使用多目標(biāo)識(shí)別算法從無人機(jī)巡檢照片或視頻中識(shí)別出需要開口銷的螺釘(例如絕緣子金具上的螺釘），然后使用深度學(xué)習(xí)分類器對(duì)所有識(shí)別出的需要開口銷的螺釘進(jìn)行判斷，看其開口銷是否缺失，如缺失則自動(dòng)標(biāo)出該螺栓的位置以及開口銷缺失的文字說明。該工作過程如圖12所示。[0076]所述的多目標(biāo)物體識(shí)別方法，采用Faster-Rcnn算法，可以同時(shí)從一張無人機(jī)巡檢圖片中識(shí)別出所有需要進(jìn)行缺陷識(shí)別的設(shè)備。[0077]所述的深度學(xué)習(xí)分類器則采用ResNet或者AlexNetGoogleNet，可以對(duì)輸電設(shè)備是否有缺陷以及缺陷類型進(jìn)行判斷。[0078]所述Faster-Rcnn算法主要分為三個(gè)步驟：（a)使用卷積神經(jīng)網(wǎng)絡(luò)從原始圖片中提取特征。（b)使用RPNNet提取可能存在需要開口銷的螺釘?shù)膮^(qū)域。（c)對(duì)步驟(b)中提取的可能含有需要開口銷的區(qū)域的卷積特征圖使用ROIpooling層提取特征向量，計(jì)算出其在圖片中的精確位置。[0079]關(guān)于需要開口銷的螺釘缺陷識(shí)別的Faster-Rcnn算法模型以及深度學(xué)習(xí)分類器所使用的缺陷分類模型的構(gòu)建使用過程如下：[0080](101)Faster-Rcnn樣本制作。將一定規(guī)模的無人機(jī)輸電線路巡檢照片（10萬張以上)進(jìn)行人工標(biāo)注，標(biāo)出圖中所有的需要開口銷的螺釘位置，從中隨機(jī)選取總數(shù)9/10的圖片作為訓(xùn)練數(shù)據(jù)集，另外的1/10圖片作為測(cè)試數(shù)據(jù)集。[0081](102)Faster-Rcnn模型訓(xùn)練。將步驟（101)的帶有標(biāo)簽的數(shù)據(jù)輸入到Faster-Rcnn中對(duì)模型訓(xùn)練。訓(xùn)練使用隨機(jī)梯度下降方法對(duì)模型參數(shù)進(jìn)行更新，迭代20萬步，最終完成模型訓(xùn)練。[0082](103)Faster-Rcnn模型測(cè)試與修正。使用步驟（101)的測(cè)試數(shù)據(jù)集對(duì)訓(xùn)練完成的Faster-Rcnn模型進(jìn)行測(cè)試，得到其對(duì)螺釘定位的準(zhǔn)確率。依據(jù)準(zhǔn)確率高低判斷是否要添加數(shù)據(jù)和更改訓(xùn)練參數(shù)繼續(xù)訓(xùn)練模型。[0083](104)輸電設(shè)備缺陷分類器樣本制作。針對(duì)每一種輸電設(shè)備，收集包含正常螺釘和開口銷缺失的螺釘樣本，并為每張圖片打上缺陷種類標(biāo)簽。取總數(shù)9/10的圖片作為訓(xùn)練數(shù)據(jù)集，另外的1/10圖片作為測(cè)試數(shù)據(jù)集。[0084](105)使用（104)中制作的訓(xùn)練樣本訓(xùn)練開口銷缺失分類器，該分類器能夠自動(dòng)區(qū)分開口銷缺失的和正常的螺釘。[0085](106)輸電設(shè)備缺陷分類器測(cè)試與修正。針對(duì)步驟（105)的缺陷分類器，使用步驟(104)中的測(cè)試數(shù)據(jù)測(cè)試器準(zhǔn)確率。依據(jù)準(zhǔn)確率高低，判斷接下來是否需要添加樣本或修改訓(xùn)練參數(shù)繼續(xù)進(jìn)行訓(xùn)練。[0086](107)模型使用。將（101)到（106)步驟訓(xùn)練好的能夠精確定位螺釘在圖片中位置的Faster-Rcnn模型以及開口銷缺失分類器組合使用。將每次無人機(jī)巡檢得到的輸電線路設(shè)備照片首先送入Faster-Rcnn提取出其中包含需要開口銷的螺釘區(qū)域(采用矩形區(qū)域的對(duì)角線點(diǎn)坐標(biāo)描述該區(qū)域），然后將該區(qū)域中的圖片切片送入開口銷缺失分類器，判斷其開口銷是否缺失。如果開口銷缺失，則將該螺釘所在位置在輸電線路設(shè)備照片中標(biāo)注出來。[0087](108)模型參數(shù)更新。在已有的機(jī)器識(shí)別的結(jié)果中抽取部分典型的圖片，重新制作新的訓(xùn)練樣本。在原有模型的基礎(chǔ)上不斷更新模型