小熊貓識別技術規(guī)范

1小熊貓識別技術規(guī)范本文件規(guī)定了小熊貓識別有關術語定義、數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析的技術。本文件適用于基于圖像的小熊貓個體識別。2規(guī)范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。CJJ/T263-2017動物園動物管理技術規(guī)程GB/T26238-2010信息技術生物特征識別術語3術語、定義下列術語和定義適用于本文件。3.1生物特征識別biometrics基于動物個體的行為特征和生物學特征，對個體身份進行識別。3.2目標檢測與識別objectdetectionandrecognition從圖像中找出目標的位置坐標,用矩形框框出目標，并對該目標進行分類。3.3語義分割semanticsegmentation對圖像進行像素級別分類，即預測出像素點的類別。3.4卷積神經(jīng)網(wǎng)絡convolutionalneuralnetworks以卷積計算為主的神經(jīng)網(wǎng)絡，通常包含卷積層、批歸一化層、激活層、池化層、全連接層、損失函數(shù)層等基礎結構。3.52特征提取featureextraction使用計算機提取小熊貓圖像中屬于特征性的特征序列的方法及過程。3.6特征比對featurematching計算兩個特征向量之間的相似度。特征比對包括1：1比對驗證和1：N比對識別兩種方式。3.7相似度similarity衡量兩個特征的相似程度，數(shù)值越大說明它們越相似。3.8閾值threshold做出判定所依據(jù)的邊界值。3.9錯誤接受率falseacceptrate在驗證過程中，將新個體識別為數(shù)據(jù)庫中個體的比率，用百分比表示。錯誤接受率也稱認假率。3.10錯誤拒絕率falserejectrate在驗證過程中，將數(shù)據(jù)庫中個體識別錯誤的比率，用百分比表示。錯誤拒絕率也稱拒真率。3.11FPSFramesPerSecond每秒處理圖像的數(shù)量。3.12mAPMeanAveragePrecision平均精度。3.13SSIMstructuralsimilarityindex結構相似性。34數(shù)據(jù)采集4.1圖像采集小熊貓圖像采集時，對圈養(yǎng)小熊貓的影像和視頻數(shù)據(jù)采集，每次確定到具體的個體。在拍攝小熊貓圖像和視頻的過程中，掃描個體體內(nèi)植入的芯片編號，指導拍攝人員多角度跟蹤拍攝對應編號的小熊貓，記錄小熊貓顯著的外貌特征、拍攝的開始時間和結束時間。在確保數(shù)據(jù)和身份信息準確的前提下，對相關個體所采集的數(shù)據(jù)進行一一建檔；對于未能進行芯片植入的小熊貓個體和在野外通過紅外相機等拍攝工具獲取野外小熊貓個體的影像和視頻數(shù)據(jù)，應以明確的生物個體差異特征進行個體初始數(shù)據(jù)建檔。4.2面部圖像采集要求采集的小熊貓面部圖像需滿足以下要求：a)小熊貓面部圖像光照均勻，無過度曝光，清晰完整；b)小熊貓面部的水平面方向和垂直面方向內(nèi)的旋轉角度±10°;c)小熊貓的兩只眼睛、鼻子和耳朵可見；d)不存在遮擋；e)小熊貓面部圖像的分辨率不低于256×256像素。4.3全身圖像采集要求采集的小熊貓全身圖像需滿足以下要求：a)小熊貓全身圖像光線自然，無過度曝光，清晰完整；b)保證拍攝的畫面里只有一只目標小熊貓或者目標在畫面中所占的面積最大；c)對小熊貓進行多角度、多方位拍攝，確保每一只小熊貓的正面姿態(tài)、左側面姿態(tài)、右側面姿態(tài)和背面姿態(tài)至少都有一張圖像和一段視頻。d)小熊貓全身圖像的分辨率不低于512×512像素。5數(shù)據(jù)處理5.1面部圖像檢測給定一張圖像，從這張圖像中通過矩形框框出小熊貓面部區(qū)域。如果在一幅圖像中檢測到超過一個小熊貓面部，則只返回面積最大的那一個。得到檢測框后，根據(jù)該邊界框裁剪小熊貓的面部圖像。小熊貓面部圖像檢測算法需滿足以下要求：a)算法推理的實時性應達到20FPS；b)平均檢測的精度mAP應達到80%。5.2面部關鍵點檢測給定一張小熊貓面部圖像，確定小熊貓眼睛和鼻子的位置坐標。以采用U-Net網(wǎng)絡分割雙眼所在區(qū)域和鼻子區(qū)域為例，該網(wǎng)絡的輸出是一個三通道圖像，其大小與輸入圖像相同，并且它的三個通道中的每一個都分別代表三個區(qū)域之一，分別是左眼區(qū)域、右眼區(qū)域和鼻子區(qū)域。接著，將這三個通道與對應的分割標簽通過L2損失函數(shù)引導網(wǎng)絡學習分割任務。制作分割標簽的過程：4a)人工標注眼睛和鼻子的關鍵點坐標；b)以這些關鍵點的坐標為圓心，設定一個半徑（眼睛區(qū)域的半徑設置為7個像素，鼻子區(qū)域的半徑設置為13個像素），繪制出圓形區(qū)域，每個關鍵點對應于一個通道；c)在這些區(qū)域內(nèi)的像素值設置為255，其余區(qū)域設置為0，得到一張三通道的圖像標簽，即關鍵區(qū)域分割標簽。在測試階段，輸入一張小熊貓面部圖像，輸出為與之大小相等的圖像，即三通道的分割結果。每個通道代表一個關鍵區(qū)域，分別過濾掉每個通道較小的響應值，剩下的響應值較高的點的質(zhì)心即為該通道所對應關鍵區(qū)域的中心坐標，即關鍵點坐標。小熊貓面部關鍵點檢測算法需滿足以下要求：a)算法推理的實時性應達到20FPS；b)關鍵點預測誤差應不大于5像素。5.3面部對齊基于兩只眼睛的中心來對齊小熊貓的面部圖像，使得連接兩眼中心的直線是水平的。首先，基于U-Net的小熊貓臉關鍵點檢測算法得到雙眼和鼻子中心的坐標；接著，基于雙眼中心的坐標，旋轉小熊貓面部圖像，使雙眼中心處于同一水平線上；最后，通過如下方式裁剪出小熊貓面部圖像，設兩眼中心之間的距離為d，眼睛中心到裁剪后的面部圖像的頂部和底部之間的距離分別為a×d和b×d，左右眼中心相對于裁剪后的面部圖像的左右邊緣的距離均為c×d。其中a=1.3，b=1.7和c=1.2。經(jīng)過對齊步驟后的小熊貓面部圖像幾乎沒有平面內(nèi)的旋轉，而且絕大部分背景都被消除了，減少了對后續(xù)小熊貓臉部識別步驟的干擾。5.4全身圖像檢測給定一張圖像，需從這張圖像中通過矩形框框出小熊貓全身區(qū)域。如果在一幅圖像中檢測到超過一個小熊貓，則只返回面積最大的那一個。得到檢測框后，根據(jù)該邊界框裁剪小熊貓全身圖像。小熊貓全身圖像檢測算法需滿足以下要求：a)算法推理的實時性應達到20FPS；b)平均檢測的精度mAP應達到80%。5.5軀體語義分割由于小熊貓非剛性運動也會導致其姿態(tài)變化較大，為了方便對小熊貓姿態(tài)進行建模，本標準共定義了小熊貓的頭部、小熊貓的軀干、小熊貓的尾巴、小熊貓的四肢以及背景5種類別。以基于HRNet模型為例，其核心思想即按照像素點進行分類。給定一張小熊貓圖像I∈R3×h×w和其標注好的語義分割圖像標簽y∈Rh×w，語義分割圖像標簽中有背景區(qū)域、頭部區(qū)域、軀干區(qū)域、尾巴區(qū)域和四肢區(qū)域，其中h、w分別表示圖像的高和寬。語義分割模型的基礎網(wǎng)絡采用HRNet，它能很好地融合不同尺度的特征得到高分辨率特征圖。小熊貓圖像I輸入HRNet，將最后一層所有特征圖進行上采樣到原圖大小；接著，將它們在通道維度上進行拼接；然后，通過5個1×1的卷積核進行特征融合，輸出得到通道的特征圖F∈R5×h×w；最后，將特征圖F通過softmax層預測出每個像素點的類別概率。在訓練階段，將預測的結果和語義分割圖像標簽y通過交叉熵損失函數(shù)進行監(jiān)督卷積神經(jīng)網(wǎng)絡的學習。在測試階段，直接將測試圖像輸入語義分割網(wǎng)絡，輸出特征圖F，預測出每個像素點最大概率的類別。小熊貓軀體分割語義算法需滿足以下要求：像素點類別預測平均錯誤率應不大于15%。55.6面部數(shù)據(jù)庫通過智能成像設備采集，批量導入實現(xiàn)小熊貓面部圖像數(shù)據(jù)注冊。在小熊貓面部圖像登記過程中，實現(xiàn)小熊貓面部圖像與小熊貓標識之間綁定關系的建立。小熊貓面部數(shù)據(jù)庫需滿足以下要求：a)對所有圖像標注小熊貓面部目標框區(qū)域的左上角和右下角坐標；b)對小熊貓面部圖像標注3個關鍵點信息，分別為左眼中心、右眼中心和鼻子中心坐標；c)使用SSIM方法測量圖像間的像素級相似度，進行圖像去重操作。5.7全身數(shù)據(jù)庫數(shù)據(jù)分析通過智能成像設備采集，批量導入實現(xiàn)小熊貓全身圖像數(shù)據(jù)注冊。在小熊貓全身圖像登記過程中，實現(xiàn)小熊貓全身圖像與小熊貓標識之間綁定關系的建立。小熊貓臉部數(shù)據(jù)庫需滿足以下要求：a)對所有圖像標注小熊貓全身目標框區(qū)域的左上角和右下角坐標；b)對小熊貓全身圖像標注像素點類別，分別為頭部區(qū)域、軀干區(qū)域、尾巴區(qū)域、四肢區(qū)域和背景c)對小熊貓全身圖像標注姿態(tài)類別，分別為左側面姿態(tài)、右側面姿態(tài)、正面姿態(tài)和背面姿態(tài)；d)根據(jù)臉部和尾部的可見性進行標注姿態(tài)類別，分別為臉部可見、臉部不可見、尾部可見和尾部不可見。5.8面部圖像識別給定一張對齊并裁剪好的小熊貓面部圖像，使用卷積神經(jīng)網(wǎng)絡來提取特征并用于身份識別，常用的卷積神經(jīng)網(wǎng)絡有VGG，ResNet,SENet等。小熊貓面部圖像識別算法首先使用VGG-16卷積神經(jīng)網(wǎng)絡在ILSVRC數(shù)據(jù)集上預訓練；接著，用處理好的小熊貓面部圖像對該模型進行微調(diào)；最后，將微調(diào)得到的VGG-16模型用于從輸入的小熊貓面部圖像中提取特征?,并根據(jù)特征間的余弦距離計算兩幅小熊貓面部圖像的相似度。為了確定輸入小熊貓臉部圖像的身份，先提取其面部特征，然后將其與注冊集中登記的所有小熊貓面部圖像特征進行比較。它的身份最終被確定為與它最相似的特征所屬的小熊貓身份。如果指定了相似度閾值，且最高相似度低于該閾值，則輸入的小熊貓面部圖像被判定為不是注冊集中的任何一只小熊貓；判定為它是未知的小熊貓新個體。小熊貓面部圖像識別算法需滿足以下要求：當錯誤接受率為0.1%時，錯誤拒絕率應不大于10%。5.9全身圖像識別由于小熊貓屬于瀕危物種，個體數(shù)量不多，采集帶身份信息的小熊貓圖像十分不易，每一只小熊貓都存在面部和尾部都可見、尾部不可見面部可見、面部不可見尾部可見、面部和尾部都不可見這四個實例類別，因此，對其設計了相應的數(shù)據(jù)增強策略彌補圖像數(shù)據(jù)不足的缺陷。采用分別將尾巴區(qū)域用零值填充、面部區(qū)域用零值填充以及面部區(qū)域和尾巴區(qū)域同時用零值填充的方式，這些區(qū)域可以通過小熊貓軀體語義分割模型預測。小熊貓全身圖像識別算法由四個模塊組成，分別為基礎模塊、圖像擦除模塊、互補模塊和融合模塊。通過基礎模塊主干網(wǎng)絡最后一層特征圖生成激活圖，然后根據(jù)激活圖從原始小熊貓圖像中擦除被激活對1h督網(wǎng)絡的學習。訓練完RedPanda-PGCFL模型后，將其應用于小熊貓圖像，對小熊貓圖像提取特征。具體做法如下：給定一張小熊貓圖像，將它同時輸入基礎模塊和互補模塊得到基礎特征?11和互補特征?21，與訓練階段不同，在訓練階段中互補模塊使用的是擦除后的圖像作為輸入；然后將基礎特征?11和互補特征?21進行拼接送入融合模塊獲取融合特征?32進行表征小熊貓個體的身份；最后，根據(jù)特征間的余弦距離計算兩幅小熊貓全身圖像的