DB32T 4546-2023電鏡掃描硅藻圖像自動化檢驗技術(shù)規(guī)范

ICS13.31CCSA92江蘇省地方標(biāo)準(zhǔn)DB32/T4546—2023電鏡掃描硅藻圖像自動化檢驗技術(shù)規(guī)范Technicalspecificationforautomaticrecognitionofdigitalscanningelectronmicroscopyimagesofdiatoms2023?09?22發(fā)布2023?10?22實施江蘇省市場監(jiān)督管理局發(fā)布ⅠDB32/T4546—2023前言 1范圍 12規(guī)范性引用文件 13術(shù)語和定義 14方法原理 25設(shè)備要求 26自動化檢驗系統(tǒng)模型構(gòu)建 36.1圖像輸入模塊 36.2識別模塊 36.3統(tǒng)計輸出模塊 47實施步驟 47.1圖像采集 47.2圖像輸入與識別 47.3統(tǒng)計輸出 57.4結(jié)果判讀 58測試及性能要求 58.1測試要求 58.2識別查準(zhǔn)率的計算 58.3識別查全率的計算 58.4不完整硅藻檢出率的計算 68.5識別速度的計算 68.6漏檢率的計算 68.7性能要求 6參考文獻(xiàn) 7ⅢDB32/T4546—2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由江蘇省司法廳提出并歸口。本文件起草單位：南京醫(yī)科大學(xué)司法鑒定所、南京市公安局水上分局。1DB32/T4546—2023電鏡掃描硅藻圖像自動化檢驗技術(shù)規(guī)范本文件規(guī)定了電鏡掃描硅藻圖像自動化檢驗的設(shè)備要求、自動化檢驗系統(tǒng)模型構(gòu)建、實施步驟、測試及性能要求。本文件適用于電鏡掃描硅藻圖像自動化檢驗系統(tǒng)的構(gòu)建、測試與使用。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GA/T1662—2019法庭科學(xué)硅藻檢驗技術(shù)規(guī)范微波消解?真空抽濾?顯微鏡法T/CESA1036—2019信息技術(shù)人工智能機(jī)器學(xué)習(xí)模型及系統(tǒng)的質(zhì)量要素和測試方法T/CESA1040—2019信息技術(shù)人工智能面向機(jī)器學(xué)習(xí)的數(shù)據(jù)標(biāo)注規(guī)程3術(shù)語和定義GA/T1662—2019和T/CESA1036—2019界定的以及下列術(shù)語和定義適用于本文件。3.1電鏡掃描硅藻圖像digitalscanningelectronmicroscopyimagesofdiatoms通過微波消解?真空抽濾?電子顯微鏡法檢驗臟器樣本或水體樣本中的硅藻時，電子顯微鏡掃描富集膜所得的數(shù)字化圖像。3.2電鏡掃描硅藻圖像自動識別系統(tǒng)automaticrecognitionsystemofdigitalscanningelectronmi?croscopyimagesofdiatoms基于計算機(jī)技術(shù)，對電鏡掃描硅藻圖像進(jìn)行獲取、分析識別并輸出圖像中硅藻識別結(jié)果的系統(tǒng)。3.3深度學(xué)習(xí)模型deeplearningmodel采用深度學(xué)習(xí)方法建立的輸入與目標(biāo)輸出聯(lián)系的計算模型。注：主要包含算法、超參數(shù)、參數(shù)、模型輸入規(guī)范、模型輸出規(guī)范五大要素。3.4訓(xùn)練training對于給定的數(shù)據(jù)集，生成和優(yōu)化深度學(xué)習(xí)模型參數(shù)設(shè)置的過程。3.5驗證validation對于給定的數(shù)據(jù)集，采用訓(xùn)練后的模型進(jìn)行預(yù)測，由此進(jìn)行選擇并優(yōu)化訓(xùn)練模型結(jié)構(gòu)和超參數(shù)的過程。2DB32/T4546—20233.6測試testing對于給定的數(shù)據(jù)集，采用訓(xùn)練后的深度學(xué)習(xí)模型進(jìn)行預(yù)測，由此評估訓(xùn)練模型性能的過程。3.7查準(zhǔn)率precision正確識別為硅藻的數(shù)量占識別為硅藻數(shù)量的比率。3.8查全率recall正確識別為硅藻的數(shù)量占樣本中所有硅藻數(shù)量的比率。3.9漏檢率missrate未被識別為硅藻的真實硅藻數(shù)量與樣本中所有硅藻數(shù)量的比值。3.10完整硅藻completediatom在電鏡圖像中呈現(xiàn)邊線連續(xù)、內(nèi)部無缺損、形態(tài)完整的硅藻體。3.11不完整硅藻incompletediatom在電鏡圖像中呈現(xiàn)邊線不連續(xù)、內(nèi)部有缺損、形態(tài)不完整的硅藻體。注：不完整硅藻產(chǎn)生的主要原因有：水體中本身存在碎片化不完整硅藻；樣本在消解過程中產(chǎn)生部分碎片化不完整硅藻；圖像分割造成硅藻圖像不完整。3.12碎片硅藻fragmenteddiatom在電鏡圖像中呈現(xiàn)缺損面積大于50%的不完整硅藻體。3.13識別速度recognitionspeed對于輸入的電鏡掃描硅藻圖像，系統(tǒng)識別每張圖像平均所用的時間。3.14邊界框boundingbox經(jīng)過識別模型分析后，在圖像中框出的系統(tǒng)認(rèn)為是硅藻的區(qū)域。3.15置信度confidencecoefficient識別圖像中的硅藻時返回的該邊界框內(nèi)區(qū)域是硅藻的概率數(shù)值。4方法原理本方法基于人工智能圖像識別技術(shù)，構(gòu)建電鏡掃描硅藻圖像自動識別系統(tǒng)（以下簡稱系統(tǒng)對電鏡掃描硅藻圖像中的硅藻進(jìn)行自動化定位、定量分析。5設(shè)備要求電鏡掃描硅藻圖像自動化檢驗過程中使用的設(shè)備應(yīng)符合如下要求。a）硅藻檢驗基本設(shè)備和耗材：符合GA/T1662—2019中5.1和5.2規(guī)定的要求。b）掃描電子顯微鏡：符合GA/T1662—2019中5.2.1.5.2規(guī)定的要求。3DB32/T4546—2023c）計算機(jī)：——處理器（CPU英特爾（intel）i7?9700或以上；——內(nèi)存（RAMDDR4266616GB或以上；——硬盤：500GBSSD或以上；——顯卡：RTX20808G或以上；——電源：功率750W或以上。6自動化檢驗系統(tǒng)模型構(gòu)建6.1圖像輸入模塊6.1.1模塊要求圖像輸入模塊應(yīng)能夠批量導(dǎo)入電鏡掃描硅藻圖像，并輸送至識別模塊。6.1.2輸入圖像要求待識別圖像按照GA/T1662—2019規(guī)定的方法進(jìn)行硅藻檢驗和掃描電鏡圖像采集所得。推薦濾膜掃描區(qū)域直徑16mm，掃描放大倍數(shù)1500×。6.2識別模塊6.2.1模塊要求識別模塊應(yīng)能夠利用訓(xùn)練好的自動識別模型識別輸入的硅藻電鏡圖像，用邊界框框出系統(tǒng)認(rèn)為是硅藻的區(qū)域并返回系統(tǒng)認(rèn)為是硅藻的置信度。識別模塊的組成和構(gòu)建流程見圖1。圖1識別模塊組成和構(gòu)建流程4DB32/T4546—20236.2.2數(shù)據(jù)集的建立用于自動識別模型構(gòu)建的數(shù)據(jù)集的建立應(yīng)符合如下要求。a）建立數(shù)據(jù)集所使用的電鏡掃描硅藻圖像可來自于本實驗室儀器平臺以及其他來源（如外部數(shù)據(jù)庫等）。每張原始圖片包含的硅藻數(shù)量應(yīng)不少于1個。b）原始圖片應(yīng)可進(jìn)行像素大小調(diào)整，使得圖片大小符合人工智能模型輸入規(guī)格要求。調(diào)整后的圖片應(yīng)進(jìn)行像素預(yù)處理（如均一化、標(biāo)準(zhǔn)化、灰度化等降低不同數(shù)據(jù)源所帶來的像素差異性。c）按所選人工智能模型的數(shù)據(jù)輸入規(guī)范選擇符合要求的數(shù)據(jù)標(biāo)注格式，標(biāo)注圖像形成數(shù)據(jù)集，標(biāo)注規(guī)范符合T/CESA1040—2019的規(guī)定。d）標(biāo)注者應(yīng)為有豐富硅藻檢驗經(jīng)驗的法醫(yī)學(xué)工作者。e）標(biāo)注結(jié)果應(yīng)為帶有標(biāo)簽的數(shù)據(jù)，包括“硅藻”這一標(biāo)簽，以及標(biāo)簽對應(yīng)的圖像空間位置。f）標(biāo)注圖像數(shù)量宜大于1000張，且應(yīng)涵蓋當(dāng)?shù)厮谐Ｒ姽柙孱悇e，每種類別不少于100張。g）對標(biāo)注圖像進(jìn)行擴(kuò)增，包括圖片翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)整對比度及亮度等，最終形成數(shù)據(jù)集。6.2.3人工智能模型選擇可選擇深度學(xué)習(xí)圖像分類模型（ResNet?101、VGG?16、Inception?v3、MobileNet等）或者目標(biāo)檢測模型（Faster?RCNN、YoloV3、SSD等或其他適當(dāng)?shù)娜斯ぶ悄苣Ｐ蛯?shù)據(jù)集進(jìn)行模式特征學(xué)習(xí)。選擇的模型應(yīng)為能夠?qū)⒐柙迮c背景雜質(zhì)相區(qū)分的模型架構(gòu)。6.2.4模型訓(xùn)練與評估按7∶2∶1的比例將數(shù)據(jù)集劃分成互斥的訓(xùn)練集、驗證集、測試集，分別對所選模型進(jìn)行訓(xùn)練、訓(xùn)練過程中的模型效能監(jiān)測和評估、模型訓(xùn)練完畢后的性能泛化指標(biāo)評價。按T/CESA1036—2019的規(guī)定對模型質(zhì)量進(jìn)行評估，并對參數(shù)進(jìn)行測試和優(yōu)化，形成最終的自動識別模型。6.3統(tǒng)計輸出模塊統(tǒng)計輸出模塊應(yīng)能夠輸出硅藻識別的結(jié)果，包括識別出硅藻的數(shù)量、邊界框及置信度，并將識別出硅藻的圖像與未識別出硅藻的圖像分別分類存放。7實施步驟7.1圖像采集操作人員應(yīng)按照GA/T1662—2019規(guī)定的方法進(jìn)行硅藻檢驗和電鏡掃描圖像采集。以某地水樣或某臟器樣本作為一個樣品進(jìn)行檢驗，每個樣品使用一張濾膜對硅藻進(jìn)行富集，并使用電鏡掃描采集圖像。推薦濾膜掃描區(qū)域直徑16mm，掃描放大倍數(shù)1500×,每個樣品富集濾膜的電鏡掃描圖像分別存放在獨立的文件夾中。7.2圖像輸入與識別圖像輸入與識別的過程應(yīng)符合如下要求。a）系統(tǒng)利用識別模型對輸入圖像中的硅藻進(jìn)行識別，生成識別結(jié)果并進(jìn)行保存。b）識別結(jié)果包括在圖像中顯示識別出硅藻的邊界框，并提供置信度。c）若系統(tǒng)具有設(shè)置自選閾值功能，將置信度大于閾值的硅藻圖像作為篩選結(jié)果進(jìn)行保存。5（1）P=…………DB（1）P=…………7.3統(tǒng)計輸出識別結(jié)果統(tǒng)計輸出的過程應(yīng)符合如下要求。a）識別模塊運行完畢，系統(tǒng)自動輸出識別結(jié)果，包括圖像上識別出硅藻的邊界框和置信度。b）系統(tǒng)將識別出硅藻的圖像與未識別出硅藻的圖像分類存放。c）系統(tǒng)統(tǒng)計識別出硅藻的個數(shù)并記錄存檔。7.4結(jié)果判讀識別結(jié)果判讀的過程應(yīng)符合如下要求。a）系統(tǒng)對于輸入圖像的自動識別結(jié)果（包括系統(tǒng)按照閾值篩選所得結(jié)果）分為檢出硅藻和未檢出硅藻兩類，圖像分別存入兩個獨立的文件夾。b）點擊查看檢出硅藻的圖像所在的文件夾，系統(tǒng)在每張圖像上標(biāo)注檢出的單個硅藻所在的邊界框，并在邊界框右上角標(biāo)注置信度，作為系統(tǒng)認(rèn)為是硅藻的可能性，操作人員可根據(jù)邊界框和置信度對識別結(jié)果進(jìn)行驗證。c）對于不完整硅藻，系統(tǒng)視為硅藻一同檢出。d）操作人員統(tǒng)計系統(tǒng)識別所得硅藻數(shù)量時，缺損面積小于50%的不完整硅藻計數(shù)為完整硅藻，缺損面積大于50%的不完整硅藻計數(shù)為碎片硅藻，分別計算完整硅藻和碎片硅藻數(shù)量。e）操作人員可依據(jù)一定掃描區(qū)域內(nèi)的硅藻數(shù)量推斷整個水樣或臟器樣本中硅藻的相對數(shù)量。8測試及性能要求8.1測試要求系統(tǒng)測試的過程應(yīng)符合如下要求。a）系統(tǒng)正式投入使用前應(yīng)利用真實樣本對系統(tǒng)性能進(jìn)行測試，性能符合8.7中的要求，則認(rèn)為識別結(jié)果具有可信度。b）測試人員應(yīng)為具有豐富硅藻檢驗經(jīng)驗、能夠辨認(rèn)硅藻形態(tài)的相關(guān)人員。c）測試人員應(yīng)按7.1的要求采集電鏡硅藻圖像作為測試圖像集，以每一個硅藻（包含完整硅藻和不完整硅藻）的位置作為一個“樣本”，完整記錄測試圖像集中真正硅藻的位置及樣本數(shù)量。將測試圖像集輸入系統(tǒng)識別后，以預(yù)測出的每一個邊界框作為一個“樣本”，人工判斷預(yù)測樣本是否為真正硅藻，記錄數(shù)據(jù)，并與測試前數(shù)據(jù)進(jìn)行比較。8.2識別查準(zhǔn)率的計算識別查準(zhǔn)率計算按式（1）進(jìn)行。TPTP+FP式中：P——識別查準(zhǔn)率；TP——識別為真正硅藻的樣本數(shù)；FP——識別為硅藻而實際非硅藻的樣本數(shù)。8.3識別查全率的計算識別查全率計算按式（2）進(jìn)行。6DB32/T4546—2023…………R=…………TP+FN式中：R——識別查全率；TP——識別為真正硅藻的樣本數(shù)；FN——識別為非硅藻而實際為真正硅藻的樣本數(shù)。8.4不完整硅藻檢出率的計算不完整硅藻檢出率計算按式（3）進(jìn)行。（3）…………D=（3）…………TD+LD式中：D——不完整硅藻檢出率；TD——識別為真正不完整硅藻的樣本數(shù)；LD——識別為非硅藻而實際為真正不完整硅藻的樣本數(shù)。8.5識別速度的計算識別速度計算按式（4）進(jìn)行。v=…………（4）式中：v——識別速度；T——完成識別的總響應(yīng)時間；N——識別圖像總張數(shù)。8.6漏檢率的計算按設(shè)定閾值篩選出置信度高于閾值的硅藻樣本后，漏檢率計算按式（5）進(jìn)行。L=…………（5）式中：L——漏檢率；TL——未被篩選出的真正硅藻的樣本數(shù)；TI——被篩選為真正硅藻的樣本數(shù)。8.7性能要求測試后的電鏡掃描硅藻圖像自動識別系統(tǒng)性能應(yīng)達(dá)到如下要求。a）識別查準(zhǔn)率：水、肺等硅藻含量高的樣本，識別查準(zhǔn)率不低于90%。b）識別查全率：水、肺等硅藻含量高的樣本，識別查全率不低于90%；肝、腎等硅藻含量少的樣本，識別查全率不低于95%。c）不完整硅藻的檢出：對于不完整硅藻，系統(tǒng)應(yīng)視為硅藻一同檢出。d）識別速度：識別一張圖像的平均需要時間不大于1s。e）閾值設(shè)置和篩選：系統(tǒng)支持按自選閾值篩選置信度達(dá)到閾值的硅藻，當(dāng)閾值設(shè)置在0.5以上時，篩選硅藻的漏檢率不超過10%。7DB32/T4546—2023［1］陳吉，劉曉榮，楊佳雯，等.基于YOLOv3的硅藻電子顯微鏡圖像識別模型的構(gòu)建及應(yīng)用[J].法［2］李崢，楊佳雯，陳冶秋，等.硅藻檢驗推測溺亡位置1例[J].法醫(yī)學(xué)雜志，2020，36（6878?880.［3］YuW，XueY，RobK，YuD，EvgeniyaB，KangX，PietroF，ZhengD，LiuP，ChenH，ShiH，Liu