地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程編制說明

11.1任務(wù)來源《地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程》地方標(biāo)準(zhǔn)系四川省市場監(jiān)督管理局《2023年度地方標(biāo)準(zhǔn)制修訂項(xiàng)目（第一批）》（川市監(jiān)[2023]179號(hào)）下達(dá)的任務(wù)。本規(guī)程規(guī)定了應(yīng)用于地震領(lǐng)域相關(guān)預(yù)警軟件系統(tǒng)上線列裝前測試的規(guī)范流程和必備程序。本規(guī)程由四川省地震局負(fù)責(zé)解釋。1.2編制的必要性中國地震預(yù)警網(wǎng)進(jìn)入先行先試以來，在2021年瀘州瀘縣6.0級(jí)、2022年馬爾康6.0級(jí)和瀘定6.8級(jí)等地震時(shí)都在秒級(jí)發(fā)出了地震預(yù)警信息，發(fā)揮了積極的減災(zāi)效應(yīng)。地震預(yù)警在減輕地震災(zāi)害的同時(shí)，也面臨較大的系統(tǒng)風(fēng)險(xiǎn)，歷史上國內(nèi)外均出現(xiàn)過地震預(yù)警誤報(bào)事件。地震預(yù)警對(duì)系統(tǒng)運(yùn)行的穩(wěn)定性和準(zhǔn)確性有較高要求，在系統(tǒng)上線前須進(jìn)行專業(yè)性技術(shù)測試，盡可能早地發(fā)現(xiàn)被測軟件的缺陷，促進(jìn)軟件質(zhì)量不斷提升和系統(tǒng)不斷成熟。目前國內(nèi)已有多套地震預(yù)警數(shù)據(jù)處理軟件，并且陸續(xù)有多個(gè)行業(yè)開發(fā)針對(duì)行業(yè)特點(diǎn)的地震預(yù)警數(shù)據(jù)處理軟件。針對(duì)同一個(gè)地震事件，不同軟件計(jì)算得到的地震預(yù)警信息存在一定的差異。我省作為地震多發(fā)區(qū)，面臨極大的地震災(zāi)害風(fēng)險(xiǎn)，與地震預(yù)警相關(guān)的研發(fā)、生產(chǎn)和應(yīng)用的企業(yè)較多，為保障地震預(yù)警信息的準(zhǔn)確性和權(quán)威性，避免出現(xiàn)誤導(dǎo)性社會(huì)事件和因誤發(fā)導(dǎo)致的安全事件，納入正式運(yùn)行和對(duì)社會(huì)服務(wù)的地震預(yù)警處理軟件須經(jīng)過嚴(yán)格地震預(yù)警作為一項(xiàng)新興技術(shù)，社會(huì)服務(wù)時(shí)間較短，現(xiàn)有的地震預(yù)警系統(tǒng)測試工作由各建設(shè)單位自行開展，以軟件工程方面的產(chǎn)品質(zhì)量測試為主，針對(duì)地震預(yù)警數(shù)據(jù)處理技術(shù)方面通?！昂谙錅y試”。在測試中也很少考慮不同震例的和測試環(huán)境的影響，導(dǎo)致得出的測試結(jié)論有較大差異。因此，制定地震預(yù)警系統(tǒng)技術(shù)測試規(guī)程，明確測試方法、測試用例、測試流程和2評(píng)價(jià)指標(biāo)，促進(jìn)地震預(yù)警系統(tǒng)不斷完善和成熟有非常重要的社會(huì)意義和緊1.3國內(nèi)外標(biāo)準(zhǔn)制定情況歐洲地震和海嘯預(yù)警系統(tǒng)(ETWS)技術(shù)要求（ETSITS122168-2012）,中國河南（DB41/T2303-2022）、遼寧DB21/T3608-2022、福建DB35/T1666-2017均對(duì)地震預(yù)警相關(guān)內(nèi)容提出明確要求。此外，美國地震預(yù)警系統(tǒng)ShakeAlert在正式上線之前亦經(jīng)過了嚴(yán)格的實(shí)時(shí)原位測試和離線測試。目前，我省對(duì)地震預(yù)警技術(shù)測試沒有明確的規(guī)定，對(duì)軟件可上線也不具備可參照的執(zhí)行依據(jù)，本規(guī)程可在一定程度為預(yù)警軟件的上線使用提供較為可1.4主要工作過程2022年12月，四川省地震局向四川省市場監(jiān)督管理局提出地方標(biāo)準(zhǔn)1.4.2編寫起草2023年4月，《地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程》成立了編制工作組，并召開編制工作啟動(dòng)會(huì)，編制組成員參加了會(huì)議。編制組工作組組長強(qiáng)調(diào)了規(guī)程編制的意義和重要性，并要求編制組嚴(yán)格按照標(biāo)準(zhǔn)編制要求進(jìn)行規(guī)程文本和規(guī)程編制說明的撰寫，還根據(jù)項(xiàng)目進(jìn)度需求和人員崗位特點(diǎn)對(duì)編制組成員進(jìn)行了工作部署和分工。2023年5至6月，編制工作組分別針對(duì)標(biāo)準(zhǔn)編制涉及的內(nèi)容開展了文獻(xiàn)查閱、實(shí)地調(diào)研等前期工作，分析國內(nèi)外地震預(yù)警系統(tǒng)測試情況。2023年7至10月，編制工作組基于調(diào)研情況，結(jié)合我國現(xiàn)狀及地震預(yù)警系統(tǒng)測試業(yè)務(wù)需求，完成《地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程（工作組討論稿）》。1.4.3形成征求意見初稿3關(guān)科研機(jī)構(gòu)、高校、行業(yè)主管部門、生產(chǎn)一線企業(yè)、基層防震減災(zāi)工作主管部門等多方面意見。編寫組整理匯總了相關(guān)意見，并對(duì)現(xiàn)有文本進(jìn)行了修改完善，在此基礎(chǔ)上形成了較為成熟的《地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程（送組對(duì)收到修改意見進(jìn)行歸納和文本修改。1.5與有關(guān)的現(xiàn)行法律、法規(guī)和強(qiáng)制性標(biāo)準(zhǔn)的關(guān)系《中華人民共和國防震減災(zāi)法》第二十條地震監(jiān)測臺(tái)網(wǎng)的建設(shè)，應(yīng)當(dāng)遵守法律、法規(guī)和國家有關(guān)標(biāo)準(zhǔn)，保證建設(shè)質(zhì)量；第三十一條國家支持全國地震烈度速報(bào)系統(tǒng)的建設(shè)。地震災(zāi)害發(fā)生后，國務(wù)院地震工作主管部門應(yīng)當(dāng)通過全國地震烈度速報(bào)系統(tǒng)快速判斷致災(zāi)程度，為指揮抗震救災(zāi)工作提供依據(jù)；第四十條地震應(yīng)急預(yù)案的內(nèi)容應(yīng)當(dāng)包括：組織指揮體系及其職責(zé)，預(yù)防和預(yù)警機(jī)制，處置程序，應(yīng)急響應(yīng)和應(yīng)急保障措施等均依賴于地震預(yù)警技術(shù)系統(tǒng)的完善，體現(xiàn)了開展技術(shù)測試及制定本標(biāo)準(zhǔn)的必要性?！秶鴦?wù)院進(jìn)一步加強(qiáng)防震減災(zāi)工作的意見》第二十一條提出了加強(qiáng)防震減災(zāi)法制建設(shè),要求有關(guān)部門要依照《中華人民共和國防震減災(zāi)法》的規(guī)定，抓緊制定完善相關(guān)法規(guī)規(guī)章和標(biāo)準(zhǔn)，建立健全防震減災(zāi)政策法規(guī)體系。本規(guī)程用于規(guī)范地震領(lǐng)域相關(guān)預(yù)警軟件系統(tǒng)上線列裝前測試的相關(guān)內(nèi)容，不與現(xiàn)行法律、法規(guī)和強(qiáng)制性標(biāo)準(zhǔn)相違背。1.6廢止或修訂現(xiàn)行有關(guān)標(biāo)準(zhǔn)的建議2標(biāo)準(zhǔn)編制原則本規(guī)程編制在遵循“科學(xué)性、適用性”原則的基礎(chǔ)上，保證規(guī)程編制的規(guī)范性、先進(jìn)性、全面性和創(chuàng)新性。4一是按照《中華人民共和國防震減災(zāi)法》、《國務(wù)院關(guān)于進(jìn)一步加強(qiáng)防震減災(zāi)工作的意見》和《地震監(jiān)測管理?xiàng)l例》等的要求，結(jié)合四川省地震預(yù)警實(shí)際情況進(jìn)行編制，在兼顧適用性的基礎(chǔ)上，增加了地震預(yù)警測試用例分類表等詳細(xì)內(nèi)容，突出了該規(guī)程的專業(yè)特點(diǎn)。二是不僅包含了地震預(yù)警系統(tǒng)功能測試和性能測試兩部分常規(guī)測試內(nèi)容，還增加了信息安全性測試、兼容性測試和可移植性測試三部分結(jié)合當(dāng)前實(shí)際需求的測試內(nèi)容，從而提升了該規(guī)程的先進(jìn)性和全面性。3標(biāo)準(zhǔn)主要內(nèi)容說明3.1術(shù)語和定義為便于對(duì)規(guī)程的理解與執(zhí)行，本章針對(duì)地震預(yù)警系統(tǒng)測試的部分專業(yè)術(shù)語作了定義，如“預(yù)警時(shí)間”“測試震例”等。3.1.1預(yù)警時(shí)間根據(jù)地震預(yù)警參數(shù)計(jì)算或預(yù)估地震動(dòng)到達(dá)預(yù)警目標(biāo)的剩余時(shí)間，一般3.1.2測試震例用于開展地震預(yù)警系統(tǒng)軟件測試的地震波形數(shù)據(jù)，可直接采用歷史上已發(fā)生地震事件的觀測記錄，也可以根據(jù)測試目的加工編輯生成。3.2測試內(nèi)容和測試用例以科學(xué)性和適用性等為原則，本規(guī)程明確了地震預(yù)警系統(tǒng)測試的具體3.2.1測試內(nèi)容明確了包括功能測試、性能測試、信息安全性測試、兼容性測試和可移植性測試五大測試內(nèi)容。其中，功能測試具體內(nèi)容主要包括完備性測試、準(zhǔn)確性測試和時(shí)效性測試；性能測試內(nèi)容包括功能的執(zhí)行效率和整體性能，主要是針對(duì)地震預(yù)警系統(tǒng)的負(fù)載、壓力和效率進(jìn)行測試；信息安全性測試5包括數(shù)據(jù)安全和權(quán)限認(rèn)證。兼容性測試包括共存性測試和互操作性測試；可移植性測試包括適應(yīng)性測試和易安裝性測試。3.2.2測試用例為保證測試的充分性，本規(guī)程測試用例以盡可能覆蓋所有合理和不合理的、邊界和越界的真實(shí)情形為原則，為特定測試目標(biāo)而編制的一組測試輸入、執(zhí)行條件以及預(yù)期結(jié)果，進(jìn)而通過測試確定軟件是否滿足既定或某個(gè)特定需求。測試用例描述了測試的前提條件、輸入?yún)?shù)、驗(yàn)證點(diǎn)及期望的輸出結(jié)果等。為體現(xiàn)測試用例的充分性，明確了每個(gè)測試用例要素，包括名稱和標(biāo)識(shí)、用例說明、測試輸入、期望測試結(jié)果、評(píng)價(jià)測試結(jié)果準(zhǔn)則、操作過程、前提和約束和測試終止條件。每個(gè)測試震例按照事件類型（如網(wǎng)內(nèi)、網(wǎng)外、雙震、震群、干擾等）和震級(jí)大小進(jìn)行分類。每次抽取的測試震例數(shù)目不低于100個(gè)，其中干擾震例占比不低于5%。為科學(xué)性指導(dǎo)地震預(yù)警測試，本規(guī)程提供了專業(yè)性強(qiáng)的地震預(yù)警系統(tǒng)功能測試輸入數(shù)據(jù)分類表，對(duì)地震事件進(jìn)行詳細(xì)分類，并做出了詳盡的描述。意見處理情況匯總表標(biāo)準(zhǔn)編制工作組6 《地震預(yù)警系統(tǒng)測試技術(shù)規(guī)程》地方標(biāo)準(zhǔn)意見匯序號(hào)意見章條及原標(biāo)準(zhǔn)內(nèi)容修改意見及依據(jù)提出單位意見處理備注1地震預(yù)警系統(tǒng)范圍過于寬泛，建議對(duì)名詞術(shù)語進(jìn)行修改，定義為面向地震專家函詢2地震預(yù)警系統(tǒng)的特殊性，建議修改為準(zhǔn)確性測試，并對(duì)單模塊功能點(diǎn)進(jìn)行3測試內(nèi)容中功能測試和性能測試，建議補(bǔ)充完善預(yù)警系統(tǒng)通用功能，側(cè)重4建議補(bǔ)充測試評(píng)價(jià)的具體標(biāo)準(zhǔn)和邊界5測試用例建議補(bǔ)充地震預(yù)警領(lǐng)域測試用例內(nèi)容，對(duì)測試用例地震事件分類6測試報(bào)告建議深化設(shè)計(jì)，補(bǔ)充整體測7建議修改為“地震預(yù)警系統(tǒng)測試技術(shù)根據(jù)要求不能變更成規(guī)8建議刪除“檢測軟件達(dá)到系統(tǒng)的功能79建議將該部分內(nèi)容形成不同的測試用例集，不同等級(jí)的地震預(yù)警系統(tǒng)應(yīng)通過哪個(gè)測試用例集，以附件的形式呈既采用黑盒測試，測試用例只需設(shè)計(jì)既然是黑盒測試，建議對(duì)產(chǎn)出結(jié)果或未采納。理由如下：很建議修改“地震預(yù)警系統(tǒng)軟件需求說8除應(yīng)滿足全部通用功能建議精簡通用性內(nèi)容，補(bǔ)充地震預(yù)警建議說明該測試系統(tǒng)是中心計(jì)算還是理由如下：該規(guī)程未預(yù)內(nèi)容、評(píng)價(jià)，無需列出建議對(duì)整個(gè)系統(tǒng)依附的硬件需要進(jìn)行說明，或說明系統(tǒng)所需硬件應(yīng)符合哪理由如下：該規(guī)程提供在軟件測試記錄中建議說明系統(tǒng)測試?yán)碛扇缦拢捍艘?guī)程采用9入與輸出，無需關(guān)注系建議增加系統(tǒng)抗干擾性能測試，通過輸入非地震的各類干擾信號(hào)驗(yàn)證系統(tǒng)對(duì)于非地震信號(hào)是否能有效過濾，制數(shù)據(jù)安全應(yīng)對(duì)應(yīng)地震預(yù)警系統(tǒng)運(yùn)行期等內(nèi)容，應(yīng)要求系統(tǒng)加密存儲(chǔ)并對(duì)非理由如下：此規(guī)程采用的黑盒測試，關(guān)注輸入結(jié)果是否符合預(yù)期，不關(guān)注日志是否加密存建議將“滿足系統(tǒng)開發(fā)要求”修改成建議將測試過程的“分為四項(xiàng)活動(dòng)，建議刪除“通常”、“系統(tǒng)測試”、“其中功能測試宜采用針對(duì)地震預(yù)警根據(jù)具體應(yīng)用場景的需建議將“發(fā)震時(shí)刻估算”修改為“包建議刪除表1中行“發(fā)震時(shí)刻估Merror=|Meew?Mag|建議刪除預(yù)警震級(jí)偏差計(jì)算表達(dá)式中建議刪除預(yù)測烈度偏差計(jì)算表達(dá)式中TTerror=|TTeew?TTag|建議刪除預(yù)警發(fā)震時(shí)刻偏差計(jì)算表達(dá)建議刪掉時(shí)效性測試中“該項(xiàng)目指標(biāo)其他軟件測試建議修改為“其他測附錄C通用功能測試評(píng)建議調(diào)整時(shí)效性指標(biāo)對(duì)應(yīng)的偏差范建議參考四川地方標(biāo)準(zhǔn)編制相