CNAS-GL11-2007 檢測和校準(zhǔn)實驗室能力認可準(zhǔn)則在軟件和協(xié)議檢測領(lǐng)域的應(yīng)用說明

檢測和校準(zhǔn)實驗室能力認可準(zhǔn)則在軟件和協(xié)議檢測領(lǐng)域的應(yīng)用指南中國合格評定國家認可委員會 1 2 3 4 4 5 5 6 6 6 9 1本指南旨在為信息技術(shù)和電信檢測領(lǐng)域中的軟件和協(xié)議檢測實驗室按照中國合格技術(shù)報告的分類中是屬于只要技術(shù)內(nèi)容依然有效就無需進行復(fù)審和更新的文件類型，因證中心、中國軟件評測中心、國家電子計算機質(zhì)量監(jiān)督檢驗中心和信息產(chǎn)業(yè)部通信軟件2．實驗室可以自己進行檢測手段(MOT)和測試工具的確認，也可以使用其它實驗技術(shù)水平上是不現(xiàn)實的。根據(jù)目前認可發(fā)展趨勢，將來CNAL的檢測手段(MOT)和測試工具確認服務(wù)的形式。最終是否強制要求實驗室使用已認可的檢測手段和編譯器的檢測，本指南給出了專門的解釋。需特別聲明，本指注4：每個測試判斷的得出應(yīng)當(dāng)考慮測試用例的目的和相關(guān)標(biāo)準(zhǔn)要求別2--無效表現(xiàn)，但滿足測試目的但這并不改變測試判斷5．本指南針對?檢測和校準(zhǔn)實驗室認可準(zhǔn)則?(CNAL/01)的具體條款給出了指南IXIT（implementationextrainformationfortesting）檢測實現(xiàn)附加信息OSI（opensystemsinterconnection）開放系統(tǒng)互連在本指南中，測試工具是指為了進行或輔助進行所要求的檢測而使用的硬件和/或軟件，不包括序的）測試集本身之外，只使用了少量的輔助軟件測試工具。實現(xiàn)。在這種情況下，公布參考實現(xiàn)的來源和特性可能無意中給供注2：采用普通的商業(yè)實現(xiàn)作為參考實現(xiàn)以及選擇哪種商業(yè)有特性。這是由于某一給定的商業(yè)實現(xiàn)可能只支持相關(guān)規(guī)范的子集（或“側(cè)面”這作為一種臨時解“實驗室應(yīng)確保所購買的、影響檢測和/或校準(zhǔn)質(zhì)量的供應(yīng)品、試劑和消耗材料，只有在經(jīng)檢查或證實符合有關(guān)檢測和/或校準(zhǔn)方法中規(guī)定的標(biāo)準(zhǔn)規(guī)范或要求之后才投入使注：“外部”這個詞應(yīng)被理解為’檢測實驗室以外’。因此，確認服務(wù)可以由同一組織的其它部門提供，只要它在組織結(jié)構(gòu)上是一個與檢測實驗室相分離的部門，就被視為外部支持服務(wù)。換言之，檢測實驗室必須提供自己的確認服務(wù)，而不能使用外部機構(gòu)提供的確認服務(wù)?！皩嶒炇覒?yīng)有程序來保護和備份以電子形式存儲的記錄，并防止未經(jīng)授權(quán)室應(yīng)確保客戶控制的檢測環(huán)境，在檢測期間第三方不能訪注：對于在檢測實驗室以外的地點進行的檢測，發(fā)生這種情況的可能試記錄，而不應(yīng)做了標(biāo)記以后再移走。為了尋找這種刪除方式，可能“實驗室管理層應(yīng)確保所有操作專門設(shè)備、從事檢測和/或校準(zhǔn)以及評價結(jié)果和簽署檢測報告和個具體的檢測或確認服務(wù)，當(dāng)沒有相應(yīng)的客戶時，“實驗室應(yīng)確保其環(huán)境條件不會使結(jié)果無效，或?qū)λ蟮臏y量質(zhì)量產(chǎn)生不良影響。在實驗室注2：當(dāng)通過網(wǎng)絡(luò)實施遠程檢測時，需特別關(guān)注對環(huán)境控制的要求。實際響網(wǎng)絡(luò)正常運行的環(huán)境條件。如果環(huán)境不能如果網(wǎng)絡(luò)超負荷，則在遠程檢測中可能會遇到問題，在這種情況下，可能需要重新安排檢測或況下，實驗室可以要求使用軟件識別技術(shù)。為判定測試結(jié)果而需要對S需象處于主要的MOT物理位置上一樣處于SUT的物理位置。實驗室應(yīng)在測試前或確認前對這些設(shè)備進行檢查，以確保其它確認手段的正確版本，并且不得以任何可能導(dǎo)致不正確的確認結(jié)果如果測試工具或測試集是在磁盤上或磁帶上，讓客戶在測試工具或測試集上進行病毒掃描，這“相關(guān)的規(guī)范、方法和程序有要求，或?qū)Y(jié)果的質(zhì)量有影響時，實驗室應(yīng)監(jiān)測、控制和記錄環(huán)境條件?！庇布\行環(huán)境。測試環(huán)境的一部分可能在SUT（或MOT）內(nèi)部，一部分可能在SUT（或M括：名稱、型號和版本號。在一些特殊情況下，甚至每個構(gòu)件都需要被識“應(yīng)將不兼容活動的相鄰區(qū)域進行有效隔離。應(yīng)采取措施以測或確認服務(wù)中，對單個檢測或確認服務(wù)內(nèi)使用軟件、可移植操作系統(tǒng)接口（POSIX）及應(yīng)用程序可移植性檢測。在開放系統(tǒng)互連或電信協(xié)議檢測中使用分布式(Distributed)或?qū)Φ仁?Coordinated)測試方法也是這種注：只要可行，應(yīng)當(dāng)確保SUT在測試或確認過程中除了支持檢測或確認要 注2：測試方法適宜性的準(zhǔn)則在某種程度上取決于檢測類型。首先，有一些適用于所有測試類織或有關(guān)科學(xué)書籍和期刊公布的，或由設(shè)備制除非經(jīng)客戶同意，每個測試方法應(yīng)符合已有的相關(guān)國際標(biāo)準(zhǔn)。這并不意味著檢測實驗室不能使種情況。即使有相關(guān)的標(biāo)準(zhǔn)，也可通過檢測實驗室間的國際協(xié)議推薦文件的各個部分相一致。這意味著抽象測試集應(yīng)遵循ISO/IEC9646-2或ITU-TX.291（和對辦公文件體系結(jié)構(gòu)（OfficeDocumentationArchitecture,ISO/IEC8613測試方法應(yīng)符合5.4.5.3結(jié)果的不確定度、檢出限、方法的選擇性、線性、重復(fù)性限和/或復(fù)現(xiàn)性、抵御外來影響的穩(wěn)健度和/或抵御來自樣品（或檢測物）母體干擾的交互產(chǎn)生的結(jié)果與先前所產(chǎn)生的結(jié)果一致，則可以說此測試方法符合重復(fù)性準(zhǔn)則。注1：重復(fù)性準(zhǔn)則不應(yīng)當(dāng)理解為重復(fù)檢測必須產(chǎn)生結(jié)果彼此一致。例如，凡是量值的變化小于測量不確定度的測量都可以被測量的所有情況中，結(jié)果應(yīng)附帶測試用例運行的環(huán)境說明。而兩個檢測實驗室產(chǎn)生的結(jié)果一致，則可以說此測一些特定文件，并且檢測服務(wù)可能要檢查文件的充分程度。注3：復(fù)現(xiàn)性要求任何所需的測量應(yīng)當(dāng)在規(guī)定的測量不確定注4：對復(fù)現(xiàn)性的任何疑問要予以調(diào)查，可行時，可以使用實試用例，應(yīng)符合重復(fù)性和復(fù)現(xiàn)性準(zhǔn)則，所有的符合性評價應(yīng)基于相同的測試集。參數(shù)。在這些情況中，所用的參數(shù)值和所進行的修改應(yīng)當(dāng)寫在測試報告中，也可作為報告的附錄。進行測試用例選擇和參數(shù)化的必要信息。一份是實現(xiàn)符合性聲明（ImplementationConformance復(fù)的、可復(fù)現(xiàn)的和客觀的，否則，這種檢測不可能該要求也適用于作為確認手段一部分的軟件和被安裝在包含要被確認的MOT或測試工具的系統(tǒng)一組可信度測試（可能是符合性測試集的一組子集并規(guī)定“當(dāng)利用計算機或自動設(shè)備對檢測和校準(zhǔn)數(shù)據(jù)進行采集、處理、記錄、報告、存儲或檢索時，（4）應(yīng)編制管理記錄和狀態(tài)報告，以說明受控軟件項的狀態(tài)和歷注：軟件配置管理系統(tǒng)是一組程序，采用時，它可確保對版本號、發(fā)行量和軟件變更的充分標(biāo)然而，當(dāng)作為整體考慮時，可以看出當(dāng)MOT和測試工具是新的或可疑時（如，進行了重大更新或在使用產(chǎn)生的結(jié)果中發(fā)現(xiàn)了錯誤需要一些手段來檢查M據(jù)一些參考來檢查MOT和測試工具。如果使用未獲得認可的外部確認服務(wù)，那么實驗室應(yīng)當(dāng)制定充分的程序來選擇和監(jiān)控此服務(wù)（見某一特定的MOT和測試工具確認方法。然而，目前只有一種MOT的確于有關(guān)它的使用所給出的特定解釋和說明已得到了充分的理解。該方法涉及的MOT檢測是依據(jù)一個或多個已知實現(xiàn)（參考實現(xiàn)）運行MOT，并將所得結(jié)果與預(yù)期結(jié)果進行比較來實施。確認服務(wù)，檢測實驗室應(yīng)當(dāng)指定一個特定的實現(xiàn)作為參考實現(xiàn)，以確認相關(guān)的MOT。當(dāng)有高質(zhì)量的MOT確認手段時，檢測實驗室應(yīng)當(dāng)盡早使用該手段。注6：不確定度發(fā)生的原因是我們不知道有多少測試用例肯定是正常工作的。這種情況的發(fā)生是重復(fù)，并且符合性測試用例的范圍對于可能必須通過該符合性測試集測試的實現(xiàn)范圍是注2：在編譯器檢測中，內(nèi)置的參考實現(xiàn)也已用于檢查測試集的覆蓋度。注：如果已有MOT確認方法，那么經(jīng)過多長時間要求實驗室開始使用這種方法確認每一個相關(guān)檢測中應(yīng)使用所有適用于參考實現(xiàn)的完整符合性確認）就涉及到物理量的測量，此時，常規(guī)的校準(zhǔn)和溯源性要求是適用注2：MOT確認記錄應(yīng)當(dāng)包括根據(jù)所使用的MOT或測試工具的所有檢測實驗室,這一點2．確認實驗室，或自行對MOT或測試工具進行確認的檢測實驗室，應(yīng)記錄每個參考實正確性。其它確認手段進行了改變時,即使是微小的改變，確認實驗室應(yīng)進行檢查，以確保適當(dāng)?shù)鼐S持與其它確認實驗室結(jié)果的一致性以及針對相關(guān)標(biāo)準(zhǔn)察記錄進行分析的測試工具。錯誤；適當(dāng)時，停止使用MOT、測試工具或測試用例；糾正錯誤，適當(dāng)時，重新確認MOT或測試工的檢測之前，MOT應(yīng)對照參考實現(xiàn)并使“當(dāng)需要利用期間核查以維持設(shè)備校準(zhǔn)狀態(tài)和測試工具兩次確認之間定期進行，在開始測試每個新IU證實校準(zhǔn)帶來的貢獻對檢測結(jié)果總的不確定度幾乎沒有影響?！比绻麑Τ橄鬁y試集存在疑問或是不存在抽象測試集，確認報告應(yīng)當(dāng)可溯源到有關(guān)的規(guī)范概要（適用時或有關(guān)的基礎(chǔ)協(xié)議規(guī)范。“實驗室應(yīng)有程序和適當(dāng)?shù)脑O(shè)施避免檢測或校準(zhǔn)物品在存儲、處置和準(zhǔn)備過程中發(fā)生退化、丟取了所有合理的措施確保測試工具和/或測試集不含有已知的病毒或其它b)參加實驗室間的比對或能力驗證計劃；如果實驗室聲明能提供協(xié)調(diào)一致的檢測或確認服務(wù)，實驗室應(yīng)提供其參與相關(guān)實驗室間比對的并符合檢測或校準(zhǔn)方法中規(guī)定的要求?！?．符合性測試的測試方法應(yīng)具有這樣的特性，即針對符合性檢測所依據(jù)的標(biāo)準(zhǔn)或規(guī)范，給出過的判斷或失敗的判斷一致，但通過的判斷永遠不應(yīng)當(dāng)被認為與失敗復(fù)性、復(fù)現(xiàn)性和客觀性的程序。在由MOT(測試手段)或測試工具生成的輸出記錄中，應(yīng)清楚地表明不確定因素a)制定和使用檢測程序，以確保任何未予規(guī)定的判斷符合相關(guān)標(biāo)準(zhǔn)的重復(fù)性、復(fù)現(xiàn)性和客觀性用例做出判斷。例如，編譯器檢測就是一個典型的實例憾的是，某些測試用例可能規(guī)定不夠完善，對某些輸出結(jié)果無法確定。例如，這種事例可能發(fā)生在試用例的具體運行情況，規(guī)定所應(yīng)賦予的判斷。用例的結(jié)果時，分析工具提供或摘取必要的信息，以確定是維護部門糾正該測試用例。本附錄提供了本指南所使用的術(shù)語。本指南盡可能使用標(biāo)準(zhǔn)定義，或?qū)?biāo)準(zhǔn)定義進行了微小的改動，以使其適合于本指南所針對的技術(shù)內(nèi)容。對于本指南自己規(guī)定的術(shù)語，其目的不是形成標(biāo)準(zhǔn)化的新定義，而是解釋其在本指南中的含義。如果標(biāo)準(zhǔn)化的定義不同于本指南中所使用的定義，則右面一欄給出了此定在某種特定抽象測試方法的抽象級別上定義的，為達到特定測試目的所需采取例是適當(dāng)標(biāo)準(zhǔn)化的。為了在一個特定的測試工具上運行，需將它們轉(zhuǎn)換為可執(zhí)在某種特定抽象測試方法的抽象級別上定義的，為達到特定測試目的所需采取措施的一種完整和獨立的規(guī)范。它起始于穩(wěn)定的檢測狀態(tài)，可能包含一個或多個連續(xù)或并行的ISO/IEC9646-1和ITU-TX.290描述，在某個給定的抽象級別上該描述與測試手段的任何具體實現(xiàn)無關(guān)，但其詳細程度應(yīng)足以能用這種測試方法規(guī)定注：這個術(shù)語不能與通用術(shù)語“測試方定的抽象級別上該描述與測試手段的任何具體實現(xiàn)無關(guān)，但其詳細程度應(yīng)足以能用這種測試方法規(guī)定抽ISO/IEC9646-1和ITU-TX.290正式表明檢測實驗室具備實施特定測試具體實施實驗室認可的有其自身的規(guī)程和管理規(guī)則的體系。ISO/IEC導(dǎo)則2實驗室認可機構(gòu)指派的，單獨或作為評審組成員對實驗室實施評審的人員。ISO/IEC17011在規(guī)定條件下，為確定測量儀器或測量系統(tǒng)所指示的量值，或?qū)嵨锪烤呋騾⒖嘉镔|(zhì)所代表的量值，與對應(yīng)的由標(biāo)準(zhǔn)所復(fù)現(xiàn)的量值之間關(guān)系的一組操作。VIM產(chǎn)品、過程或服務(wù)滿足所有相關(guān)的規(guī)定的符合性要求。注：如果提出了ICS或類似的符合性聲明，那么對于不支持的那些選項所規(guī)定的要求，可以認為是無關(guān)的。產(chǎn)品、過程或服務(wù)滿足達到了規(guī)定的要求。ISO/IEC導(dǎo)則2完成評估一個實現(xiàn)或系統(tǒng)與一個或多個要求規(guī)范的符合性所需的全部符合性檢測活動的完整過程。完成評估一個實現(xiàn)或系統(tǒng)與一個或多個OSI規(guī)范符合性所需的全部符合性檢測活動的完整過程。ISO/IEC9646-1和ITU-TX.290作為檢測活動的結(jié)果而產(chǎn)生的人類可以閱讀的信息記錄，它足以驗證賦予的測試作為檢測活動的結(jié)果而產(chǎn)生的人類可以閱讀的信息記錄，它足以驗證賦予的測試結(jié)果（包括測試判斷）。ISO/IEC9646-1和ITU-TX.290在規(guī)定要求的規(guī)范中,某一實現(xiàn)所應(yīng)滿足的行為和/或能力的說明。要求：在標(biāo)準(zhǔn)文件中,表達應(yīng)遵守的準(zhǔn)則的條款。ISO/IEC導(dǎo)則2動態(tài)符合性要求：規(guī)定了在通信情況下相關(guān)規(guī)范所允許的可觀察行為的一種要求。ISO/IEC9646-1和ITU-TX.290靜態(tài)符合性要求：規(guī)定了對聲稱符合相關(guān)規(guī)范的開放式系統(tǒng)所允許的綜合實現(xiàn)能力限制的一種要求。ISO/IEC9646-1和ITU-TX.290ISO/IEC9646-1和ITU-TX.290根據(jù)某種特定的要求規(guī)范或一組相關(guān)的要求規(guī)范，為進行符合性檢測而規(guī)定的合性檢測所需的一組完整測試用ISO/IEC9646-1和ITU-TX.290滿足所有相關(guān)規(guī)定的符合性要求的實滿足靜態(tài)和動態(tài)符合性要求，并與ISO/IEC9646-1和ITU-TX.290ISO/IEC9646-1和ITU-TX.290ISO/IEC9646-1和ITU-TX.290的供應(yīng)者所做的聲明，陳述已實現(xiàn)ISO/IEC9646-1和ITU-TX.290實現(xiàn)符合性聲明形ISO/IEC9646-1和ITU-TX.290其檢測環(huán)境有關(guān)的全部信息（ICSISO/IEC9646-1和ITU-TX.290一個或多個要求規(guī)范的一種實現(xiàn)，該實現(xiàn)作為系統(tǒng)的一部分通過檢測進行研具有相鄰用戶/提供者關(guān)系的一個現(xiàn)將作為開放實系統(tǒng)的一部分通過ISO/IEC9646-1和ITU-TX.290認可機構(gòu)依據(jù)特定標(biāo)準(zhǔn)和（或）其它規(guī)范性文件，在確定的認可范圍內(nèi)，對實進行所要求的檢測而使用的硬件和/或軟件及其應(yīng)用程序，包括可執(zhí)行的測試能完成測試用例的獲、選擇、參數(shù)化和執(zhí)行的設(shè)備和程序的組合，它ISO/IEC9646-1和ITU-TX.290或一個或多個量值，用作參考的實物量VIM一個或多個標(biāo)準(zhǔn)或規(guī)范的實現(xiàn)，依據(jù)此實現(xiàn)對檢測手段和測試工具進行測試，以達到確認檢測手段和測試工具的目在軟件工程（維護和檢測）中，為了檢查出在軟件糾正或修改活動中出現(xiàn)的錯誤，在以前已正確地執(zhí)行了測試用例的（通過網(wǎng)絡(luò)的）遠程與該網(wǎng)絡(luò)連接但與其分離，該網(wǎng)絡(luò)是測同一實現(xiàn)進行重復(fù)檢測，使用的測試方法能產(chǎn)生與第一次測試一致的結(jié)果，這在相同測量條件下，對同一被測量進行連續(xù)多次測量所得結(jié)果之間的VIM（測試結(jié)果的）復(fù)現(xiàn)性產(chǎn)生的測試結(jié)果是客觀的而不是主觀的測試方法的特性，這樣在兩個不同的檢測實驗室使用同樣的測試集，對同一實現(xiàn)進行檢測，產(chǎn)生的結(jié)果是一致的，這在改變了的測量條件下，同一被測VIMISO/IEC9646-1和ITU-TX.290依據(jù)規(guī)定的程序測定產(chǎn)品、過程和服務(wù)ISO/IEC9646-1和ITU-TX.290為提供檢測服務(wù)而使用的規(guī)定的技術(shù)程序，包括：測試集中每個測試用例的規(guī)范；運行測試用例的測試工具（軟件和硬件）以及這些測試工具的使用方法；用于選擇和運行測試用例、分析觀察以對良好定義的檢測目標(biāo)的非形式化描述，它關(guān)注于在適當(dāng)?shù)囊笠?guī)范中所規(guī)定的單個的符合性要求或一組相關(guān)的符合性要求（例如，驗證是否支持某一參對良好定義的檢測目標(biāo)的非形式化描述，它關(guān)注于在適當(dāng)?shù)囊笠?guī)范中所規(guī)定的單個