（高清版）DB37∕T 3048-2017 自主可控軟件測試與認證規(guī)范　

ICS35.080DB37DB37/T3048—2017自主可控軟件測試與認證規(guī)范2017-112017-11-2017-12-山東省質(zhì)量技術(shù)監(jiān)督局發(fā)布I前言 1范圍 1 13術(shù)語和定義 14自主可控軟件要求 24.1自主性要求 24.2用戶文檔要求 24.3軟件質(zhì)量要求 25測試內(nèi)容 35.1總則 35.2自主性測試 35.3功能性測試 35.4安全性測試 45.5可靠性測試 45.6易用性測試 55.7性能效率測試 55.8維護性測試 55.9兼容性測試 55.10用戶文檔測試 66測試流程 66.1測試樣品提交 66.2測試需求分析 66.3測試計劃 66.4測試設計 76.5測試環(huán)境準備 76.6測試執(zhí)行 76.7測試結(jié)果匯總與分析 76.8測試結(jié)果評價 76.9報告編制 77測試實施要求 87.1測試計劃要求 87.2測試用例要求 87.3測試執(zhí)行記錄要求 87.4符合性評價報告要求 88認證 88.1認證要求 8 98.3認證實施 98.4認證證書 9DB37/T3048—2017本標準按照GB/T1.1—2009給出的規(guī)則起草。本標準由山東省經(jīng)濟和信息化委員會提出并歸口。本標準起草單位：山東省計算中心(國家超級計算濟南中心)、山東省軟件評測中心、山東道普測評技術(shù)有限公司、山東中創(chuàng)軟件商用中間件股份有限公司、山東瀚高基礎軟件股份有限公司、國家網(wǎng)絡軟件產(chǎn)品質(zhì)量監(jiān)督檢驗中心(濟南)、山東億云信息技術(shù)有限公司、山大電力有限責任公司、山東山大華天軟件有限公司、山東正中計算機網(wǎng)絡技術(shù)咨詢有限公司、山東華迪智能技術(shù)有限公司。本標準主要起草人：楊美紅、韓慶良、韓明軍、張海燕、劉娜、鄭玉華、周長倫、李繼才、張峻、吳梅磊、張建成、李釗、王平、張偉、張文治。1DB37/T3048—2017自主可控軟件測試與認證規(guī)范本標準規(guī)定了自主可控軟件要求、測試內(nèi)容、測試流程、測試實施要求和認證。本標準適用于自主可控軟件的標準符合性測試與認證，也可供軟件生產(chǎn)商在設計、驗證、日常檢測和維護時參考。2規(guī)范性引用文件下列文件對于本文件的應用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T25000.51—2016系統(tǒng)與軟件工程系統(tǒng)與軟件質(zhì)量要求和評價(SQuaRE)第51部分：就緒可用軟件產(chǎn)品(RUSP)的質(zhì)量要求和測試細則3術(shù)語和定義GB/T25000.51—2016界定的以及下列術(shù)語和定義適用于本文件。國產(chǎn)軟件在中華人民共和國境內(nèi)最終形成，其著作權(quán)歸屬中華人民共和國境內(nèi)的自然人、法人或其他組織，并且在國內(nèi)的開發(fā)成本不低于總開發(fā)成本的百分之五十的軟件產(chǎn)品。自主可控軟件由軟件生產(chǎn)商自身研發(fā)設計，全面掌握產(chǎn)品核心技術(shù)，擁有自主知識產(chǎn)權(quán)，可由軟件生產(chǎn)商自主維護來應對安全威脅的國產(chǎn)軟件。符合性評價報告說明對自主可控軟件實施評價的行為和結(jié)果的文檔。測試機構(gòu)獲得中國實驗室國家認可委員會認可的具有軟件檢測能力的機構(gòu)，認可的檢測能力范圍應至少包括對軟件功能性、可靠性、易用性，及性能效率的測試。2DB37/T3048—2017認證機構(gòu)依據(jù)該標準對自主可控軟件實施認證的組織機構(gòu)。4自主可控軟件要求軟件應自主研發(fā)，且擁有自主知識產(chǎn)權(quán)。4.2.1可用性要求用戶文檔對于該軟件的用戶應是可用的。4.2.2完備性要求用戶文檔應具有唯一標識，應包含使用該軟件所必需的信息，應說明最終用戶能調(diào)用的所有功能。4.2.3正確性要求用戶文檔中所有信息都應是正確的，且不應有歧義的信息。4.2.4一致性要求用戶文檔不應自相矛盾、互相矛盾，以及與產(chǎn)品說明矛盾。用戶文檔應采用軟件特定讀者可理解的術(shù)語和文體。4.3軟件質(zhì)量要求4.3.1功能性要求軟件的功能是否能執(zhí)行是可識別的；在給定的限制范圍內(nèi)，用戶文檔中所陳述的所有功能應是可執(zhí)軟件應能夠保護信息和數(shù)據(jù)，使未授權(quán)的人員或系統(tǒng)不能閱讀或修改這些信息和數(shù)據(jù)，而不拒絕授權(quán)人員或系統(tǒng)對它們的訪問。4.3.3可靠性要求軟件應按照用戶文檔中定義的可靠性特征來執(zhí)行，應識別違反句法條件的輸入，并且不應作為許可的輸入加以處理；在用戶文檔陳述的限制范圍內(nèi)使用時，不應丟失數(shù)據(jù)。有關(guān)軟件執(zhí)行的各種問題、消息和結(jié)果都應是易理解的；對具有嚴重后果的功能執(zhí)行應是可撤銷的，或者軟件應給出這種后果的明顯警告，并且在這種命令執(zhí)行前要求確認。4.3.5性能效率要求3DB37/T3048—2017軟件應符合產(chǎn)品說明中有關(guān)性能效率的陳述。4.3.6維護性要求軟件應按照用戶文檔中定義的維護性特征來執(zhí)行。軟件應按照用戶文檔和產(chǎn)品說明中所定義的兼容性特征來執(zhí)行。針對自主可控軟件，從自主性、功能性、安全性、可靠性、易用性、性能效率、維護性、兼容性和用戶文檔等九個方面進行測試。其中，性能效率、維護性和兼容性部分作為考察項，其測試結(jié)果能夠更全面地展現(xiàn)軟件相應能力，但不用于軟件整體測試結(jié)果的評價。針對自主可控軟件要求，給出以下主要的測試項目。在實際執(zhí)行過程中，可根據(jù)自主可控軟件自身特點及軟件生產(chǎn)商要求增加測試項目。對于自主性測試、功能性測試、安全性測試、可靠性測試、易用性測試和用戶文檔測試等六個類別，在符合性評價報告中應至少列出以下所有測試項目，對其中不適用的測試項目，應說明其不適用原因。測試內(nèi)容如表1所示：表1自主性測試內(nèi)容測試項目項目說明自主管理可行性與計劃研究應有相應的文檔或記錄能夠證明對軟件進行了可行性分析，并制定了開發(fā)計劃。需求分析應有相應的文檔或記錄能夠證明對軟件進行了需求分析。軟件設計應有相應的文檔或記錄能夠證明對軟件進行了設計。質(zhì)量控制應有相應的文檔或記錄能夠證明對軟件進行了質(zhì)量控制。版本控制應有相應的文檔、記錄能夠證明對軟件進行了版本控制。自主研發(fā)源代碼可執(zhí)行驗證軟件源代碼編譯后生成的軟件的功能完整，且與用戶文檔描述的軟件功能一致。源代碼自主研發(fā)驗證軟件所有功能都應有對應的源代碼，且軟件核心功能應由自主研發(fā)的源代碼獨立實現(xiàn)。5.3功能性測試測試內(nèi)容如表2所示：表2功能性測試內(nèi)容測試項目項目說明完備性功能實現(xiàn)的完整性軟件中應包括產(chǎn)品說明中所描述的所有功能。正確性功能的正確性產(chǎn)品說明中所有的功能應都能正確執(zhí)行。精度軟件中所有精度應與產(chǎn)品說明中的精度要求一致。4DB37/T3048—2017測試內(nèi)容如表3所示：測試項目項目說明身份鑒別鑒別機制軟件應提供專用的登錄控制模塊對登錄用戶進行身份標識和鑒別。登錄失敗處理軟件連續(xù)多次登錄失敗時，可采取限制非法登錄次數(shù)、結(jié)束會話等措施。強口令策略軟件應啟用強口令策略，口令長度、類型等具有復雜度限制。會話超時機制軟件提供會話超時機制；會話超時后，應使會話進入休眠狀態(tài)或中斷連接。錯誤提示信息軟件認證錯誤提示信息中不存在確切錯誤分類信息。用戶權(quán)限控制權(quán)限控制功能軟件具有權(quán)限控制策略，對于每個角色用戶權(quán)限控制合理。越權(quán)控制機制軟件不存在橫向越權(quán)漏洞。軟件不存在縱向越權(quán)漏洞。權(quán)限控制范圍軟件權(quán)限控制范圍覆蓋系統(tǒng)的主要功能操作。限制默認賬戶權(quán)限軟件嚴格限制默認帳戶的訪問權(quán)限，默認用戶權(quán)限應合理。用戶最小權(quán)限原則軟件各角色用戶應根據(jù)業(yè)務特性及權(quán)限互斥原則，分配最小權(quán)限。訪問審計審計的廣泛性軟件審計范圍覆蓋所有角色用戶。審計的完整性軟件限制刪除、修改或覆蓋審計記錄，維護審計活動的完整性。審計內(nèi)容全面性軟件審計記錄的內(nèi)容至少包括事件的日期、時間、發(fā)起者信息、類型、描述和結(jié)果等。審計關(guān)鍵事件軟件重要安全事件記錄日志。數(shù)據(jù)安全數(shù)據(jù)保密性軟件重要信息或敏感信息加密傳輸或存儲。數(shù)據(jù)完整性應能夠檢測到重要用戶數(shù)據(jù)在傳輸過程中完整性受到破壞。數(shù)據(jù)有效性應提供數(shù)據(jù)有效性檢驗功能，保證通過人機接口輸入或通過通信接口輸入的數(shù)據(jù)格式或長度符合系統(tǒng)設定要求。5.5可靠性測試測試內(nèi)容如表4所示：表4可靠性測試內(nèi)容測試項目項目說明成熟性可控制性在測試過程中，軟件不應陷入用戶無法控制的狀態(tài)，如進入死循環(huán)，執(zhí)行其他操作無響應。數(shù)據(jù)完整性在測試過程中，不應由于軟件故障而導致軟件丟失數(shù)據(jù)，破壞數(shù)據(jù)的完整性。避免失效在測試過程中，不應出現(xiàn)由于軟件的故障而導致系統(tǒng)失效的現(xiàn)象。容錯性抵御誤操作軟件應對非法輸入、非法操作等進行屏蔽處理。易恢復性在發(fā)生中斷或失效時，軟件能夠恢復直接受影響的數(shù)據(jù)，并重建期望的系統(tǒng)狀態(tài)。5.6易用性測試測試內(nèi)容如表5所示：5DB37/T3048—2017測試項目項目說明易理解性描述的完整性用戶在閱讀產(chǎn)品說明后應能理解軟件的能力。明顯的功能軟件界面中所有的功能應易于識別。功能的易理解性軟件中所有界面對應的功能應易于理解。易理解的輸入輸出軟件界面中所有的輸入輸出項應易于理解。易學性用戶文檔和/或幫助機制的有效性軟件提供的聯(lián)機幫助系統(tǒng)和/或文檔應能有效地指導用戶完成相關(guān)操作。幫助的獲得性軟件應提供幫助的快速定位查找功能，以便用戶能正確定位所需的幫助內(nèi)容。易操作性在使用中功能操作的一致性軟件中功能操作界面的組成應保持一致。在使用中消息的一致性軟件中提示的信息應易于指導用戶操作。使用中錯誤的糾正在使用軟件過程中，用戶應能成功撤銷其錯誤操作。使用中默認值的可用性軟件應提供參數(shù)值的默認值以方便用戶使用。使用中消息的可理解性軟件中的提示信息不應導致用戶操作停頓與失敗。在使用中操作錯誤的易恢復性軟件應對關(guān)鍵數(shù)據(jù)的操作給出警告或在執(zhí)行前要求確認。(用戶錯誤糾正的)可還原性軟件應提供關(guān)鍵操作的可逆處理，以便用戶糾正錯誤。測試內(nèi)容如表6所示：測試項目項目說明時間特性響應時間從發(fā)出請求到請求完成為止，用戶經(jīng)歷的平均等待時間間隔。吞吐率軟件在給定的時間周期內(nèi)有多少個任務成功的執(zhí)行。資源特性CPU利用率在測試過程中服務器端CPU的平均使用率。資源特性內(nèi)存利用率在測試過程中服務器端內(nèi)存的平均使用率。容量并發(fā)用戶數(shù)軟件能夠支撐的最大并發(fā)用戶數(shù)量。存儲數(shù)據(jù)項數(shù)量軟件能夠支撐的最大存儲數(shù)據(jù)項數(shù)量。5.8維護性測試測試內(nèi)容如表7所示：表7維護性測試內(nèi)容測試項目項目說明易分析性狀態(tài)監(jiān)視能力在運行中要記錄足以監(jiān)視軟件狀態(tài)的數(shù)據(jù)。易修改性參數(shù)表示的修改性軟件應提供方便的參數(shù)修改手段，以便變更軟件適應新的應用。5.9兼容性測試測試內(nèi)容如表8所示：6DB37/T3048—2017測試項目項目說明適應性硬件環(huán)境適應性軟件兼容產(chǎn)品說明中要求的國產(chǎn)硬件環(huán)境。軟件環(huán)境適應性軟件兼容產(chǎn)品說明中要求的國產(chǎn)軟件運行環(huán)境。共存性有效的共存性軟件能夠與產(chǎn)品說明中列舉的國產(chǎn)軟件共存運行。測試內(nèi)容如表9所示：測試項目項目說明完備性標識指示用戶文檔應具有唯一的文檔標識。使用信息用戶文檔應包含使用該軟件所必需的信息。陳述所有功能用戶文檔應說明在產(chǎn)品說明中陳述的所有功能以及最終用戶能調(diào)用的所有功能。差錯和失效、數(shù)據(jù)丟失條件用戶文檔應列出所處置的和引起應用系統(tǒng)失效或終止的差錯和失效，特別是那些導致數(shù)據(jù)丟失的應用系統(tǒng)終止的結(jié)束條件。備份和恢復指南用戶文檔應給出必要數(shù)據(jù)的備份和恢復指南。關(guān)鍵功能細則對于所有關(guān)鍵的軟件功能(即失效后會對安全產(chǎn)生影響或會造成重大財產(chǎn)損失或社會損失的軟件),用戶文檔應提供完備的細則信息和參考信息。磁盤空間要求用戶文檔應陳述安裝所要求的最小和最大磁盤空間。應用管理對用戶要完成的應用管理職能，用戶文檔應包括所有必要的信息。集分標識如果用戶文檔分若干部分提供，在該集合中至少有一處應標識出所有的部分。正確性用戶文檔中所有信息都應是正確的，且不應有歧義的信息。一致性用戶文檔不應自相矛盾、互相矛盾，以及與產(chǎn)品說明矛盾。易理解性用戶文檔應采用軟件特定讀者可理解的術(shù)語和文體。6.1測試樣品提交送測樣品由各參測企業(yè)自主提交給測試機構(gòu)。自測試開始后，參測企業(yè)提交的測試樣品不允許中途更換，否則視為作廢。各參測企業(yè)必須提供紙質(zhì)或電子形式的可行性分析報告、開發(fā)計劃、需求分析說明書、軟件設計文檔、質(zhì)量控制文檔、版本控制文檔、用戶文檔和產(chǎn)品說明，提供含有軟件源代碼的光盤介質(zhì)，必要時有責任配合測試機構(gòu)進行軟件安裝。6.2測試需求分析根據(jù)自主可控的軟件要求，以及用戶文檔和軟件產(chǎn)品說明，確定測試內(nèi)容。6.3測試計劃根據(jù)測試內(nèi)容，結(jié)合軟件類型、應用領(lǐng)域和運行環(huán)境等信息，確定測試活動的范圍、測試方法、測試進度和測試風險等內(nèi)容，編制測試計劃。7DB37/T3048—20176.4測試設計根據(jù)測試內(nèi)容及測試計劃中預定的測試方法，進行測試用例的設計。6.5測試環(huán)境準備按照測試設計要求，準備相應的測試環(huán)境，包括相關(guān)軟件、硬件設備，以及網(wǎng)絡環(huán)境等。6.6測試執(zhí)行按照設計的測試用例，實施測試，形成測試記錄。6.7測試結(jié)果匯總與分析對測試記錄進行整理和綜合分析。6.8測試結(jié)果評價6.8.1自主性評價實施評價以確定軟件自主性與4.1要求的符合程度。6.8.2用戶文檔評價實施評價以確定用戶文檔與4.2要求的符合程度。6.8.3軟件質(zhì)量評價實施評價以確定軟件質(zhì)量與4.3要求的符合程度。6.9報告編制符合性評價報告應確立自主可控軟件與第4章要求的符合性。符合性評價報告應包含以下各項：a)自主可控軟件標識；b)執(zhí)行評價的人員姓名；c)評價完成日期以及測試完成日期；d)用于進行測試的計算機系統(tǒng)(硬件、軟件及其配置);e)使用的文檔及其標識；f)符合性評價活動匯總和測試活動匯總；g)符合性評價結(jié)果匯總和測試結(jié)果匯總；h)符合性評價的詳細結(jié)果和測試的詳細結(jié)果(應該覆蓋所測試的每項測試內(nèi)容及其對應的測試項目，且每個測試項目包括對應的測試要點及詳細測試結(jié)果);i)若有時，不符合要求項的清單。對于紙質(zhì)的符合性評價報告而言，符合性評價報告的標識(測試實驗室、自主可控軟件標識、符合性評價報告日期)及其總頁數(shù)均應出現(xiàn)在符合性評價報告的每一頁上。符合性評價報告還應包含：a)效果聲明：測試結(jié)果和評價只與被測試和被評價的項有關(guān)；b)復制聲明：除非以完整報告的形式復制，否則未經(jīng)測試實驗室書面批準不得復制符合性報告。7測試實施要求8DB37/T3048—2017自主可控軟件測試按照測試計劃、測試設計、測試執(zhí)行、測試結(jié)果評價四步驟進行實施，每個步驟的產(chǎn)出物依次為測試計劃文檔、測試用例文檔、測試執(zhí)行記錄文檔和符合性評價報告：測試計劃要求包括：a)通過—失敗準則，測試計劃應指明用于判定測試結(jié)果是否證實軟件與產(chǎn)品說明和用戶文檔的符合性準則；b)測試環(huán)境，測試計劃應規(guī)定將要進行的測試所處的軟件測試環(huán)境；c)進度，測試計劃應規(guī)定每個測試活動和測試里程碑的進度；d)風險，測試計劃應識別、更新并記錄測試活動中存在的風險，并提供應對措施；e)人力資源，測試計劃中應明確每個測試活動所需的人力資源情況；f)工具和環(huán)境資源，測試計劃中應明確執(zhí)行測試活動所需的工具；g)溝通，測試計劃中應規(guī)定溝通機制和方式，以便在利益相關(guān)方之間共享測試文檔和測試項。測試用例要求包括：a)測試用例說明，每個測試用例的說明都應包括：測試目標、唯一性標識符、測試的輸入數(shù)據(jù)和測試邊界、詳細實施步驟、系統(tǒng)的預期行為、測試用例的預期輸出、用于判斷測試用例肯定或b)測試用例應對測試準備、開始和執(zhí)行所必須的動作、停止和最終重新啟動測試的條件和動作進行說明；c)為提供測試的可重復性和可再現(xiàn)性，測試用例應足夠詳細。測試執(zhí)行記錄要求包括：a)測試記錄應包括測試用例結(jié)果的全部匯總；b)測試執(zhí)行記錄應證實已按測試計劃執(zhí)行了所有測試用例；c)對于每個測試用例，測試執(zhí)行記錄應包括測試用例標識符、測試執(zhí)行日期、實施測試人員姓名和職責、測試用例執(zhí)行的結(jié)果和發(fā)現(xiàn)的異常清單等。7.4符合性評價報告要求符合性評價報告要求可依據(jù)6.9中相關(guān)內(nèi)容要求。8認