第9章 嵌入式測(cè)試

第9章嵌入式測(cè)試本章內(nèi)容9.1嵌入式軟件測(cè)試的方法9.2嵌入式軟件測(cè)試的過程9.3嵌入式軟件測(cè)試的特點(diǎn)9.4嵌入式軟件測(cè)試的工具9.5嵌入式軟件測(cè)試策略9.6嵌入式軟件測(cè)試實(shí)例9.1嵌入式軟件測(cè)試的方法嵌入式軟件測(cè)試分為4個(gè)階段，即模塊測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試、硬件/軟件集成測(cè)試。前3個(gè)階段適用于任何軟件的測(cè)試，硬件/軟件集成測(cè)試階段是嵌入式軟件所特有的，目的是驗(yàn)證嵌入式軟件與其所控制的硬件設(shè)備能否正確地交互。在嵌入式軟件測(cè)試中，常采取折中的方式?；谀繕?biāo)機(jī)的測(cè)試消耗較多的經(jīng)費(fèi)和時(shí)間，而基于宿主機(jī)的測(cè)試代價(jià)較小，但畢竟是在模擬環(huán)境中進(jìn)行的。目前的趨勢(shì)是把更多的測(cè)試轉(zhuǎn)移到宿主環(huán)境中進(jìn)行，但是，目標(biāo)環(huán)境的復(fù)雜性和獨(dú)特性不可能完全模擬。在目標(biāo)環(huán)境和宿主環(huán)境中的測(cè)試可以出現(xiàn)不同的軟件缺陷。在宿主環(huán)境中，可以進(jìn)行邏輯或界面的測(cè)試以及與硬件無關(guān)的測(cè)試。這一部分的測(cè)試所消耗的時(shí)間通常相對(duì)較少，用調(diào)試工具可以更快地完成調(diào)試和測(cè)試任務(wù)。而與定時(shí)問題有關(guān)的白盒測(cè)試、中斷測(cè)試、硬件接口測(cè)試只能在目標(biāo)環(huán)境中進(jìn)行。在軟件測(cè)試周期中，基于目標(biāo)的測(cè)試是在較晚的硬件/軟件集成測(cè)試階段開始的。9.2嵌入式軟件測(cè)試的過程根據(jù)嵌入式系統(tǒng)的開發(fā)流程，為了最經(jīng)濟(jì)地實(shí)現(xiàn)系統(tǒng)的功能，一般采用自頂向下、層層推進(jìn)的方法對(duì)嵌入式系統(tǒng)進(jìn)行測(cè)試。嵌入式軟件測(cè)試的總體步驟為：首先進(jìn)行操作系統(tǒng)移植并編寫系統(tǒng)底層驅(qū)動(dòng)，然后進(jìn)行系統(tǒng)平臺(tái)測(cè)試，其中包括硬件電路測(cè)試、操作系統(tǒng)及底層驅(qū)動(dòng)程序的測(cè)試等。如果此測(cè)試通過，可以進(jìn)入下一步的開發(fā)——用模塊化的方法編寫應(yīng)用代碼，隨后再對(duì)軟件模塊進(jìn)行測(cè)試。如果所有的模塊都通過測(cè)試，需要進(jìn)行集成測(cè)試。如果集成測(cè)試通過，則需要進(jìn)行系統(tǒng)測(cè)試。如果系統(tǒng)測(cè)試通過，就可以退出測(cè)試。在第一件產(chǎn)品生產(chǎn)出來之后，需要對(duì)產(chǎn)品進(jìn)行測(cè)試，如果測(cè)試通過，則表示嵌入式產(chǎn)品的所有測(cè)試步驟已經(jīng)完成。YN開始NNNYYYYY根據(jù)需求修改程序代碼只修改應(yīng)用代碼測(cè)試通過？系統(tǒng)測(cè)試測(cè)試通過？集成測(cè)試編寫接口函數(shù)，裝載到模塊數(shù)據(jù)之間測(cè)試通過？軟件模塊測(cè)試用模塊化的方法編寫應(yīng)用代碼測(cè)試通過？系統(tǒng)平臺(tái)測(cè)試移植操作系統(tǒng)，編寫系統(tǒng)底層驅(qū)動(dòng)產(chǎn)品測(cè)試模塊接口函數(shù)確定錯(cuò)誤模塊修改錯(cuò)誤模塊代碼關(guān)聯(lián)矩陣確定需測(cè)試模塊修改錯(cuò)誤模塊代碼N測(cè)試通過？結(jié)束9.3嵌入式軟件測(cè)試的特點(diǎn)嵌入式軟件測(cè)試作為一種特殊的軟件測(cè)試，它的目的和原則同普通的軟件測(cè)試是一樣的，都是為了驗(yàn)證或達(dá)到可靠性要求而對(duì)軟件所進(jìn)行的測(cè)試。嵌入式軟件測(cè)試除了要遵循普通軟件測(cè)試的原則之外，還需要遵循以下幾個(gè)原則：

(1)嵌入式軟件測(cè)試對(duì)軟件在硬件平臺(tái)的測(cè)試是必不可少的。

(2)嵌入式軟件測(cè)試需要在特定的環(huán)境下對(duì)軟件進(jìn)行測(cè)試。

(3)嵌入式軟件需進(jìn)行必要的可靠性負(fù)載測(cè)試。(4)除了要對(duì)嵌入式軟件系統(tǒng)的功能進(jìn)行測(cè)試之外，還需要對(duì)實(shí)時(shí)性進(jìn)行測(cè)試。在判斷系統(tǒng)是否失效方面，除了看它的輸出結(jié)果是否正確，還應(yīng)考慮其是否在規(guī)定的時(shí)間里輸出了結(jié)果。

(5)在對(duì)嵌入式軟件進(jìn)行測(cè)試的時(shí)候，需要在特定的硬件平臺(tái)上進(jìn)行性能測(cè)試、內(nèi)存測(cè)試、GUI測(cè)試、覆蓋分析測(cè)試。9.4嵌入式軟件測(cè)試的工具1．內(nèi)存分析工具

在嵌入式系統(tǒng)中，內(nèi)存容量通常是有限的。內(nèi)存分析工具用來處理在動(dòng)態(tài)內(nèi)存分配中存在的缺陷。動(dòng)態(tài)內(nèi)存分配錯(cuò)誤，通常是難以復(fù)原的，其導(dǎo)致的失效難以追蹤，使用內(nèi)存分析工具可以避免這類缺陷進(jìn)入功能測(cè)試階段。目前有兩類內(nèi)存分析工具：軟件工具和硬件工具?；谲浖膬?nèi)存分析工具可能會(huì)對(duì)代碼的性能造成很大影響，從而嚴(yán)重影響實(shí)時(shí)操作；基于硬件的內(nèi)存分析工具價(jià)格昂貴，而且只能在工具所限定的運(yùn)行環(huán)境中使用。

2．性能分析工具

性能分析工具會(huì)提供有關(guān)的數(shù)據(jù)，說明執(zhí)行時(shí)間是如何消耗，什么時(shí)候消耗的，以及每個(gè)例程所用的時(shí)間。根據(jù)這些數(shù)據(jù)，確定哪些例程消耗部分執(zhí)行時(shí)間，從而可以決定如何優(yōu)化軟件，以獲得更好的時(shí)間性能。對(duì)于大多數(shù)應(yīng)用來說，大部分執(zhí)行時(shí)間用在相對(duì)少量的代碼上，費(fèi)時(shí)的代碼估計(jì)只占所有軟件總量的5%～20%。性能分析工具不僅能指出哪些例程花費(fèi)了時(shí)間，而且與調(diào)試工具聯(lián)合使用可以引導(dǎo)開發(fā)人員查看需要優(yōu)化的特定函數(shù)，性能分析工具還可以引導(dǎo)開發(fā)人員發(fā)現(xiàn)在系統(tǒng)調(diào)用中存在的錯(cuò)誤以及程序結(jié)構(gòu)上的缺陷。

3．GUI測(cè)試工具

GUI測(cè)試工具可以作為腳本工具在開發(fā)環(huán)境中運(yùn)行測(cè)試用例，其功能包括對(duì)操作的記錄和回放、抓取屏幕顯示供以后分析和比較、設(shè)置和管理測(cè)試過程。對(duì)沒有GUI的嵌入式設(shè)備，可以對(duì)其進(jìn)行插樁來運(yùn)行GUI測(cè)試腳本。

4．覆蓋分析工具

在進(jìn)行白盒測(cè)試時(shí)，可以使用代碼覆蓋分析工具追蹤被執(zhí)行過的代碼。分析過程可以通過插樁的方式來完成，插樁可以是在測(cè)試環(huán)境中嵌入硬件，也可以是在可執(zhí)行代碼中加入軟件，也可以是二者相結(jié)合。測(cè)試人員對(duì)結(jié)果數(shù)據(jù)加以總結(jié)，確定哪些代碼被執(zhí)行過，哪些代碼被遺漏了。覆蓋分析工具一般會(huì)提供有關(guān)功能覆蓋、分支覆蓋、條件覆蓋的信息。對(duì)于嵌入式軟件來說，代碼覆蓋分析工具可能侵入代碼的執(zhí)行，影響實(shí)時(shí)代碼的運(yùn)行過程?；谟布拇a覆蓋分析工具的侵入程度要小一些，但是價(jià)格一般比較昂貴，而且限制被測(cè)代碼的數(shù)量。補(bǔ)充：插樁插樁技術(shù)最早是由J.C.Huang教授提出的,它是在保證被測(cè)程序原有邏輯完整性的基礎(chǔ)上在程序中插入一些探針（又稱為“探測(cè)儀”），通過探針的執(zhí)行并拋出程序運(yùn)行的特征數(shù)據(jù)，通過對(duì)這些數(shù)據(jù)的分析，可以獲得程序的控制流和數(shù)據(jù)流信息，進(jìn)而得到邏輯覆蓋等動(dòng)態(tài)信息，從而實(shí)現(xiàn)測(cè)試目的的方法。9.5嵌入式軟件測(cè)試策略在測(cè)試的各個(gè)階段，采用host-target或是cross-test，應(yīng)遵循以下策略。1．單元測(cè)試

所有單元測(cè)試都可以在主機(jī)環(huán)境上進(jìn)行，除非少數(shù)情況會(huì)特別指定了單元測(cè)試直接在目標(biāo)環(huán)境進(jìn)行。測(cè)試時(shí)，盡可能在主機(jī)環(huán)境中進(jìn)行軟件測(cè)試，通過盡可能小的目標(biāo)單元訪問所有目標(biāo)指定的界面。

在主機(jī)平臺(tái)完成測(cè)試后，可以在目標(biāo)環(huán)境中重復(fù)作一次簡(jiǎn)單的確認(rèn)測(cè)試，在目標(biāo)環(huán)境中進(jìn)行確認(rèn)測(cè)試將確定一些未知的、未預(yù)料到的、未說明的主機(jī)與目標(biāo)機(jī)的不同之處。嵌入式軟件插樁測(cè)試插樁測(cè)試流程已編譯通過的代碼NY插樁處理宿主機(jī)上編譯通過？下載到目標(biāo)機(jī)上執(zhí)行數(shù)據(jù)返回到宿主機(jī)上宿主機(jī)處理數(shù)據(jù)嵌入式軟件插樁測(cè)試插樁測(cè)試原理循環(huán)⑧⑦⑥⑤④①②③源代碼插樁器插樁插樁后的源碼編譯后的源碼編譯器編譯編譯后的源碼觸發(fā)樁程序生成數(shù)據(jù)數(shù)據(jù)處理程序或軟件宿主機(jī)目標(biāo)機(jī)串口線、JTAG網(wǎng)線、串口線、USB數(shù)據(jù)線2．集成測(cè)試

軟件集成也可在主機(jī)環(huán)境上完成，并在主機(jī)平臺(tái)上模擬目標(biāo)環(huán)境運(yùn)行。在目標(biāo)環(huán)境上重復(fù)測(cè)試也是必需的，在此級(jí)別上的確認(rèn)測(cè)試將確定一些環(huán)境上的問題，比如內(nèi)存定位和分配上的一些錯(cuò)誤。有些嵌入式系統(tǒng)與目標(biāo)環(huán)境耦合得非常緊密，則在主機(jī)環(huán)境做集成是不切實(shí)際的。

對(duì)于大型軟件的開發(fā)則可以分為幾個(gè)級(jí)別的集成。低級(jí)別的軟件集成在主機(jī)平臺(tái)上完成有很大優(yōu)勢(shì)，越往后的集成越依賴于目標(biāo)環(huán)境。3．系統(tǒng)測(cè)試和確認(rèn)測(cè)試

所有的系統(tǒng)測(cè)試和確認(rèn)測(cè)試都必須在目標(biāo)環(huán)境下執(zhí)行。當(dāng)然在主機(jī)上開發(fā)和執(zhí)行系統(tǒng)測(cè)試，然后移植到目標(biāo)環(huán)境重復(fù)執(zhí)行是很方便的。確認(rèn)測(cè)試最終必須在目標(biāo)環(huán)境中進(jìn)行，系統(tǒng)的確認(rèn)必須在真實(shí)系統(tǒng)之下測(cè)試，而不能在主機(jī)環(huán)境下模擬。這關(guān)系到嵌入式軟件的最終使用。

應(yīng)用測(cè)試工具進(jìn)行Cross-test時(shí)的策略：A)使用測(cè)試工具的插樁功能（主機(jī)環(huán)境）執(zhí)行靜態(tài)測(cè)試分析，并且為動(dòng)態(tài)覆蓋測(cè)試準(zhǔn)備好一插樁好的軟件代碼。B)使用源碼在主機(jī)環(huán)境執(zhí)行功能測(cè)試，修正軟件的錯(cuò)誤和測(cè)試腳本中的錯(cuò)誤。C)使用插裝后的軟件代碼執(zhí)行覆蓋率測(cè)試，添加測(cè)試用例或修正軟件的錯(cuò)誤，保證達(dá)到所要求的覆蓋率目標(biāo)。D)在目標(biāo)環(huán)境下重復(fù)（B），確認(rèn)軟件在目標(biāo)環(huán)境中執(zhí)行測(cè)試的正確性。E)若測(cè)試需要達(dá)到極端的完整性，最好在目標(biāo)系統(tǒng)上重復(fù)（C），確定軟件的覆蓋率沒有改變。19嵌入式軟件測(cè)式的基本方法拿來主義——充分借用PC軟件的測(cè)試方法靜態(tài)/動(dòng)態(tài)白盒/黑盒單元測(cè)試/集成測(cè)試/系統(tǒng)測(cè)試……全數(shù)字模擬測(cè)試交叉測(cè)試（Host/Target測(cè)試）真實(shí)環(huán)境驗(yàn)證補(bǔ)充：嵌入式軟件測(cè)試方法（1）20嵌入式軟件測(cè)試方法（2）全數(shù)字模擬測(cè)試采用數(shù)學(xué)平臺(tái)的方法，將嵌入式軟件從系統(tǒng)中剝離出來，通過開發(fā)CPU指令、常用芯片、I/O、中斷、時(shí)鐘等模擬器在HOST上實(shí)現(xiàn)嵌入式軟件的測(cè)試主要特點(diǎn)與嵌入式硬件平臺(tái)脫鉤操作簡(jiǎn)單，可以借鑒常規(guī)的軟件測(cè)試方法適用于功能測(cè)試有局限性21嵌入式軟件測(cè)試方法（3）全數(shù)字模擬測(cè)試的局限性通用性差，使用不同語言編寫的嵌入式軟件，需要不同的仿真程序來執(zhí)行實(shí)時(shí)性與準(zhǔn)確性難以反映出嵌入式軟件的真實(shí)情況，測(cè)試出與時(shí)序有關(guān)的故障價(jià)值不大。維護(hù)統(tǒng)一、精確的系統(tǒng)時(shí)鐘，理順時(shí)序關(guān)系相當(dāng)困難，特別是當(dāng)并發(fā)的事件要求一定的同步關(guān)系時(shí)。開發(fā)成本高。設(shè)計(jì)出一個(gè)能進(jìn)行系統(tǒng)測(cè)試的的環(huán)境代價(jià)太大只能作為嵌入式軟件測(cè)試的輔助手段22嵌入式軟件測(cè)試方法（4）交叉測(cè)試（Host/Target測(cè)試）與目標(biāo)環(huán)境無關(guān)的部分在PC機(jī)上完成充分利用高級(jí)語言的可移植性借鑒常規(guī)的軟件測(cè)試方法與模擬測(cè)試不同與硬件密切相關(guān)的部分在Target上完成需要調(diào)試環(huán)境支持測(cè)試工具需要支持目標(biāo)環(huán)境最后在目標(biāo)環(huán)境中確認(rèn)主機(jī)平臺(tái)嵌入式系統(tǒng)調(diào)試環(huán)境2023年2月1日23嵌入式軟件測(cè)試方法（5）交叉測(cè)試的特點(diǎn)將大部分工作轉(zhuǎn)移到PC平臺(tái)上，在硬件環(huán)境未建好或調(diào)試工具缺乏時(shí)就可以開展可以充分地“拿來主義”適用于高級(jí)語言，如C，C++操作方便，測(cè)試成本較低。實(shí)時(shí)性受調(diào)試環(huán)境的制約目標(biāo)環(huán)境中測(cè)試時(shí)要占用一定的目標(biāo)資源注意目標(biāo)環(huán)境和主機(jī)環(huán)境的差異：目標(biāo)編譯器的bug目標(biāo)碼的驗(yàn)證24如何開展交叉測(cè)試（Host/Target測(cè)試）選用帶有目標(biāo)支持包(TargetPackage)的軟件測(cè)試工具確定哪些模塊與硬件無關(guān)，哪些與硬件相關(guān)配置相應(yīng)的調(diào)試環(huán)境和目標(biāo)環(huán)境分別進(jìn)行Host和Target測(cè)試Host：源代碼+測(cè)試用例->編譯連接->執(zhí)行->測(cè)試結(jié)果Target：源代碼+測(cè)試用例+目標(biāo)包->編譯連接->下載->執(zhí)行->反饋測(cè)試結(jié)果交叉測(cè)試的嵌入式調(diào)試環(huán)境SimulatorEmulatorBDM/JTAGEmulator嵌入式軟件測(cè)試方法（6）25“拿來主義”靜態(tài)分析很重要

WattsS.Humphrey的說法很多軟件工程師認(rèn)為動(dòng)態(tài)測(cè)試比靜態(tài)測(cè)試更重要——并非如此有經(jīng)驗(yàn)的軟件工程師平均每寫1000行代碼將會(huì)出現(xiàn)100個(gè)錯(cuò)誤80%的軟件錯(cuò)誤歸咎于對(duì)于編寫語言的錯(cuò)誤使用,而這些錯(cuò)誤往往不是功能測(cè)試能解決的因此,軟件工程師應(yīng)該消除錯(cuò)誤,找出根源,預(yù)防再次發(fā)生同樣的問題靜態(tài)分析的重要內(nèi)容——代碼規(guī)則檢查實(shí)施簡(jiǎn)單、方便無需執(zhí)行程序，與嵌入式環(huán)境無關(guān)早期介入，代價(jià)小，見效快有利于降低動(dòng)態(tài)測(cè)試的難度有利于養(yǎng)成良好的編程習(xí)慣可以執(zhí)行自定的規(guī)范嵌入式軟件測(cè)試方法（7）26“拿來主義”動(dòng)態(tài)測(cè)試不可少 動(dòng)態(tài)測(cè)試是驗(yàn)證軟件功能最直接、最有效的手段通過運(yùn)行被測(cè)程序驗(yàn)證其功能、性能，檢查代碼的執(zhí)行情況與靜態(tài)分析相輔相成需要事先設(shè)計(jì)詳細(xì)、完備的測(cè)試用例可用白盒、黑盒等方法工作量較大、較枯燥動(dòng)態(tài)測(cè)試的主要內(nèi)容功能、性能驗(yàn)證，是否符合需求定義代碼覆蓋。哪些代碼執(zhí)行了，哪些沒有執(zhí)行，其比例如何嵌入式軟件測(cè)試方法（8）27“拿來主義”白盒黑盒相輔成白盒測(cè)試與黑盒測(cè)試是軟件測(cè)試最常用、最常規(guī)的兩種技術(shù)白盒測(cè)試把測(cè)試對(duì)象看作一個(gè)透明的盒子，測(cè)試人員從其邏輯結(jié)構(gòu)入手，設(shè)計(jì)和選擇測(cè)試用例，對(duì)路徑、控制結(jié)構(gòu)、數(shù)據(jù)流等進(jìn)行測(cè)試通過插裝檢查程序的狀態(tài)，確定是否與預(yù)期的狀態(tài)一致側(cè)重于代碼運(yùn)行的過程黑盒測(cè)試把測(cè)試對(duì)象看做一個(gè)黑盒子，測(cè)試人員完全不考慮程序內(nèi)部的邏輯結(jié)構(gòu)，只依據(jù)其需求定義，檢查程序運(yùn)行的結(jié)果多用于功能測(cè)試和性能分析在程序的接口上進(jìn)行需要設(shè)計(jì)“驅(qū)動(dòng)”和“打樁”嵌入式軟件測(cè)試方法（9）2023年2月1日28“拿來主義”單元集成兩步走 單元測(cè)試和集成測(cè)試是軟件測(cè)試的兩個(gè)階段單元測(cè)試將被測(cè)軟件分解為單元，逐個(gè)測(cè)試單元測(cè)試需要從程序的內(nèi)部結(jié)構(gòu)和功能出發(fā)設(shè)計(jì)測(cè)試用例。多個(gè)模塊可以平行地獨(dú)立進(jìn)行單元測(cè)試可用白盒、黑盒等方法集成測(cè)試在單元測(cè)試的基礎(chǔ)上，將所有模塊按照設(shè)計(jì)要求組裝起來測(cè)試主要測(cè)試內(nèi)容接口間參數(shù)傳遞集成的功能實(shí)現(xiàn)模塊間的影響嵌入式軟件測(cè)試方法（10）9.6嵌入式軟件測(cè)試實(shí)例1)軟件指令仿真

軟件指令仿真的主要工作是對(duì)相關(guān)的I/O操作進(jìn)行替換。在80X86系列CPU指