網(wǎng)絡(luò)測試離岸外包經(jīng)驗談.ppt

1、如何做好網(wǎng)絡(luò)設(shè)備測試離岸外包經(jīng)驗談,高亮 杰華測試項目總監(jiān),Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,硅谷的測試在中國,杰華： 中國最大的網(wǎng)絡(luò)設(shè)備測試服務(wù)商， 向世界絕大多數(shù)網(wǎng)絡(luò)設(shè)備供應(yīng)商提供高質(zhì)量的網(wǎng)絡(luò)設(shè)備和軟件的測試服務(wù) 所有美國項目和部分國內(nèi)項目均為離岸外包 與美國十余家網(wǎng)絡(luò)設(shè)備公司建立長期的網(wǎng)絡(luò)設(shè)備和軟件的測試服務(wù)關(guān)系 四年內(nèi)，由50人發(fā)

2、展到300人,本資料作者：高亮,杰華網(wǎng)絡(luò)測試項目總監(jiān) 2000 2006年服務(wù)于美國思科 2006 2010 在杰華為思科，Juniper和美國硅谷等多家網(wǎng)絡(luò)設(shè)備商提供離岸測試外包服務(wù) 2008-2010 在杰華為國內(nèi)多家大型網(wǎng)絡(luò)設(shè)備公司提供測試體系咨詢服務(wù),Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,成熟的開發(fā)外包模式,明確的交付件：代碼 明確的

3、驗收標準：通過甲方內(nèi)部的測試 （預(yù)置測試條件） 明確的項目管理流程：預(yù)估代碼量 + 每人天生產(chǎn)率,不成熟的離岸測試外包：發(fā)包方的困惑,相對于開發(fā)的外包，測試項目如何打包 以特性打包？以測試用例打包？以產(chǎn)品打包？ 如何制定驗收標準 Bug數(shù)目不確定！ 產(chǎn)品發(fā)布后才知道質(zhì)量的好壞（用戶反饋） 如何衡量乙方的工作狀況 我怎么知道他們測了沒有？！ 遠程設(shè)備如何管理 本來自己的設(shè)備就不夠用，還要借給他們！ 如何向管理層溝通乙方的工作質(zhì)量和合作效果 領(lǐng)導(dǎo)對測試外包效果如何總沒有清晰的認識，如何溝通？,發(fā)包項目經(jīng)理應(yīng)熟悉,公司產(chǎn)品的發(fā)布流程和測試在其中的角色 不同測試類型在測試過程中的應(yīng)用 理解什么是功能測

4、試（測新） 理解什么是回歸測試（測舊） 理解什么是系統(tǒng)和解決方案測試（測客戶）,產(chǎn)品發(fā)布流程中測試的角色,MRD/PRD,Functional Specification,Code Development,Bug Fixes,Test Plan,Test Case,Code Release to Test,Daily/Frequent Code Drops,Various Testing,Scripting,Dev,Test,Golden Week,產(chǎn)品發(fā)布流程中不同的測試類型,產(chǎn)品發(fā)布流程中不同的測試類型,新特性測試,老特性測試,新老特性交互測試,根據(jù)SRS 編寫功能測試用例,手動執(zhí)行 用例

5、,提單 （新特性Bug）,自動化腳本 開發(fā),自動化腳本 執(zhí)行,出錯腳本 原因分析,提單 （老特性Bug）回歸Bug,填寫測試報告,填寫測試報告,根據(jù)SRS 編寫系統(tǒng)和 解決方案測試用例,手動或者 半自動 執(zhí)行 用例,提單 （新特性Bug）,填寫測試報告,測試外包的建議打包6種類型,產(chǎn)品新特性新功能測試 產(chǎn)品老特性老功能手動回歸測試 系統(tǒng)與解決方案驗收測試 自動化測試腳本開發(fā) 自動化測試腳本維護 自動化回歸測試,產(chǎn)品新特性新功能測試,打包方式：正在開發(fā)的新特性的測試和質(zhì)量保證任務(wù) 輸入： 產(chǎn)品使用手冊，新特性軟件功能開發(fā)規(guī)格說明書（Software Func Spec) 期望輸出：測試用例，手動

6、執(zhí)行Log，Bug，自動化腳本 質(zhì)量保證： 測試用例評審標準 Bug 驗收標準 特性講評答辯會 自動化腳本驗收標準 生產(chǎn)率協(xié)商,產(chǎn)品新特性新功能測試,外包,驗收,驗收,驗收,驗收,驗收,產(chǎn)品老特性老功能手動回歸測試,打包方式：已經(jīng)開發(fā)好的測試用例，需要在目前版本上進行手工驗證 輸入： 已開發(fā)好的，可機械化重復(fù)的測試用例文檔 期望輸出：測試報告，bug 質(zhì)量保證： Bug 驗收標準 測試特性答辯 測試報告 （覆蓋率等） 生產(chǎn)率的協(xié)商,系統(tǒng)與解決方案驗收測試,打包方式：版本發(fā)布之前的第三方驗收測試 （需要乙方有較高的測試能力和完備的測試硬件環(huán)境） 輸入： 產(chǎn)品使用說明書和解決方案文檔 期望輸出：

7、P1和P2的Bug 質(zhì)量保證： Bug 優(yōu)先級定義標準 Bug 質(zhì)量標準,自動化測試腳本開發(fā),打包方式：以開發(fā)好的測試用例，需要把它們變成自動化腳本 輸入： 機械可重復(fù)的測試用例文檔 期望輸出： 自動化腳本 維護文檔 腳本執(zhí)行Log 質(zhì)量保證： 自動化腳本驗收標準 生產(chǎn)率的協(xié)商,自動化測試腳本開發(fā),在過去的一年里?？偟淖詣踊_本數(shù)目 不斷增加。 而總的自動化率略有提高 在腳本增加的情況下，自動化測試周期 有所縮短 總的自動化開展的效果好,自動化測試腳本維護,打包方式：所有自動化腳本的代碼維護工作，需要在每個大版本上進行驗證和修復(fù) 輸入： 已開發(fā)好的自動化腳本 期望輸出：所有腳本在新的版本上都能

8、夠運行 質(zhì)量保證： 自動化腳本驗收標準 腳本維護響應(yīng)時間 生產(chǎn)率的協(xié)商,自動化回歸測試,打包方式：所有已經(jīng)開發(fā)好的自動化腳本的批量執(zhí)行工作 輸入： 需要測試的版本 期望輸出：完整的版本測試報告，回歸Bug 質(zhì)量保證： 版本測試報告質(zhì)量要求 回歸Bug質(zhì)量要求 對失敗腳本分析的生產(chǎn)率的協(xié)商,自動化回歸測試,版本經(jīng)理,腳本開發(fā),腳本,腳本,腳本,腳本,腳本,腳本,腳本,腳本,腳本,版本,版本,版本,版本,版本,版本,自動化執(zhí)行組 專人負責執(zhí)行,版本,版本,版本,自動化執(zhí)行報告,自動化測試回歸火車,周期固定,Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈

9、高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,萬丈高樓平地起 基礎(chǔ)設(shè)施的準備,網(wǎng)絡(luò)帶寬 知識產(chǎn)權(quán)保護 遠程設(shè)備的管理,網(wǎng)絡(luò)帶寬,和遠程乙方的網(wǎng)絡(luò)連接方式 IPSec VPN tunnel (推薦） GRE Tunnel （推薦） SSL VPN （Big Overhead） 帶寬管理 提醒乙方需要設(shè)置QoS對甲方流量提高優(yōu)先級 注意不同的運行商 乙方的網(wǎng)絡(luò)運營商最好和甲方的一致 （電信與網(wǎng)通的連接有問題） 軟件的使用 遠程登錄最好使用Web

10、與SSH 桌面共享，視頻等高網(wǎng)絡(luò)帶寬應(yīng)用慎用,知識產(chǎn)權(quán)安全,乙方是否有完整的知識產(chǎn)權(quán)保護體系 實地考察乙方的測試環(huán)境，是否符合甲方信息安全需要 人員物理隔離 網(wǎng)絡(luò)物理隔離 PC物理隔離（無硬盤，CD啟動） 24小時攝像頭：定期抽查和回放,遠程設(shè)備管理,設(shè)備在甲方 乙方遠程登錄設(shè)備，可以與甲方共享 對網(wǎng)絡(luò)帶寬要求高 需要甲方提供一定的Lab支持（斷電，插拔網(wǎng)線等物理操作） 設(shè)備在乙方 確保在商務(wù)上和法律上沒有問題：是否進口設(shè)備，是否對所在地有限制 乙方效率比較高，自主性強,昂貴設(shè)備的共享,昂貴設(shè)備 甲方昂貴被測設(shè)備 （核心路由器等） 甲方昂貴測試工具（Ixia， Smartbit等） 共享 良好

11、的網(wǎng)絡(luò)連接是基礎(chǔ) Equipment Reservation System 尋找具有自己測試設(shè)備的有資質(zhì)乙方 非性能測試時候廉價工具（基于Linux等)的替代（有經(jīng)驗的乙方會提供支持）,Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,把乙方融進自己的測試流程和版本發(fā)布流程,溝通好測試中版本更新的頻率 版本更新 接收測試 Bug驗證 繼續(xù)測試 管理好離岸

12、測試人員和本地開發(fā)人員的交互（主要就是Bug的交互） Bug報告的質(zhì)量要求 Bug的復(fù)現(xiàn) 不可復(fù)現(xiàn)Bug的管理,開發(fā)項目交流,測試項目交流,Defects Quality Control Process,Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,項目管理,同一個乙方，以小做起 3-5人，3個月為一周期 到期評估，逐步擴大 周報的管理 要求乙方進度

13、詳細到每人每天 要求乙方Bug按照優(yōu)先級和當前狀態(tài)排序 要求乙方提供Clean Report 周例會的溝通 Action Items 跟蹤 （dont drop the ball) 定期從開發(fā)出得到Bug質(zhì)量和交流的反饋,定期答辯制度,對乙方員工進行定期答辯，評估技術(shù)水平，檢驗溝通能力,Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,做好intervi

14、ew和預(yù)培訓(xùn):以人為本,Interview： 業(yè)務(wù)為主， 測試為輔 人品為主，技術(shù)為輔 預(yù)培訓(xùn) 相關(guān)技術(shù)培訓(xùn) 產(chǎn)品特性的熟悉,Agenda （7個方面）,資質(zhì) - 杰華網(wǎng)絡(luò)測試離岸外包現(xiàn)狀 網(wǎng)絡(luò)測試離岸外包的類型 萬丈高樓平地起：網(wǎng)絡(luò)帶寬，知識產(chǎn)權(quán)安全和遠程設(shè)備管理 如何把乙方融進自己的測試流程和版本發(fā)布流程 離岸方式的發(fā)包方項目管理 做好interview和預(yù)培訓(xùn):以人為本 預(yù)定義KPI，與領(lǐng)導(dǎo)溝通好項目績效管理,做好和領(lǐng)導(dǎo)的溝通,溝通好6種打包方式打包（可量化的驗收標準），領(lǐng)導(dǎo)層認可打包方式 溝通好測試的不確定性 （Bug數(shù)目的多少影響測試周期） 根據(jù)歷史數(shù)據(jù)估算此次外包測試的期望值 溝通好Release Criteria作為驗收的標準之一（而不是Bug數(shù)目）,定義好Checklist,Bug Quality Checklist Test case quali