sikuli入門教程學(xué)習(xí).ppt

1、Sikuli調(diào)研分享,李俊薇,索引,1、簡介 2、下載和安裝 3、示例 4、疑問 5、在java程序中使用sikuli 6、優(yōu)缺點(diǎn) 7、技巧和附錄,簡介,Sikuli（在墨西哥維喬印第安人的語言里是”上帝之眼”的意思）是由美國麻省理工學(xué)院開發(fā)的一種最新編程技術(shù)，使得編程人員可以使用截圖替代代碼，從而簡化代碼的編寫流程。從它研究方向上看，是一種編程技術(shù)，但是該技術(shù)還可以用于進(jìn)行大規(guī)模的程序測(cè)試，腳本程序編寫使用的是python語言。 編程而非錄制 一般的工具是錄制腳本，而sikuli不存在錄制的問題，它需要自己手動(dòng)編寫程序來完成測(cè)試。 資料來源：,Sikuli腳本示例圖（創(chuàng)建新賬戶的一個(gè)流程）,

2、如果存在創(chuàng)建賬戶按鈕入口 則點(diǎn)擊該按鈕入口 否則 點(diǎn)擊菜單“郵箱” 點(diǎn)擊“新建郵箱賬戶”選項(xiàng) 點(diǎn)擊輸入郵箱地址編輯區(qū) 輸入郵箱地址 點(diǎn)擊輸入密碼編輯區(qū) 輸入密碼 點(diǎn)擊下一步 點(diǎn)擊創(chuàng)建 。,下載和安裝,下載：/uid/sikuli/ （最新版本是0.10.1） 安裝（要有java環(huán)境） 啟動(dòng) 直接使用安裝目錄下的Sikuli-IDE.exe啟動(dòng)。 使用過程中，遇到過直接用exe啟動(dòng)后可能無法正常使用的現(xiàn)象（在vista和win7下面遇到過，可能某些包無法加載，具體原因不知），網(wǎng)上開發(fā)人員的建議是使用安裝目錄下的Sikuli-IDE.bat，雙擊

3、后也會(huì)啟動(dòng)sikuli的IDE界面，然后可以正常使用。 使用詳細(xì)資料參考地址（全英文）： /trac/wiki/reference-0.10#Howtousethisdocument,主界面,程序保存,編寫完程序后，用save as保存，會(huì)生成一個(gè).sikuli的文件夾。,其中： .py是phthon腳本 .png是編寫腳本過程中執(zhí)行的截圖 .html能讓腳本在網(wǎng)絡(luò)上實(shí)現(xiàn)共享,注意：此處程序本身好像有bug，保存路徑不能含有中文字符，否則會(huì)報(bào)錯(cuò),幾個(gè)例子函數(shù),1、click（對(duì)象截圖） 點(diǎn)擊某個(gè)對(duì)象 2、type（可輸入對(duì)象截圖，字符串） 像某個(gè)可輸入對(duì)象輸入字

4、符串 3、rightClick（對(duì)象截圖） 在某個(gè)對(duì)象上點(diǎn)擊右鍵 4、快捷鍵ctrl+shift+2啟動(dòng)抓圖，右鍵取消 5、wait（時(shí)間s） 等待多少s,一個(gè)例子程序,用例：閃電郵中創(chuàng)建一個(gè)用戶名和密碼均正確的賬戶 流程： 找到創(chuàng)建入口，點(diǎn)擊 輸入用戶名和密碼，點(diǎn)擊下一步 選擇賬戶模式，點(diǎn)下一步，點(diǎn)創(chuàng)建按鈕 等待同步通訊錄和收信完成 檢查是否創(chuàng)建成功（判斷依據(jù)是左邊賬戶列表是否有該賬戶）,Sikuli程序,account= psw=ljwtest if exists(1280742360468.png): click(1280742415811.png) else: click(128074

5、2437779.png) click(1280742453232.png) click(1280742480700.png) type(account) click(1280742506294.png) type(psw) click(1280742536496.png) click(1280742556137.png) waitVanish(1280742859224.png) if exists(1280742904208.png,5): click(1280742940020.png) waitVanish(1280742955019.png) waitVanish(1280743004

6、706.png,20) if exists(1280743048736.png) and exists(1280743102282.png): print(the account is create ok!),保存后的.py程序腳本,疑問：靠圖像識(shí)別可靠嗎？,靠圖像來對(duì)對(duì)象進(jìn)行識(shí)別，必然有很多不足之處，但是sikuli里面提 供了similarity的調(diào)整，在一定程度上彌補(bǔ)了這個(gè)缺點(diǎn)（但也不是絕對(duì)的） 實(shí)際調(diào)研情況： 腳本01是在xp下錄制的一段腳本，調(diào)整相似度和識(shí)別對(duì)象個(gè)數(shù)后，在默認(rèn)、國風(fēng)、虎年三套皮膚下均可運(yùn)行通過。增加wait（）等待后，在vista下的默認(rèn)、國風(fēng)、虎年三套皮膚下也可以使

7、用?？岷谄つw差異較大，無法識(shí)別。 需要研究的是： 1、相似度調(diào)整到多少比較合適 2、識(shí)別對(duì)象個(gè)數(shù)調(diào)整到多少比較合適 3、等待時(shí)間設(shè)置為多少比較合適,相似度非常小的時(shí)候能匹配出較多對(duì)象，注意顏色（紅色表示最匹配的）,相似度調(diào)高一些的時(shí)候能匹配個(gè)數(shù)減少,相似度較高時(shí)匹配出最相似（想要的）對(duì)象,疑問：如何知道我點(diǎn)擊的是哪里？,在java程序中也可以使用sikuli,Sikuli script的核心是用java編寫的，所以在java代碼中可 以引用sikuli script包然后編寫自己的測(cè)試程序。,繼續(xù)查看如何在java程序中使用,跳過，看sikuli優(yōu)缺點(diǎn),Java中使用sikuli-script

8、的步驟,1、獲取sikuli-script.jar 在sikuli的安裝目錄下面有一個(gè)sikuli-script.jar包。 2、安裝OpenCV Sikuli script使用OpenCV作為圖形識(shí)別引擎。如 果是windows系統(tǒng)，可以直接配置環(huán)境變量，在 path路徑中加入“ sikuli安裝路徑/tmplib”， windows系統(tǒng)能自動(dòng)的找到OpenCV的dll。在mac 和linux下比較復(fù)雜，需要自己安裝OpenCV（沒 有研究）,Java中使用sikuli-script的步驟,3、在java項(xiàng)目中引入sikuli-script包 在eclipse中新建一個(gè)java項(xiàng)目，然后引入

9、4.1中獲取的 sikuli-script.jar包。項(xiàng)目建立成功后，可以在項(xiàng)目目錄中看到 這個(gè)包。,Java中使用sikuli-script的步驟,4、引用引入的包 在自己的程序中引入需要的sikuli classes，用 “import edu.mit.csail.uid.* ”，或者引入一些自己 需要的類，可能會(huì)用到一些Regin、Screen、 SikuliScript類。 5、程序編寫,import edu.mit.csail.uid.*; import edu.mit.csail.uid.Win32Util; public class TestSikuli public stati

10、c void main(String args) Screen s=new Screen(100); Win32Util app=new Win32Util();/啟動(dòng)程序需要用到此類 int openapp=app.openApp(D:Program FilesNetease網(wǎng)易閃電郵Start.exe); /（小bug）此句不能正確執(zhí)行，貌似對(duì)含有漢字的路徑支持不好 int openapp=app.openApp(D:Program FileseMuleemule.exe); /此句可以正常執(zhí)行，需要全英文字符的路徑 if(openapp=0) System.out.print(app s

11、tarts ok!); else System.out.print(app starts failed!); try s.click(img/02.png, 0);/點(diǎn)擊增加賬戶的加號(hào)按鈕 s.click(img/05.png, 0);/點(diǎn)擊輸入用戶名的編輯框 s.type(null,0);/輸入用戶名 s.click(img/06.png, 0);/點(diǎn)擊輸入密碼的編輯框 s.type(null,ljwtest,0);/輸入密碼 /try catch(Exception e) e.printStackTrace(); /catch 以上的.png圖片都是保存在項(xiàng)目工程的img下的圖片（可以用s

12、ikuli截取的圖復(fù)制過去，然后自己可重命名）,優(yōu)點(diǎn),1、整體上sikuli小巧、便捷、容易上手。 2、sikuli腳本可以不經(jīng)過API的編譯器直接自動(dòng)化搜索到任何你能在屏幕上看到的東西 3、對(duì)各種程序都適合 4、不存在標(biāo)準(zhǔn)控件和非標(biāo)準(zhǔn)控件的問題 5、相對(duì)位置概念較小，要求不高（但是對(duì)象本身尺寸有影響） 6、一次編碼，多次運(yùn)行（基于java的） 7、jython和java的支持，用編程的方式比較容易擴(kuò)展,缺點(diǎn),1、圖片的分辨率、色彩、尺寸、唯一性對(duì)程序的影響 （如果有兩個(gè)相同的，無法區(qū)分具體哪一個(gè)） 2、sikuli本身還不完善（處于開發(fā)、升級(jí)階段） 還有很多程序bug,能否繼續(xù)發(fā)展還是未知數(shù)

13、 3、只認(rèn)識(shí)當(dāng)前活動(dòng)的圖標(biāo)（只有當(dāng)前桌面有才行） 4、用例組織方面有提供但是目前有bug，還未調(diào)研嘗試便利性 5、截圖的話，腳本存儲(chǔ)占用空間較大 6、相似度調(diào)整需要手動(dòng)一個(gè)個(gè)的調(diào)整，工作量大 7、ljw200901t和ljw200902t的區(qū)別（不太容易區(qū)別出來，可能需要調(diào)整到similarity=1.0才行，但這樣的話可移植性就差了） 8、目前還不適合設(shè)計(jì)成一種測(cè)試框架（有用例組織功能，但是目前有bug，暫時(shí)沒有用過） 9、測(cè)試報(bào)告的生成,直接用message的話比較弱，需要用jython編程實(shí)現(xiàn)可能會(huì)強(qiáng)大一些（還未調(diào)研）,增加圖片識(shí)別時(shí)間,wait（）的使用 新建一個(gè)自定義郵件夾后輸入“t

14、est”，有wait（）后，才能正常表現(xiàn)。 程序代碼：,程序移植 點(diǎn)擊查看原始代碼01 在xp下寫的一個(gè)腳本，移植到vista下后，設(shè)置的皮膚都一樣，但是可能會(huì)拋出無法識(shí)別圖像的異常，某些時(shí)候可能是因?yàn)榈却龝r(shí)間不夠久，程序來不及識(shí)別，可以用wait（）增加程序查找對(duì)象的時(shí)間。 代碼01是在xp下錄制的一段腳本，閃電郵的默認(rèn)、國風(fēng)、虎年三套皮膚均能夠正常運(yùn)行。移植到vista下的默認(rèn)皮膚下后，拋出一些無法識(shí)別圖像的異常，但是在每個(gè)動(dòng)作后增加了wait（1）等待1秒后，腳本可以正常執(zhí)行了。（等待時(shí)間可根據(jù)實(shí)際情況自由設(shè)定）個(gè)人感覺應(yīng)該是移植到vista下后，某些圖片屬性需要時(shí)間識(shí)別確認(rèn)，如果沒有等

15、待時(shí)間，可能沒有足夠時(shí)間識(shí)別。,附錄參考資料,Sikuli官方網(wǎng)站 /uid/sikuli/ Sikuli詳細(xì)的documentation /trac/wiki/reference-0.10#Howtousethisdocument Python學(xué)習(xí)地址（英文）： 更多sikuli類、函數(shù)使用可以參考java doc /documentation.shtml#/trac/wiki/How%20to%20use%20Sikuli%20Script% 20in%20your%20JAVA%20programs? （如果要在java program中使用，就要詳細(xì)看這個(gè)java doc文檔了）,Sikuli的系統(tǒng)設(shè)計(jì)架構(gòu),參考地址：/documentation.shtml#/trac/wiki/SystemDesign,其他示例,1、獲取popo表情和動(dòng)漫表情 增加wait（）等待時(shí)間后，能判斷到圖片是否存在。 疑問：是否是根據(jù)某個(gè)時(shí)間內(nèi)判斷到的某一幀來 識(shí)別的？不確定 Wait（2） 程序運(yùn)行結(jié)果，彈出“did n