Java + SikuliX 基于图像实现自动化测试

转载请注明出处️

你好，我是测试蔡坨坨。

由于目前大多数GUI工具均需要依赖于程序类型进行特征属性识别，例如：Selenium、Appium、UIAutomator。在进行WebUI自动化测试的时候，有些元素使用传统的Selenium方法（传统方法：使用id等属性定位）很难或无法定位到，比如：object元素；基于Flash、JavaScript或Ajax等技术实现的文件上传功能。

对于非input框的文件上传问题，Python可以使用win32gui库，而Java可以使用AutoIt，但是AutoIt只有Windows版本，又要考虑兼容Windows和macOS。

对于这种情况，推荐一个好玩的东西SikuliX。

本篇就来聊聊SikuliX这个工具，什么是SikuliX，如何使用，以及文件上传功能demo实现。

SikuliX简介

SikuliX是基于PC图像识别的自动化测试工具，由MIT（麻省理工学院）研究团队发布。

与其他UI自动化工具相比，SikuliX的优势在于，它是基于像素实现的元素定位，所以即使页面上的元素没有像id、name这些属性，也可以通过图像识别进行UI的交互操作，无需关注元素有哪些属性，所见即所得；适合非标准控件等自定义界面的定位；支持跨平台，如：Windows、macOS、Linux。

但是，它也有一定的局限性，由于是基于图像识别，因此图片的大小、分辨率、色彩都会对识别造成影响，定位不能百分百准确识别到元素，如果有两个相同或相似的图片，无法区分具体哪一个，需要手动调整精确度，工作量大；只能定位当前正在操作的窗口界面；若流程过长，则会造成脚本过于臃肿；目前还不适合设计成一种测试框架。

尽管SikuliX用来实现复杂的测试场景不太现实，这也是所有GUI自动化测试无法改变的现实，但是用来做一些特定场景的测试还是游刃有余。对于Web自动化主要用该端的自动化框架，如Selenium，SikuliX作为辅助，可以和Selenium结合使用。

使用

导入依赖

方法一（推荐）：使用Maven构建工具，导入pom依赖

<!-- https://mvnrepository.com/artifact/com.sikulix/sikulixapi -->

<dependency>

    <groupId>com.sikulix</groupId>

    <artifactId>sikulixapi</artifactId>

    <version>1.1.0</version>

</dependency>

<!-- https://mvnrepository.com/artifact/com.sikulix/sikulixlibswin -->

<!-- 这里是Windows版本，其他系统版本选择参考 https://mvnrepository.com/artifact/com.sikulix -->

<dependency>

    <groupId>com.sikulix</groupId>

    <artifactId>sikulixlibswin</artifactId>

    <version>1.1.1</version>

</dependency>

方法二：手动下载jar包加入到引用库

https://raiman.github.io/SikuliX1/downloads.html

核心类

SikuliX提供两大核心类，Region（界面部分区域识别）和Screen（全屏识别）。

实例化Region：

Region r = new Region(100, 100, 100, 100);

说明：

class Region

Region(x, y, w, h)

Region(region)

Region(Rectangle)

Create a region object

Parameters:

x – x position of a rectangle.

y – y position of a rectangle.

w – height of a rectangle.

h – width of a rectangle.

region – an existing region object.

rectangle – an existing object of Java class Rectangle

Returns:

a new region object.

实例化Screen：

Screen s = new Screen();

常用API

等待元素出现：wait()

s.wait(inputImg, 10);

判断元素是否在屏幕上显示：exists()

s.exists(inputImg);

在文本输入框输入指定文本内容：type()

s.type(inputImg, "caituotuo");

单击元素：click()

s.click(btnImg);

右键单击元素：rightClick()

s.rightClick(btnImg);

双击元素：doubleClick()

s.doubleClick(btnImg);

旋转指定图像：wheel()

s.wheel(btnImg,25,0);

拖放图片：dragDrop()

s.dragDrop(img,img2);

鼠标悬停：hover()

s.hover(btnImg);

粘贴复制的字符串：paste()

由于type()不支持输入中文，所以可以用paste()来在指定的文本框中粘贴文本

s.paste(inputImg,"蔡坨坨");

按下键盘键：type()

s.type(Key.ENTER);

s.type("c",Key.CTRL); // 快捷键

SikuliX实现百度搜索

public static void baiduSearch() throws InterruptedException, FindFailed {

        String imgPath = PathUtils.getProjectPath() + "src\\test\\resources\\images\\";

        // Pattern baiduInput = new Pattern(imgPath + "baiduInput.png");

        String baiduInput = imgPath + "baiduInput.png";

        // Pattern baiduBtn = new Pattern(imgPath + "baiduBtn.png");

        String baiduBtn = imgPath + "baiduBtn.png";

    	// 打开浏览器

        WebDriver driver = new ChromeDriver();

    	// 窗口最大化

        driver.manage().window().maximize();

    	// 访问百度网站

        driver.get("https://www.baidu.com");

    	// 等待1s

        Thread.sleep(1000);

    	// 实例化Screen类

        Screen s = new Screen();

    	// 等待搜索框出现

        s.wait(baiduInput, 10);

		// s.type(baiduInput, "sikuli");

    	// 粘贴文本

        s.paste(baiduInput, "测试蔡坨坨");

    	// 按下回车键

        s.keyDown(Key.ENTER);

   	 	// 判断百度一下按钮是否存在

        s.wait(baiduBtn, 10);

    	// 点击百度一下

        s.click(baiduBtn);

    	// 等待3s

        Thread.sleep(3000);

    	// 关闭浏览器

        driver.quit();

    }

SikuliX实现文件上传

public static void uploadFileBySikuli() throws InterruptedException, FindFailed {

        String imgPath = PathUtils.getProjectPath() + "src\\test\\resources\\images\\";

        String img = PathUtils.getProjectPath() + "src\\test\\resources\\images\\avatar.png";

        Screen s = new Screen();

        Pattern fileInputTextBox = new Pattern(imgPath + "fileInputTextBox.png");

        Pattern openButton = new Pattern(imgPath + "openButton.png");

        // 启动浏览器并打开链接

        WebDriver driver = new ChromeDriver();

        driver.get("http://www.sahitest.com/demo/php/fileUpload.htm");

        // 窗口最大化

        driver.manage().window().maximize();

        Thread.sleep(2000);

        // 点击上传按钮

        WebElement ele = driver.findElement(By.id("file"));

        new Actions(driver).click(ele).perform();

        // 等待文件上传弹窗出现，sikuli开始操作

        s.wait(fileInputTextBox, 20);

        // 输入文件路径

        s.type(fileInputTextBox, img);

        // 点击回车

        s.keyDown(Key.ENTER);

        // 点击打开按钮

        s.click(openButton);

        Thread.sleep(3000);

        driver.quit();

    }