Selenium使用总结（Java版本）

硒在最近的发展中被广泛应用，因为它以前没有被使用过，并且已经走了太多的坑。这是一张唱片。

1.环境配置

配置要点：

1.Web驱动程序应该与浏览器版本相对应，chrome使用chrome驱动程序和chrome浏览器，Firefox使用geckodrive和Firefox浏览器

2.支持headless：本地开发使用mac环境，默认支持；linux需要安装xvf8（虚拟GUI）

3.maven项目构建，使用selenium-3.9.1或者最新版本

4.linux配置参考：chrome：blog.csdn.net/qq_39802740… ； firefox：blog.csdn.net/u014283248/… www.xnathan.com/2017/12/04/…

2.chromium项目使用

chrome启动参数参考：peter.sh/experiments…

1.系统环境变量配置：webdriver.chrome.driver=DRIVER_PATH

2.常用options配置：

3.webdriver实例化：

 //设置系统环境变量
 System.setProperty("webdriver.chrome.driver", env.getProperty("path.chrome.driver"));
 WebDriver webDriver = null;
 try{
     ChromeOptions options = new ChromeOptions();
     options.addArguments("--headless"); //无浏览器模式
     options.addExtensions(new File(env.getProperty("path.chrome.proxy")));//增加代理扩展
     webDriver = new ChromeDriver(options);//实例化
 }catch(Exception e){
     e.printStackTrace();
 }finally{
     //使用完毕，关闭webDriver
     if(webDriver != null){
         webDriver.quit();
     }
 }

3.gecko项目使用

1.系统环境变量配置：webdriver.gecko.driver=DRIVER_PATH

2.常用options配置：

preference配置：

3.webdriver实例化：

 //设置系统环境变量
 System.setProperty("webdriver.gecko.driver", env.getProperty("path.gecko.driver"));
 WebDriver webDriver = null;
 try{
     FirefoxOptions options = new FirefoxOptions();
     options.addArguments("--headless"); //无浏览器模式
     FirefoxProfile profile = new FirefoxProfile();
     profile.addExtensions(new File(env.getProperty("path.chrome.proxy")));//增加代理扩展
     profile.setPreference("permissions.default.image", 2);//不显示图片
     options.setProfile(profile);
     //实例化
     webDriver = new FirefoxDriver(options);
 }catch(Exception e){
     e.printStackTrace();
 }finally{
     //使用完毕，关闭webDriver
     if(webDriver != null){
         webDriver.quit();
     }
 }

4.注意：默认加载会屏蔽部分请求（js请求等）

4.Selenium项目使用基本操作

参考：www.cnblogs.com/linxinmeng/…

一、WebDriver实例化：见2、3

1.获取页面：driver.get(url);

2.关闭页面：driver.close(); 关闭进程：driver.quit();

二、加载等待：页面初始加载或元素加载时使用，三种方式：

1.线程强制休眠等待，Thread.sleep(3000);

2.隐式等待（全局等待），为所有操作设置等待时间，超时抛出异常；

3.可以为单个操作设置显式等待（可控等待，推荐使用）、等待触发事件和等待时间，可以自定义事件，可以随时间抛出异常

WebDriverWait wait = new WebDriverWait(webDriver, 60);//初始化等待60s
wait.until(ExpectedConditions.presenceOfElementLocated(By.id("xx")));//等待xx元素出现
//自定义等待事件
WebElement frame = wait.until((ExpectedCondition<WebElement>) driver -> {
                WebElement element = driver.findElement(By.id("iframepage"));
                return element;
            });

三、获取内容

 String page = driver.getPageSource();//获取网页全部信息
 String url = driver.getCurrentUrl();//获取当前页url
 WebElement element = driver.findElement(By.id("xx"));//获取元素
 element.sendKeys("test");//设置元素值
 element.click();//点击元素
 element.sendKeys(Keys.BACK_SPACE);//空格键盘事件模拟

四、切换窗口、表单、弹窗：

1.窗口操作

 String handle = driver.getWindowHandle();//获取当前窗口句柄
 Set<String> handles = driver.getWindowHandles();//获取全部窗口句柄
 //切换到另一窗口
 for(String h : handles){
     if(!h.equals(handle)){
         driver.switchTo().window(h);//切换窗口
     }else{
         driver.close();
     }
 }

2.表单操作，frame切换需要从外向内一层一层获取，可根据pageSource处理

3.弹窗操作

6. 代理使用

一、无auth验证代理

 String proxyServer = "1.2.3.4:666";
 Proxy proxy = new Proxy().setHttpProxy(proxyServer).setSslProxy(proxyServer);
 options.setProxy(proxy);

二、需auth验证代理

使用browsermobproxy做代理（或其他代理）

 //创建一个本地代理
 BrowserMobProxyServer bmpServer = new BrowserMobProxyServer();
 bmpServer.setChainedProxy(new InetSocketAddress("proxy.com",222));//代理地址端口
 bmpServer.chainedProxyAuthorization("user","pwd",AuthType.BASIC);//代理用户名密码
 bmpServer.setTrustAllServers(true);//信任所有服务
 bmpServer.start(11112);//启动一个本地代理服务，并设置端口为11112，访问地址：localhost:11112
 //使用本地代理
 String proxyServer = "localhost:11112";
 Proxy proxy = new Proxy().setHttpProxy(proxyServer).setSslProxy(proxyServer);
 options.setProxy(proxy);

本地代理可单独做分布式部署，多节点，使用zk管理

三、使用浏览器扩展extensions

1.chrome扩展：无法在headless模式下使用加载扩展，尚未解决

chromeOptions.addExtensions(new File(env.getProperty("path.chrome.proxy")));//代理扩展  需要在background.js配置代理账号密码后再打包

6.遇到的坑

一、页面加载慢：（需验证）

chromium虽然是多进程执行，但是js引擎是单线程，同时打开多个窗口，只会加载一个页面，直到加载结束或打开下一个窗口才会去加载下一个页面，参考（blog.csdn.net/ouyanggengc…

firefox可以同时加载多个窗口的页面，同时会默认屏蔽一些请求

二、设置黑名单：屏蔽某些网页加载（设置header同理）

1.通过代理设置，browsermobserver

 BrowserMobProxy server = new BrowserMobProxyServer();
 server.blacklistRequests("http://.*\\.blacklist.com/.*", 200);//方式1，设置单个黑名单
 server.setBlacklist();//方式2，设置黑名单列表

2.通过拓展设置，暂时没整透

三、bmp代理无法连接

1.采用正确连接方式

7.分布式

使用grid启动多个节点

注意：单节点使用多线程时，最好使用geckodriver，chromium的js引擎是单线程执行的