selenium是大家众所周知的web自动化测试框架,主要用来完成web网站项目的自动化测试,但其实如果要实现一个web爬虫,去某些网站爬取数据,其实用selenium来实现也很方便。

比如,我们现在要实现一个这样的需求:打开百度--》输入拉钩--》找到拉钩链接,点击进入拉钩--》选择“全国”站--》输入岗位“自动化测试工程师”--》搜索--》爬取所有的自动化测试岗位信息

用selenium怎么实现呢?

基于chrome谷歌浏览器的自动化代码如下,每一步操作都加了注释标注,大家可以对比理解,这个程序就实现了一个简单的爬虫:

import java.util.List;
import java.util.Set; import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait; public class Test3{
private static WebDriver driver;
public static void main(String[] args) throws InterruptedException {
//设置系统变量,指定驱动文件路径
System.setProperty("webdriver.chrome.driver", "src/test/resources/chromedriver.exe");
//初始化driver驱动对象
driver = new ChromeDriver();
//访问拉钩主页获取获取
landLagouAndFetchData();
} /**访问拉钩主页获取获取
* @throws InterruptedException
*/
private static void landLagouAndFetchData() throws InterruptedException {
//访问百度
driver.get("http://www.baidu.com");
//窗口最大化
driver.manage().window().maximize();
//输入查找内容
driver.findElement(By.id("kw")).sendKeys("拉钩");
//点击"百度一下"完成搜索
driver.findElement(By.id("su")).click();
//获取当前页面的句柄
String currentHandle = driver.getWindowHandle();
//点击进入官网
getElement(By.partialLinkText("-专业的互联网招聘平台_找工作_招聘_人才网_求职")).click();
//获取或有打开页面的句柄
Set<String> handles = driver.getWindowHandles();
//循环句柄
for (String handle : handles) {
//获取拉钩页面的句柄
if(!handle.equals(currentHandle)){
driver.switchTo().window(handle);
}
}
try {
//选择全国站
getElement(By.partialLinkText("全国站")).click();
} catch (Throwable e) {
//失败重试机制
landLagouAndFetchData();
}
//输入查询数据
getElement(By.id("search_input")).sendKeys("自动化测试工程师");
//点击"搜索"按钮,完成搜索
getElement(By.id("search_button")).click();
//因为所有岗位信息显示区域样式都一样,因此根据样式获取每页的所有岗位信息<li>...</li>
List<WebElement> webElements =getElements(By.className("default_list"));
//循环处理
for (WebElement webElement : webElements) {
//打印岗位信息,此处也可考虑保存到文件,后面再统一写入到文件
System.out.println(webElement.getText());
//分隔符
System.out.println("-------------------------------");
}
//循环拿到其余每一页的数据
while(true){
//获取"下一页"按钮
WebElement nextPage = getElement(By.className("pager_next"));
//循环执行条件:"下一页"按钮不为空,且可点击
if(nextPage!=null&&nextPage.isEnabled()){
//点击下一页
nextPage.click();
//等待5秒
Thread.sleep(5000);
//根据样式获取每页的所有岗位信息<li>...</li>
List<WebElement> webElements2 =getElements(By.className("default_list"));
//循环打印
for (WebElement webElement : webElements2) {
System.out.println(webElement.getText());
System.out.println("-------------------------------");
}
}else{
//不满足条件则终止循环
break;
}
}
} /**显示等待
* @param locator 元素定位选择器
* @return
*/
private static List<WebElement> getElements(By locator) {
//显示等待wait对象,最长等待时间30秒,默认500毫秒页面轮询一次
WebDriverWait wait = new WebDriverWait(driver, 30);
try {
//调用until方法,传入条件:满足条件的元素列表出现在页面。如果30秒内未找到,则抛出超时异常
List<WebElement> webElements = wait.until(ExpectedConditions.presenceOfAllElementsLocatedBy(locator));
return webElements;
} catch (Exception e) {
System.out.println("定位元素超时了");
}
return null;
} /**显示等待
* @param locator 元素定位选择器
* @return
*/
public static WebElement getElement(By locator){
//显示等待wait对象,最长等待时间30秒,默认500毫秒页面轮询一次
WebDriverWait wait = new WebDriverWait(driver, 30);
try {
//调用until方法,传入条件:满足条件的元素出现在页面。如果30秒内未找到,则抛出超时异常
WebElement webElement = wait.until(ExpectedConditions.presenceOfElementLocated(locator));
return webElement;
} catch (Exception e) {
System.out.println("定位元素超时了");
}
return null; }
}

运行代码,爬取数据如下:

自动化测试工程师
[杭州·天目山…]
1天前发布
10k-15k 经验1-3年 / 大专
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
带薪年假 计算机软件 管理规范 定期体检
“善于沟通”
-------------------------------
自动化测试工程师
[上海·浦江]
2018-08-30
10k-15k 经验1-3年 / 本科
泛微
移动互联网,企业服务 / 上市公司 / 2000人以上
Web测试 白盒测试
“五险一金,绩效奖金,免费三餐,员工旅游”
-------------------------------
自动化测试工程师
[厦门·思明区]
3天前发布
8k-15k 经验3-5年 / 大专
准动网络科技
移动互联网,企业服务 / B轮 / 150-500人
精英团队 扁平管理 自由开放 技术大牛
“团队nic,技术大牛,技术交流,弹性工作”
-------------------------------
自动化测试工程师
[杭州·长河]
2天前发布
10k-20k 经验3-5年 / 本科
浙江新再灵科技股份有限公司
移动互联网 / D轮及以上 / 150-500人
脚本
“福利多,环境好,前景佳”
-------------------------------
自动化测试工程师
[天津]
3天前发布
10k-15k 经验3-5年 / 本科
神州商龙
移动互联网,O2O / 上市公司 / 150-500人
技能培训 年底双薪 节日礼物 采暖费
“研发氛围,福利待遇,上升空间”
-------------------------------
自动化测试工程师
[上海·杨浦区]
3天前发布
15k-25k 经验5-10年 / 本科
信用算力
移动互联网,金融 / B轮 / 150-500人
年底双薪 股票期权 带薪年假 绩效奖金
“年终奖丰厚,弹性工作,升职加薪,氛围欢快”
-------------------------------
自动化测试工程师
[上海·张江]
3天前发布
10k-15k 经验3-5年 / 大专
江苏亿科达
移动互联网,金融 / 不需要融资 / 500-2000人
脚本 功能测试 性能测试
“节日礼金,年底奖金,体检旅游,带薪年假”
-------------------------------
自动化测试工程师
[北京·五道口]
3天前发布
15k-25k 经验3-5年 / 本科
商汤科技
移动互联网 / C轮 / 2000人以上
五险一金 弹性工作 丰盛三餐 发展空间大
“技术大牛,资源多”
-------------------------------
自动化测试工程师
[北京·海淀区]
3天前发布
8k-15k 经验3-5年 / 大专
诚迈科技
移动互联网 / 上市公司 / 2000人以上
Web测试 移动端
“互联网公司”
-------------------------------
自动化测试工程师
[长沙·银盆岭]
3天前发布
9k-12k 经验3-5年 / 本科
中和农信
移动互联网,金融 / 不需要融资 / 2000人以上
功能测试 性能测试
“绩效奖金,五险一金,带薪年假,农村金融”
-------------------------------
自动化测试工程师
[珠海·香洲区]
2018-08-28
15k-30k 经验3-5年 / 大专
金山办公软件
移动互联网 / 上市公司 / 2000人以上
年底双薪 节日礼物 技能培训 绩效奖金
“海景办公,免费三餐,六险一金,福利优”
-------------------------------
自动化测试工程师
[北京·上地]
2018-08-30
15k-25k 经验3-5年 / 本科
苏州锦佰安
信息安全 / 天使轮 / 15-50人
信息安全 脚本
“人工智能,前景广阔,福利齐全,技术领先”
-------------------------------
自动化测试工程师
[上海·普陀区]
3天前发布
15k-18k 经验5-10年 / 本科
裕宁科技
移动互联网,金融 / 未融资 / 50-150人
脚本
“测试工程师”
-------------------------------
自动化测试工程师
[广州·龙口]
3天前发布
10k-13k 经验1-3年 / 本科
佛山市宝诗龙精密五金有限公司
移动互联网 / 上市公司 / 500-2000人
Selenium Rft
“六险一金,周末双休,年底发展奖”
-------------------------------
自动化测试工程师
[深圳·蔡屋围]
3天前发布
12k-18k 经验5-10年 / 大专
博奥特科技
移动互联网,金融 / 未融资 / 150-500人
金融 脚本
“周未双休,福田CBD,大咖云集”
-------------------------------
自动化测试工程师
[上海·北新泾]
3天前发布
16k-25k 经验3-5年 / 本科
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
脚本
“六险一金,前沿技术,大牛带队,不加班”
-------------------------------
自动化测试工程师
[上海·徐家汇]
3天前发布
10k-20k 经验3-5年 / 本科
Datatist
数据服务,广告营销 / A轮 / 50-150人
软件测试
“硅谷团队,发15m,晋升平台,带薪假期”
-------------------------------
自动化测试工程师
[上海·张江]
2018-08-29
10k-15k 经验1-3年 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
Web测试 测试开发
“年底双薪,五险一金,带薪休假,补充医疗”
-------------------------------
自动化测试工程师
[杭州·西湖区]
2天前发布
8k-12k 经验1-3年 / 本科
美国道富
金融 / 上市公司 / 2000人以上
互联网金融 银行 Web测试 Selenium 功能测试
“优秀团队,英语工作”
-------------------------------
自动化测试工程师
[北京·清河]
3天前发布
15k-25k 经验3-5年 / 本科
AdMaster
数据服务 / 不需要融资 / 500-2000人
脚本
“扁平管理,行业领先,福利完善,氛围轻松”
-------------------------------
自动化测试工程师
[北京·万泉河]
3天前发布
10k-15k 经验1-3年 / 本科
一起考教师
移动互联网,教育 / A轮 / 50-150人
功能测试 性能测试
“地铁周边,弹性工作,扁平管理,公司氛围好”
-------------------------------
自动化测试工程师
[北京·望京]
2天前发布
18k-36k 经验3-5年 / 本科
作业盒子
移动互联网,教育 / C轮 / 500-2000人
技能培训 年底双薪 节日礼物 年度旅游
“六险一金,房补,下午茶,饭补”
-------------------------------
自动化测试工程师
[上海·浦东新…]
3天前发布
12k-24k 经验3-5年 / 本科
爱客CRM
移动互联网 / B轮 / 150-500人
信息安全 脚本
“带教师傅,绩效奖金,周末双休,多次旅游”
-------------------------------
自动化测试工程师
[武汉·花桥]
3天前发布
8k-15k 经验3-5年 / 大专
武汉格事化信息技术有...
移动互联网 / 不需要融资 / 15-50人
游戏 脚本
“五险一金,骨干齐全”
-------------------------------
自动化测试工程师
[上海·浦东新…]
3天前发布
8k-15k 经验1年以下 / 本科
群星金融
金融 / B轮 / 50-150人
年底双薪 带薪年假 定期体检 交通补助
“技术大牛,弹性工作制,免费班车,无限零食”
-------------------------------
自动化测试工程师
[上海·漕宝路]
1天前发布
12k-24k 经验3-5年 / 本科
杏仁医生
移动互联网,O2O / B轮 / 500-2000人
五险一金 弹性工作 岗位晋升 顶尖团队
“发展好,福利好,氛围好,环境好”
-------------------------------
自动化测试工程师
[南京·雨花台…]
2018-08-30
9k-12k 经验1-3年 / 本科
Linkflow
企业服务,广告营销 / A轮 / 15-50人
Web测试 Selenium 测试开发
“弹性工作,技术氛围浓,双休,六险一金”
-------------------------------
自动化测试工程师
[上海·东外滩]
2018-08-27
8k-15k 经验3-5年 / 本科
哔哩哔哩
移动互联网,文化娱乐 / 上市公司 / 2000人以上
带薪年假 绩效奖金 交通补助 午餐补助
“90后最喜欢的弹幕网之一”
-------------------------------
自动化测试工程师
[北京·和平里]
3天前发布
12k-20k 经验3-5年 / 大专
轻松筹
移动互联网,金融 / C轮 / 500-2000人
节日礼物 股票期权 扁平管理 领导好
“技术咖”
-------------------------------
自动化测试工程师
[北京·中关村]
3天前发布
10k-20k 经验5-10年 / 本科
BJCA
信息安全 / 上市公司 / 500-2000人
信息安全
“国企福利,上市企业,15薪,周末双休”
-------------------------------
自动化测试工程师
[广州·天河区]
3天前发布
8k-10k 经验1-3年 / 本科
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
Web测试 Selenium 产品测试
“国企,六险一金,弹性工作,高薪”
-------------------------------
自动化测试工程师
[上海·张江]
3天前发布
12k-20k 经验应届毕业生 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
专项奖金 带薪年假 定期体检 交通补助
“外企,六险一金,年假多”
-------------------------------
自动化测试工程师
[上海·曹家渡]
2018-08-30
15k-18k 经验3-5年 / 本科
微知
企业服务,数据服务 / B轮 / 150-500人
企业服务 大数据 Loadrunner Selenium Jmeter
“互联网平台,大数据云服”
-------------------------------
软件自动化测试工程师
[广州·萝岗区]
1天前发布
5k-9k 经验不限 / 不限
巧瞳科技
硬件,移动互联网 / 未融资 / 少于15人
工具软件 企业服务 移动端 产品测试 Android测试 IOS测试
“朝阳行业,老板懂分享,气氛和谐,技术导向”
-------------------------------
自动化测试工程师
[上海·张江]
1天前发布
12k-18k 经验1-3年 / 本科
爱客CRM
移动互联网 / B轮 / 150-500人
信息安全 脚本
“绩效奖金,周末双休,多次旅游”
-------------------------------
自动化测试工程师
[上海·浦东新…]
3天前发布
20k-30k 经验5-10年 / 大专
容易网
电子商务,O2O / 上市公司 / 150-500人
脚本
“高薪,弹性工作”
-------------------------------
自动化测试工程师
[杭州·近江]
2018-08-30
10k-20k 经验3-5年 / 本科
车国
移动互联网,O2O / 不需要融资 / 2000人以上
汽车 金融 脚本
“氛围好,13薪起,额外绩效”
-------------------------------
自动化测试工程师
[上海·张江]
2018-08-30
15k-25k 经验3-5年 / 本科
斑马旅游
电子商务,旅游 / A轮 / 500-2000人
旅游
“绩效奖金,学习型组织,大牛带教,弹性工时”
-------------------------------
自动化测试工程师
[北京·东大桥]
2018-08-30
15k-25k 经验5-10年 / 本科
唯医网
移动互联网,医疗健康 / B轮 / 150-500人
教育 大数据 性能测试
“好老板,年轻团队,培训成长快,福利待遇佳”
-------------------------------
自动化测试工程师
[杭州·西溪]
2018-08-28
8k-12k 经验3-5年 / 本科
江苏亿科达
移动互联网,金融 / 不需要融资 / 500-2000人
金融
“五险一金,员工旅游,员工体检,年底奖金”
-------------------------------
自动化测试工程师
[广州·石牌]
2018-08-24
8k-15k 经验1-3年 / 本科
数沃科技
数据服务,移动互联网 / 不需要融资 / 15-50人
性能测试 脚本
“优秀团队,产品强大,发展空间大,弹性工作”
-------------------------------
自动化测试
[杭州·西溪]
1天前发布
10k-18k 经验1-3年 / 本科
腾展科技
移动互联网,社交网络 / 上市公司 / 50-150人
出国旅游 股票期权 精英团队 强悍的创始人
“节日福利,股票期权,扁平管理,发展空间大”
-------------------------------
自动化测试开发工程师
[北京·酒仙桥]
3天前发布
15k-25k 经验3-5年 / 本科
360
移动互联网,游戏 / 上市公司 / 2000人以上
移动互联网 Android测试
“大牛带,领导好,平台大”
-------------------------------
自动化测试工程师
[北京·朝阳区]
2018-08-27
15k-30k 经验3-5年 / 本科
达闼科技
移动互联网 / B轮 / 150-500人
年底双薪 技能培训 绩效奖金 岗位晋升
“定期体检,弹性工作,带薪年假,节日福利”
-------------------------------
自动化测试
[厦门·前埔医…]
3天前发布
8k-15k 经验1-3年 / 本科
美柚
移动互联网 / D轮及以上 / 500-2000人
绩效奖金 股票期权 年底双薪 专项奖金
“测试,开发”
-------------------------------
自动化测试工程师
[上海·北新泾]
2018-08-30
20k-35k 经验5-10年 / 本科
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
脚本
“薪资优厚,前沿技术,双休不加班,节假日福利”
-------------------------------
自动化测试(QA)工程师
[上海·张江]
3天前发布
10k-20k 经验1-3年 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
专项奖金 带薪年假 定期体检 交通补助
“外企,14天年假,六险一金”
-------------------------------
自动化测试工程师
[广州·员村]
2018-08-06
10k-20k 经验3-5年 / 本科
上海中软华腾软件系统有限公司
企业服务,金融 / 上市公司 / 2000人以上
脚本
“双休,弹性工作制,年假,五险一金”
-------------------------------
自动化测试工程师
[北京·上地]
3天前发布
8k-16k 经验3-5年 / 本科
惠赢天下
移动互联网,电子商务 / D轮及以上 / 500-2000人
“14薪,大型企业,弹性工作制,地铁旁”
-------------------------------
自动化测试工程师
[北京·望京]
3天前发布
10k-15k 经验1-3年 / 本科
卡车之家
移动互联网 / C轮 / 150-500人
节日礼物 技能培训 带薪年假 岗位晋升
“手工测试”
-------------------------------
自动化测试工程师
[成都·高新区]
2018-08-30
8k-15k 经验3-5年 / 本科
四川长虹电器股份有限公司
硬件 / 上市公司 / 2000人以上
脚本
“五险一金”
-------------------------------
自动化测试工程师
[深圳·南山区]
3天前发布
8k-12k 经验3-5年 / 大专
汉云科技
数据服务 / 天使轮 / 50-150人
Selenium Web测试
“自动化测试,数据库”
-------------------------------
自动化测试
[武汉·东湖新…]
2018-08-29
8k-15k 经验1-3年 / 本科
诚迈科技
移动互联网 / 上市公司 / 2000人以上
脚本
“发展空间大,加班费,奖金,补贴”
-------------------------------
自动化测试工程师
[深圳·科技园]
3天前发布
8k-16k 经验1-3年 / 本科
JETTECH
金融,其他 / 上市公司 / 500-2000人
银行 脚本
“自动化,java”
-------------------------------
自动化测试工程师
[北京·来广营]
2018-08-30
10k-15k 经验1-3年 / 本科
曜辉科技
移动互联网,企业服务 / 未融资 / 15-50人
Web测试 Selenium 性能测试
“不打卡,扁平化,有零食,发展空间大”
-------------------------------
自动化测试工程师
[北京·海淀区]
2018-08-21
15k-30k 经验3-5年 / 本科
好未来
移动互联网,教育 / 上市公司 / 2000人以上
上市公司 领军企业 五险一金 住福计划
“周末双休,无息贷款,临近地铁”
-------------------------------
自动化测试开发工程师
[上海·斜土路]
3天前发布
8k-16k 经验3-5年 / 本科
江苏亿科达
移动互联网,金融 / 不需要融资 / 500-2000人
脚本
“五险一金,旅游、体检,生日礼金,过节福利”
-------------------------------
自动化测试
[上海·青浦区]
2天前发布
12k-16k 经验3-5年 / 大专
壹米滴答
企业服务,其他 / B轮 / 2000人以上
物流
“晋升机会多,多次调薪,食宿补贴”
-------------------------------
自动化测试工程师
[杭州·西兴]
3天前发布
10k-20k 经验3-5年 / 本科
TELETRAAN
数据服务,企业服务 / 天使轮 / 15-50人
脚本
“五险一金,技术氛围好,发展空间大,弹性工作制”
-------------------------------
自动化测试工程师
[上海·洋泾]
3天前发布
15k-30k 经验3-5年 / 本科
平安金服
金融,数据服务 / 上市公司 / 2000人以上
脚本
“福利待遇佳”
-------------------------------
自动化测试工程师
[武汉·江夏区]
2018-08-30
8k-13k 经验3-5年 / 大专
武汉佰钧成技术有限公司
移动互联网 / 不需要融资 / 2000人以上
汽车 移动互联网 性能测试 Jmeter 脚本
“平台大,稳定,免费班车,车补,食堂”
-------------------------------
自动化测试工程师
[广州·天河城]
2018-08-23
12k-20k 经验3-5年 / 本科
CLPS
数据服务,金融 / 未融资 / 500-2000人
银行 投资/融资 Selenium
“世界五百强,外企银行,自动化测试,敏捷开发”
-------------------------------
自动化测试工程师
[西安·高新技…]
2018-08-16
8k-12k 经验3-5年 / 本科
上海中软华腾软件系统有限公司
企业服务,金融 / 上市公司 / 2000人以上
年底双薪 绩效奖金 带薪年假 定期体检
“全英文环境 有班车”
-------------------------------
自动化测试工程师
[上海·徐汇区]
2018-08-29
15k-28k 经验3-5年 / 大专
鲸鱼智能
移动互联网 / A轮 / 50-150人
功能测试 性能测试
“发展空间大,五险一金,福利好,弹性时间”
-------------------------------
自动化测试工程师
[成都·牛王庙]
2018-08-21
6k-10k 经验1-3年 / 本科
海德智和科技
移动互联网 / 不需要融资 / 15-50人
脚本
“发展大,扁平化,福利好,带薪年假”
-------------------------------
自动化测试
[上海·漕河泾]
3天前发布
10k-15k 经验应届毕业生 / 硕士
瞬联软件科技(北京)有限公司
移动互联网 ,企业服务 / 不需要融资 / 500-2000人
高薪 节日礼物 弹性工作 带薪年假
“500强,六险一金,弹性工作制,漕河泾上班”
-------------------------------
自动化测试工程师(赴西门子)
[苏州·吴中区]
3天前发布
12k-18k 经验3-5年 / 本科
微创
移动互联网,电子商务 / 不需要融资 / 2000人以上
Web测试
“平台好,项目大,发展空间大”
-------------------------------
自动化测试工程师
[北京·中关村]
2018-08-29
18k-25k 经验3-5年 / 本科
智齿科技
移动互联网,企业服务 / C轮 / 150-500人
脚本
“五险一金,带薪年假,弹性工作”
-------------------------------
自动化测试工程师
[北京·朝阳区]
1天前发布
8k-16k 经验1-3年 / 本科
北京润和
移动互联网 / 上市公司 / 50-150人
银行 脚本
“五险一金,带薪年假,年度体检,加班补助”
-------------------------------
自动化测试工程师
[北京·西北旺]
3天前发布
10k-15k 经验1-3年 / 本科
乐知行
教育 / 未融资 / 150-500人
脚本
“发展空间大,五险一金,各种补贴,员工旅游”
-------------------------------
高级自动化测试工程师
[北京·海淀区]
1天前发布
25k-45k 经验3-5年 / 本科
田米科技
移动互联网 / D轮及以上 / 2000人以上
脚本
“薪酬高,环境好,福利好”
-------------------------------
自动化测试
[杭州·仓前]
3天前发布
15k-30k 经验5-10年 / 本科
我在家
移动互联网,电子商务 / B轮 / 150-500人
年底双薪 股票期权 带薪年假 扁平化
“牛人多,顶级资本”
-------------------------------
汉口片区自动化测试工程师
[武汉·二七]
3天前发布
8k-15k 经验5-10年 / 大专
武汉格事化信息技术有...
移动互联网 / 不需要融资 / 15-50人
游戏 脚本
“骨干齐全,扁平化”
-------------------------------
软件自动化测试工程师
[南京·雨花台…]
1天前发布
8k-10k 经验1-3年 / 本科
Dilato
移动互联网,企业服务 / 未融资 / 150-500人
脚本 性能测试
“晋升空间大,技术新,美女帅哥多”
-------------------------------
自动化测试
[北京·酒仙桥]
3天前发布
15k-30k 经验3-5年 / 本科
人人网
社交网络,金融 / 上市公司 / 2000人以上
脚本
“氛围好,弹性工作”
-------------------------------
......

上面只是一部分自动化测试岗位的信息,其他未贴出来(底下省略一万行)。

Web自动化selenium技术快速实现爬虫的更多相关文章

  1. Selenium Web 自动化 - Selenium(Java)环境搭建

    Selenium Web 自动化 - Selenium(Java)环境搭建 2016-07-29 1 下载JDK JDK下载地址:http://www.oracle.com/technetwork/j ...

  2. Selenium Web 自动化 - Selenium常用API

    Selenium Web 自动化 - Selenium常用API 2016-08-01 目录 1 对浏览器操作  1.1 用webdriver打开一个浏览器  1.2 最大化浏览器&关闭浏览器 ...

  3. web自动化-selenium 入门篇

    selenium安装介绍 selenium是web浏览器的自动化工具 官网:https://www.selenium.dev 构成: WebDriver: 浏览器提供的浏览器api来控制浏览器(模拟用 ...

  4. web自动化-selenium+Chrome驱动国内下载地址+驱动对应Chrome版本号

    selenium各版本下载地址 http://selenium-release.storage.googleapis.com/index.html 国内下载:http://npm.taobao.org ...

  5. web自动化,selenium 无法清空输入框默认值继续输入

    有的页面输入框自带默认值,想要修改里面的内容时,先使用clear()再send_keys(),这种方式无法清除只会在默认值后面追加内容,不是我想要的结果 解决方法: 方法一: 先双击,后直接send_ ...

  6. web自动化selenium click()方法失效的解决办法

    使用Python写web-ui自动化脚本时,如果浏览器窗口比较小或者电脑屏幕比较小时, 可能会遇到页面元素的点击click()方法失效的问题,报错如下: Element <span>... ...

  7. Selenium Web 自动化

    1 Selenium Web 自动化 - Selenium(Java)环境搭建 2 Selenium Web 自动化 - 如何找到元素 3 Selenium Web 自动化 - Selenium常用A ...

  8. 使用selenium实现简单网络爬虫抓取MM图片

    撸主听说有个网站叫他趣,里面有个社区,其中有一项叫他趣girl,撸主点进去看了下,还真不错啊,图文并茂,宅男们自己去看看就知道啦~ 接下来当然就是爬取这些妹子的图片啦,不仅仅是图片,撸主发现里面的对话 ...

  9. 爬虫实战:爬虫之 web 自动化终极杀手 ( 上)

    欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:陈象 导语: 最近写了好几个简单的爬虫,踩了好几个深坑,在这里总结一下,给大家在编写爬虫时候能给点思路.本次爬虫内容有:静态页面的爬 ...

随机推荐

  1. ui-element消息类型 MessageBox 弹框 type类型

    MessageBox 弹框 type字段表明消息类型,可以为success,error,info和warning

  2. scp出现ssh port 22: Connection refused 问题解决具体步骤

    [root(0)@sys11 09:20:29 /home/work/Code_release/bj]# scp ./release.sh  root@192.168.161.151:/Users/a ...

  3. maven学习利用Profile构建不同环境的部署包

    项目开发好以后,通常要在多个环境部署,象我们公司多达5种环境:本机环境(local).(开发小组内自测的)开发环境(dev).(提供给测试团队的)测试环境(test).预发布环境(pre).正式生产环 ...

  4. byte转换字符串(string)+字符串转换byte

    C# 中字符串string和字节数组byte[]的转换 //string转byte[]: byte[] byteArray = System.Text.Encoding.Default.GetByte ...

  5. 防sql注入攻击

    这两天看了个防sql注入,觉得有必要总结一下: 首先需要做一些php的安全配置: 1 在php.ini 中把display_errors改成OFF display_errors = OFF 或在php ...

  6. 解决最新版 mac os sierra usb网卡不能使用的问题

    解决最新版 mac os sierra usb网卡不能使用的问题 解决最新版 mac os sierra usb网卡不能使用 无法使用未签名第三驱动的问题 我的情况是 mac os sierra 使用 ...

  7. iOS之webview加载网页、文件、html的方法

    UIWebView  是用来加载加载网页数据的一个框.UIWebView可以用来加载pdf.word.doc 等等文件 生成webview 有两种方法,1.通过storyboard 拖拽  2.通过a ...

  8. npm安装包时 --save 和 --save-dev 的区别

    以npm 安装 vue为例 1.npm install vue: 会把vue包安装到node_modules目录中: 不会修改package.json文件: 之后运行npm install命令时,不会 ...

  9. HTML+jq简单轮播图

    .main{    width: 100%;    min-width: 1100px;    display: table;    margin: 0 auto;    text-align: ce ...

  10. 迪米特法则(LoD)

    如果两个类不必彼此直接通信,那么这两个类就不应当发生直接的相互作用.如果其中一个类需要调用另一个类的某一个方法的话,可以通过第三者转发这个调用.其根本思想是类之间的松耦合. 类之间的耦合越弱,越有利于 ...