前言 selenium+phantomjs可以打开无界面的浏览器,实现静默模式启动浏览器完成自动化测试,这个模式是极好的,不需要占用电脑的屏幕. 但是呢,phantomjs这个坑还是比较多的,并且遇到问题也看不到页面,无法排查问题. 事实上Chrome浏览器也是可以实现静默模式,在电脑上不显示页面,也能实现自动化测试. 小编环境: python 3.6 selenium 3.6.0 chrome 63.0.3239.84 chromdriver 2.33.506120 (我这个配置是亲测可行的,

一 介绍 二 安装 三 基本使用 四 选择器 五 等待元素被夹在 元素交互操作 其他 项目联 一 介绍 selenium最初是一个自动化测试的工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() browser=

详细使用链接: 点击链接 selenium介绍: selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种常见的浏览器 from selenium import webdriverbrowser=webdriver.Chrome()browser=webdriver.Firefox()browser

selenium介绍: selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种常见的浏览器 from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver

一,案例 爬取站长素材中的图片:http://sc.chinaz.com/tupian/gudianmeinvtupian.html import requests from lxml import etree import os url = "http://sc.chinaz.com/tupian/gudianmeinvtupian.html" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0

介绍 官方文档 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() # 谷歌浏览器 browser=webdriver.Firefox() # 火狐浏览器 browser=

一.介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() #谷歌浏览器 browser=webdriver.Firefox() #火狐浏览器 browser=webdr

selenium模块   阅读目录 一 介绍 二 安装 三 基本使用 四 选择器 五 等待元素被加载 六 元素交互操作 七 其他 八 项目练习 一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种浏览器 from selenium import webdriver browser=we

一.介绍 二.安装 三.基本使用 四.选择器 五.等待元素被加载 六.元素交互操作 七.其他 八.项目练习 一.介绍 # selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题. # selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转.输入.点击.下拉等,来拿到网页渲染之后的结果,可支持多种浏览器. from selenium import webdriver # 谷歌浏览器 browser=webdri

目录 selenium模块 官方文档 介绍 安装 有界面浏览器 无界浏览器 selenium+谷歌浏览器headless模式 基本使用 选择器 基本用法 xpath 获取标签属性 等待元素被加载 隐式等待 显式等待 元素交互操作 点击,清空 Action Chains 在交互动作比较难实现的时候可以自己写JS(万能方法) frame的切换 其他 模拟浏览器的前进后退 cookies 选项卡管理 异常处理 selenium模块 官方文档 http://selenium-python.readthe

一.解析json格式数据 (1) # (1)解析json 对象数据 # import requests # 返回的数据进行解析 # response = requests.get('http://httpbin.org/get') # 快代理的网站 # import json # res1 = json.loads(response.text) # 反序列化 # print(res1) ''' { "args": {}, "headers": { "Acc

目录 selenium请求库 一.什么是selenium 二.环境搭建 三.使用selenium模块 1.使用chrome并设置为无GUI模式 2.使用chrome有GUI模式 3.显示等待与隐式等待 4.查找元素--find_element_by_* 5.xpath查找元素-- brower.find_element_by_id('tag_id') 6.清空输入框-- input_tag.clear() 7.frame切换-- brower.switch_to.frame('小页面的id')

目录 selenium模块 一.selenium介绍 二.环境搭建 三.使用selenium模块 1.使用chrome并设置为无GUI模式 2.使用chrome有GUI模式 3.查找元素 4.获取标签属性 5.等待元素加载 6.清空输入框 7.切换frame 8.动作链 9.执行JS 10.前进后退 11.选项卡切换 12.xpath selenium模块 一.selenium介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScri

今天在使用Selenuim+PhantomJS动态抓取网页时,出现如下报错信息: C:\Python36\lib\site-packages\selenium-3.11.0-py3.6.egg\selenium\webdriver\phantomjs\webdriver.py:49: UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or

pip install selenium 因为phantomJS将停止维护,所以建议使用headless chromeChromeDriver is a separate executable that WebDriver uses to control Chrome. 1.确保谷歌浏览器安装在可以找到的位置(默认位置或自己指定的位置).如果不是默认位置,则需要用下面的代码来指定谷歌浏览器的安装位置:ChromeOptions options = new ChromeOptions();opti

Ubuntu 16.04 下: 0x01 安装chrome 1 下载源加入系统源列表 sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/   2 导入google软件公钥 wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -   3 更新源 sudo a

起因: 由于项目需要实现将网页静默打印效果,那么直接使用浏览器打印功能无法达到静默打印效果. 浏览器打印都会弹出预览界面(如下图),无法达到静默打印. 解决方案: 谷歌浏览器提供了将html直接打印成pdf并保存成文件方法,然后再将pdf进行静默打印. 在调用谷歌命令前,需要获取当前谷歌安装位置: public static class ChromeFinder { #region 获取应用程序目录 private static void GetApplicationDirectories(IC

逆天书库:http://www.cnblogs.com/dunitian/p/5734677.html 常用工具:http://www.cnblogs.com/dunitian/p/5640147.html  谷歌插件,360基本上都是可以用的(360就是在谷歌浏览器基础上修改而成的) 01.SimpleExtManager:http://blandlifedev.blogspot.jp/ 管理菜单,通过弹出菜单来启用/禁用,访问选项和卸载扩展 https://chrome.google.com

谷歌(版本 55.0.2883.87 m),火狐(48.0.2),ie(11.576.14393.0)对三个浏览器简单的进行了一下试验发现,谷歌浏览器是等到html全部解析完毕之后才开始渲染,而另外两款浏览器则是边解析边渲染. 测试代码 <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" c

注:此博客仅供非web开发人员查看,以下内容都基于谷歌浏览器. 在网页空白处点击鼠标右键,在弹出菜单中选择[审查元素],可以看到网页下方出现审查元素相关界面. 在审查元素相关界面,点击[Network],然后回到网页空白处右键,在弹出的菜单中选中[重新加载],在审查元素界面会看到正在加载的页面的网址,点击网址,在审查元素界面右侧可以看到详细的内容,点击[Headers],往下滚动可以看到[Request Headers],里面的有一项Cookies,就是我们要找的内容,用鼠标选中下图我用绿色下划

最近使用ajax的时候,因为是在本地测试调用 后台时一直会报错. 解决方案:用谷歌浏览器 以非安全的模式打开 在cmd命令行中 cd 到谷歌的安装目录下 (右键 属性 复制路径) 然后在 运行如下命令 chrome -args --disable-web-security 就可以使谷歌以非安全的方式运行(会弹出一行黄色的警告),可以支持本地文件请求ajax 如果你的谷歌目录没有在C:\Program Files (x86)下请自行修改 cd "C:\Program Files (x86)\Goo