selenium+chrome options

环境:selenium chrome

1.      selenium + chrome参数配置

1.1.    启动

from selenium import webdriver

def test_selenium():

#url = 'http://127.0.0.1:9000/spider/'

   ch_opt = webdriver.ChromeOptions()

ch_opt.add_argument('lang=zh_CN.UTF-8')

    browser = webdriver.Chrome(ch_opt)

# get page

    res = browser.get(url)

需要关注的是webdriver.ChromeOptions()类,它是chrome.options类的别名。

from .chrome.webdriver import WebDriver as Chrome  # noqa

from .chrome.options import Options as ChromeOptions  # noqa

1.2.    options

源码:

# .\Lib\site-packages\selenium\webdriver\chrome\options.py

class Options(object):

def __init__(self):

self._binary_location = ''           # 设置 chrome 二进制文件位置

self._arguments = []                 # 添加启动参数

self._extension_files = []           # 添加扩展应用

self._extensions = []

self._experimental_options = {}      # 添加实验性质的设置参数

self._debugger_address = None        # 设置调试器地址

1.3.    常用设置

1.3.1.   useragent

# 通过设置user-agent,用来模拟移动设备

user_ag='MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; '+

'CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1'

options.add_argument('user-agent=%s'%user_ag)

# 模拟iPhone 6

options.add_argument('user-agent="Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1"')

1.3.2.   3.3. 禁止图片加载

不加载图片的情况下,可以提升爬取速度。

# 禁止图片的加载

from selenium import webdriver

chrome_options = webdriver.ChromeOptions()

prefs = {"profile.managed_default_content_settings.images": 2}

chrome_options.add_experimental_option("prefs", prefs)

# 启动浏览器,并设置好wait

browser = webdriver.Chrome(chrome_options=chrome_options)

browser.set_window_size(configure.windowHeight, configure.windowWidth)   # 根据桌面分辨率来定,主要是为了抓到验证码的截屏

wait = WebDriverWait(browser, timeout = configure.timeoutMain)

2.      CHROME

2.1.    chrome地址栏命令

在Chrome的浏览器地址栏中输入以下命令,就会返回相应的结果。这些命令包括查看内存状态,浏览器状态,网络状态,DNS服务器状态,插件缓存等等。但是需要注意的是这些命令会不停的变动,所以不一定都是好用的。

about:version - 显示当前版本

about:memory - 显示本机浏览器内存使用状况

about:plugins - 显示已安装插件

about:histograms - 显示历史记录

about:dns - 显示DNS状态

about:cache - 显示缓存页面

about:gpu -是否有硬件加速

about:flags -开启一些插件 //使用后弹出这么些东西:“请小心,这些实验可能有风险”,不知会不会搞乱俺的配置啊!

chrome://extensions/ - 查看已经安装的扩展

2.2.    chrome实用参数  

其他的一些关于Chrome的实用参数及简要的中文说明,使用方法同上4.5.4,当然也可以在shell中使用。

–user-data-dir=”[PATH]” 指定用户文件夹User Data路径,可以把书签这样的用户数据保存在系统分区以外的分区。

–disk-cache-dir=”[PATH]“ 指定缓存Cache路径

–disk-cache-size= 指定Cache大小,单位Byte

–first run 重置到初始状态,第一次运行

–incognito 隐身模式启动

–disable-javascript 禁用Javascript

–omnibox-popup-count=”num” 将地址栏弹出的提示菜单数量改为num个。我都改为15个了。

–user-agent=”xxxxxxxx” 修改HTTP请求头部的Agent字符串,可以通过about:version页面查看修改效果

–disable-plugins 禁止加载所有插件,可以增加速度。可以通过about:plugins页面查看效果

–disable-javascript 禁用JavaScript,如果觉得速度慢在加上这个

–disable-java 禁用java

–start-maximized 启动就最大化

–no-sandbox 取消沙盒模式

–single-process 单进程运行

–process-per-tab 每个标签使用单独进程

–process-per-site 每个站点使用单独进程

–in-process-plugins 插件不启用单独进程

–disable-popup-blocking 禁用弹出拦截

–disable-plugins 禁用插件

–disable-images 禁用图像

–incognito 启动进入隐身模式

–enable-udd-profiles 启用账户切换菜单

–proxy-pac-url 使用pac代理 [via 1/2]

–lang=zh-CN 设置语言为简体中文

–disk-cache-dir 自定义缓存目录

–disk-cache-size 自定义缓存最大值(单位byte)

–media-cache-size 自定义多媒体缓存最大值(单位byte)

–bookmark-menu 在工具 栏增加一个书签按钮

–enable-sync 启用书签同步

–single-process 单进程运行Google Chrome

–start-maximized 启动Google Chrome就最大化

–disable-java 禁止Java

–no-sandbox 非沙盒模式运行

常用:

–single-process 单进程运行Google Chrome

–start-maximized 启动Google Chrome就最大化

–disable-java 禁止Java

–no-sandbox 非沙盒模式运行

selenium+chrome options的更多相关文章

  1. python+selenium+Chrome options参数

    python+selenium+Chrome options参数 Chrome Options常用的行为一般有以下几种: 禁止图片和视频的加载:提升网页加载速度. 添加代理:用于翻墙访问某些页面,或者 ...

  2. selenium chrome.options禁止加载图片和js

    #新建一个选项卡 from selenium import webdriver options = webdriver.ChromeOptions() #禁止加载图片 prefs = { 'profi ...

  3. Python selenium.webdriver.chrome.options.Options() Examples

    The following are 27 code examples for showing how to use selenium.webdriver.chrome.options.Options( ...

  4. [Selenium] 如何使用Chrome Options 定制测试Chrome 浏览器的特定属性 (类似FirefoxProfiles)

    Chrome Options 类似于FirefoxProfiles,用于定制待测试的Chrome 浏览器的特定属性 1)如果希望测试某个浏览器插件,可通过addExtensions方式提前加载以.cr ...

  5. selenium+chrome抓取淘宝搜索抓娃娃关键页面

    最近迷上了抓娃娃,去富国海底世界抓了不少,完全停不下来,还下各种抓娃娃的软件,梦想着有一天买个抓娃娃的机器存家里~.~ 今天顺便抓了下马爸爸家抓娃娃机器的信息,晚辈只是觉得翻得手酸,本来100页的数据 ...

  6. 芝麻HTTP:设置Selenium+Chrome代理

    微博登录限制了错误次数···加上Cookie大批账号被封需要从Cookie池中 剔除被封的账号··· 需要使用代理··· 无赖百度了大半天都是特么的啥玩意儿???结果换成了 Google手到擒来 分分 ...

  7. 芝麻HTTP:爬虫之设置Selenium+Chrome代理

    微博登录限制了错误次数···加上Cookie大批账号被封需要从Cookie池中 剔除被封的账号··· 需要使用代理··· 无赖百度了大半天都是特么的啥玩意儿???结果换成了 Google手到擒来 分分 ...

  8. 小白学爬虫-设置Selenium+Chrome代理

    微博登录限制了错误次数···加上Cookie大批账号被封需要从Cookie池中 剔除被封的账号··· 需要使用代理··· 无赖百度了大半天都是特么的啥玩意儿???结果换成了 Google手到擒来 分分 ...

  9. linux安装selenium+chrome+phantomjs

    1. 安装 selenium pip3 install selenium pip3 安装参考 2. 安装 ChromeDriver yum install chromedriver.x86_64 3. ...

随机推荐

  1. 旋转坐标+前缀和(zqu 25001)

    本题题意:在一个矩阵中,去随机一点,设定一个步数K,求出从这个点可以走到的范围的和,求最大值 思路:这个范围的和是一个菱形,我们把他旋转45°,然后成为一个正放的矩阵,求出二维前缀和 然后用前缀和的性 ...

  2. html标签的快捷

    https://www.jianshu.com/p/8f330e3571ee 一: <ul> <li><a href=""></a> ...

  3. 深入理解python(四)python基础知识之函数

    函数部分 函数部分大概想分成两个部分来讲,第一部分是关于对函数参数的介绍,第二部分是局部变量全局变量和内置变量也就是变量作用域的LGB原则 函数的参数 1.关于形参和实参的问题 第一点要注意的是pyt ...

  4. 【代码学习】PYTHON 私有化

    一.私有化 xx: 公有变量_x: 单前置下划线,私有化属性或方法,from somemodule import *禁止导入,类对象和子类可以访问__xx:双前置下划线,避免与子类中的属性命名冲突,无 ...

  5. Python学习(一)——开发语言和Python的安装

    开发语言: 高级语言: Python,Java,PHP,C#,Go,ruby,C++...都依赖于C→字节码 语言的对比: Python,Java:既能写网页又能写后台 Python:开发效率比Jav ...

  6. windowsCMD常用工具

    就目前的经验来看cmd中的命令可以在power shell中正常使用,反之则不行. 另外,据某些现象,推断某些cmd应用使用的字符集应该是不同的.net命令会在utf-8编码下出现中午乱码. 1.ne ...

  7. css 中 max-width 和 min-width 的区别

    max-width:规定元素本身最大宽度,即元素本身 (该div) 的宽度应小于等于其最大宽度值. min-width:规定元素本身最小宽度,即元素本身应大于等于其宽度值. 例:min-width:1 ...

  8. 【C语言】赋值运算中的类型转换

    #include<stdio.h> int main() { int a, b; double x = 1.54; char ch; a = x; x = ; b = 'a'; ch = ...

  9. 传奇脚本:#AutoRun NPC SEC 参数说明

    传奇脚本:#AutoRun NPC SEC 参数说明 SEC:按秒运行MIN:按分运行HOUR:按小时运行DAY:按天运行RunOnDay:按每天什么时候运行RUNONWEEK:按星期几及时间运行机器 ...

  10. 八、ORDER BY优化

    前言:在使用order by时,经常出现Using filesort,因此对于此类sql语句需尽力优化,使其尽量使用Using index. 0.准备 #1.创建test表. drop table i ...