Centeos7搭建selenium+Chrome浏览器
博主主要是用来更新爬虫Cookie
环境安装
python3 安装selenium
pip3 install selenium
安装chrome浏览器+chromedriver驱动
一.配置yum源
1.在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo
vi /etc/yum.repos.d/google-chrome.repo
2.写入如下代码:
[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
使用vi在命令行编辑:(详细参考https://blog.csdn.net/u013142781/article/details/50735470)
按下a键使用insert功能来添加修改文件
修改完成后按下ESC键进入末行模式 然后输入 :q保存 :wq保存退出
二.安装google chrome浏览器
yum update #更新yum源
yum -y install google-chrome-stable #安装
Google官方源可能在中国无法使用,导致安装失败或者在国内无法更新,可以添加以下参数来安装:
yum -y install google-chrome-stable --nogpgcheck
三.添加软连接
注意:源文件删除后软连接无法使用 ls查看
which google-chrome-stable #寻找chrome路径
ln -s 路径 /bin/chrome #查询到的路径 添加软连接
四.下载chromedriver驱动
https://chromedriver.storage.googleapis.com/index.html?
下载对应版本的驱动(两个都下载最新的应该没问题),对应表参考:(版本不兼容会出现下面类似的报错)
ChromeDriver v2.43 (2018-10-16)----------Supports Chrome v69-71
ChromeDriver v2.42 (2018-09-13)----------Supports Chrome v68-70
ChromeDriver v2.41 (2018-07-27)----------Supports Chrome v67-69
ChromeDriver v2.40 (2018-06-07)----------Supports Chrome v66-68
ChromeDriver v2.39 (2018-05-30)----------Supports Chrome v66-68
ChromeDriver v2.38 (2018-04-17)----------Supports Chrome v65-67
ChromeDriver v2.37 (2018-03-16)----------Supports Chrome v64-66
ChromeDriver v2.36 (2018-03-02)----------Supports Chrome v63-65
ChromeDriver v2.35 (2018-01-10)----------Supports Chrome v62-64
Exception in thread "main" org.openqa.selenium.WebDriverException: unknown error: call function result missing 'value' (Session info: chrome=65.0.3325.31)
(Driver info: chromedriver=2.33.506120 (e3e53437346286c0bc2d2dc9aa4915ba81d9023f),platform=Windows NT 6.1.7601 SP1 x86)
(WARNING: The server did not provide any stacktrace information)
Command duration or timeout: 0 milliseconds
使用xftp复制下载好的文件到服务器执行如下代码:
chmod +x chromedriver #增加可执行权限 #移动文件到该路径
sudo mv -f chromedriver /usr/local/share/chromedriver
#添加软连接(链接存在会报错,直接跳过即可)
sudo ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver
sudo ln -s /usr/local/share/chromedriver /usr/bin/chromedriver
注意:
对于root用户不能运行chrome
编辑启动文件: vim /opt/google/chrome/google-chrome 将最后一行改写为: exec -a "$0" "$HERE/chrome" "$@" --no-sandbox $HOME
因为我这里用的是无界面显示,所以就不装Xvfb,pyvirtualdisplay了
到这里环境安装完毕
下面附上获取网站cookie的代码(模拟登陆什么的自己研究吧,我这里就给个获取cookie的示例)
#centeos 携程cookie更新 from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.options import Options
import pymysql options = webdriver.ChromeOptions()
options.add_argument('--headless')#无界面
driver = webdriver.Chrome(executable_path="chromedriver",chrome_options=options)
url = "https://www.ly.com/iflight/flight-book1.aspx?para=0*SHA*MLE*2019-10-10**YSCF*1*0*1&advanced=false&orgAirCode=false&desAirCode=false"
wait = WebDriverWait(driver,10)#10s等待响应
try: #发生错误结束浏览器,防止占用资源,导致服务器崩溃(也可以在程序开头添加os模块检测chrome进程,每次运行先杀死)
driver.get(url) message = driver.get_cookies() #获取当前页面的cookie
l = ""
for i in message:
name = i["name"] + '=' + i["value"] + ';'
l = l + name
print(l)
driver.quit()
except:
driver.quit()
添加linux定时任务定时更新cookie:
crontab -e #编辑定时任务
crontab -l #查看定时任务
#下面给出几个例子
#每天凌晨30分更新
30 0 * * * python3 /root/global_spider2/global_cn/all_global.py
#每3个小时更新
* */3 * * * python3 /root//国内外机票cookie更新/domestic_cookie.py
#每2个小时更新一次
* */2 * * * python3 /root/国内外机票cookie更新/china_ctrip.py
更多有关于定时任务的操作 https://www.cnblogs.com/zoulongbin/p/6187238.html
Centeos7搭建selenium+Chrome浏览器的更多相关文章
- Selenium Chrome浏览器的启动以及proxy设置
Selenium Chrome浏览器的启动以及proxy设置 虽然WebDriver对Firefox的支持最好,之前写的脚本也都在Firefox浏览器运行,但最近项目做了整合,发现新整合的功能不太 ...
- Selenium +Chrome浏览器如何模拟手机操作
Selenium +Chrome浏览器如何模拟手机操作 进入手机模式 打开谷歌浏览器,按F12,进入开发者模式,点击Toggle device toolbar,进入手机模式 设置Chrome的手机模式 ...
- Python3 + selenium + Chrome浏览器(webdriver.Chrome()报错)
Python3 + selenium + Chrome浏览器 Error: selenium.common.exceptions.WebDriverException: Message: 'chrom ...
- selenium+chrome浏览器驱动-爬取百度图片
百度图片网页中中,当页面滚动到底部,页面会加载新的内容. 我们通过selenium和谷歌浏览器驱动,执行js,是浏览器不断加载页面,通过抓取页面的图片路径来下载图片. from selenium im ...
- selenium chrome浏览器与chrome.driver的对应关系
看到网上基本没有最新的chromedriver与chrome的对应关系表,便兴起整理了一份如下,希望对大家有用: chromedriver版本 支持的Chrome版本 v2.34 v61-63 v2. ...
- chrome浏览器爬虫WebDriverException解决采用python + selenium + chrome + headless模式
WebDriverException: Message: unknown error: Chrome failed to start: crashed 第一种:如果出现下面情况: chrome浏览器有 ...
- Java环境下 selenium webDriver + chrome浏览器搭建与调试
一.首先下载selenium webDriver jar包,下载地址如下: http://selenium-release.storage.googleapis.com/index.html 二.下载 ...
- Python3.5+selenium操作Chrome浏览器
1.安装selenium 命令提示符下输入: pip install selenium 2.下载chromedriver 点击下载 3.将解压后的chromedriver.exe放到chrome浏览器 ...
- (原创)如何使用selenium 驱动chrome浏览器并且打开方式为手机模式-转载请注明出处
随着移动设备使用率的不断增加,移动页面的测试也变得越来越重要. 对于互联网公司M站的测试,如果不通过专用的appium等移动端测试工具是否还有方便快捷的办法呢?答案当然是有啊. 使用chrome dr ...
随机推荐
- 关于Socket、TCP/IP、HTTP、FTP及网络编程
来源:陶邦仁 链接:http://blog.jobbole.com/99694/ 既然是网络传输,涉及几个系统之间的交互,那么首先要考虑的是如何准确的定位到网络上的一台或几台主机,再者如何进行可靠高效 ...
- 图论之拓扑排序 poj1128 Frame Stacking
题目网址 http://poj.org/problem?id=1128 思路:遍历找出每一种字母出现的最大和最小的横纵坐标,假如本应出现字母A的地方出现了字母B,那么A一定在字母B之前,这就相当于点A ...
- hdu 3065病毒侵袭持续中(ac自动机)
题目链接 http://acm.hdu.edu.cn/showproblem.php?pid=3065 中文题题意不解释了. 依旧稍微改一下ac自动机模版就能过了.还有一个坑点!是多组数据!!! #i ...
- CentSO7.6下部署Maridb Galera Cluster 实践记录(二)
早上三个节点的数据库都启动正常,下午上班就都不行了,哎,VM啊,中午就是让主机休息了一些而已么. 今天继续折腾中,第二天再来一遍:重启第一台服务器上的galera时竟然报错了:错误如下: It ...
- java中最容易犯错的特殊字符
问题背景 能准确说出下面的java 执行完毕后会打印出什么? System.out.println( String.class.getName()+ ".class"); Syst ...
- maven打包插件maven-assembly-plugin
1.POM文件添加jar包生成插件 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifac ...
- Elasticsearch在Java中的增删改查
public class ElasticAPI { private static RestClient restClient; static { restClient=RestClient.build ...
- windows系统下安装JDK8
学习JAVA,必须得安装一下JDK(java development kit java开发工具包),配置一下环境就可以学习JAVA了,下面是下载和安装JDK的教程: 一.下载 1.JDK下载地址: h ...
- guava multimap介绍
引用一篇别人的博客,理解理解 http://vipcowrie.iteye.com/blog/1517338
- Net基础篇_学习笔记_第九天_数组_三个练习
练习一: using System; using System.Collections.Generic; using System.Linq; using System.Text; using Sys ...