Python对Selenium调用浏览器进行封装包括启用无头浏览器,及对应的浏览器配置文件
"""
--base.py
基类封装
Selenium 封装基类
封装查找元素以及集成日志输出
"""
from HTMLReport import logger
from selenium import webdriver
from selenium.webdriver.remote.webelement import WebElement
class Base(object):
def __init__(self, driver: webdriver.Remote = None):
self.driver = driver
self.logger = logger()
def find_element(self, locator: tuple) -> WebElement:
"""查找单个元素
:param locator: 定位器(by=By.ID, value=None)
:return: WebElement
"""
self.logger.info(f"查找元素:{locator}")
try:
element = self.driver.find_element(*locator)
except Exception:
self.logger.info("查找元素失败")
raise
else:
self.logger.info("查找元素成功")
return element
def find_elements(self, locator: tuple):
"""查找元素集合
:param locator: 定位器(by=By.ID, value=None)
:return: 元素对象集合
:rtype: list of WebElement
"""
self.logger.info(f"查找元素集合:{locator}")
elements = self.driver.find_elements(*locator)
self.logger.info(f"查找到{len(elements)}个元素")
return elements
"""
获取浏览器
打开本地浏览器
打开远程浏览器
关闭浏览器
打开网址
最大化
最小化
标题
url
刷新
Python对Selenium封装浏览器调用
------browser.py文件
"""
from selenium import webdriver
from Common.tools.rw_ini import read_config
from .base import Base
class Browser(Base):
def get_web_driver(self) -> webdriver.Remote:
"""获取浏览器实例
:return: 浏览器实例
"""
rc = read_config("browser.ini")
local_browser = rc.getboolean("local", "local_browser", fallback=True)
wait_time = rc.getint("local", "wait_time", fallback=10)
browser_name = rc.get("browser", "name", fallback="chrome")
window_width = rc.get("browser", "window_width", fallback=None)
window_height = rc.get("browser", "window_height", fallback=None)
command_executor = rc.get("grid", "command_executor", fallback="http://127.0.0.1:4444/wd/hub")
headless = rc.getboolean("grid", "headless", fallback=False)
proxy = rc.get("grid", "proxy", fallback=None)
if local_browser:
# 打开本地浏览器
driver = self._get_local_web_driver(browser_name)
else:
# 打开远程浏览器
driver = self._get_remote_web_driver(browser_name, command_executor, headless, proxy)
self.logger.info(f"打开浏览器:{driver.name}")
self.logger.info(f"设置隐式等待:{wait_time}s")
driver.implicitly_wait(wait_time)
if window_width is None or window_width == "" or window_height is None or window_height == "":
self.logger.info("最大化浏览器")
driver.maximize_window()
else:
driver.set_window_size(window_width, window_height)
return driver
def _get_local_web_driver(self, browser_name: str) -> webdriver.Remote:
"""获取本地浏览器实例
:param browser_name: 浏览器类型
:return: 浏览器实例
"""
if browser_name.upper() == "CHROME":
driver = webdriver.Chrome()
elif browser_name.upper() == "FIREFOX":
driver = webdriver.Firefox()
elif browser_name.upper() == "IE":
driver = webdriver.Ie()
else:
self.logger.error(f"浏览器类型错误:{browser_name}")
raise ValueError(f"浏览器类型错误:{browser_name}")
return driver
def _get_remote_web_driver(self, browser_name, command_executor, headless, proxy) -> webdriver.Remote:
"""获取远程浏览器实例
:param browser_name: 浏览器类型
:param command_executor: HUB 地址
:param headless: 使用无头浏览器
:param proxy: 代理
:return: 浏览器实例
"""
if browser_name.upper() == "CHROME":
options = webdriver.ChromeOptions()
elif browser_name.upper() == "FIREFOX":
options = webdriver.FirefoxOptions()
elif browser_name.upper() == "IE":
options = webdriver.IeOptions()
else:
self.logger.error(f"浏览器类型错误:{browser_name}")
raise ValueError(f"浏览器类型错误:{browser_name}")
if proxy is not None:
options.add_argument(f"--proxy-server={proxy}")
# 无头浏览器
options.headless = headless
driver = webdriver.Remote(
command_executor=command_executor,
options=options
)
return driver
def quit(self):
"""退出浏览器"""
self.logger.info(f"关闭浏览器:{self.driver.name}")
self.driver.quit()
def get(self, url: str, new: bool = False):
"""打开 url
:param url: 网址
:param new: 是否新窗口打开
:return: None
"""
if new:
self.logger.info(f"新窗口打开 url:{url}")
self.driver.execute_script(f"window.open('{url}')")
else:
self.logger.info(f"当前窗口打开 url:{url}")
self.driver.get(url)
def get_session_id(self):
"""返回当前浏览器 session id"""
session_id = self.driver.session_id
self.logger.info(f"当前浏览器 session_id:{session_id}")
return session_id
def get_source(self) -> str:
"""获取当前页面HTML源代码"""
page_source = self.driver.page_source
self.logger.info(f"当前页面源代码:\n{page_source}")
return page_source
def get_title(self):
"""返回当前页面的标题"""
title = self.driver.title
self.logger.info(f"当前页面的标题:{title}")
return title
def get_current_url(self):
"""返回当前页面的URL"""
current_url = self.driver.current_url
self.logger.info(f"当前页面URL:{current_url}")
return current_url
def reload_page(self):
"""模拟用户重新加载页面"""
self.logger.info("刷新页面")
self.driver.refresh()
浏览器配置文件:
------browser.ini文件
[local]
local_browser = False
wait_time = 10
[browser]
name = chrome
;name = firefox
;name = ie
window_width =
window_height =
[grid]
command_executor = http://127.0.0.1:4444/wd/hub
headless = False
proxy =
rw_ini.py读取配置文件请查看下面链接:
https://www.cnblogs.com/CesareZhang/p/10738541.html
Python对Selenium调用浏览器进行封装包括启用无头浏览器,及对应的浏览器配置文件的更多相关文章
- 【Python】selenium调用IE11浏览器,报错“找不到元素”NoSuchWindowException: Message:Unable to find element on closed window
当编写自动化脚本,定位浏览器元素时,报如下错误: 代码: >>> # coding=utf-8 >>> from selenium import webdriver ...
- python之selenium调用js(execute_script)
转载: http://www.cnblogs.com/fnng/p/3230768.html 本节重点: 调用js方法 execute_script(script, *args) 在当前窗口/框架 同 ...
- python 使用selenium模块爬取同一个url下不同页的内容(浏览器模拟人工翻页)
页面翻页,下一页可能是一个新的url 也有可能是用js进行页面跳转,url不变,解决方法是实现浏览器模拟人工翻页 目标:爬取同一个url下不同页的数据(上述第二种情况) url:http://www. ...
- 安装python的selenium库和驱动
对于使用selenium来进行python爬虫操作可以简化好多操作,它实际上的运行就是通过打开一个浏览器来一步一步的按照你的代码来执行 如果安装过python编译器后应该pip工具也是有的,验证pyt ...
- js判断浏览器是否安装或启用了flash的方法总结
目录 # js判断浏览器是否安装或启用了flash的方法 # chrome浏览器启用flash插件的方法 # 参考 # js判断浏览器是否安装或启用了flash的方法 在传统浏览器,可以使用windo ...
- Python+Selenium中级篇之-封装一个自己的类-浏览器引擎类
前一篇文章我们知道了,如何去封装几个简单的Selenium方法到我们自定义的类,这次我们编写一个类,叫浏览器引擎类,通过更改一个字符串的值,利用if语句去判断和控制启动那个浏览器.这里我们暂时,支持三 ...
- 【Python】 Selenium 模拟浏览器 寻路
selenium 最开始我碰到SE,是上学期期末,我们那个商务小组做田野调查时发的问卷的事情.当时在问卷星上发了个问卷,但是当时我对另外几个组员的做法颇有微词,又恰好开始学一些软件知识了,就想恶作剧( ...
- python selenium基于显示等待封装的一些常用方法
import os import time from PIL import Image from selenium import webdriver from appium import webdri ...
- Python 配置 selenium 模拟浏览器环境,带下载链接
使用浏览器渲染引擎.直接用浏览器在显示网页时解析HTML,应用CSS样式并执行JavaScript的语句. 这方法在爬虫过程中会打开一个浏览器,加载该网页,自动操作浏览器浏览各个网页,顺便把数据抓下来 ...
随机推荐
- 针对系统中磁盘IO负载过高的指导性操作
针对系统中磁盘IO负载过高的指导性操作 主要命令:echo deadline > /sys/block/sda/queue/scheduler 注:以下的内容仅是提供参考,如果磁盘IO确实比较大 ...
- 2018亚太CDN峰会开幕, 阿里云王海华解读云+端+AI的短视频最佳实践
4月11-12日,2018亚太CDN峰会在北京隆重召开,在11日下午的短视频论坛中,阿里云高级技术专家王海华进行了<短视频最佳实践:云+端+AI>的主题演讲,分享了短视频的生命周期关键点和 ...
- HDFS核心设计
一.HDFS核心设计 数据块(block) 数据块是HDFS上最基本的存储单位 HDFS块默认大小为128M 对块进行抽象会带来的好处 一个小文件的大小可以大于网络中任意一个磁盘的容量 ...
- 关于Excel中的行列转换
1. 先选择想要的数据进行复制 然后选择你要粘贴的位置点击 “选择性粘贴” 点击 “转置” 完成
- UML学生成绩管理系统需求分析
学生成绩管理系统工作室高校教育工作的一项重要内容.教务管理工作是指学校管理人员按照一定的教育方针,运用先进的管理手段,组织.协调.指挥并指导各用户活动,一边高效率.高质量地完成各项教学任务,完成国家所 ...
- Android常见UI组件之ListView(一)
使用ListView显示一个长的项列表 1.新建一个名为"BasicView5"的Android项目. 2.改动BasicView5.java文件.改动后的程序例如以下: pack ...
- Netty入门(二)时间服务器及客户端
在这个例子中,我在服务器和客户端连接被创立时发送一个消息,然后在客户端解析收到的消息并输出.并且,在这个项目中我使用 POJO 代替 ByteBuf 来作为传输对象. 一.服务器实现 1. 首先我们 ...
- BZOJ3569:DZY Loves Chinese II(线性基)
Description 神校XJ之学霸兮,Dzy皇考曰JC. 摄提贞于孟陬兮,惟庚寅Dzy以降. 纷Dzy既有此内美兮,又重之以修能. 遂降临于OI界,欲以神力而凌♂辱众生. 今Dzy有一魞歄图, ...
- php 去除数组中指定的值
方法1: //去除值为"Cat"的元素 $a=array("a"=>"Dog","b"=>"Cat ...
- 随手练——HDU 1078 FatMouse and Cheese(记忆化搜索)
http://acm.hdu.edu.cn/showproblem.php?pid=1078 题意: 一张n*n的格子表格,每个格子里有个数,每次能够水平或竖直走k个格子,允许上下左右走,每次走的格子 ...