python selenium打开多个页面

2024-11-08

python 使用selenium模块爬取同一个url下不同页的内容（浏览器模拟人工翻页）

页面翻页,下一页可能是一个新的url 也有可能是用js进行页面跳转,url不变,解决方法是实现浏览器模拟人工翻页目标:爬取同一个url下不同页的数据(上述第二种情况) url:http://www.gx211.com/collegemanage/search.aspx?id=1&xxcity=1 中国高校之窗,我要爬取北京市所有的学校列表,共有四页数据,四页都是同一个url. 部分页面如图: 找到“下一页”按钮的源码,确认是用js进行的跳转. 工具: selenium pyquery 火狐浏览

python selenium自动化点击页面链接测试

python selenium自动化点击页面链接测试需求:现在有一个网站的页面,我希望用python自动化的测试点击这个页面上所有的在本窗口跳转,并且是本站内的链接,前往到链接页面之后在通过后退返回到原始页面. 要完成这个需求就必须实现3点: 1. 找到原始页面上面所有的在本窗口内跳转的链接 2. 跳转到目标页面之后,“后退”到原始页面 3. 在原始页面上继续点击后续的链接首先,要找到页面上的所有链接并不困难.selenium为我们提供了find_elements_by_tag_name方法

Python+selenium打开或关闭浏览器

Python+selenium打开或关闭浏览器一.打开或关闭火狐浏览器 1. 初始化一个webdriver实例对象driver,然后打开和关闭firefox浏览器.要用selenium打开fiefox浏览器,首先下载一个driver插件geckodriver.exe 2. 获取路径:https://github.com/mozilla/geckodriver/releases,根据自己的电脑进行选择 3. 下载完成后并解压,解压之后将geckodriver.

Python selenium根据class定位页面元素

在日常的网页源码中,我们基于元素的id去定位是最万无一失的,id在单个页面中是不会重复的.但是实际工作中,很多前端开发人员并未给每个元素都编写id属性.通常一段html代码如下: <div class="sui-tips s-isindex-wrap sui-tips-exceedtipnews" style="display: none; width: auto;"><div class="sui-tips-arrow" st

用Python+selenium打开IE浏览器和Chrome浏览器的问题

这几天在学Python+selenium自动化,对三大浏览器Firefox,Chrome和IE都做了尝试,也都分别下载了对应的webdriver,如:geckodriver.chromedriver.IEDriverServer,并且把它们都放到python.exe的同级目录下,如下图: IEDriver: http://selenium-release.storage.googleapis.com/index.html https://blog.csdn.net/jichuang123/art

Python+selenium打开网页

东西都安装好了,是不是都迫不及待的想要运行一个程序呢? 不过不幸的是,在正式编程打开网页之前,我们还需要做一件事:下载驱动. 据说,在很久之前的selenium1和2中,驱动是被内嵌在selenium里面的,然而,小编使用的selenium3,需要手动配置驱动.没关系,动手而已,who 怕who?! 小编接下来将以火狐浏览器驱动安装配置为例,进行简要的讲解. 1.下载驱动打开网址:https://github.com/mozilla/geckodriver/releases,选择一个版本的驱动

python+selenium：点击页面元素时报错：WebDriverException: Message: Element is not clickable at point (1372.5, 9.5). Other element would receive the click: <li style="display: list-item;" id="tuanbox"></li>

遇到一个非常郁闷的问题,终于解决了, 问题是这样的,NN网站的价格计划,每一个价格计划需要三连击才能全部点开,第一个房型的价格计划是可以正确三连击打开的,可是第二个房弄就不行了,报错说不是可点击的元素,具体错误如下:WebDriverException: Message: Element is not clickable at point (1372.5, 9.5). Other element would receive the click: <li style="display:

python+selenium打开浏览器报错问题

报关键字,升级selenium版本若打开IE浏览器,停在IE界面,无法跳转对应的地址,设置一下IE的页面缩放,设置为100%

python+selenium打开浏览器

Firefox(高版本要安装换火狐驱动,47版本以下可不安装) GoogleChrome(需要安装浏览器的驱动插件,驱动到selenium官网下载,目前该浏览器的驱动只有32位的,所以Google安装最好安装32位版本浏览器) IE(需要安装浏览器的驱动插件,若IE是32位驱动也要32位的若IE是64位的则驱动也要64位的) 驱动均到selenium官网上下载,下载后把驱动包复制到python根目录和pythonw.exe的目录下

python selenium 滚动条处理、页面拖动

selenium中没有直接控制滚动条的方法,可以使用方法:execute_script(),可以直接执行js的脚本. 一.竖向滚动条控制,三种方法总有一款适合你. 1.滚动条拉到最底: js="var q=document.documentElement.scrollTop=10000" driver.execute_script(js) 2.滚动条拉到最底: js="var q=document.getElementById('id').scrollTop=10000&qu

Python + Selenium 练习篇 - 获取页面所有邮箱

代码如下: # coding=utf-8import re #python中利用正则,需要导入re模块from selenium import webdriverdriver = webdriver.Chrome()driver.maximize_window()url = ("http://home.baidu.com/contact.html")driver.get(url)doc = driver.page_source #获得页面源代码emails = re.find

python selenium打开新窗口，多窗口切换

# coding=utf-8 from selenium import webdriver browser=webdriver.Firefox() browser.maximize_window() # 窗口最大化 browser.get('https://www.baidu.com') # 在当前浏览器中访问百度 # 新开一个窗口,通过执行js来新开一个窗口 js='window.open("https://www.sogou.com");' browser.execute_scri

Python+selenium 模拟wap端页面操作

from selenium.webdriver.chrome.options import OptionsmobileEmulation = {'deviceName': 'iPhone X'}options = webdriver.ChromeOptions()options.add_experimental_option('mobileEmulation', mobileEmulation)driver = webdriver.Chrome(chrome_options=options)

python爬虫--打开爬取页面

def requests_view(response): import webbrowser requests_url = response.url base_url = '<head><base href="%s">' %(requests_url) base_url = base_url.encode('utf-8') content = response.content.replace(b"<head>",base_url)

解决python无法打开谷歌浏览器问题

python+selenium 打开浏览器网页时可能会出现两种情况, 一.python 初次打开浏览器未进行安装浏览器控制插件, 二.python 能打开浏览器的情况下,突然有一天发现无法打开并报错新旧版本不一致: 遇到这两种bug 可以有两种方法进行解决,具体如何解决下面进行一一道来: 初次打开浏览器的话是因为未安装插件,偶然打不开是因为浏览器版本升级导致的,下面以谷歌为例讲一个通用的解决方法: 一.打开浏览器,在地址栏输入chrome://version/便可以查看到谷歌当前的版本号(或则点

Python+Selenium爬取动态加载页面（2）

注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所以也不会对服务器造成更大负荷.本文的代码见Selenium获取动态页面数据2.ipynb或Selenium获取动态页面数据2.py.同样在开始前需要准备环境,具体环境准备参考上一篇. 1.数据获取目标全国水雨情网的数据同样是动态加载出来的,在浏览中打开网页后http://xxfb.hydroinfo.gov

Python+Selenium爬取动态加载页面（1）

注: 最近有一小任务,需要收集水质和水雨信息,找了两个网站:国家地表水水质自动监测实时数据发布系统和全国水雨情网.由于这两个网站的数据都是动态加载出来的,所以我用了Selenium来完成我的数据获取.数据的获取过程跟人手动获取过程类似,所以也不会对服务器造成更大负荷.这是我写的第1个爬虫,初次接触,还请各位多多指教.本文的代码见Selenium获取动态页面数据1.ipynb或Selenium获取动态页面数据1.py. 1.准备环境工欲善其事,必先装好环境,耐心地把下面的环境装好. 建议安装Py

使用python+selenium控制手工已打开的浏览器

我们可以利用Chrome DevTools协议.它允许客户检查和调试Chrome浏览器. 打开cmd,在命令行中输入命令: chrome.exe --remote-debugging-port=9222 --user-data-dir="C:\selenum\AutomationProfile" 对于-remote-debugging-port值,可以指定任何打开的端口. 对于-user-data-dir标记,指定创建新Chrome配置文件的目录.它是为了确保在单独的配置文件中启动ch

Python+Selenium自动化-定位页面元素的八种方法

Python+Selenium自动化-定位页面元素的八种方法本篇文字主要学习selenium定位页面元素的集中方法,以百度首页为例子. 0.元素定位方法主要有: id定位:find_element_by_id(' ') name定位:find_element_by_name(' ') class定位:find_element_by_class_name(' ') tag定位:find_element_by_tag_name(' ') link定位:find_element_by_link_

利用 Python + Selenium 实现对页面的指定元素截图(可截长图元素)

对WebElement截图 WebDriver.Chrome自带的方法只能对当前窗口截屏,且不能指定特定元素.若是需要截取特定元素或是窗口超过了一屏,就只能另辟蹊径了. WebDriver.PhantomJS自带的方法支持对整个网页截屏. 下面提供几种思路. 方式一针对WebDriver.Chrome 通过WebDriver的js脚本注入功能,曲线救国. 注入第三方html转canvas的js库(见下方推荐) 获取元素html源码将html转换为canvas 下载canvas 优点: 截取长

Python+Selenium基础篇-打开和关闭火狐浏览器

本节介绍如何初始化一个webdriver实例对象driver,然后打开和关闭firefox浏览器.要用selenium打开fiefox浏览器.首先需要去下载一个driver插件geckodriver.exe, 下载地址https://github.com/mozilla/geckodriver/releases,下载好这个exe文件后,把这个文件放到你的python安装目录下,例如我的路径为:D:\Program Files (x86)\Python36\geckdriver.exe .

python selenium打开多个页面

热门专题