一. selenium概述 1.1 定义 Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接调用浏览器,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏等.我们可以使用selenium很容易完成爬虫的编写. 1.2 作用与工作原理 利用浏览器原生的API,封装成一套更加面向对象的Selenium WebDriver API,直接操作浏览器页面里的元素,甚至操作

一.介绍: Selenium 是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样. 1.Selenium Webdriver(也就是Selenium2,Selenium3)和Selenium RC(Selenium 1)一样提供了web自动化的各种语言调用接口库.相比Selenium RC,Selenium WebDriver的编程接口更加直观易懂,也更加简练. 但是和Selenium RC不同的是,Selenium Webdriver是通过各种

目录 前言 requests出现中文乱码 使用代理 BeautifulSoup的使用 Selenium的使用 基础使用 Selenium获取网页动态数据赋值给BeautifulSoup Selenium加载时间过长 Selenium使用Chrome,隐藏Chrome 多进程下无法退出exe scrapy 爬虫小Demo 爬取知乎发现页面的今日最热 爬取某张图片 爬取视频 网页数量少的动态网站的爬虫 网站介绍 解决办法 我的智障做法 正确的做法 python爬虫代码 爬虫爬本地HTML 前言 本篇

主题:java 爬虫--爬取'阿里指数'网站的每个分类的top50 相关数据: 网站网址为:http://index.1688.com/alizs/top.htm?curType=offer&userType=purchaser&cat=7 需求:爬取数码电脑下的每个细分分类下的所有top50数据: 工具:使用selenium 爬取指定谷歌浏览器的内容:可进行可视化操作: import java.io.BufferedReader; import java.io.File; import

前面一篇文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为前一天的,同时将爬取的内容保存到数据库中:这篇文章主要讲述如何将python文件压缩成exe可执行文件,供后面的操作. 这系列文章主要是最近研究了数据库的定时计划备份,联系爬虫简单做的一个实验,但方法可以,尤其在Windows xp年代.整个系列主要分为五部分,共五篇文章: 1.Python爬取招聘信息,并且存储到MySQL数据库中: 2.调用pyinstaller包将py文件打包成exe可执行文件: 3.设置Windows系

本文引读:一二为python环境安装:三为selenium安装同时介绍了pip:四为PyCharm安装:五为验证SE可以正常使用 一.下载python安装包 我这里安装的是python3.6.5,官网可直接下载(链接为64位下载地址且Windows版,Mac或Linux版请自行查找) 二.安装python环境 1.双击已下载的python安装包 2.勾选添加进环境变量和自定义安装目录 3.注意看下勾选的选项,点击下一步 4.勾选上为本机所有用户安装,默认会转到自定义的安装目录,如下图 5.点击安

今天看到了VisualStudio中现在已经自带了Web单元测试项目模板,便试了一下,发现还比较好用,它默认的是Selenium实现的,测试组在用Selenium+Python来写过自动化测试,原来它也是支持C#的,Python用起来还是没有C#顺手,看来以后也可以自己用c#来写写简单的Web自动化测试了. C#的Selenium库默认支持Chrome,IE,Firefox,Edge等主流浏览器,而我最近用的较多的是微软Chromium内核的Edge,可能由于它还没有正式发布的原因,现在还没有没

昨天在群里聊天时,有同学说 Appium 官方支持自动下载兼容的浏览器驱动,想来Selenium也有类似的方法,于是在网上搜索一番.参考了Medium上一篇文章的方法,对步骤进行改进,增加了对多浏览器的支持. 首先,先想好大致上的几个步骤 识别本地浏览器版本 下载对应浏览器版本的驱动 解压到对应文件夹 记录到mapping.json文件中 接下来就是撸起袖子开干 定义好目录结构 |- config ​ |- mapping.json: 浏览器驱动配置信息 |- driver: 存放浏览器驱动 |

写在前面 随着win10系统的普及,使得Edge浏览器得到广泛使用.从自动化角度看,自然微软也一直不断提供着支持服务,系统版本更新,对应的Edge浏览器版本也在更新,当然对应的驱动版本也会发生变化. 早在去年使用Edge浏览器做自动化测试,是按照操作系统的版本去下载Edge浏览器的驱动.由于最近对win10系统进行了升级,导致之前使用Edge浏览器的编写的脚本,不能正常启动浏览器了. 下面针对更新的系统,进行启动Edge浏览器操作. 如何启动最新版本的Edge浏览器 1.查看自己的操作系统版本

Chrome \ Firefox 下载浏览器版本对应的驱动文件后,放在D:\Program Files (x86)\Python\Python38路径下,Python使用时用 driver = webdriver.Chrome()  即可 火狐  driver = webdriver.Firefox() Edge  下载驱动后要在浏览器安装路径下放一个:C:\Program Files (x86)\Microsoft\Edge\Application 又要在Python安装路径下放一个D:\Pr

一.环境准备 1.本地引入jar 从http://selenium-release.storage.googleapis.com/index.html?path=3.9/,下载selenium-server-standalone-3.9.1.jar到C盘根目录下. 打开DOS命令窗口,命令行进入到Maven安装目录下,用命令打包,输入并执行命令如下: mvn install:install-file -Dfile=C:\selenium-server-standalone-3.9.1.jar -

1.     安装 https://www.python.org/downloads/windows/  到官网下载安装程序 Windows x86        32位操作系统 Windows x86-64       64位操作系统   web-based installer     基于网络的安装程序 executable installer     可执行的安装程序 embeddable zip file     python的压缩包 上面3个任意下载一个就行了,都是一样的东西.我是下载

列表,元组 #list l1 = [1, 2, 3, '高弟弟'] #定义一个列表 #增 l1.append("DSB") #最后增加"DSB"的元素 #删 l1.remove("高弟弟") #删除"高弟弟"元素 l1.pop(3) #删除列表第4个元素 del l1[-1] #删除列表最后一个元素 #改 l1[3] = 'DSB' #修改第4个元素为'DSB' #查 l2 = [2, 5, 4, 8, 6, 1, 4, 5,

上一篇文章实现了爬取任意两个用户共同想读的图书的python程序.现在此程序打包为exe程序. 使用pyinstaller实现此功能.在pyinstaller官网下载http://www.pyinstaller.org/downloads.html, 我的python版本是3.6,所以下载上图中红框中的不稳定版本. 下载后,将压缩文件解压缩在Python安装目录下 目录中含有setup.py,同时在cmd中进入该目录: 输入命令python setup.py install 看到“Finishe

环境:py3.6 核心库:selenium(考虑到通用性,js加载的网页).pyinstaller 颜色显示:colors.py colors.py  用于在命令行输出文字时,带有颜色,可有可无. # -*- coding:utf-8 -*-# # filename: prt_cmd_color.py import ctypes, sys STD_INPUT_HANDLE = -10 STD_OUTPUT_HANDLE = -11 STD_ERROR_HANDLE = -12 # 字体颜色定义

#!/usr/bin/env python3 # -*- coding : utf-8 -*- '''1.从https://my.oschina.net/joanfen/blog/140364获取要播报城市code2.采集中国天气网:http://www.weather.com.cn/weather/101120201.shtml3.将采集到的文字百度语音合成为mp3文件,http://yuyin.baidu.com ''' import time from bs4 import Beautif

一.前言 在上一篇博文中,我们的爬虫面临着一个问题,在爬取Unsplash网站的时候,由于网站是下拉刷新,并没有分页.所以不能够通过页码获取页面的url来分别发送网络请求.我也尝试了其他方式,比如下拉的时候监控http请求,看看请求是否有规律可以模拟.后来发现请求并没有规律,也就是不能够模拟http请求来获取新的数据(也可能是我水平有限,哪位童鞋找到了规律一定要告诉我哦).那么就只有模拟下拉操作了. 想要模拟下拉操作,我们需要用到两个工具,一个是PhatomJs,一个是Selenium. Pha

1.通过工具创建数据库scrapy

前面我们简述了使用Python自带的urllib和urllib2库完成的一下爬取网页数据的操作,但其实能完成的功能都很简单,假如要进行复制的数据匹配和高效的操作,可以引入第三方的框架,例如Scrapy便是比较常用的爬虫框架. 一.Scrapy的安装: 1.最简单的安装方式:         根据官方主页的指导:http://www.scrapy.org/ 使用pip来安装python相关插件其实都很简单,当然用这个办法安装Scrapy也是最为简单的安装方式,仅需在命令行窗口输入: pip ins

0. 本爬虫目标 模拟登陆URP教务系统 查询 本学期/历年 成绩 计算历年成绩的绩点 下面是一点废「私」话「货」: 一般情况,查询成绩大家会通过如下方式: 登陆信息门户 -> 转到教学空间 -> 选择教务管理 -> 选择综合查询 最终可以看到你的成绩 吐槽一下,查询成绩必须使用IE内核的浏览器,在IE11中还需要设置兼容性,非IE内核的浏览器是无法查看成绩的. 好.我们查看一下源代码,或者凭经验可以发现,,这个「成绩」是嵌套在一个frame框架中的. 啊,,好蛋疼啊..... 啊,,好