安装 pip install playwright -i https://mirrors.aliyun.com/pypi/simple/ 使用阿里源,下载速度快一点. python -m playwright install 安装chromium.frefox.webkit. 代码样例 打开百度页面: 同步API: from playwright import sync_playwright with sync_playwright() as p: # 可以选择chromium.firefox和

<注意>iframe框架 iframe也称作嵌入式框架,嵌入式框架和框架网页类似,它可以把一个网页的框架和内容嵌入在现有的网页中. 框架(framework)是一个基本概念上的结构,用于去解决或者处理复杂的问题.这个广泛的定义使用的十分流行,尤其在软件概念.框架也能用于机械结构. 一.弹出窗口定位:弹出的窗口采用二次定位的方法定位窗口中元素 #coding=utf-8 from selenium import webdriver import time driver = webdriver.C

相信玩过爬虫的朋友都知道selenium,一个自动化测试的神器工具.写个Python自动化脚本解放双手基本上是常规的操作了,爬虫爬不了的,就用自动化测试凑一凑. 虽然selenium有完备的文档,但也需要一定的学习成本,对于一个纯小白来讲还是有些门槛的. 同时最近被自动化折磨得非常痛苦,为了实现e2e测试,我们花大量的时间来编写e2e代码,同时此类代码也非常不稳定,经常挂掉,这一点来说是非常的不友好的.作为一个"懒人",我肯定不愿意花大量的时间在编写测试上,所以就在互联网上找寻一些可以

转自虫师 http://www.cnblogs.com/fnng/p/3565912.html 一,安装mysql 如果是windows 用户,mysql 的安装非常简单,直接下载安装文件,双击安装文件一步一步进行操作即可. Linux 下的安装可能会更加简单,除了下载安装包进行安装外,一般的linux 仓库中都会有mysql ,我们只需要通过一个命令就可以下载安装: Ubuntu\deepin >>sudo apt-get install mysql-server >>Sudo 

多线程和多进程是什么自行google补脑 对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一定要先排一下顺序. (好吧!我们不纠结在DOS时代是否有听音乐和看影的应用.^_^) from time import ctime,sleep def music(): for i in range(2): prin

P38--Python哲学 打开Python shell,输入import this,会看到下面的话: The Zen of Python, by Tim Peters   Beautiful is better than ugly.优美胜于丑陋(Python 以编写优美的代码为目标) Explicit is better than implicit.明了胜于晦涩(优美的代码应当是明了的,命名规范,风格相似) Simple is better than complex.简洁胜于复杂(优美的代码应

一.首先呢,选择一个编辑器,我们这里选择的是Sublime Text >Ctrl+B为运行当前脚本的快捷方式 二.编写代码 #coding==utf-8 from selenium import webdriver from time import sleep driver=webdriver.Chrome() driver.get("http://www.baidu.com") #driver.get("http://m.mail.10086.cn") pr

一.六种定位方式 1.id 2.name 3.class name 4.tag name:定位标签 5.link text:定位一个链接,如果是中文,需要在代码文最前面加一句I话|:#coding=utf-8,同时还需要在中文前面加u,将中文转换为unicode,解码为utf-8,即可识别中文的文字 6.partial link text:定位链接,同时通过中文中的部分中文找到该元素 7.xpath(最常用) 8.css selector(最常用) 二.火狐浏览器 1.下载firebug(可以在

1 Python标准数据库接口DB-API介绍 Python标准数据库接口为 Python DB-API,它为开发人员提供了数据库应用编程接口.Python DB-API支持很多种的数据库,你可以选择跟自己项目相关的数据库.Python DB-API支持的数据库如下所示: GadFly mSQL MySQL PostgreSQL Microsoft SQL Server 2000 Informix Interbase Oracle Sybase 不同的数据库你需要下载不同的DB API模块,例如

Selenium+python环境搭建见虫师的pdf文档,非常详尽 简易框架: 1.文件目录:

发展历程: <selenium_webdriver(python)第一版>   将本博客中的这个系列整理为pdf文档,免费. <selenium_webdriver(python)第二版>    加入的单元测试框架unittest,用其组织和运行测试用例, 5元. <selenium_webdriver(python)第三版>    整合和HTML测试报告的生成,初步形成测试架构的雏形, 8元. <selenium2 python 自动化测试实战>    

本节重点: l 键盘按键用法 l 键盘组合键用法 l send_keys() 输入中文运行报错问题 键盘按键键用法: #coding=utf-8 from selenium import webdriver from selenium.webdriver.common.keys import Keys #需要引入keys包 import os,time driver = webdriver.Firefox() driver.get("http://passport.kuaibo.com/logi

1  Python学习网址:http://www.runoob.com/python/python-multithreading.html

本文主要包括以下内容 线程池实现并发爬虫 回调方法实现异步爬虫 协程技术的介绍 一个基于协程的异步编程模型 协程实现异步爬虫 线程池.回调.协程 我们希望通过并发执行来加快爬虫抓取页面的速度.一般的实现方式有三种: 线程池方式:开一个线程池,每当爬虫发现一个新链接,就将链接放入任务队列中,线程池中的线程从任务队列获取一个链接,之后建立socket,完成抓取页面.解析.将新连接放入工作队列的步骤. 回调方式:程序会有一个主循环叫做事件循环,在事件循环中会不断获得事件,通过在事件上注册解除回调函数来

之前讲了多线程的一篇博客,感觉讲的意犹未尽,其实,多线程非常有意思.因为我们在使用电脑的过程中无时无刻都在多进程和多线程.我们可以接着之前的例子继续讲.请先看我的上一篇博客. python 多线程就这么简单 从上面例子中发现线程的创建是颇为麻烦的,每创建一个线程都需要创建一个tx(t1.t2....),如果创建的线程多时候这样极其不方便.下面对通过例子进行继续改进: player.py #coding=utf-8 from time import sleep, ctime import thre

由于有C#开发基础,感觉学习Python应该不难,主要是一些语法了,再加上现在互联网这么发达. 感觉还是要有思路,否则学什么也只能是什么. 话不多说,简单发下这几天的学习成果吧: 第一次写博客,大家不要见笑啊 简单的语法就不多说了,随便搜搜就可以得到.() 单元测试来了: 要做两个测试: # 用于判断质数 import math def isPrime(n): print ("验证数字"+str(n)+"是否质数开始") print ("开平方:"

在使用多线程之前,我们首页要理解什么是进程和线程. 什么是进程? 计算机程序只不过是磁盘中可执行的,二进制(或其它类型)的数据.它们只有在被读取到内存中,被操作系统调用的时候才开始它们的生命期.进程(有时被称为重量级进程)是程序的一次执行.每个进程都有自己的地址空间,内存,数据栈以及其它记录其运行轨迹的辅助数据.操作系统管理在其上运行的所有进程,并为这些进程公平地分配时间. 什么是线程? 线程(有时被称为轻量级进程)跟进程有些相似,不同的是,所有的线程运行在同一个进程中,共享相同的运行环境.我们

<python基础教程(第二版)> http://www.cnblogs.com/fnng/category/454439.html 分片(后面取的是前一位) eg: >>> numbers = [0,1,2,3,4,5,6,7,8,9] >>> numbers[7:-1] =================================== tuple函数的功能与list函数基本上一样:以一个序列作为参数并把它转换为元组. [] --> 列表 ()

最近有python开发的项目,也正打算要学习自动化与python语言.因此想通过学习python版本的webdriver来一同学习. 学习过程中参考资料有乙醇的博客:https://github.com/easonhan007/webdriver_guide/blob/master/README.md,虫师的博客:http://www.cnblogs.com/fnng/ 以及python的官方文档:http://docs.seleniumhq.org/docs/03_webdriver.jsp#

第一次接触python是因为一个项目需要做自动化测试,因为各种限制没有使用QTP,选择了开源的比较流行的selenium,但如果只是靠selenium进行录制脚本.修改脚本这个很多时候没办法满足需求,而且脚本在执行过程中报错是非常多的,经过了解后发现python比较强大,所以选择了selenium webdriver +python ,在整个过程中非常感谢虫师分享的经验让我收获很多,也很感谢我的同事泽浩同学,他在python 上对我帮助很多. 话说python是一比较简单的语言,但是他的功能却非

参考:http://www.cnblogs.com/fnng/p/3576154.html 本文参考虫师的博客“python实现简单爬虫功能”,整理分析后抓取其他站点的图片并下载保存在本地. 抓取图片等网址:http://www.cnblogs.com/fnng/p/3576154.html 用到的正则表达式:reg = r'src="(.+?\.png)"' 源代码: #! /usr/bin/python # coding:utf-8 #导入urllib与re模块 import ur