import unittest from selenium import webdriver from bs4 import BeautifulSoup as bs class douyu(unittest.TestCase): #初始化方法 def setUp(self): self.option = webdriver.ChromeOptions() self.option.add_argument("test-type") self.driver = webdriver.Chro…

本人刚才开始学习爬虫,从网上查询资料,写了一个利用Selenium+Phantomjs动态获取网站数据信息的例子,当然首先要安装Selenium+Phantomjs,具体的看 http://www.cnblogs.com/shaosks/p/6526817.html  Selenium下载: https://pypi.python.org/pypi/selenium/ phantomjs使用参考:http://javascript.ruanyifeng.com/tool/phantomjs.ht…

获取验证信息 实际结果与预期结果进行比较称之为断言 通过获取title.URL.text等信息进行断言 text方法用于获取标签对之间的文本信息 from selenium import webdriver import time driver=webdriver.Firefox() driver.maximize_window() driver.get("https://www.baidu.com") driver.find_element_by_id('kw').send_keys…

继承 类的继承机制使得子类可以继承父类中定义的方法,拥有父类的财产,比如有一个Animal的类作为父类,它有一个eat方法: class Animal(object): def __init__(self): print("Animal 构造函数调用!") def eat(self): print("Animal is eatting!") 写两个子类,Cat和Dog类,继承自Animal类,声明方法是在定义子类的时候在子类的括号内写上父类Animal: class…

由于有相关需求,最近两天开始学了一下scrapy 这次我们就以爬取斗鱼直播间为例,我们准备爬取斗鱼所有的在线直播信息, 包括1.主播昵称 2.直播领域 3.所在页面数 4.直播观看人数 5.直播间url 开始准备爬取的页面如图 url为:https://www.douyu.com/directory/all 但实际经过查看发现翻页是由ajax响应的,实际的ajax页面为: https://www.douyu.com/directory/all?page=1&isAjax=1 其中page即为页面…

一.概述 使用python3写了一个获取某网站文件的小脚本,使用了requests模块的get方法得到内容,然后通过文件读写的方式保存到硬盘同时需要实现下载进度的显示 二.代码实现 安装模块 pip3 install requests tqdm test.py 完整代码如下: # !/usr/bin/python3 # -*- coding: utf-8 -*- import os from urllib.request import urlopen import requests from t…

前言 最近有需求要登录网站查询一些信息,然后再修改一些信息,而且这种工作重复性很强,想着通过自动化的方式来做这个东西. 技术选择 自动化的方式开始考虑的是用python的爬虫来做,但是登录的网站有好多防爬虫机制,js又是压缩的,登陆的时候post参数就有40多个,后来想过phantomjs但是还是有限制,后来发现了selenium这个自动化测试的工作,尝试了一些感觉用起来相对比较简单,而且python-selenium的官方文档也还行. 仔细研究了发现,其实selenium这种方式是最简单的也是…

"""通过接口测试的技术获取某招聘网平台的资料"""url = "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false"def getHeaders(): headers = { "Content-Type": "application/json;charset=UTF-8", "User-…

Python的sys模块提供访问解释器使用或维护的变量,和与解释器进行交互的函数.通俗来讲,sys模块负责程序与python解释器的交互,提供了一系列的函数和变量,用于操控python运行时的环境. (1)sys.argv          获取当前正在执行的命令行参数的参数列表(list) argv[0]表示代码本身的文件路径,最多只能传入两个命令行参数 (2) sys.modules.keys()   返回所有已经导入的模块列表 >>> import os,sys >>&…

老李分享:开发python的unittest结果输出样式   Python的unittest结果命令行输出,格式比较乱.为了提高格式输出的可读性,实现可以不同的颜色标识.所以准备扩展Python的unittest模块. 首先,unittest默认命令行输出结果如下.(两个测试案例,一个通过,一个不通过). import unitest class FooTest(unittest.TestCase): def setUp(self): self.a = 1 def testPass(self):…