pyppeteer的使用

安装

  • 属于第三方模块进行安装. pip install pyppeteer

  • 在Linux中,如果权限不够则加上. sudo pip install pyppeteer

使用

使用今日头条作为demo

from pyppeteer import launch
import asyncio

async def main(timeout=30):# 设定时间超时, 默认是30秒
   # async 用来申明一个函数是一个异步函数
   browser = await launch(headless=True, args=["--no-sandbox"])
   # 参数说明:
   # headless 参数设为False,变为有头模式
   # Pyppeteer 支持字典和关键字传递参数
   page = await browser.newPage()
   
   # 设置页面大小
   await page.setViewport(viewport={"width":1280, "height":800})
   
   # 是否启用JS, enabled设为False,则无渲染效果
   await page.setJavaScriptEnabled(enabled=True)
   
   # 超时时间设置
   res = await page.goto(url=url, options={"timeout":1000})
   # 响应头
   resp_headers = res.headers
   # 响应状态
   resp_status = res.status
   
   # 等待
   await asynico.sleep(2)
   # 第二种方法
   while not await page.querySelector(".t"):
       pass
   
   # 滚动到页面底部
   await page.evaluate('windows.scrollBy(0,document.body.scrollHeight)')
   
   # 截图报存图片
   await page.screenshot({"path": "toutiao.png"})
   
   # 获取cookie
   print(await page.cookies())  
   
   # 打印页面文本信息
   print(await page.content())
   
   # 在页面上执行js脚本
   dimensions = await page.evaluate(pageFunction='''() => {
          return {
              width: document.documentElement.clientWidth, // 页面宽度
              height: document.documentElement.clientHeight, // 页面高度
              deviceScaleFactor: window.devicePixelRatio, // 像素比 1.0000000149011612
          }
      }''', force_expr=False)  # force_expr=False 执行的是函数
   print(dimensions)
   # 只获取文本 执行 js 脚本 force_expr 为 True 则执行的是表达式
   content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
   print(content)

   # 打印当前页标题
   print(await page.title())\
   
   # 抓取其他信息
   """
  1.选择器, Page.querySelector()
  2.选择器, Page.querySelectorAll()
  3.xpath表达式, Page.xpath()
  """
   # 使用querySelector()
   element = await page.querySelector(".feed-infinite-wrapper > ul>li") # 只抓取一个
   print(element)
   
   # 获取所有的文本信息, 执行js代码
   content = await page.querySelectorAll('(element) => element.textContent', element)
   print(content)
   
   # 使用xpath
   # elements = await page.xpath('//div[@class="title-box"]/a')
   # 使用选择器全选
   elements = await page.querySelectorAll(".title-box a")
   for item in elements:
       print(await item.getProperty("textContent"))
       # 获取文本信息
       title = await (await item.getProperty("textContent")).jsonValue()
       # 获取连接
       link = await (await item.getProperty("href")).jsonValue()
       print(title)  
       print(link)
   # 关闭浏览器
   await browser.close()  
  • 如何启动程序

  • 1.创建一个event_loop对象

       loop = asyncio.get_event_loop()
  • 2.启动运行

       loop.run_until_complete(main())

模拟键盘输入

# 模拟输入 账号密码  {'delay': rand_int()} 为输入时间
   await page.type('#TPL_username_1', "sadfasdfasdf")
   await page.type('#TPL_password_1', "123456789", )
   
   await page.waitFor(1000)
   await page.click("#J_SubmitStatic")
使用tkinter获取页面高度宽度
def screen_size():
   """使用tkinter获取屏幕大小"""
   import tkinter
   tk = tkinter.Tk()
   width = tk.winfo_screenwidth()
   height = tk.winfo_screenheight()
   tk.quit()
   return width, height
针对iframe操作
  • page.frames获取所有的iframe列表,需要判断操作的是哪一个iframe跟操作page一样

from pyppeteer import launch
import asyncio

async def main(url):
   w = await launch({"headless":False, "args":["--no-sandbox"]})
   page = await w.newPage()
   await page.setViewport({"width":1366, "height":800})
   await page.goto(url)
   try:
       await asyncio.sleep(1)
       frame = page.frames
       print(frame)
       
       title = await frame[1].title()
       print(title)
       
       await asyncio.sleep(1)
       login = await frame[1].querySelector('#switcher_plogin')
       print(login)
       
       await login.click()
       await asyncio.sleep(5)
   except Exception as e:
       print(e)
   for page in await w.pages():
       await page.close()
   await w.close()

asyncio.get_event_loop().run_until_complete(main("https://i.qq.com/?rd=1"))
# asyncio.get_event_loop().run_until_complete(main("https://www.gushici.com/"))

大部分借鉴与别人,目前觉得模拟器爬虫还是比较慢的,静待大家的创新。

pyppeteer的使用的更多相关文章

  1. pyppeteer(python版puppeteer)基本使用

    一.前言 以前使用selenium的无头浏览器,自从phantomjs2016后慢慢不更新了之后,selenium也开始找下家,这时候谷歌的chrome率先搞出来无头浏览器并开放了各种api,随后fi ...

  2. pyppeteer 报错-无法连接到浏览器

    问题 程序报错: Failed to connect to browser port: http://127.0.0.1:57899/json/version 原因 虽然pyppeteer在首次启动时 ...

  3. pyppeteer爬虫例子

    如果在centos上使用,需要安装下面的依赖 yum install pango.x86_64 libXcomposite.x86_64 libXcursor.x86_64 libXdamage.x8 ...

  4. pyppeteer使用笔记

    pyppeteer -- python版本的puppeteer,一个强大的chronium headless浏览器API 最近搞天猫用了一波儿,记录一下. 先上文档: https://miyakogi ...

  5. pyppeteer初尝滋味

    最近在爬几个电商平台网站用的selenium一登录就会有验证,目前这些网站对selenium检测很严格 因为不少大网站有对selenium的js监测机制.比如navigator.webdriver,n ...

  6. 网络爬虫之使用pyppeteer替代selenium完美绕过webdriver检测

    1引言 曾经使用模拟浏览器操作(selenium + webdriver)来写爬虫,但是稍微有点反爬的网站都会对selenium和webdriver进行识别,网站只需要在前端js添加一下判断脚本,很容 ...

  7. Pyppeteer

    pyppeteer模块的基本使用 引言 Selenium 在被使用的时候有个麻烦事,就是环境的相关配置,得安装好相关浏览器,比如 Chrome.Firefox 等等,然后还要到官方网站去下载对应的驱动 ...

  8. pyppeteer进阶技巧

    记录一下在使用pyppeteer过程中慢慢发现的一些稍微高级一点的用法. 一.拦截器简单用法 拦截器作用于单个Page,即浏览器中的一个标签页.每初始化一个Page都要添加一下拦截器.拦截器实际上是 ...

  9. 爬虫的新模块pyppeteer的使用

    安装 python3 -m pip install pyppeteer 最好是py3.5+ 手动安装 你懂的,天朝网络环境很复杂,如果要用pyppeteer自己绑定的chromium,半天都下载不下来 ...

随机推荐

  1. 重入锁的学习 (ReentrantLock)

    重入锁  :(ReentrantLock) 上锁 用reentrantLock.lock 方法 解锁 用reentrantLock.unlock 方法 上锁和解锁 必须配对 可以多重上锁 Reentr ...

  2. 并发编程(3)——ThreadPoolExecutor

    ThreadPoolExecutor 1. ctl(control state) 线程池控制状态,包含两个概念字段:workerCount(线程有效数量)和runState(表示是否在运行.关闭等状态 ...

  3. JVM实战---类加载的过程

    任何程序都需要加载到内存才能与CPU进行交流 同理, 字节码.class文件同样需要加载到内存中,才可以实例化类 ClassLoader的使命就是提前加载.class 类文件到内存中 在加载类时,使用 ...

  4. 算法与数据结构基础 - 二叉树(Binary Tree)

    二叉树基础 满足这样性质的树称为二叉树:空树或节点最多有两个子树,称为左子树.右子树, 左右子树节点同样最多有两个子树. 二叉树是递归定义的,因而常用递归/DFS的思想处理二叉树相关问题,例如Leet ...

  5. Mermaid

    graph TD; A-->B; A-->C; B-->D; C-->D;

  6. JSmooth 将java代码打包成exe

    JSmooth 将java代码打包成exe 前言 java代码写了这么多了,但由于jdk的限制,我只能在jdk电脑上运行项目.所以最近在研究打包exe这个问题,今天终于实现了. JSmooth下载 前 ...

  7. mybatis的sql参数化查询

    我们使用jdbc操作数据库的时候,都习惯性地使用参数化的sql与数据库交互.因为参数化的sql有两大有点,其一,防止sql注入:其二,提高sql的执行性能(同一个connection共用一个的sql编 ...

  8. Linux与Unix到底有什么不同?

    来自:开源中国 原文:Linux vs. Unix: What's the difference? 链接: https://opensource.com/article/18/5/difference ...

  9. luoguP3588_[POI2015]PUS

    题意 有一个\(n\)个数的序列,已知其中的\(k\)个数,然后有\(m\)个信息,每个信息给出区间\([l,r]\),和\(k\)个数,表示区间\([l,r]\)中这\(k\)个数大于剩下的\(r- ...

  10. 讲解开源项目:功能强大的 JS 文件上传库

    本文作者:HelloGitHub-kalifun HelloGitHub 的<讲解开源项目>系列,项目地址:https://github.com/HelloGitHub-Team/Arti ...