安装:  pip install  mitmproxy

新建一个脚本

脚本代码：

 from mitmproxy import ctx

 injected_javascript = '''

 // overwrite the `languages` property to use a custom getter

 Object.defineProperty(navigator, "languages", {

   get: function() {

     return ["zh-CN","zh","zh-TW","en-US","en"];

   }

 });

 // Overwrite the `plugins` property to use a custom getter.

 Object.defineProperty(navigator, 'plugins', {

   get: () => [1, 2, 3, 4, 5],

 });

 // Pass the Webdriver test

 Object.defineProperty(navigator, 'webdriver', {

   get: () => false,

 });

 // Pass the Chrome Test.

 // We can mock this in as much depth as we need for the test.

 window.navigator.chrome = {

   runtime: {},

   // etc.

 };

 // Pass the Permissions Test.

 const originalQuery = window.navigator.permissions.query;

 window.navigator.permissions.query = (parameters) => (

   parameters.name === 'notifications' ?

     Promise.resolve({ state: Notification.permission }) :

     originalQuery(parameters)

 );

 '''

 def response(flow):

     # Only process 200 responses of HTML content.

     if not flow.response.status_code == 200:

         return

     # Inject a script tag containing the JavaScript.

     html = flow.response.text

     html = html.replace('<head>', '<head><script>%s</script>' % injected_javascript)

     flow.response.text = str(html)

     ctx.log.info('插入成功 ')

然后运行mitmdump

mitmdump -s xxxx.py

默认为8080端口，将webDriver设置代理127.0.0.1:8080

然后就能监听和修改selenium特征了。

使用 mitmdump 进行 selenium webDriver绕过网站反爬服务的方法 pdd某宝 可用的更多相关文章

  1. selenium WebDriver 截取网站的验证码

    在做爬虫项目的时候,有时候会遇到验证码的问题,由于某些网站的验证码是动态生成的,即使是同一个链接,在不同的时间访问可能产生不同的验证码, 一 刚开始的思路就是打开这个验证码的链接,然后通过java代码 ...

  2. Python | 常见的反爬及解决方法，值得收藏

    我们都知道Python用来爬数据,为了不让自家的数据被别人随意的爬走,你知道怎么反爬吗?今天播妞带着大家一起见识见识常见的反爬技术. 很多人学习python,不知道从何学起.很多人学习python,掌 ...

  3. selenium webdriver 相关网站

    ITeye:http://shijincheng0223.iteye.com/blog/1481446 http://ztreeapi.iteye.com/blog/1750554 http://sm ...

  4. selenium+webdriver+python 中警告框的处理方法

    在自动化测试过程中,经常会遇到弹出警告框的情况,如图所示: 在 WebDriver 中处理 JavaScript 所生成的 alert.confirm 以及 prompt 是很简单的.具体做法是使用  ...

  5. Selenium webdriver定位iframe里面元素两种方法

    以东方财富网登录页面为例: 在查找元素过程中,直接通过id或者xpath等找不到元素,查看页面源代码发现元素是属于iframe里,例如: <div class="wrap_login& ...

  6. 如果对方网站反爬取，封IP了怎么办？

    放慢抓取熟速度,减小对目标网站造成的压力,但是这样会减少单位时间内的数据抓取量 使用代理IP(免费的可能不稳定,收费的可能不划算)

  7. python + selenium webdriver 复合型css样式的元素定位方法

    <div class="header layout clearfix"></div> 当元素没有id,没有name,没有任何,只有一个class的时候,应该 ...

  8. python爬虫之字体反爬

    一.什么是字体反爬? 字体反爬就是将关键性数据对应于其他Unicode编码,浏览器使用该页面自带的字体文件加载关键性数据,正常显示,而当我们将数据进行复制粘贴.爬取操作时,使用的还是标准的Unicod ...

  9. 【Python必学】Python爬虫反爬策略你肯定不会吧？

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 正文 Python爬虫反爬策略三部曲,拥有这三步曲就可以在爬虫界立足了: ...

随机推荐

  1. 2019-2020-1 20199304《Linux内核原理与分析》第七周作业

    进程的描述和进程的创建 1.进程描述 1.1操作系统的三大管理功能以及对应的抽象概念: 进程管理 内存管理 文件系统 1.2Linux进程的状态: (1)Linux中进程的状态细分可以分为七种: R运 ...

  2. 微信小程序——详细讲解页面传值(多种方法)

    1.使用navigator的url带参传值 (1)在pageA页面有一个固定的值要传递到pageB页面,比如说一个固定的值user_id要传递给B <navigator url=".. ...

  3. 【集合系列】- 深入浅出的分析 Properties

    一.摘要 在集合系列的第一章,咱们了解到,Map 的实现类有 HashMap.LinkedHashMap.TreeMap.IdentityHashMap.WeakHashMap.Hashtable.P ...

  4. CodeForces845G-Shortest PathProblem?

    You are given an undirected graph with weighted edges. The length of some path between two vertices ...

  5. 几个非常适合练手的python爬虫项目，总有一个能搞定！

    前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理.作者:Python玩家 注意:如果你平时学Python有问题找不到人解答,可以 ...

  6. BOM和DOM操作

    目录 BOM window对象 window子对象 location 弹出框 计时 history navigator DOM 查找节点 直接查找 间接查找 节点操作 创建节点 添加节点 删除节点 替 ...

  7. Python3 类与对象之王者荣耀对战小游戏

    王者荣耀对战小游戏 # 定义英雄: 亚瑟 class Arthur: hero_type = 'Tank' def __init__(self, attack_value=164, armor=98, ...

  8. 理解Vue中的ref和$refs

    参考博客:https://www.cnblogs.com/xumqfaith/p/7743387.html

  9. 201871010119-帖佼佼《面向对象程序设计（java）》第十四周学习总结

    博文正文开头格式:(2分) 项目 内容 这个作业属于哪个课程 https://www.cnblogs.com/nwnu-daizh/ 这个作业的要求在哪里 https://www.cnblogs.co ...

  10. 东拼西凑完成一个“前端框架”(4) - Tabs页

    目录 东拼西凑完成一个后台 "前端框架" (1) - 布局  东拼西凑完成一个后台 "前端框架" (2) - 字体图标 东拼西凑完成一个"前端框架&q ...