安装:  pip install  mitmproxy

新建一个脚本

脚本代码：

 from mitmproxy import ctx

 injected_javascript = '''

 // overwrite the `languages` property to use a custom getter

 Object.defineProperty(navigator, "languages", {

   get: function() {

     return ["zh-CN","zh","zh-TW","en-US","en"];

   }

 });

 // Overwrite the `plugins` property to use a custom getter.

 Object.defineProperty(navigator, 'plugins', {

   get: () => [1, 2, 3, 4, 5],

 });

 // Pass the Webdriver test

 Object.defineProperty(navigator, 'webdriver', {

   get: () => false,

 });

 // Pass the Chrome Test.

 // We can mock this in as much depth as we need for the test.

 window.navigator.chrome = {

   runtime: {},

   // etc.

 };

 // Pass the Permissions Test.

 const originalQuery = window.navigator.permissions.query;

 window.navigator.permissions.query = (parameters) => (

   parameters.name === 'notifications' ?

     Promise.resolve({ state: Notification.permission }) :

     originalQuery(parameters)

 );

 '''

 def response(flow):

     # Only process 200 responses of HTML content.

     if not flow.response.status_code == 200:

         return

     # Inject a script tag containing the JavaScript.

     html = flow.response.text

     html = html.replace('<head>', '<head><script>%s</script>' % injected_javascript)

     flow.response.text = str(html)

     ctx.log.info('插入成功 ')

然后运行mitmdump

mitmdump -s xxxx.py

默认为8080端口，将webDriver设置代理127.0.0.1:8080

然后就能监听和修改selenium特征了。

使用 mitmdump 进行 selenium webDriver绕过网站反爬服务的方法 pdd某宝 可用的更多相关文章

  1. selenium WebDriver 截取网站的验证码

    在做爬虫项目的时候,有时候会遇到验证码的问题,由于某些网站的验证码是动态生成的,即使是同一个链接,在不同的时间访问可能产生不同的验证码, 一 刚开始的思路就是打开这个验证码的链接,然后通过java代码 ...

  2. Python | 常见的反爬及解决方法，值得收藏

    我们都知道Python用来爬数据,为了不让自家的数据被别人随意的爬走,你知道怎么反爬吗?今天播妞带着大家一起见识见识常见的反爬技术. 很多人学习python,不知道从何学起.很多人学习python,掌 ...

  3. selenium webdriver 相关网站

    ITeye:http://shijincheng0223.iteye.com/blog/1481446 http://ztreeapi.iteye.com/blog/1750554 http://sm ...

  4. selenium+webdriver+python 中警告框的处理方法

    在自动化测试过程中,经常会遇到弹出警告框的情况,如图所示: 在 WebDriver 中处理 JavaScript 所生成的 alert.confirm 以及 prompt 是很简单的.具体做法是使用  ...

  5. Selenium webdriver定位iframe里面元素两种方法

    以东方财富网登录页面为例: 在查找元素过程中,直接通过id或者xpath等找不到元素,查看页面源代码发现元素是属于iframe里,例如: <div class="wrap_login& ...

  6. 如果对方网站反爬取，封IP了怎么办？

    放慢抓取熟速度,减小对目标网站造成的压力,但是这样会减少单位时间内的数据抓取量 使用代理IP(免费的可能不稳定,收费的可能不划算)

  7. python + selenium webdriver 复合型css样式的元素定位方法

    <div class="header layout clearfix"></div> 当元素没有id,没有name,没有任何,只有一个class的时候,应该 ...

  8. python爬虫之字体反爬

    一.什么是字体反爬? 字体反爬就是将关键性数据对应于其他Unicode编码,浏览器使用该页面自带的字体文件加载关键性数据,正常显示,而当我们将数据进行复制粘贴.爬取操作时,使用的还是标准的Unicod ...

  9. 【Python必学】Python爬虫反爬策略你肯定不会吧？

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 正文 Python爬虫反爬策略三部曲,拥有这三步曲就可以在爬虫界立足了: ...

随机推荐

  1. 【Python成长之路】Python爬虫 --requests库爬取网站乱码（\xe4\xb8\xb0\xe5\xa）的解决方法【华为云分享】

    [写在前面] 在用requests库对自己的CSDN个人博客(https://blog.csdn.net/yuzipeng)进行爬取时,发现乱码报错(\xe4\xb8\xb0\xe5\xaf\x8c\ ...

  2. luogu P4981 父子

    题目背景 上演在各大学男生寝室的日常 :: A :A: "我没带纸,快来厕所救我!" B :B: "叫爸爸." A :A: "爸爸!" .. ...

  3. HDU4670 cube number on a tree(点分治+三进制加法)

    The country Tom living in is famous for traveling. Every year, many tourists from all over the world ...

  4. Django开发登录功能实战

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理.作者:凡夫俗子66 Django 如果是定义函数写登录路由,需要判断请求方法 ...

  5. matlab画二叉树

    用matlab画如下图的二叉树. 先按树的先序遍历把结点编号,如下图所示. treeplot函数的序列用如下方法得到.从根结点开始先序遍历,依次写下父结点的编号,设根结点的父结点为0.按先序遍历,根结 ...

  6. DENEBOLA (See3CAM_CX3RDK) - CX3 Reference Design

    Denebola (See3CAM_CX3RDK) is a USB3.0 USB video class (UVC) reference design kit (RDK) developed by ...

  7. Python3 面向对象进阶2

    目录 Classmethod Staticmethod Isinstance Issubclass 反射 概念 hasattr getattr setattr delattr 魔法方法 概念 __ne ...

  8. 【C语言】%f,%lf,%3.1f

    在输出时应注意变量类型,使用如%3.1时会默认四舍五入.

  9. 搭建rsync+inotify实现实时备份

    一.环境搭建说明 系统环境 CentOS7.5 备份节点 主机名:backup01 IP地址:172.16.2.41 数据节点 主机名:nfs-master IP地址:172.16.2.31 二.在备 ...

  10. iOS 类别 类扩展 简要说明