python爬虫反爬之快速配置免费IP代理池(ProxyPool)
关注我的公众号【靠谱杨阅读人生】回复ProxyPool可以免费获取网盘链接。
也可自行搜索下载:https://github.com/Python3WebSpider/ProxyPool.git
1、下载之后打开setting文件修改redis相关配置。


2、之后开启本机redis服务,就可以直接运行run文件
 可以下载一个 Redis Desktop Manager redis可视化工具,关注我的公众号【靠谱杨阅读人生】回复redis可以获取下载链接(文章末尾有公众号二维码),也可以自行百度下载。


3、使用redis中的IP
import random
import redis
class my_redis:
    def get_ip(self):
        r = redis.Redis(host='127.0.0.1', port=6379, db=0,decode_responses=True)
        my_redis_data = r.zrange("proxies:universal",1,3000,True)
        return random.choice(my_redis_data)
        # print(len(my_redis_data))
if __name__ == '__main__':
    test_redis=my_redis()
    data=test_redis.get_ip()
    print(data)

python爬虫反爬之快速配置免费IP代理池(ProxyPool)的更多相关文章
- 【Python必学】Python爬虫反爬策略你肯定不会吧?
		前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 正文 Python爬虫反爬策略三部曲,拥有这三步曲就可以在爬虫界立足了: ... 
- 免费IP代理池定时维护,封装通用爬虫工具类每次随机更新IP代理池跟UserAgent池,并制作简易流量爬虫
		前言 我们之前的爬虫都是模拟成浏览器后直接爬取,并没有动态设置IP代理以及UserAgent标识,本文记录免费IP代理池定时维护,封装通用爬虫工具类每次随机更新IP代理池跟UserAgent池,并制作 ... 
- Python爬虫——反爬
		反爬概述 网络爬虫,是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成. 但是当网络爬虫被滥用后,互联网上就出现太多同质的东西,原创得不到保护. 于是,很多网站开始反网络爬 ... 
- 配置个人Ip代理池
		做爬虫最害怕的两件事一个是被封账户一个是被封IP地址,IP地址可以使用代理来解决,网上有许多做IP代理的服务,他们提供大量的IP地址,不过这些地址不一定都是全部可用,因为这些IP地址可能被其他人做爬虫 ... 
- python爬虫系列:做一个简单的动态代理池
		自动 1.设置动态的user agent import urllib.request as ure import urllib.parse as upa import random from bs4 ... 
- 免费 IP 代理池示例
		使用文档 import requests import re import random from concurrent.futures import ThreadPoolExecutor impor ... 
- python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用
		站长资讯平台:python3爬虫系列19之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程,进程池的用法之类的,爬虫速度加快呢,也会带来一些坏事. 1. 前言比如随着我们爬虫 ... 
- python爬虫18 | 就算你被封了也能继续爬,使用IP代理池伪装你的IP地址,让IP飘一会
		我们上次说了伪装头部 ↓ python爬虫17 | 听说你又被封 ip 了,你要学会伪装好自己,这次说说伪装你的头部 让自己的 python 爬虫假装是浏览器 小帅b主要是想让你知道 在爬取网站的时候 ... 
- from appium import webdriver  使用python爬虫,批量爬取抖音app视频(requests+Fiddler+appium)
		使用python爬虫,批量爬取抖音app视频(requests+Fiddler+appium) - 北平吴彦祖 - 博客园 https://www.cnblogs.com/stevenshushu/p ... 
- 爬虫反爬之代理IP
		爬虫反爬之代理IP 代理IP其实本就是在requests模块中的参数 定义: 代替原来的IP地址去对接网络的IP地址. 作用: 隐藏自身真实IP,避免被封. 获取代理IP网站 西刺代理.快代理.全网代 ... 
随机推荐
- Java设计模式-原型模式Prototype
			介绍 当我们有一个类的实例(Prototype)并且我们想通过复制原型来创建新对象时,通常使用Prototype模式. 原型模式是一种创建型设计模式.能够复制已有对象, 而又无需使代码依赖它们所属的类 ... 
- mysql-5.7.16-winx64配置文件
			# For advice on how to change settings please see # http://dev.mysql.com/doc/refman/5.7/en/server-co ... 
- 网络上收集的C++常见面试题
			1. 进程与线程的关系,图解 进程简单理解就是我们平常使用的程序,进程拥有自己独立的内存空间地址,拥有一个以上的线程. 线程可以理解为轻量级的进程,是程序执行的最小单元.在某个进程启动后,会默认产生一 ... 
- Nacos2作为Dubbo3的配置中心踩坑总结
			本文阐述问题所使用的组件版本分别是,Dubbo:3.2.4,Nacos服务端:2.2.3,Nacos客户端:2.2.4. 在Dubbo3的官方文档中,关于如何使用Nacos作为配置中心的详细介绍参考: ... 
- Spingboot替换掉jar包里面的@Bean
			问题 如下图,我们需要替换掉JsoncCfg配置类里面的YCloudObjectMapper这个Bean. 这个Bean是在依赖的第三方jar包中的,因为用了@Bean而不是像@Component这种 ... 
- [Python] 子线程退出孙线程不退出
			遇到了一个大坑! 如图,在子线程ThreadFunc退出之后,ThreadFunc2依旧在运行... 根本不会结束 但是官方文档中说明了,只要设置了daemon不为None 就能设置子线程是守护线程, ... 
- mysql-查询库中所有表名称或者某一张表的所有字段名称
			-- 查询某一库中所有表的名称, SELECT a.TABLE_SCHEMA ,a.TABLE_NAME ,a.TABLE_COMMENT FROM information_schema.TABLES ... 
- 牛客周赛 Round 31(A~F)
			目录 A B C D E F A #include <bits/stdc++.h> #define int long long #define rep(i,a,b) for(int i = ... 
- 记本地新建一个gradle方式springboot项目过程
			打算使用gradle在idea新建个springboot项目,然后坑很多,记录一下 原来我的idea应该是社区版,新建项目时候没有可以选择spring相关配置,然后卸载了重装,之前问题是启动是启动起来 ... 
- C++小细节
			cin不仅遇到EOF会返回无效状态(通常用来终止循环),遇到无效输入的时候也会返回无效状态,比如向整型变量输入字符. char类型的大小和机器有关,最小8位,大多数机器字节(byte)是8位,byte ... 
