技术分享:Proxy-Pool代理池搭建IP代理

前言
本章内容仅供参考,不涉及实际使用,主要使用Python环境和Redis数据库进行环境搭建,工具网盘存储如下,有问题可以私聊我。
网址:https://wwgn.lanzoul.com/b03w0tvja 密码:am5m

一、环境准备
1、Python3.10/.7
2、Redis5.0.10
3、Proxy-pool2.4.1

二、搭建过程

1.Redis数据库搭建

1、首先确定好环境是否准备好,提前安装好Python3.10.7环境。

2、环境准备好后,首先配置Redis数据库环境,进入到Redis数据库的根目录文件夹,在文件夹中打开cmd窗口,输入命令启动redis服务。
命令:redis-server.exe redis.windows.conf

3、确定能够启动redis服务后,将该窗口关闭,接下来需要将redis服务安装到Windows服务中,新开一个cmd窗口,输入命令将redis安装到Windows服务中,安装完成后,打开运行框输入services.msc打开服务,查看是否成功安装redis服务。
命令:redis-server.exe --service-install redis.windows.conf

4、确定添加成功后,再次通过命令启动redis服务,关闭所有cmd窗口,再打开一个新的cmd窗口,输入命令启动redis服务。(start代表开启,stop代表关闭)
命令:redis-server.exe --service-start

5、接下来测试是否成功开启redis服务,输入命令,如出现下列信息则代表开启成功。
命令:redis-cli.exe -h 127.0.0.1 -p 6379

2.Proxy-Pool代理池搭建

1、首先要安装依赖环境,这里需要注意Python版本问题,由于Proxy-pool代理池是基于Python3.6制作的,所以需要将依赖文件中的版本号进行删除,交给pip进行适应版本下载,打开requirements.txt文件,将后面的版本号连同等于号一起删除,保留如下。

2、修改完毕后,使用PIP安装依赖环境,输入命令。
命令:pip install -r requirements.txt

3、环境依赖安装完毕后,需要将Proxy-pool的配置文件进行修改,打开setting.py文件,修改数据库密码,端口号等信息,根据自己的需求进行修改。

4、配置完毕后启动项目,这里需要启动两个程序,分别是调度程序和代理池的API接口程序。首先启动调度程序,打开cmd输入命令。
命令:python proxyPool.py schedule

5、如图所示开始采集IP地址,等待IP地址采集稳定后,开启API接口程序,新开一个cmd输入命令。
命令:python proxyPool.py server

6、两个程序开启以后,测试API调用是否成功,打开浏览器,输入网址进行查看,发现IP地址每次刷新都会改变,证明API接口调用成功,实验完成。
地址:http://127.0.0.1:5010/get/

技术分享:Proxy-Pool代理池搭建IP代理的更多相关文章

  1. 反爬虫之搭建IP代理池

    反爬虫之搭建IP代理池 听说你又被封 ip 了,你要学会伪装好自己,这次说说伪装你的头部.可惜加了header请求头,加了cookie 还是被限制爬取了.这时就得祭出IP代理池!!! 下面就是requ ...

  2. requests ip代理池单ip和多ip设置方式

    reqeusts库,在使用ip代理时,单ip代理和多ip代理的写法不同 (目前测试通过,如有错误,请评论指正) 单ip代理模式 省去headers等 import requests proxy = { ...

  3. Scrapy学习-13-使用DownloaderMiddleware设置IP代理池及IP变换

    设置IP代理池及IP变换方案 方案一: 使用国内免费的IP代理 http://www.xicidaili.com # 创建一个tools文件夹,新建一个py文件,用于获取代理IP和PORT from ...

  4. python爬虫redis-ip代理池搭建几十万的ip数据--可以使用

    from bs4 import BeautifulSoupimport requests,os,sys,time,random,redisfrom lxml import etreeconn = re ...

  5. Proxypool代理池搭建

    个人博客:点我 前言 项目地址 : https://github.com/jhao104/proxy_pool 这个项目是github上一个大佬基于python爬虫制作的定时获取免费可用代理并入池的代 ...

  6. Python爬虫-代理池-爬取代理入库并测试代理可用性

    目的:建立自己的代理池.可以添加新的代理网站爬虫,可以测试代理对某一网址的适用性,可以提供获取代理的 API. 整个流程:爬取代理 ----> 将代理存入数据库并设置分数 ----> 从数 ...

  7. 技术分享:如何用Solr搭建大数据查询平台

    0×00 开头照例扯淡 自从各种脱裤门事件开始层出不穷,在下就学乖了,各个地方的密码全都改成不一样的,重要帐号的密码定期更换,生怕被人社出祖宗十八代的我,甚至开始用起了假名字,我给自己起一新网名”兴才 ...

  8. android外包公司—技术分享:Android开发环境搭建(长年承接安卓应用外包)

    Android开发环境搭建 1.安装JDK 1.1.由于Android是基于java语言的.所以在开发过程中,首先要做的事儿就是安装JDK. 1.2.JDK的安装步骤: 设置环境变量:我的电脑---- ...

  9. 免费IP代理池定时维护,封装通用爬虫工具类每次随机更新IP代理池跟UserAgent池,并制作简易流量爬虫

    前言 我们之前的爬虫都是模拟成浏览器后直接爬取,并没有动态设置IP代理以及UserAgent标识,本文记录免费IP代理池定时维护,封装通用爬虫工具类每次随机更新IP代理池跟UserAgent池,并制作 ...

  10. springboot实现java代理IP池 Proxy Pool,提供可用率达到95%以上的代理IP

    一.背景 前段时间,写java爬虫来爬网易云音乐的评论.不料,爬了一段时间后ip被封禁了.由此,想到了使用ip代理,但是找了很多的ip代理网站,很少有可以用的代理ip.于是,抱着边学习的心态,自己开发 ...

随机推荐

  1. Cubemx 生成工程代码失败的原因

    折腾了好久(躺)翻了很多解答试了试终于捣鼓正常了,就在这里汇总一下看到过的问题 1.文件名.工程名或者工程文件路径/库路径上有中文名 2.Cubemx的版本过高 3.java环境的版本不适配 4.可能 ...

  2. Windows Powershell个性化设置

    1. 设置Powershell prompt只显示当前目录: 2. 设置Powershell title为当前路径: 这个文件的路径为:echo $profile # file location:ec ...

  3. 3、HTTP请求头与响应头

    HTTP简介 HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送 ...

  4. CSS vw与vh动态设置元素的高度宽度

    做为一个前端开发者,总有一天我们要设置页面某一部分内容自适应浏览器窗口大小,下面分享下使用vw和vh的设置方式, 一波解释: v(即viewport):可视窗口,也就是浏览器窗口大小.vw Viewp ...

  5. MySQL分库分表原理

    转自https://www.jianshu.com/p/7aec260ca1a2 前言 在互联网还未崛起的时代,我们的传统应用都有这样一个特点:访问量.数据量都比较小,单库单表都完全可以支撑整个业务. ...

  6. PHP操作MySQL批量Update的写法,各框架通用防注入版

    使用别人的扩展遇到了问题,发现没有做SQL注入的处理.我又写了个轮子,根据自己需求扩展了下,有需要的小伙伴可以直接取用. 这里就直接粘贴源码了,会用PHPD ,基本都会如何把它运用到各个框架里的. 本 ...

  7. QT数据结构内存分配策略

    在QT的Reference中无意看到了QString及其他类型数据结构内存的分配策略,翻译并记录一下. 在QString的数据结构中,QString通过一次附加一个字符来动态构建字符串.假设我们向QS ...

  8. [小技巧]Win32 - VS中手动编辑RC文件

    用win32进行窗口编程时,如果资源文件不妥善集中管理会一不小心会删除一些资源文件,这时再进行项目编译的时候会发现rc文件因为缺失某个资源文件导致无法打开,我们常用的rc图形编辑器等于废了. 这时就需 ...

  9. 入门级java开发环境的配置安装

    为了能够在计算机上开发Java程序和运行Java程序,就需要在Windows操作系统上配置Java开发环境. 首先,安装JDK: 1.在Oracle官网上下载JavaSE: 2.在Download下载 ...

  10. Edge 访问网站强制HTTPS

    edge://net-internals/#hsts 1)開啟Edge chromium 瀏覽器,輸入edge://net-internals/#hsts,開啟設定介面2)找到 Delete doma ...