自建免费的代理ip池

00x01--- 前言

因为爬虫被禁ip这样的反扒真的很凶，但自从建了一个代理ip池以后，反反扒就可以跟的上节奏。当然你也可以上网上各种代理平台自己付费。这些平台当然很方便提供api调用，还不用自己验证。但你不想付费的话，可以看看下面这个国外的开源项目，我是从某网站的评论信息里找到的，下面操作均是基于该网站：https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list

00x02--- 获取代理的json信息

打开网站，不过需要墙，这是一个开源的项目

00x03 --- 分析

很明显每一行是一个json数据，但整个页面你拿到的也不过是字符串而已，每一行末都换行，也就是说每一行末都有"\n"，那么思路很清晰，用requests获得整个页面的text（字符串），然后用split('\n') 将每一行分割之后组成的列表，便利这个列表用json.loads()方法，将每一行的字符串转换为json对象，最后取值。

00x04 --- 上代码

 #!/usr/bin/env python3
 # coding:utf-8
 #lanxing

 import json
 import telnetlib
 import requests
 import random

 proxy_url = 'https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list'
 # proxyList = []

 #定义函数,验证代理ip是否有效
 def verify(ip,port,type):
     proxies = {}
     try:
         telnet = telnetlib.Telnet(ip,port=port,timeout=3)  #用这个ip请访问，3s自动断开，返回tiemout
     except:
         print('unconnected')
     else:
         #print('connected successfully')
         # proxyList.append((ip + ':' + str(port),type))
         proxies['type'] = type
         proxies['host'] = ip
         proxies['port'] = port
         proxiesJson = json.dumps(proxies)
         #保存到本地的proxies_ip.json文件
         with open('proxies_ip.json','a+') as f:
             f.write(proxiesJson + '\n')
         print("已写入：%s" % proxies)

 #定义函数，带着url地址去获取数据
 def getProxy(proxy_url):
     response = requests.get(proxy_url)
     #print(type(response))
     # 用split('\n') 将每一行分割之后组成的列表，消除换行影响
     proxies_list = response.text.split('\n')
     for proxy_str in proxies_list:
         # 用json.loads()方法，将每一行的字符串转换为json对象，最后取值
         proxy_json = json.loads(proxy_str)
         host = proxy_json['host']
         port = proxy_json['port']
         type = proxy_json['type']
         verify(host,port,type)

 #主函数，入口
 if __name__ == '__main__':
     getProxy(proxy_url)

00x05 --- 效果图

参考文章：https://blog.csdn.net/qq_42776455/article/details/83047883