维护爬虫代理IP池--采集并验证

任务分析

我们爬的免费代理来自于https://www.kuaidaili.com这个网站。用`requests`将ip地址与端口采集过来，将`IP`与`PORT`组合成`requests`需要的代理格式，用`requests`访问`[http://ipcheck.chinahosting.tk/][1]`，并判断返回的字符串是否是代理IP，若是，则代理IP有效，若不是，则代理IP无效。

数据采集现在已经成为了基本操作了，所以大家直接看代码就可以了，注释应该写的很清楚了。如果是个新手，那么可以看这篇文章：采集wordpress并自动发布文章，这篇文章看懂了，基本上全世界大部分的网站你就都能爬了。

这个站点http://ipcheck.chinahosting.tk/是我个人搭建的用来验证IP的，详情见文章：利用虚拟主机搭建一个验证爬虫代理IP是否有效的服务，大家如果自己用的话最好搭建一个，基本上10多分钟就能搭建完，并且只要点点鼠标。

代码实现

#首先，导入必要的包
import gevent.monkey
gevent.monkey.patch_socket()
import gevent
import requests
import time
from fake_useragent import UserAgent 
from lxml import etree
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('utf8')

#定义GetProxy类
class GetProxy():
        #初始化一些参数
	def __init__(self):
		self.ua = UserAgent()
		self.check_url = 'http://ipcheck.chinahosting.tk/'
		self.threads = []
		self.count = 0

        #定义download_page函数，用来请求一个url并且返回返回值
	def download_page(self, url):
		headers = {"User-Agent":self.ua.random}
		response = requests.get(url)
		print response.status_code
		return response.content

        #对页面进行数据清理
	def crawl_kuaidaili(self):
		for page in xrange(1,50):
			url = 'https://www.kuaidaili.com/free/inha/' + str(page)
			response = self.download_page(url)
			soup = BeautifulSoup(response, "html.parser")
			all_tr = soup.find_all('tr')
			for tr in all_tr:
				ip = tr.find('td',attrs={"data-title":"IP"})
				port = tr.find('td',attrs={"data-title":"PORT"})
				if ip==None or port==None:
					pass
				else:
					#print "http://"+ip.get_text()+":"+port.get_text()
					self.threads.append(gevent.spawn(self.valid_check, [ip.get_text(), port.get_text()]))
					#print "add a task"
			time.sleep(1)

        #验证爬虫的有效性
	def valid_check(self, *arg):
		ip = arg[0][0]
		port = arg[0][5]
		proxyip = "http://"+ip+":"+port
		proxy={"http":proxyip}
		try:
			response = requests.get(self.check_url, proxies=proxy, timeout=5)
			#print response.content
			if str(response.content) == ip:
				print ip
				self.count = self.count + 1
			else:
				pass
		except:
			pass

        #启动爬虫
	def start(self):
		self.crawl_kuaidaili()
		gevent.joinall(self.threads)