如何爬取可用的IP代理

上一篇说到对付反爬虫有一个很关键的方法就是使用IP代理，那么我们应该如何获取这些可用的IP代理呢？这里分享一下自己这两天的一些爬取IP代理的心得体会。

1 步骤

　　1.找到几个提供免费IP代理的网站，获取IP数据源

　　2.验证对应的IP代理访问出口IP是否跟本机的出口IP一致，得到不一致的IP代理列表

　　3.根据自身的实验目的验证IP代理的响应速度，进行排序，择优选用

2 具体做法

　　1.可以上网搜索，有很多，例如西刺、快代理等等

　　2.可以在这里进行验证

　　3.这个就根据自身爬虫的需要，看是下载东西还是其他的，再进一步测试速度

3 代码

 # *-* coding: utf-8 *-*
 import BeautifulSoup
 import requests
 import time

 # to check if the ip proxy can work
 URL_CHECK = 'http://1212.ip138.com/ic.asp'
 RESPONSE_TIME = 2
 IP_LOCAL = '120.236.174.144'

 # this is the pages of the website "http://www.ip181.com/daili/1.html"
 # you can check out in the browser.
 # the program will crawl the ip proxy from pages [start_page, end_page]
 # as: [1,2], it will crawl the page 1 and page 2.
 start_page = input('Please input your start page to crawl: ')
 end_page = input('Please input your end page to crawl: ')

 s = requests.Session()

 # check if the exit IP is changed
 def check_a_ip(ip):
     start = time.time()
     try:
         connection = s.get(URL_CHECK, headers={
             'Host': '1212.ip138.com',
             'Referer': 'http://www.ip138.com/',
             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
         }, proxies={'http': 'http://' + ip}, timeout=RESPONSE_TIME)
         res = connection.content
         # print res

         soup = BeautifulSoup.BeautifulSoup(res)
         ip_return = soup.findAll('center')[0].text.split('[')[1].split(']')[0]
         return ip_return != IP_LOCAL, '%.6f' % (time.time() - start)
     except Exception, e:
         # print '<ERROR>'
         # print e
         return False, '-1'

 url = 'http://www.ip181.com/daili/%s.html'
 ip_proxy_file = open('proxy.txt', 'w')
 ip_proxy_file.write('ip_port,response_time\n')
 ip_proxy_file.close()

 for i in range(int(start_page), int(end_page) + 1):
     ip_proxy_file = open('proxy.txt', 'a')

     connection_crawl = s.get(url % str(i),headers = {
         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36"
         })
     soup_crawl = BeautifulSoup.BeautifulSoup(connection_crawl.content)

     # parse each page,find the good ip proxy
     trs = soup_crawl.findAll('tr')
     for tr in trs[1:len(trs)]:
         tds = tr.findAll('td')
         ip = tds[0].contents[0] + ':' + tds[1].contents[0]
         is_good, res_time = check_a_ip(ip)
         if is_good:
             ip_proxy_file.write(ip + ',' + res_time + '\n')

     print '%s : Finish to crawl the page %d.  %s' % (time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), i, url % str(i))
     ip_proxy_file.close()

关于这份代码，有几个地方做一下说明：

· check_a_ip(ip)：该函数为IP代理检查函数，返回两个值（一个为访问请求是否成功使用了代理，一个为检查的响应时间）

· start_page、end_page： 手动输入获取IP代理的网页页码，这个需要根据具体网站设定

· for i in range(int(start_page), int(end_page) + 1)：主函数的循环，遍历设定范围的网页

· for tr in trs[1:len(trs)]：循环遍历并解析出一个网页中的所有IP代理，以及检验是否可用

· ip_proxy_file：文本写入，最终把结果都写入proxy.txt中

4 拓展

本实验可以采用多线程进行爬取或者检验，这样的爬取速率会快很多，大家有时间可以尝试一下