使用Selenium&PhantomJS的方式爬取代理

前面已经爬取了代理，今天我们使用Selenium&PhantomJS的方式爬取快代理 ：快代理 - 高速http代理ip每天更新。

首先分析一下快代理，如下

使用谷歌浏览器，检查，发现每个代理信息都在tr里面，每个tr里面包含多个td，就是IP的信息。

这个结构我们可以通过多种方法抓取，例如bs4、xpath、selenium等

这里我们演示selenium方法。具体解释在下面代码中都有的。

 from selenium import webdriver

 class Item(object):
     '''
     模拟scrapy框架
     写item类
     用以表示每个代理
     '''
     ip = None #IP地址
     port = None  #端口
     anonymous = None #是否匿名
     type = None #http 或者https
     local = None #物理地址
     speed = None #速度

 class GetProxy(object):
     def __init__(self):
         self.starturl = 'http://www.kuaidaili.com/free/inha/'
         self.urls = self.get_urls()
         self.proxylist = self.get_proxy_list(self.urls)
         self.filename = 'proxy.txt'
         self.saveFile(self.filename,self.proxylist)

     def get_urls(self):
         '''
         :return: 返回代理url列表
         '''
         urls = []
         for i in range(1,3):
             url = self.starturl + str(i)
             urls.append(url)
         return urls

     def get_proxy_list(self,urls):
         '''
         爬取代理列表
         :param urls:
         :return:
         '''
         browser = webdriver.PhantomJS()
         proxy_list = []

         for url in urls:
             browser.get(url) # 通过get方法打开
             browser.implicitly_wait(3)
             elements = browser.find_elements_by_xpath('//tbody/tr') #找到每个代理的位置
             for element in elements:
                 item = Item()
                 item.ip = element.find_element_by_xpath('./td[1]').text
                 item.port = element.find_element_by_xpath('./td[2]').text
                 item.anonymous = element.find_element_by_xpath('./td[3]').text
                 item.local = element.find_element_by_xpath('./td[4]').text
                 item.speed = element.find_element_by_xpath('./td[5]').text
                 print(item.ip)
                 proxy_list.append(item)

         browser.quit()
         return proxy_list

     def saveFile(self,filename,proxy_list):
         '''
         将爬取的信息保存到本地
         :param filename:
         :param proxy_list:
         :return:
         '''
         with open(filename,'w') as f:
             for item in proxy_list:
                 f.write(item.ip + '\t')
                 f.write(item.port + '\t')
                 f.write(item.anonymous + '\t')
                 f.write(item.local + '\t')
                 f.write(item.speed + '\n\n')

 if __name__ == '__main__':
     Get = GetProxy()

下面我们展示一下爬取的结果

如果用到代理的话，还需要对这些IP进行测试一下。