简单验证

import requests

url = "http://www.baidu.com/"
proxies = {"http": "http://x.x.x.x:端口号码"}
#空白位置为测试代理ip和代理ip使用端口

headers = {"User-Agent": "Mozilla/5.0"}
#响应头
res = requests.get(url, proxies=proxies, headers=headers)
#发起请求
print(res.status_code) #返回响应码

正常有效的可用代理ip返回的应该是响应码200   并添加到数据库

***************************************************************************************

抓取www.xicidaili 并保存到文本

import requestsfrom bs4 import BeautifulSoupimport lxmlfrom multiprocessing import Process, Queueimport randomimport jsonimport timeimport requests

class Proxies(object):

    """docstring for Proxies"""    def __init__(self, page=3):        self.proxies = []        self.verify_pro = []        self.page = page        self.headers = {        'Accept': '*/*',        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)   Chrome/45.0.2454.101 Safari/537.36',        'Accept-Encoding': 'gzip, deflate, sdch',        'Accept-Language': 'zh-CN,zh;q=0.8'        }        self.get_proxies()        self.get_proxies_nn()

    def get_proxies(self):        page = random.randint(1,10)        page_stop = page + self.page        while page < page_stop:            url = 'http://www.xicidaili.com/nt/%d' % page            html = requests.get(url, headers=self.headers).content            soup = BeautifulSoup(html, 'lxml')            ip_list = soup.find(id='ip_list')            for odd in ip_list.find_all(class_='odd'):                protocol = odd.find_all('td')[5].get_text().lower()+'://'                self.proxies.append(protocol + ':'.join([x.get_text() for x in odd.find_all('td')[1:3]]))            page += 1

    def get_proxies_nn(self):        page = random.randint(1,10)        page_stop = page + self.page        while page < page_stop:            url = 'http://www.xicidaili.com/nn/%d' % page            html = requests.get(url, headers=self.headers).content            soup = BeautifulSoup(html, 'lxml')            ip_list = soup.find(id='ip_list')            for odd in ip_list.find_all(class_='odd'):                protocol = odd.find_all('td')[5].get_text().lower() + '://'                self.proxies.append(protocol + ':'.join([x.get_text() for x in odd.find_all('td')[1:3]]))            page += 1

    def verify_proxies(self):        # 没验证的代理        old_queue = Queue()        # 验证后的代理        new_queue = Queue()        print ('verify proxy........')        works = []        for _ in range(15):             works.append(Process(target=self.verify_one_proxy, args=(old_queue,new_queue)))        for work in works:            work.start()        for proxy in self.proxies:            old_queue.put(proxy)        for work in works:            old_queue.put(0)        for work in works:            work.join()        self.proxies = []        while 1:            try:                self.proxies.append(new_queue.get(timeout=1))            except:                break        print ('verify_proxies done!')

    def verify_one_proxy(self, old_queue, new_queue):        while 1:            proxy = old_queue.get()            if proxy == 0:break            protocol = 'https' if 'https' in proxy else 'http'            proxies = {protocol: proxy}            try:                if requests.get('http://www.baidu.com', proxies=proxies, timeout=2).status_code == 200:                    print ('success %s' % proxy)                    new_queue.put(proxy)            except:                print ('fail %s' % proxy)

if __name__ == '__main__':    a = Proxies()    a.verify_proxies()    print (a.proxies)    proxie = a.proxies    with open('proxies.txt', 'a') as f:        for proxy in proxie:             f.write(proxy+'\n')

中间件处理
import randomimport scrapyfrom scrapy import logimport time

# logger = logging.getLogger()

class ProxyMiddleWare(object):    """docstring for ProxyMiddleWare"""    def process_request(self,request, spider):        '''对request对象加上proxy'''        proxy = self.get_random_proxy()        print("this is request ip:"+proxy)        request.meta['proxy'] = proxy

    def process_response(self, request, response, spider):        '''对返回的response处理'''        # 如果返回的response状态不是200,重新生成当前request对象        if response.status != 200:            proxy = self.get_random_proxy()            print("this is response ip:"+proxy)            # 对当前reque加上代理            request.meta['proxy'] = proxy            return request        return response

    def get_random_proxy(self):        '''随机从文件中读取proxy'''        while 1:            with open('.\proxies.txt', 'r') as f:                proxies = f.readlines()                if proxies:                    break                else:                    time.sleep(1)        proxy = random.choice(proxies).strip()        return proxy

setting中修改中间件
DOWNLOADER_MIDDLEWARES = {
 #    'youx.middlewares.MyCustomDownloaderMiddleware': 543,
     'scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware':None,
     'youx.middlewares.ProxyMiddleWare':125,
     'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware':None
}

参考:https://www.jianshu.com/p/8449b9c397bb?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
												

IP池验证IP是否可用 及scrapy使用 ip池的更多相关文章

  1. 写一个scrapy中间件--ip代理池

    middleware文件 # -*- coding: utf-8 -*- # Define here the models for your spider middleware # See docum ...

  2. Scrapy 代理IP

    Scrapy 代理IP 一.Scarpy使用代理IP 1.在setting.py 配置 代理服务器IP 2.在middlermares.py 配置 downloadmiddlermare(下载中间件) ...

  3. python-爬免费ip并验证其可行性

    前言 最近在重新温习python基础-正则,感觉正则很强大,不过有点枯燥,想着,就去应用正则,找点有趣的事玩玩 00xx01---代理IP 有好多免费的ip,不过一个一个保存太难了,也不可能,还是用我 ...

  4. scrapy设置"请求池"

    scrapy设置"请求池" 引言 相信大家有时候爬虫发出请求的时候会被ban,返回的是403错误,这个就是请求头的问题,其实在python发出请求时,使用的是默认的自己的请求头,网 ...

  5. scrapy的UA池和代理池

    一.下载中间件(Downloader Middlewares) 框架图如下 下载中间件(Downloader Middlewares)位于scrapy引擎和下载器之间的一层组件. - 作用: (1)引 ...

  6. 《TCP/IP具体解释卷2:实现》笔记--IP多播

    D类IP地址(224.0.0.0到239.255.255.255)不识别互联网内的单个接口,但识别接口组,被称为多播组. 单个网络上的组成员利用IGMP协议在系统之间通信. 多播路由器用多播选录协议. ...

  7. TCP/IP协议原理与应用笔记05:TCP/IP协议下的网关

    大家都知道,从一个房间走到另一个房间,必然要经过一扇门.同样,从一个网络向另一个网络发送信息,也必须经过一道“关口”,这道关口就是网关.顾名思义,网关(Gateway)就是一个网络连接到另一个网络的& ...

  8. 《TCP/IP具体解释卷2:实现》笔记--IP:网际协议

    本章介绍IP分组的结构和主要的IP处理过程,包含输入,转发和输出. 下图显示了IP层常见的组织形式. 在之前的文章中.我们看到了网络接口怎样把到达的IP分组放到IP输入队列ipintrq中去,并怎样调 ...

  9. 11月10日上午ajax基础知识、用ajax做登录页面、用ajax验证用户名是否可用、ajax动态调用数据库

    1.ajax的基础知识 ajax是结合了jquery.php等几种技术延伸出来的综合运用的技术,不是新的内容.ajax也是写在<script>标签里面的. 如果使用ajax一定是要有1个处 ...

随机推荐

  1. JAVA第十次作业

    JAVA第十次作业 (一)学习总结 1.用思维导图对java多线程的学习内容进行总结. 参考资料: XMind. 2.下面是一个单线程实现的龟兔赛跑游戏. public class TortoiseH ...

  2. js中数组常用方法总结

    操作数组 印象中数组有很多方法,系统的整理一下,放在自己家里方便回头查~ Array.map() 此方法是将数组中的每个元素调用一个提供的函数,结果作为一个新的数组返回,并没有改变原来的数组 1 2 ...

  3. matplot画图kill问题,形成思路

    很多小伙伴刚学matplot的时候 看着代码就想敲  可是你应该现有概念啊 熟悉这两个再看下面的代码,下面的解决了一些人问中文字体的问题,满足了一般人的设置需求 代码注释很详细,我就不多哔哔了. 完全 ...

  4. linux下tomcat的启动,停止,重启脚本

    1.tomcat的启动脚本 #vi start_tomcat.sh pid=`ps -ef |grep tomcat |grep -v grep|awk '{print $2}'`       ##定 ...

  5. 关于java的跨平台特性

    Write once, compile anywhere,“一次编译,到处运行”的著名口号大家想必都听说过吧一次编译:把java代码(.java文件)通过编译器转换成字节码(.class文件)(符合j ...

  6. javascript 操作节点的属性

    使用层次关系访问节点 parentNode:返回节点的父节点 childNodes:返回子节点集合,childNodes[i] firstChild:返回节点的第一个子节点,最普遍的用法是访问该元素的 ...

  7. PythonStudy——迭代器 iterator

    # 迭代器对象: 可以不用依赖索引取值的容器# 可迭代对象:可以通过某种方法得到迭代器对象 # 迭代器优点:可以不用依赖索引取值# 迭代器缺点:只能从前往后依次取值 可迭代对象 # 可迭代对象:有__ ...

  8. cmake add_custom_command 使用

    cmake add_custom_command 使用 今天整理编译工程,想在编译工程前面用tolua生成c文件, 使用命令add_custom_command后,附加的命令并不执行,如下: add_ ...

  9. update_engine-整体结构(三)

    在update_engine-整体结构(二)中分析到了Action,那么我们接着继续分析. 首先来看一下BuildUpdateActons(...)这个方法. src/system/update_en ...

  10. pagination.js 使用

    pagination.js 使用方式 $('.paginationjs').pagination({ dataSource: 'DetailImage?handler=Search', locator ...