上篇博客地址python代理池的构建2——代理ip是否可用的处理和检查

一、基础爬虫模块(Base_spider.py)

#-*-coding:utf-8-*-
'''
目标: 实现可以指定不同URL列表,分组的XPATH和详情的XPATH,从不同页面上提取代理的IP,端口号和区域的通用爬虫;
步骤:
1.在base_ spider.py文件中,定义 一个BaseSpider类, 继承object 2.提供三个类成员变量: urls:代理IP网址的URL的列表 group_ xpath:分组XPATH,获取包含代理IP信息标签列表的XPATH detail. xpath:组内XPATH,获取代理IP详情的信息XPATH,格式为: {'ip':'xx', 'pot':'xx','area':'xx'} 3.提供初始方法,传入爬虫URL列表,分组XPATH,详情(组内)XPATH4.对外提供-个获取代理IP的方法,遍历URL列表,获取URL 根据发送请求,获取页面数据 解析页面,提取数据,封装为Proxy对象 返回Proxy对象列表 ''' import requests
import sys
from lxml import etree
sys.path.append("..") #提供要导入的模块路径,之前博客讲过怎么使用
sys.path.append("../..")
from utils.http import get_requests_headers
from domain import Proxy class BaseSpider(object): #定义一个最基础的爬虫,后面爬取专门网站的爬虫继承这个基础爬虫
urls = []
group_xpath = '' #因为我们用的lxml模块解析页面,所以要传入分组xpath和细节xpath
detail_xpath = {} #这个细节xpath就是ip在页面的位置,端口在页面的位置等等 def __init__(self,urls=[],group_xpath='',detail_xpath={}):
if urls:
self.urls = urls if group_xpath:
self.group_xpath = group_xpath if detail_xpath:
self.detail_xpath = detail_xpath def get_page_from_url(self,url):
response = requests.get(url,headers=get_requests_headers())
#这个get_requests_headers方法是获取一个随机请求头,之前http.py模块定义过这个方法
return response.content def get_first_list(self,li=[]):
if len(li)!=0:
return li[0]
else :
return '' def get_proxies_from_page(self,page):
#这个就是把HTML页面给lxml,让它解析
element = etree.HTML(page) trs = element.xpath(self.group_xpath)
#print(trs)
for tr in trs:
#tr.xpath(self.detail_xpath['ip'])因为这一部分返回的是一个列表,而且如果我们直接写
#tr.xpath(self.detail_xpath['ip'])[0],如果这个列表为空,他就会报错导致程序异常终止
ip = self.get_first_list(tr.xpath(self.detail_xpath['ip']))
port = self.get_first_list(tr.xpath(self.detail_xpath['port']))
area = self.get_first_list(tr.xpath(self.detail_xpath['area']))
proxy = Proxy(ip,port,area=area)
print(proxy.__dict__) #这个dict函数就是把对象转化成字典类型输出,python内部函数
yield proxy #函数有了这个关键字,函数就是一个生成器函数。上篇博客讲过,会挂一下链接 def get_proxies(self):
for url in self.urls:
# print(url)
page = self.get_page_from_url(url)
# print(page)
proxies = self.get_proxies_from_page(page)
yield from proxies if __name__ == '__main__': #用于测试这个这个模块
# config = {
# 'urls':{'http://www.ip3366.net/?stype=1&page={}'.format(i) for i in range(1,3)},
# 'group_xpath':'//*[@id="list"]/table/tbody/tr',
# 'detail_xpath':{
# 'ip':'./td[1]/text()',
# 'port':'./td[2]/text()',
# 'area':'./td[6]/text()'
# }
# }
#
# spider = BaseSpider(**config)
# for proxy in spider.get_proxies():
# print(proxy)
url = 'http://www.66ip.cn/4.html'
response = requests.get(url,headers=get_requests_headers())
print(response.content.decode('GBK'))

python 引用(import)文件夹下的py文件

二、专门针对几个网站的爬虫(proxy_spiders.py)

#-*-coding:utf-8-*-
from base_spider import BaseSpider class XiciSpider(BaseSpider):
urls = {'https://www.xicidaili.com/nn/{}'.format(i) for i in range(1,2)}
group_xpath = '//*[@id="ip_list"]/tr[position()>1]'
detail_xpath = {
'ip':'./td[2]/text()',
'port':'./td[3]/text()',
'area':'./td[4]/a/text()'
} class ProxylistplusSpider(BaseSpider):
urls = {'https://list.proxylistplus.com/Fresh-HTTP-Proxy-List-{}'.format(i) for i in range(1,2)}
group_xpath = '//*[@id="page"]/table[2]/tr[position()>5]'
detail_xpath = {
'ip':'./td[2]/text()',
'port':'./td[3]/text()',
'area':'./td[5]/text()'
} class KuaidailiSpider(BaseSpider):
urls = {'https://www.kuaidaili.com/free/inha/{}'.format(i) for i in range(1,4)}
group_xpath = '//*[@id="list"]/table/tbody/tr'
detail_xpath = {
'ip':'./td[1]/text()',
'port':'./td[2]/text()',
'area':'./td[5]/text()' } class ip66Spider(BaseSpider):
urls = {'http://www.66ip.cn/{}.html'.format(i) for i in range(1,4)}
group_xpath = '//*[@id="main"]/div/div[1]/table/tr[position()>1]'
detail_xpath = {
'ip':'./td[1]/text()',
'port':'./td[2]/text()',
'area':'./td[3]/text()'
} if __name__ == '__main__':
pass
# spider = XiciSpider()
# spider = ProxylistplusSpider()
# spider = KuaidailiSpider()
# spider = ip66Spider()
# for proxy in spider.get_proxies():
# print(proxy)

我写的时候就没遇到反爬。。。。我也不知道为啥。。。。我就传了一个请求头headers

三、运行这几个爬虫(run_spiders.py)

#-*-coding:utf-8-*-
import sys
import importlib
import schedule
import time
from gevent import monkey
monkey.patch_all() #打上猴子补丁,这个我博客下面有这一方面解释链接 from gevent.pool import Pool #导入协程池
#可能有人会问为什么要用协程,因为requests.get()请求的时候会等待时间,我们可以利用这一部分时间做其他事情
sys.path.append("../..")
sys.path.append("..")
from settings import SPIDERS
from proxy_validate.httpbin_validator import check_proxy
from db.mongo_pool import MongoPool #要把可用代理IP存入mongodb数据库
from utils.log import logger
from settings import RUN_SPIDERS_INTERVAL #这些都是settings.py模块的一些变量 class RunSpiders(object): def __init__(self):
self.mongo_pool = MongoPool() #创建一个数据库对象,这个是我们写的模块,可以看python代理池的构建4——mongdb数据库的增删改查
self.coroutine_pool = Pool() #创建协程池 def get_spider_from_settings(self):
for full_class_name in SPIDERS: #下面这一部分就是动态导入模块,我会给出相应博客链接去解释他
module_name,class_name=full_class_name.rsplit('.',maxsplit=1)
module = importlib.import_module(module_name)
clss = getattr(module,class_name)
spider = clss()
#print(spider)
yield spider def run(self):
spiders = self.get_spider_from_settings() for spider in spiders: #开启多协程去分别运行多个爬虫
self.coroutine_pool.apply_async(self.run_one,args=(spider,)) self.coroutine_pool.join() #等全部爬虫都运行完,再结束这个函数 def run_one(self,spider):
try: #try一下,以防某个爬虫失败导入异常,从而程序异常结束
for proxy in spider.get_proxies():
proxy = check_proxy(proxy)
if proxy.speed != -1:
self.mongo_pool.insert_one(proxy) #这个就是把这一个代理ip信息插入到数据库里面
except Exception as ex:
logger.exception(ex) @classmethod #定义一个类方法,之后可以通过类名来调用
def start(cls): #这个cls参数,是它自己就带的
rs = RunSpiders()
rs.run()
schedule.every(RUN_SPIDERS_INTERVAL).hours.do(rs.run)
#这个意思就是每隔RUN_SPIDERS_INTERVAL小时,就执行一遍rs.run函数
while True:
schedule.run_pending() #这个就是检查时间到两个小时了没
time.sleep(60) if __name__ == '__main__': #检查本模块是否可用
RunSpiders.start()
# rs = RunSpiders()
# rs.run()

四、关于代码一些问题解决链接:

协程gevent模块和猴子补丁

python中schedule模块的简单使用 || importlib.import_module动态导入模块

Python中“*”和“**”的用法 || yield的用法 || ‘$in’和'$nin' || python @property的含义

python代理池的构建4——mongdb数据库的增删改查

五、python代理池的构建的其他链接

python代理池的构建5——对mongodb数据库里面代理ip检查

python代理池的构建4——mongdb数据库的增删改查

python代理池的构建2——代理ip是否可用的处理和检查

python代理池的构建1——代理IP类的构建,以及配置文件、日志文件、requests请求头

python代理池的构建3——爬取代理ip的更多相关文章

  1. python代理池的构建5——对mongodb数据库里面代理ip检查

    上一篇博客地址:python代理池的构建4--mongdb数据库的增删改查 一.对数据库里面代理ip检查(proxy_test.py) #-*-coding:utf-8-*- ''' 目的:检查代理I ...

  2. python代理池的构建4——mongdb数据库的增删改查

    上一篇博客地址:python代理池的构建3--爬取代理ip 一.mongdb数据库的增删改查(Mongo_pool.py) #-*-coding:utf-8-*- ''' 实现代理池的数据库模块 ●作 ...

  3. python代理池的构建2——代理ip是否可用的处理和检查

    上一篇博客地址:python代理池的构建1--代理IP类的构建,以及配置文件.日志文件.requests请求头 一.代理ip是否可用的处理(httpbin_validator.py) #-*-codi ...

  4. python代理池的构建1——代理IP类的构建,以及配置文件、日志文件、requests请求头

    一.整体结构 二.代理IP类的构建(domain.py文件) ''' 实现_ init_ 方法, 负责初始化,包含如下字段: ip: 代理的IP地址 port:代理IP的端口号 protocol: 代 ...

  5. Python爬虫-代理池-爬取代理入库并测试代理可用性

    目的:建立自己的代理池.可以添加新的代理网站爬虫,可以测试代理对某一网址的适用性,可以提供获取代理的 API. 整个流程:爬取代理 ----> 将代理存入数据库并设置分数 ----> 从数 ...

  6. python爬虫爬取代理IP

    # #author:wuhao # #--*------------*-- #-****#爬取代理IP并保存到Excel----#爬取当日的代理IP并保存到Excel,目标网站xicidaili.co ...

  7. 使用Selenium&PhantomJS的方式爬取代理

    前面已经爬取了代理,今天我们使用Selenium&PhantomJS的方式爬取快代理 :快代理 - 高速http代理ip每天更新. 首先分析一下快代理,如下 使用谷歌浏览器,检查,发现每个代理 ...

  8. Python爬虫学习三------requests+BeautifulSoup爬取简单网页

    第一次第一次用MarkDown来写博客,先试试效果吧! 昨天2018俄罗斯世界杯拉开了大幕,作为一个伪球迷,当然也得为世界杯做出一点贡献啦. 于是今天就编写了一个爬虫程序将腾讯新闻下世界杯专题的相关新 ...

  9. 初识python 之 爬虫:使用正则表达式爬取“糗事百科 - 文字版”网页数据

    初识python 之 爬虫:使用正则表达式爬取"古诗文"网页数据 的兄弟篇. 详细代码如下: #!/user/bin env python # author:Simple-Sir ...

随机推荐

  1. 使用 gRPC-UI 调试.NET 5的gPRC服务

    在上一篇文章中,我介绍了gRPCurl一个命令行工具,该工具可用于测试gRPC服务的端点,在本文中,我将向您介绍 gRPC-ui, 它可以作为Web工具使用,有点像Postman,但用于gRPC AP ...

  2. 关于请求接口报4XX错误,给广大前端同胞进行伸冤澄清,请相信它不一定都是前端的错

    关于请求接口报4XX错误,给广大前端同胞进行伸冤澄清,请相信它不一定都是前端的错 首先确保接口没有写错,参数按照后台要的写,确保自己也没有写错,若页面还是报4xx错误,请站出来大胆的质疑后端,干什么吃 ...

  3. 关于BAPI_TRANSACTION_COMMIT一点说明

    我们调用bapi做了相关的业务操作后,通常都要在后面调用 BAPI_TRANSACTION_COMMIT来提交所做得更改 然而,有时候,在程序中需要调用多个不同的BAPI实现不同的功能,那么这个时候就 ...

  4. Lakehouse: 统一数据仓库和高级分析的新一代开放平台

    1. 摘要 数仓架构在未来一段时间内会逐渐消亡,会被一种新的Lakehouse架构取代,该架构主要有如下特性 基于开放的数据格式,如Parquet: 机器学习和数据科学将被作为头等公民支持: 提供卓越 ...

  5. 论super().__init__()的用法

    当我们调用 super() 的时候,实际上是实例化了一个 super 类. super 是个类,既不是关键字也不是函数等其他数据结构,该对象就是专门用来访问父类中的属性的(严格按照继承的关系). -- ...

  6. 六个你不知道的PR快捷键,拯救你的剪辑效率

    5G时代到来,会剪辑视频的人,无论在校园还是未来步入职场都很吃香.对于普通人来说,视频处理也成为了一个通用技能.PR是我们大多数人剪辑中,经常会用到的剪辑工具,之前的文章中已经给大家总结了pr的一些提 ...

  7. 从零开始学spring源码之ioc预热:bean的拓展和beanProcessor注册

    上篇聊完了bean的解析,说起来做的事情很简单,把xml文件里面配置的标签全部解析到spring容器里面,但是spring做的时候,花了那么大代价去做,后面看看到底值不值得呢. 接下来看看prepar ...

  8. mysql(视图 事务 索引 外键)

    视图   视图本质就是对查询的封装   创建视图(定义视图 起名以v_开头) create view v_students as select classes.name as c_name ,stud ...

  9. windows 系统 MySQL_5.6.21安装教程

      1.双击安装文件 mysql_installer_community_V5.6.21.1_setup.1418020972.msi,等待安装界面出现,见下图: 2.勾选:I accept thel ...

  10. Xamarin.Forms: 无限滚动的ListView(懒加载方式)

    说明 在本博客中,学习如何在Xamarin.Forms应用程序中设计一个可扩展的无限滚动的ListView.这个无限滚动函数在默认的Xamarin.Forms不存在,因此我们需要为此添加插件.在这里我 ...