python-爬虫-scrapy

入门：

下载：pip install scrapy

工程：scrapy startproject 工程名

Spider: scrapy genspider 爬虫名 url  (--nolog//可选不显示日志)

简介：

持久化存储：

1 ：终端存储：scrapy crawl -o aaa.text

2 : 管道存储:items对象即穿过来的{}字典，之后存储

3： open_spider()---->链接数据库，close_spider()-->关闭数据库，process_item()--->存储

代理Ip：

1自定义下载中间件

middleware.py---》

class MyProxy(object):

def process_request(self,request,spider):

# 请求ip 更换

request.meta['proxy'] = "http://202.112.51.51:8082"

2 开启下载中间件

DOWNLOADER_MIDDLEWARES = {

'firstBlood.middlewares.MyProxy': 543,

}

日志等级：

1

ERROR：错误

WARNING：警告

INFO：一般信息

DEBUG：调试信息（默认）

指定日志信息等级：

settings:LOG_LEVEL = ‘ERROR’

将日志信息存储到制定文件中：

settings：LOG_FILE = ‘log.txt’

2 二级传参

yield scrapy.Request(url=url,callback=self.secondParse,meta={'item':ite

m})

调用：item = response.meta['item']

请求传参：

方式一：用scrapy.Requests(method='post')

方式二：重写start_request(self)方法(推荐)

class FanyiSpider(scrapy.Spider):

def start_requests(self):

data = {

'kw':'dog'

}

for url in self.start_urls:

# FormRequest发送post请求

yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse)

CrawlSpider:

一般多层请求是多少层多少方法，或递归方法--->yield scrapy.Request(url,callback,meta)

特殊请求有多种：

一：初始请求化作请求队列，功能（获取url列表，不断请求，在新页面获取新url列表）

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

class CrawlspiderSpider(CrawlSpider):

name = 'crawlSpider'

start_urls = ['https://www.qiushibaike.com/text']  

rules = ( Rule(LinkExtractor(allow=r'/text/page/\d+'), callback='parse_item', follow=True),)

'''

LinkExtractor : 设置提取链接的规则（正则表达式）

allow=(), ： 设置允许提取的url

restrict_xpaths=(), ：根据xpath语法，定位到某一标签下提取链接

restrict_css=(), ：根据css选择器，定位到某一标签下提取链接

deny=(), ： 设置不允许提取的url（优先级比allow高）

allow_domains=(), ： 设置允许提取url的域

deny_domains=(), ：设置不允许提取url的域（优先级比allow_domains高）

unique=True, ：如果出现多个相同的url只会保留一个

strip=True ：默认为True,表示自动去除url首尾的空格

'''

'''

rule

link_extractor, : linkExtractor对象

callback=None, ： 设置回调函数

follow=None, ： 设置是否跟进

process_links=None, ：可以设置回调函数，对所有提取到的url进行拦截

process_request=identity ： 可以设置回调函数，对request对象进行拦截

'''

def parse_item(self, response):

    div_list = response.xpath('//div[@id="content‐left"]/div')

   for div in div_list:

   item = PhpmasterItem()

   author = div.xpath('./div/a[2]/h2/text()').extract_first()

   item['author'] = str(author).strip()

   # print(author)

   content = div.xpath('./a[1]/div/span/text()').extract()

   content = ''.join(content)

   item['content'] = str(content).strip()

   yield item

二：下载img时，把img_url传到管道中，管道中下载（请求方入下级）

Spider::yield item[‘img_url’]

Setting::IMAGES_STORE = './images/'

Pip::

from qiubaipic.settings import IMAGES_STORE as images_store

from scrapy.pipelines.images import ImagesPipeline

class QiubaipicPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):

        img_link = "http:"+item['img_link']

        yield scrapy.Request(img_link)        

图片分组：

def file_path(self, request, response=None, info=None):

        '''完成图片存储路径'''

        img_name = request.url.split('/')[-1]  # 图片名

        file_name = request.meta['file_name']  # 路径

        image_guid = file_name + '/' + img_name  # 天价世界名画/2560580770.jpg

        img_path = IMAGES_STORE + file_name + '/'  # ./image/天价世界名画/    必须存在

        if not os.path.exists(img_path):

            os.makedirs(img_path)

        print(request.url)

        return '%s' % (image_guid)

分布式爬虫：

代理IP池和UA池

代理ip中间件：

http_list = []

https_list = []

def process_request(self, request, spider):

        h = request.url.split(':')[0]

        if h == 'http':

            http = 'http://'+random.choice(http_list)

        if h == 'https':

            http = 'https://'+random.choice(https_list)

        request.meta['proxy'] = http

Ua中间件：

user_agent_list = []

def process_request(self, request, spider):

        #从列表中随机抽选出一个ua值

        ua = random.choice(user_agent_list)

        # 4. ua值进行当前拦截到请求的ua的写入操作

        request.headers.setdefault('User-Agent',ua)

脚本运行scrapy项目：

项目下新建xxx.py；

from scrapy import cmdline

# 帮助我们直接执行scrapy 命令

cmdline.execute('scrapy crawl logrule --nolog'.split())