scrapy基础 之 静态网页实例

1，scrapy爬虫基本流程：

1. 创建一个新的Scrapy Project

> scrapy startproject 项目名称    #系统会在当前目录下创建一个项目名称命名的文件夹，其下包含以下文件：

scrapy.cfg: 项目配置文件

items.py: 需要提取的数据结构定义文件，在items.py里面定义我们要抓取的数据：

pipelines.py:管道定义，PipeLine用来对Spider返回的Item列表进行保存操作，可以写入到文件、或者数据库等。

settings.py: 爬虫配置文件，包括发送请求次数，间隔时间，等等

spiders: 放置spider的目录，也就是爬虫的主程序，至少包含以下三个要素：name：spider的标识，parse()方法:当start_urls里面的网页抓取下来之后需要调用这个方法解析网页内容，同时需要返回下一个需要抓取的网页，或者返回items列表。start_url :一个url列表，spider从这些网页开始抓取.

2. 定义你需要从网页中提取的元素Item

3.实现一个Spider类，通过接口完成爬取URL和提取Item的功能

4. 实现一个Item PipeLine类，完成Item的存储功能

注意：

> scrapy startproject huxiu2    #在当前文件夹创建一个名为huxiu2的文件夹，文件夹有settings，items，pipeline等文件构成一个爬虫框架

自己写的爬虫程序要写在projectname/projectname/spiders目录下

2，配置items文件

目标：虎嗅网新闻列表的名称、链接地址和摘要爬取下来。

import scrapy
class HuxiuItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title=scrapy.Field()
    link=scrapy.Field()
    desc=scrapy.Field()
    posttime=scrapy.Field()

注意：title，auther等内容将会是每行中存放信息的条目，也就是需要爬取的信息。

输出和爬取程序不在一个文件里的好处是，未来可以使用Scrapy中其他有用的组件和帮助类。虽然目前感受不深，先按照框架来吧

3，写第一个spider

必不可少的要素：如果采用了items.py一定要先import一下，继承scrapy.Spider类并且有name，start_urls，parse。

from huxiu2.items import Huxiu2Item    #整个爬虫project的名字为huxiu2,
import scrapy

class Huxiu2Spider(scrapy.Spider):
    name = "huxi2"
    allowed_domains = ['huxiu.com']  # 只有这个域名下的子域名可以被允许爬取
    start_urls = ['http://www.huxiu.com/index.php']

    def parse(self, response):
        for sel in response.xpath('//div[@class ="mod-info-flow"]/div/div[@class="mob-ctt index-article-list-yh"]'):
            item = HuxiuItem()
            item['title'] = sel.xapth('h2/a/text()').extract_first()
            item['link'] = sel.xpath('h2/a/@href').extract_first()
            url = response.urljoin(item['link'])
            item['desc'] = sel.path('div[@class ="mob-sub"]/text()').extract_first()
            print item['title'],item['link'], item['desc']
    #结果是无法爬取，估计需要设置headers。下文是修正版，啦啦啦，好from huxiu2.items import Huxiu2Item    #整个爬虫project的名字为huxiimpofrom huxiu2.items import Huxiu2Item

import scrapy

class Huxiu2Spider(scrapy.Spider):
    name = "huxiu"
    # allowed_domains = ['huxiu.com']  # 只有这个域名下的子域名可以被允许爬取
    # start_urls = ['http://www.huxiu.com']    #有了重定义的start_requests就不用start_urls啦
    def start_requests(self):    
        # start_urls作用是开始请求第一个网址，默认就是使用start_requests方法，不带任何参数地请求，现在我们为了爬取信息必须要带上参数，
        # 所以我们要自定义一下这个方法。
        # 下方的request默认参数是：url, callback=None, method='GET', headers=None, body=None,cookies=None, meta=None, encoding='utf-8', 
        # priority=0，dont_filter=False, errback=None, flags=None。 所以cookie和headers是分开的，至于其余的参数，以后详解
        url='http://www.huxiu.com/index.php'
        head={
            "User-Agent":"info"
        }
        cookie={'key':'value'}    #自己去网页f12看哦，复制以后改成字典格式
        yield scrapy.Request(url=url,cookies=cookie,callback=self.parse,headers=head)
        pass

    def parse(self, response):
        print ">>>>>呵呵"
        for i in response.xpath('//div[@class="mod-b mod-art clearfix "]'):
            item=Huxiu2Item()
            item['title'] = i.xpath('./div[@class="mob-ctt index-article-list-yh"]/h2/a/text()').extract_first()
            item['link']=i.xpath('./div[@class="mob-ctt index-article-list-yh"]/h2/a/@href').extract_first()
            item['desc']=i.xpath('.//div[@class="mob-sub"]/text()').extract_first()
            print item['title'],item['link'],item['desc']

4，处理链接进入到每篇文章中获取信息

在items.py文件中，我们定义了posttime=scrapy.Field()，但是发送时间只有在具体的文章被打开以后才能够得到，所以，我们要同时处理第二层网址。

from huxiu2.items import Huxiu2Item    #整个爬虫project的名字为huxiu2,
import scrapy

class Huxiu2Spider(scrapy.Spider):
    name = "huxi3"
    allowed_domains = ['huxiu.com']  # 只有这个域名下的子域名可以被允许爬取
    start_urls = ['http://www.huxiu.com']    #相当于第一次发出请求

    def parse(self, response):
        for sel in response.xpath('//div[@class ="mod-info-flow"]/div/div[@class="mob-ctt index-article-list-yh"]'):
            item = HuxiuItem()    #实例化一个item用于储存数据
            item['title'] = sel.xapth('h2/a/text()').extract_first()
            item['link'] = sel.xpath('h2/a/@href').extract_first()
            url = response.urljoin(item['link'])    #生成可访问的打开每一篇文章的新网址
            item['desc'] = sel.xpath('div[@class ="mob-sub"]/text()').extract_first()
            print item['title'],item['link'], item['desc']
            yield scrapy.Request(url,callback=self.parse_artical)    #开始第二层的请求，网址是url，callbac参数定义的是第二层爬取将调动哪个函数

    def parse_artical(self,response):
        item=Huxiu2Item()    #同样需要实例一下用来储存数据
        item['posttime']=response.xpath('//span[@class="article-time pull-left"]/text()').extract_first()
        item['link']=response.url    #进去第二层以后顺带更新一下litem['link'],因为之前的link不完整，不用之前的url变量是因为在此处更新可以确保新网址可打开。
        print item['posttime'],item['link']
        yield item

5，导出抓取数据

第一种方法：直接打印：>scrapy crawl huxi3

第二种方法：导出结果到jason文件：>scrapy crawl huxiu -o items.json

第三种方法：保存到数据库

保存到数据库，可以直接在spiders里面定义，也可以使用piplines

直接写在spiders里面的方法：

from huxiu2.items import Huxiu2Item   #整个爬虫project的名字为huxiu2,
import scrapy,pymysql

class Huxiu2Spider(scrapy.Spider):
    name = "huxiu"
    def start_requests(self):
        url='http://www.huxiu.com/index.php'
        head={
            "User-Agent":"xxx"
        }
        cookie={
            "xxx": "yyy"
        }
        yield scrapy.Request(url=url,cookies=cookie,callback=self.parse,headers=head)
        pass

    def parse(self, response):
        db = pymysql.connect("localhost", "root", "xxxx", "xxxx")    #先要连接上数据库
        cursor = db.cursor()
        sql="""create table huxiu(`title` varchar(50),`link` varchar(50),`desc` varchar(50))DEFAULT CHARSET=utf8"""    #设置数据表的编码方式
        try:
            cursor.execute(sql)    #创建数据表新表
            db.commit()
        except:
            db.rollback()
            print "error first try"
        for i in response.xpath('//div[@class="mod-b mod-art clearfix "]'):
            item=Huxiu2Item()
            item['title'] = i.xpath('./div[@class="mob-ctt index-article-list-yh"]/h2/a/text()').extract_first().encode("utf-8")
            tmplink=i.xpath('./div[@class="mob-ctt index-article-list-yh"]/h2/a/@href').extract_first().encode("utf-8")
            item['link']=response.urljoin(tmplink).encode("utf-8")
            item['desc']=i.xpath('.//div[@class="mob-sub"]/text()').extract_first().encode("utf-8")    #加encode的原因是原数据是unicode格式的
            #print '第一层',item['title'],item['link'],item['desc']
            a=str(item['title'])
            b=str(item['link'])
            c=str(item['desc'])
            print item['title'],"结果"
            sql2="""INSERT INTO huxiu VALUES ('%s', '%s','%s')""" % (a,b,c)    #传参到sql语句中，%s表示传的是字符串
            try:
                cursor.execute(sql2)
                db.commit()
            except:
                db.rollback()
                print "error of second try"
        db.close()

使用pipeline的方法：

注意：要想使用pipeline，

　　首先得在spiders中有yield item作为结尾，只要这样才能生成item，否则item是空的；

其次得在settings中启用pipelines，格式如下：ITEM_PIPELINES = {'huxiu2.pipelines.Huxiu2PipelinesJson': 300,}，字典的键是自定义的pipeline函数名

最后要注意pipeline内的class下的函数基本有三个，分别在开始中间和结束时候执行

spider的代码：

from huxiu2.items import Huxiu2Item   #整个爬虫project的名字为huxiu2,
import scrapy,pymysql

class Huxiu2Spider(scrapy.Spider):
    name = "huxiu"
    def start_requests(self):    #自定义的request方法
        url='http://www.huxiu.com/index.php'
        head={
            "User-Agent":"yyy"
        }
        cookie={
            "xxx": "yyy"
        }
        yield scrapy.Request(url=url,cookies=cookie,callback=self.parse,headers=head)
        pass

    def parse(self, response):    #自定义的信息获取函数
        for i in response.xpath('//div[@class="mod-b mod-art clearfix "]'):
            item=Huxiu2Item()
            item['title'] = i.xpath('./div[@class="mob-ctt index-article-list-yh"]/h2/a/text()').extract_first().encode("utf-8")
            tmplink=i.xpath('./div[@class="mob-ctt index-article-list-yh"]/h2/a/@href').extract_first().encode("utf-8")
            item['link']=response.urljoin(tmplink).encode("utf-8")
            item['desc']=i.xpath('.//div[@class="mob-sub"]/text()').extract_first().encode("utf-8")
            print '第一层',item['title'],item['link'],item['desc']    #为了看到是否可以成功爬取信息，为了搞明白pipelines的原理
            yield item    #yield item非常必要

pipelines的代码：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

import json

class Huxiu2PipelinesJson(object):
    def __init__(self):
        print '开始时候执行'    #在得到有用数据以前打印出来
        self.file=open('Huxiu.json','w')    #会在当前目录生成Huxiu.json文件

    def process_item(self, item, spider):
        print 'process_item running'    #每次print一组信息以后就会打印出这句话，说明item是一条一条写进json文件中的，而不是生成item以后再总的写进去
        content=json.dumps(dict(item),ensure_ascii=False)+'\n'    #python信息转化为json信息的函数
        self.file.write(content)
        return item

    def close_spider(self,spider):
        print '结束时候'    #有用的信息执行完毕后打印出来这句话
        self.file.close()