Scrapy学习篇（三）之创建项目和Scrapy的安装

安装Scrapy

了解了Scrapy的框架和部分命令行之后，创建项目，开始使用之前，当然是安装Scrapy框架了。

关于Scrapy框架的安装，请参考：https://cuiqingcai.com/5421.html

创建项目

创建项目是爬取内容的第一步，之前已经讲过，Scrapy通过scrapy startproject <project_name>命令来在当前目录下创建一个新的项目。
下面我们创建一个爬取网址（http://quotes.toscrape.com/）的名言，作者和tags为例讲解。

scrapy startproject quotes #项目名称

scrapy genspider quotes quotes.com # quotes为爬虫名称，quotes.com为允许爬取的域名限制

其中quotes是你的项目的名字，可以自己定义。
其目录结构如下

下面简单的讲解一下各目录/文件的作用：

scrapy.cfg
项目的配置文件，带有这个文件的那个目录作为scrapy项目的根目录
items.py
定义你所要抓取的字段
pipelines.py
管道文件，当spider抓取到内容（item）以后，会被送到这里，这些信息（item）在这里会被清洗，去重，保存到文件或者数据库。
middlewares.py
中间件，主要是对功能的拓展，你可以添加一些自定义的功能，比如添加随机user-agent, 添加proxy，cookies；当需要使用selenium时，也是在这里设置。
settings.py
设置文件，用来设置爬虫的默认信息，相关功能开启与否，比如是否遵循robots协议，设置默认的headers，设置文件的路径，中间件的执行顺序等等。
spiders/
在这个文件夹下面，编写你自定义的spider。

编写爬虫

编写spider文件

在项目中的spiders文件夹下面创建一个文件，命名为quotes.py我们将在这个文件里面编写我们的爬虫。先上代码再解释。

class QuotesSpider(scrapy.Spider):

    name = 'quotes'

    allowed_domains = ['quotes.toscrape.com']

    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):

        quotes = BeautifulSoup(response.text,'lxml')

        for quote in quotes.find_all(name = 'div',class_='quote'):

            item = QuoteItem() #使用items中定义的数据结构

            for s in quote.find_all(name = 'span',class_='text'):

                item['text'] = s.text

            for s in quote.find_all(name= 'small',class_='author'):

                item['author'] = s.text

            for s in quote.find_all(name='div', class_='tags'):

                item['tags'] = s.text.replace('\n','').strip().replace(' ','')

            yield item

        nexts = quotes.find_all(name='li', class_='next')   #获取下一页的地址

        for next in nexts:

            n = next.find(name='a')

            url = 'http://quotes.toscrape.com/' + n['href']

            yield scrapy.Request(url = url,callback = self.parse)

导入scrapy模块
定义一个spider类，继承自scrapy.Spider父类。

下面是三个重要的内容

name: 用于区别Spider。该名字必须是唯一的，不可以为不同的Spider设定相同的名字。这一点很重要。
start_urls: 包含了Spider在启动时进行爬取的url列表。第一个被获取到的页面将是其中之一。即这是爬虫链接的起点，爬虫项目启动，便开始从这个链接爬取，后续的URL则从初始的URL获取到的数据中提取。
parse() 是spider的一个方法。被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

修改settings.py文件

将settings.py文件里面的下列内容修改如下，其余的内容不动。

ROBOTSTXT_OBEY = False   #不遵循robots协议

#去掉下面的这个注释，以设置请求头信息，伪造浏览器headers，并手动添加一个user-agent，也可以在下载器中间件中设置更灵活的user-agent获取方法

DEFAULT_REQUEST_HEADERS = {

  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

  'Accept-Language': 'en',

  #user-agent新添加

  'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"

}

编写Pipeline

我们将在pipeline文件中处理在spider中获取到的item，将其存储到mongodb数据库中。

class MongoPipeline(object):

    def __init__(self,mongo_url,mongo_db):

        self.mongo_url = mongo_url

        self.mongo_db = mongo_db

    @classmethod

    def from_crawler(cls,crawler):

        return cls(

            mongo_url=crawler.settings.get('MONGO_URL'),

            mongo_db = crawler.settings.get('MONGO_DB')

        )

    def open_spider(self,spider):

        self.client = pymongo.MongoClient(self.mongo_url)

        self.db = self.client[self.mongo_db]

    def process_item(self,item, spider):

        name = item.__class__.__name__

        self.db[name].insert(dict(item))

        return item

    def close_spider(self,spider):

        self.client.close()

运行我们的爬虫项目

至此，项目必要的信息已经全部完成了，下面就是运行我们的爬虫项目
进入带有scrapy.cfg文件的那个目录，前面已经说过，这是项目的根目录，执行下面的命令
scrapy crawl quotes
查看mongodb数据库，数据应该已经获取下来了。