使用scrapy入门教程

创建项目

scrapy startprogect demo

创建爬虫

scrapy genspider myDomain madomian.com

直接创建文件也可以

运行爬虫

scrapy crawl myDomain

或者使用py文件运行

from scrapy import cmdline
# 方式一：注意execute的参数类型为一个列表
cmdline.execute('scrapy crawl spidername'.split())
# 方式二:注意execute的参数类型为一个列表
cmdline.execute(['scrapy', 'crawl', 'spidername'])

以上是简单的一个爬虫的操作流程

如何使用爬虫

初始爬虫有两种方案

1,start_urls = ['http://www.2717.com/']

2,start_request(response) 方法

默认情况下他们都会调用parse() 方法