scrapy_创建_调试

如何创建scrapy项目？

输入命令：

scrapy startproject project_name

在当前目录下创建名字叫project_name的scrapy项目

　　命令格式：scrapy startproject 项目名

如何启动官方提供的爬虫模版？

进入project_name这个项目目录下，输入命令

srapy genspider blog i.cnblogs.com

　　命令格式：“srapy genspider 爬虫模块名 域名”

如何调试scrapy项目？

在项目目录下新建一个start.py文件，写入：

#!/usr/bin/python3

from scrapy.cmdline import execute

if __name__ == '__main__'：
    execute(['scrapy', 'crawl', 'spider_name', '--nolog'])

在windows系统，会出现错误：no model win32 如何解决？

pip install pypiwin32

调试时候注意点：

默认scrapy会读取该网页的robots协议，把遵守协议改成False

ROBOTSTXT_OBEY = True --> False

如何进行调试？

scrapy shell   调试网站

scrapy shell  http://www.cnblogs.com/2bjiujiu/

　　通过以下命令：

response

　　如果状态200表示获取页面成功，通过response对象进行css或xpath调试

response.css('#homepage1_HomePageDays_DaysList_ctl00_DayList_TitleUrl_0::text').extract()

response.xpath("//a[@id='homepage1_HomePageDays_DaysList_ctl00_DayList_TitleUrl_0']/text()").extract()

如何加入请求头？

　　scrapy shell -s user-agent='省略'　url

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" http://www.cnblogs.com/2bjiujiu/