【python爬虫】scrapy入门1--环境搭建

Scrapy Day01

（1）

进入主目录，右键打开终端，创建项目

scrapy startproject xicidailiSpyder

进入项目目录

cd xicidailiSpyder/

创建爬虫文件（文件名不能与项目名相同）

scrapy genspider xicidaili www.xicidaili.com

（2）

Settings.py

取消注释：ROBOTSTXT_OBEY = False

取消注释：ITEM_PIPELINES

取消注释：DEFAULT_REQUEST_HEADERS，添加'User-Agent’:用户代理

设置输出编码（csv中文乱码特效药）：FEED_EXPORT_ENCODING = 'utf-8-sig'

（3）

爬虫文件名.py

修改：start_urls = ['http://www.xicidaili.com/nt/6']

修改：

def parse(self, response):

# pass

selectors=response.xpath('//tr')

for selector in selectors:

ip=selector.xpath('./td[2]/text()').get()

port=selector.xpath('./td[3]/text()').get()

# print(ip,port)

items ={

'ip':ip,

'port':port

}

# yield:跟字典

yield items

next_page=response.xpath("//a[@class='next_page']/@href").get()

if next_page:

print(next_page)

next_url=response.urljoin(next_page)

# 发出请求 Request，callback 回调函数 将请求得到的响应交给自己处理

yield scrapy.Request(next_url,callback=self.parse)

（4）

开始爬虫

scrapy crawl xicidaili

导出数据格式

scrapy crawl xicidaili -o ip.json

scrapy crawl xicidaili -o ip.csv

注意这3个命令都是项目相关的，只能用于已存在的项目。

其他：

1、谷歌插件：XPath Helper

2、pip install scrapy，依赖包twisted错误，第三方库离线下载whl（搜索twisted）：https://pypi.org/search/?q=twisted&o=

3、硬件测试命令：scrapy bench，错误需要安装：pip install pywin32