scrapy请求发送详解

scrapy自动发送请求

　　对start_urls列表中存储的起始url进行过请求的发送并没有通过手动实现，但是在parse函数中还是获取到了响应数据，这是因为爬虫文件中的爬虫类继承到了Spider父类中的start_requests（self）这个方法，该方法就可以对start_urls列表中的url发起请求：

 def start_requests(self):
         for u in self.start_urls:
            yield scrapy.Request(url=u,callback=self.parse)

【注意】该方法默认的实现，是对起始的url发起get请求，如果想发起post请求，则需要子类重写该方法。

 def start_requests(self):
         #请求的url
         post_url = 'http://fanyi.baidu.com/sug'
         # post请求参数
         formdata = {
             'kw': 'wolf',
         }
         # 发送post请求
         yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse)

手动对需要获取的内容的url发起请求　　

 #手动发起get请求，url指定，callback指定回调解析函数（可自定义），meta可以传递参数，封装在request中以便回调解析函数使用（request.item）
 yield scrapy.Request(url=url,callback=self.parse1,meta={})
 #手动发起post请求：formdata为请求参数，callback指定回调解析函数（可自定义），meta可以传递参数，封装在request中
 yield scrapy.FormRequest(url=url,formdata=formdata, callback=self.parse2，meta={})

在请求中，cookie的处理是scrapy自动封装好的。