scrapy.Request使用meta传递数据，以及deepcopy的使用

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

 

参数meta说明：

        1）meta是一个字典，主要用于解析函数之间传递值；

        2）Request对象接受一个meta参数，即一个字典对象，同时Response对象有一个meta属性可以取到相应request传过来的meta；

        即：一方传递，另一方接收

 

 

问题：

meta传递值，有时候当前爬虫解析出来的数据需要重复抓取，获取到的值有时需要传递给下一个函数

但是 items= response.meta['item'] 接收的时候一直是同样的值

 

解决：

在yield的时候，meta参数的值做深度拷贝就可以了

yield scrapy.Request(detail_url,

                    callback=self.next_page,

                    meta={'item': deepcopy(item)})

 

 

结合代码说明为什么爬取图书数据重复时需要deepcopy？    -----这里省略代码，理解用法即可

 

- a = deepcopy(b)      # 相当于强制传值

      - scrapy中的内容是异步执行的，解析函数可能同时在执行，操作的是同一个item，

      - 大分类下的所有的图书用的是一个item字典

 

 

补充：

      copy与deepcopy区别：

        我的理解是：copy 相当于一个替身，只是表面的假象，真主换动作了替身也要随着变；

                             deepcopy 当作一对双胞胎，虽然相似，但实际上是各自独立的特征

                                               

       放上一个其他人总结的比较详细的链接作参考：https://www.jianshu.com/p/dd839e1d4144