scrapy_cookie禁用_延迟下载_自定义爬虫setting

如何设置禁止cookie？

在setting中 添加字段：

COOKIE_ENABLED = False                            # False关闭cookie，True打开

如何设置下载限速？

在setting中 添加字段：

TELNETCONSOLE_ENABLED = False            # 默认为0

如何动态设置下载速度？

DOWLAND_DELAY = 0                                  # 默认为0

如何给不同的spider设置不同的setting值？

在每个spider类中添加一个字段，和name同级，字典形式：

custom_settings = {

　　　　COOKIE_ENABLED = True

　　}

　　spider启动的时候，用这个custom_settings更新整个全局设置