scrapy设置logger日志

1、在settings中设置log级别，在settings.py中添加一行：

LOG_LEVEL = 'WARNING'

Scrapy提供5层logging级别:

CRITICAL - 严重错误

ERROR - 一般错误

WARNING - 警告信息

INFO - 一般信息

DEBUG - 调试信息

scrapy默认显示DEBUG级别的log信息

2、将输出结果保存为log日志，在settings.py中添加路径：

LOG_FILE = './log.log'

通过在setting.py中进行以下设置可以被用来配置logging:

LOG_ENABLED 默认: True，启用logging

LOG_ENCODING 默认: ‘utf-8’，logging使用的编码

LOG_FILE 默认: None，在当前目录里创建logging输出文件的文件名

LOG_LEVEL 默认: ‘DEBUG’，log的最低级别

3、显示log位置，在pipelines.py中：

import logging

logger = logging.getLogger(__name__)

def process_item(self, item, spider):
    logger.warning(item)
    ....