最新版本的 scrapy 已经废弃了 scrapy.log 的使用,赞成显示调用python标准日志记录。

Python 内建日志系统

import logging

### python 内建 log模块

# 发布日志的快捷方式
logging.warning('warn test1') # WARNING:root:warn test1 # 将日志级别作为参数
logging.log(logging.WARNING, 'warn test2') # WARNING:root:warn test2 ## 利用 “记录器” 封装日志,记录器可以独立配置,并且允许层次结构 # 默认使用根记录器,它是一个顶级记录器【如上面例子】
logger = logging.getLogger() # 显示获取根记录器
logging.warning('warn test3') # WARNING:root:warn test3 # 自定义记录器
logger = logging.getLogger('mylogger')
logger.warning('warn test4') # WARNING:mylogger:warn test4 # 用当前模块的路径定义记录器
logger = logging.getLogger(__name__)
logger.warning('warn.test5') # WARNING:__main__:warn.test5

Scrapy 日志系统

方式一:Spider 实例提供的logger方法

def parse(self, response):
self.logger.info('download success')

方式二:自定义日志记录器

import logging
import scrapy logger = logging.getLogger('mycustomlogger') class MySpider(scrapy.Spider): name = 'myspider'
start_urls = ['https://scrapinghub.com'] def parse(self, response):
logger.info('mydeflog  success')

这两种方式生成的日志记录在系统命令中

日志记录配置

若要生成日志文件,需要在setting中设置

LOG_FILE = 'tq2345.log'
LOG_LEVEL = 'DEBUG'

settings 配置 日志系统

  • LOG_ENABLED    默认为 True,是否启用日志
  • LOG_ENCODING    默认为 utf8,日志编码
  • LOG_FILE        默认为 None,记录日志的文件名
  • LOG_FORMAT      默认为 %(asctime)s [%(name)s] %(levelname)s: %(message)s,格式化日志消息
  • LOG_DATEFORMAT    默认为 %Y-%m-%d %H:%M:%S,格式化日期
  • LOG_LEVEL       默认为 DEBUG,日志级别
  • LOG_STDOUT      默认为 False,如果 True ,进程的所有标准输出(和错误)都将重定向到日志。
  • LOG_SHORT_NAMES    默认为 False,如果 True 日志只包含根路径。如果设置为 False 然后显示负责日志输出的组件

命令行配置日志

利用项目命令配置日志

scrapy crawl spidername --logfile   log.log

经测试,如果 settings 和 命令行 同时对日志进行配置,以命令行为准

也可以设置其他配置,具体请百度

参考资料:

https://www.osgeo.cn/scrapy/topics/logging.html#topics-logging-settings

Scrapy 教程(九)-日志系统的更多相关文章

  1. ELK日志系统:Elasticsearch+Logstash+Kibana+Filebeat搭建教程

    ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 系统架构 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.orac ...

  2. Spring Cloud 5分钟搭建教程(附上一个分布式日志系统项目作为参考) - 推荐

    http://blog.csdn.net/lc0817/article/details/53266212/ https://github.com/leoChaoGlut/log-sys 上面是我基于S ...

  3. cocos creator主程入门教程(五)—— 日志系统

    五邑隐侠,本名关健昌,10年游戏生涯,现隐居五邑.本系列文章以TypeScript为介绍语言. 这一篇介绍日志系统的设计.一般我们开发一个demo,只会简单的用cocos提供的cc.log打印下日志, ...

  4. Scrapy教程

    Scrapy教程 原文地址https://doc.scrapy.org/en/latest/intro/tutorial.html 此教程我们假设你已经装好了Scrapy,如果没有请查看安装指南.. ...

  5. 无废话ExtJs 入门教程九[数字字段:NumberField、隐藏字段Hidden、日期字段:DataFiedl]

    无废话ExtJs 入门教程九[数字字段:NumberField.隐藏字段Hidden.日期字段:DataFiedl] extjs技术交流,欢迎加群(201926085) 继上第六节内容,我们在表单里加 ...

  6. 黄聪:Microsoft Enterprise Library 5.0 系列教程(九) Policy Injection Application Block

    原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(九) Policy Injection Application Block 代理对象(Proxy Object) ...

  7. MySQL日志系统

    body { font-family: Helvetica, arial, sans-serif; font-size: 14px; line-height: 1.6; padding-top: 10 ...

  8. 使用 SLF4J + LogBack 构建日志系统(转)

    转载自:http://www.cnblogs.com/mailingfeng/p/3499436.html 上次我们讨论了如何选择一个好的开源日志系统方案,其中的结论是:使用 SLF4J + LogB ...

  9. nxlog4go 简介 - 基于log4go的下一代go语言日志系统

    nxlog4go的项目网址: https://github.com/ccpaging/nxlog4go 项目历史 ccpaging's log4go forked from https://githu ...

随机推荐

  1. 一个用于格式化和处理数字的javascript库----Numeral.js

    npm地址:https://www.npmjs.com/package/numeral 1.转化成百分比: numeral(num).format('0.00%')

  2. 在cmd上执行关于java的反编译

    反编译是指通过对他人软件的目标程序(比如可执行程序)进行“逆向分析.研究”工作,以推导出他人的软件产品所使用的思路.原理.结构.算法.处理过程.运行方法等设计要素,某些特定情况下可能推导出源代码.反编 ...

  3. es之路由:进一步提高Elasticsearch的检索效率(适用大规模数据集)

    1:一条数据是如何落地到对应的shard上的 当索引一个文档的时候,文档会被存储到一个主分片中. Elasticsearch 如何知道一个文档应该存放到哪个分片中呢? 首先这肯定不会是随机的,否则将来 ...

  4. 大哥带的MSsql注入(SQL Server)--预习

    ①判断数据库类型and exists (select * from sysobjects)--返回正常为mssql(也名sql server)and exists (select count(*) f ...

  5. NLP大赛冠军总结:300万知乎多标签文本分类任务(附深度学习源码)

    NLP大赛冠军总结:300万知乎多标签文本分类任务(附深度学习源码)       七月,酷暑难耐,认识的几位同学参加知乎看山杯,均取得不错的排名.当时天池AI医疗大赛初赛结束,官方正在为复赛进行平台调 ...

  6. A 内存挂 B 封包挂 C 钩子挂 D CALL挂 外挂

    https://www.zhihu.com/question/32291769 作者:猎狐链接:https://www.zhihu.com/question/32291769/answer/70929 ...

  7. OpenStack Nova Placement API 统一资源管理接口的未来

    目录 目录 Placement API 为何称之为 "未来" 操作对象基本概念 数据库操作样例 Placement API 在创建虚拟机时的调度过程 Placement REST ...

  8. 中国MOOC_零基础学Java语言_第5周 数组

    第5周 数组 5.1 数组 5.2 数组计算 public class Main { public static void main(String[] args) { for (int i = 1; ...

  9. 【WPF异常】在使用 ItemsSource 之前,项集合必须为空

    <DataGrid x:Name=" AutoGenerateColumns="False" GridLinesVisibility="None" ...

  10. oracle 11g 数据库恢复技术 --rman catalog

    Oracle RMAN的catalog并不是指标备份恢复操作的一个必要组件,但oracle推荐使用该组件.启用之后,归档日志.备份集.镜像复制等备份信息的保存地点是RMAN资料库(catalog), ...