Scrapy 教程(九)-日志系统
最新版本的 scrapy 已经废弃了 scrapy.log 的使用,赞成显示调用python标准日志记录。
Python 内建日志系统
import logging ### python 内建 log模块 # 发布日志的快捷方式
logging.warning('warn test1') # WARNING:root:warn test1 # 将日志级别作为参数
logging.log(logging.WARNING, 'warn test2') # WARNING:root:warn test2 ## 利用 “记录器” 封装日志,记录器可以独立配置,并且允许层次结构 # 默认使用根记录器,它是一个顶级记录器【如上面例子】
logger = logging.getLogger() # 显示获取根记录器
logging.warning('warn test3') # WARNING:root:warn test3 # 自定义记录器
logger = logging.getLogger('mylogger')
logger.warning('warn test4') # WARNING:mylogger:warn test4 # 用当前模块的路径定义记录器
logger = logging.getLogger(__name__)
logger.warning('warn.test5') # WARNING:__main__:warn.test5
Scrapy 日志系统
方式一:Spider 实例提供的logger方法
def parse(self, response):
self.logger.info('download success')
方式二:自定义日志记录器
import logging
import scrapy logger = logging.getLogger('mycustomlogger') class MySpider(scrapy.Spider): name = 'myspider'
start_urls = ['https://scrapinghub.com'] def parse(self, response):
logger.info('mydeflog success')
这两种方式生成的日志记录在系统命令中
日志记录配置
若要生成日志文件,需要在setting中设置
LOG_FILE = 'tq2345.log'
LOG_LEVEL = 'DEBUG'
settings 配置 日志系统
- LOG_ENABLED 默认为 True,是否启用日志
- LOG_ENCODING 默认为 utf8,日志编码
- LOG_FILE 默认为 None,记录日志的文件名
- LOG_FORMAT 默认为 %(asctime)s [%(name)s] %(levelname)s: %(message)s,格式化日志消息
- LOG_DATEFORMAT 默认为 %Y-%m-%d %H:%M:%S,格式化日期
- LOG_LEVEL 默认为 DEBUG,日志级别
- LOG_STDOUT 默认为 False,如果
True
,进程的所有标准输出(和错误)都将重定向到日志。 - LOG_SHORT_NAMES 默认为 False,如果
True
日志只包含根路径。如果设置为False
然后显示负责日志输出的组件
命令行配置日志
利用项目命令配置日志
scrapy crawl spidername --logfile log.log
经测试,如果 settings 和 命令行 同时对日志进行配置,以命令行为准
也可以设置其他配置,具体请百度
参考资料:
https://www.osgeo.cn/scrapy/topics/logging.html#topics-logging-settings
Scrapy 教程(九)-日志系统的更多相关文章
- ELK日志系统:Elasticsearch+Logstash+Kibana+Filebeat搭建教程
ELK日志系统:Elasticsearch + Logstash + Kibana 搭建教程 系统架构 安装配置JDK环境 JDK安装(不能安装JRE) JDK下载地址:http://www.orac ...
- Spring Cloud 5分钟搭建教程(附上一个分布式日志系统项目作为参考) - 推荐
http://blog.csdn.net/lc0817/article/details/53266212/ https://github.com/leoChaoGlut/log-sys 上面是我基于S ...
- cocos creator主程入门教程(五)—— 日志系统
五邑隐侠,本名关健昌,10年游戏生涯,现隐居五邑.本系列文章以TypeScript为介绍语言. 这一篇介绍日志系统的设计.一般我们开发一个demo,只会简单的用cocos提供的cc.log打印下日志, ...
- Scrapy教程
Scrapy教程 原文地址https://doc.scrapy.org/en/latest/intro/tutorial.html 此教程我们假设你已经装好了Scrapy,如果没有请查看安装指南.. ...
- 无废话ExtJs 入门教程九[数字字段:NumberField、隐藏字段Hidden、日期字段:DataFiedl]
无废话ExtJs 入门教程九[数字字段:NumberField.隐藏字段Hidden.日期字段:DataFiedl] extjs技术交流,欢迎加群(201926085) 继上第六节内容,我们在表单里加 ...
- 黄聪:Microsoft Enterprise Library 5.0 系列教程(九) Policy Injection Application Block
原文:黄聪:Microsoft Enterprise Library 5.0 系列教程(九) Policy Injection Application Block 代理对象(Proxy Object) ...
- MySQL日志系统
body { font-family: Helvetica, arial, sans-serif; font-size: 14px; line-height: 1.6; padding-top: 10 ...
- 使用 SLF4J + LogBack 构建日志系统(转)
转载自:http://www.cnblogs.com/mailingfeng/p/3499436.html 上次我们讨论了如何选择一个好的开源日志系统方案,其中的结论是:使用 SLF4J + LogB ...
- nxlog4go 简介 - 基于log4go的下一代go语言日志系统
nxlog4go的项目网址: https://github.com/ccpaging/nxlog4go 项目历史 ccpaging's log4go forked from https://githu ...
随机推荐
- 一个用于格式化和处理数字的javascript库----Numeral.js
npm地址:https://www.npmjs.com/package/numeral 1.转化成百分比: numeral(num).format('0.00%')
- 在cmd上执行关于java的反编译
反编译是指通过对他人软件的目标程序(比如可执行程序)进行“逆向分析.研究”工作,以推导出他人的软件产品所使用的思路.原理.结构.算法.处理过程.运行方法等设计要素,某些特定情况下可能推导出源代码.反编 ...
- es之路由:进一步提高Elasticsearch的检索效率(适用大规模数据集)
1:一条数据是如何落地到对应的shard上的 当索引一个文档的时候,文档会被存储到一个主分片中. Elasticsearch 如何知道一个文档应该存放到哪个分片中呢? 首先这肯定不会是随机的,否则将来 ...
- 大哥带的MSsql注入(SQL Server)--预习
①判断数据库类型and exists (select * from sysobjects)--返回正常为mssql(也名sql server)and exists (select count(*) f ...
- NLP大赛冠军总结:300万知乎多标签文本分类任务(附深度学习源码)
NLP大赛冠军总结:300万知乎多标签文本分类任务(附深度学习源码) 七月,酷暑难耐,认识的几位同学参加知乎看山杯,均取得不错的排名.当时天池AI医疗大赛初赛结束,官方正在为复赛进行平台调 ...
- A 内存挂 B 封包挂 C 钩子挂 D CALL挂 外挂
https://www.zhihu.com/question/32291769 作者:猎狐链接:https://www.zhihu.com/question/32291769/answer/70929 ...
- OpenStack Nova Placement API 统一资源管理接口的未来
目录 目录 Placement API 为何称之为 "未来" 操作对象基本概念 数据库操作样例 Placement API 在创建虚拟机时的调度过程 Placement REST ...
- 中国MOOC_零基础学Java语言_第5周 数组
第5周 数组 5.1 数组 5.2 数组计算 public class Main { public static void main(String[] args) { for (int i = 1; ...
- 【WPF异常】在使用 ItemsSource 之前,项集合必须为空
<DataGrid x:Name=" AutoGenerateColumns="False" GridLinesVisibility="None" ...
- oracle 11g 数据库恢复技术 --rman catalog
Oracle RMAN的catalog并不是指标备份恢复操作的一个必要组件,但oracle推荐使用该组件.启用之后,归档日志.备份集.镜像复制等备份信息的保存地点是RMAN资料库(catalog), ...