druid配置以及监控
1、druid监控的功能:
. 数据源
. SQL监控 对执行的MySQL语句进行记录,并记录执行时间、事务次数等
. SQL防火墙 对SQL进行预编译,并统计该条SQL的数据指标
. Web应用 对发布的服务进行监控,统计访问次数,并发数等全局信息
. URI监控 对访问的URI进行统计,记录次数,并发数,执行jdbc数等
. Session监控 对用户请求后保存在服务器端的session进行记录,识别出每个用户访问了多少次数据库等
. Spring监控 (按需配置)利用aop对各个内容接口的执行时间、jdbc数进行记录
2、配置慢SQL记录到日志文件
@Bean(destroyMethod = "close")
@Primary
public DruidDataSource dataSource() throws SQLException {
DruidDataSource dataSource = new DruidDataSource();
dataSource.setDbType(Global.getProperty("jdbc.type"));
dataSource.setDriverClassName(Global.getProperty("jdbc.driver"));//"com.mysql.jdbc.Driver"
dataSource.setUrl(Global.getProperty("jdbc.url"));
dataSource.setUsername(Global.getProperty("jdbc.username"));
dataSource.setPassword(Global.getProperty("jdbc.password"));
dataSource.setInitialSize(ObjectUtils.toInteger(Global.getProperty("jdbc.pool.init")));
dataSource.setMinIdle(ObjectUtils.toInteger(Global.getProperty("jdbc.pool.minIdle")));
dataSource.setMaxActive(ObjectUtils.toInteger(Global.getProperty("jdbc.pool.maxActive")));
dataSource.setMaxWait(60000);
dataSource.setTimeBetweenEvictionRunsMillis(60000);
dataSource.setMinEvictableIdleTimeMillis(300000);
dataSource.setValidationQuery(Global.getProperty("jdbc.testSql"));
dataSource.setTestWhileIdle(true); // 如果设为true那么在取得连接的同时将校验连接的有效性。Default: falsed,不检测池里连接的可用性
dataSource.setTestOnBorrow(true); // 因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的时候都将校验其有效性。
dataSource.setTestOnReturn(false); dataSource.setPoolPreparedStatements(true);
dataSource.setMaxPoolPreparedStatementPerConnectionSize(20);
dataSource.setFilters("stat,wall,logback"); // 开启Druid的监控统计功能,开启了druid防火墙 // 配置数据库断开后自动连接
dataSource.setLogAbandoned(true); // 关闭abandoned连接时输出错误日志
dataSource.setRemoveAbandoned(true); // 超过时间限制是否回收
dataSource.setRemoveAbandonedTimeout(180); // 超时时间;单位为秒。180秒=3分钟 // 慢SQL配置 start
List<Filter> filters = new ArrayList<>();
StatFilter statfilter = new StatFilter();
statfilter.setMergeSql(true);
statfilter.setLogSlowSql(true);
statfilter.setSlowSqlMillis(200);// 200ms的sql会被记录到日志中
filters.add(statfilter);
filters.add(logFilter());// 配置logback日志记录慢查询SQL
// 慢SQL配置 end dataSource.setProxyFilters(filters);
return dataSource;
} // 慢SQL配置之logback start
@Bean
public Slf4jLogFilter logFilter(){
Slf4jLogFilter filter = new Slf4jLogFilter();
//filter.setDataSourceLogEnabled(true);
//filter.setStatementExecutableSqlLogEnable(true); filter.setResultSetLogEnabled(false);
filter.setConnectionLogEnabled(false);
filter.setStatementParameterClearLogEnable(false);
filter.setStatementCreateAfterLogEnabled(false);
filter.setStatementCloseAfterLogEnabled(false);
filter.setStatementParameterSetLogEnabled(false);
filter.setStatementPrepareAfterLogEnabled(false);
return filter;
}
// 慢SQL配置之logback end
logback-core.xml
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】,,, -->
<!-- appender是configuration的子节点,是负责写日志的组件。 -->
<!-- ConsoleAppender:把日志输出到控制台 -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder>
<pattern>%d %p (%file:%line\)- %m%n</pattern>
<!-- 控制台也要使用UTF-8,不要使用GBK,否则会中文乱码 -->
<charset>UTF-8</charset>
</encoder>
</appender> <!-- RollingFileAppender:滚动记录文件,先将日志记录到指定文件,当符合某个条件时,将日志记录到其他文件 -->
<!-- 以下的大概意思是:1.先按日期存日志,日期变了,将前一天的日志文件名重命名为XXX%日期%索引,新的日志仍然是demo.log -->
<!-- 2.如果日期没有发生变化,但是当前日志的文件大小超过1KB时,对当前日志进行分割 重命名-->
<appender name="jsitelog" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- <File>log/jsite.log</File> -->
<File>/home/wwwlogs/jsite/log.log</File>
<!-- rollingPolicy:当发生滚动时,决定 RollingFileAppender 的行为,涉及文件移动和重命名。 -->
<!-- TimeBasedRollingPolicy: 最常用的滚动策略,它根据时间来制定滚动策略,既负责滚动也负责出发滚动 -->
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!-- 活动文件的名字会根据fileNamePattern的值,每隔一段时间改变一次 -->
<!-- 文件名:log/demo.2017-12-05.0.log -->
<!-- <fileNamePattern>log/jsite.%d.%i.log</fileNamePattern> -->
<fileNamePattern>/home/wwwlogs/jsite/log.%d.%i.log</fileNamePattern>
<!-- 每产生一个日志文件,该日志文件的保存期限为30天 -->
<maxHistory>30</maxHistory>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<!-- maxFileSize:这是活动文件的大小,默认值是10MB,测试时可改成1KB看效果 -->
<maxFileSize>10240KB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
</rollingPolicy>
<encoder>
<!-- pattern节点,用来设置日志的输入格式 -->
<pattern>
%d %p (%file:%line\)- %m%n
</pattern>
<!-- 记录日志的编码:此处设置字符集 - -->
<charset>UTF-8</charset>
</encoder>
</appender> <!-- 控制台输出日志级别 -->
<root level="info">
<appender-ref ref="STDOUT" />
<appender-ref ref="jsitelog" />
</root> <!-- 指定项目中某个包,当有日志操作行为时的日志记录级别 -->
<!-- com.liyan为根包,也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
<!-- 级别依次为【从高到低】:FATAL > ERROR > WARN > INFO > DEBUG > TRACE -->
<logger name="com.jsite" level="DEBUG">
<appender-ref ref="jsitelog" />
</logger>
<!-- Project defalult level -->
<!-- log4j.logger.org.activiti.engine.impl.persistence=DEBUG -->
<!-- log4j.logger.org.apache.shiro=DEBUG -->
<logger name="com.jsite" level="DEBUG" />
<logger name="amberai.jweb.dao" level="DEBUG" />
<logger name="com.jsite.common.security.shiro" level="DEBUG" />
<logger name="com.jsite.common.utils.JedisUtils" level="DEBUG" />
<logger name="com.jsite.modules.sys.web.LoginController" level="DEBUG" />
<logger name="com.jsite.modules.oa.dao.OaNotifyDao.findCount" level="WARN" /> <!-- druid慢查询配置 [start] -->
<appender name="DruidFILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
<File>/home/wwwlogs/jsite/slow-query.log</File>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<!--日志文件输出的文件名 -->
<FileNamePattern>/home/wwwlogs/jsite/slow-query.log-druid-%d{yyyy-MM-dd}
</FileNamePattern>
<!--日志文件保留天数 -->
<MaxHistory>90</MaxHistory>
</rollingPolicy>
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符 -->
<pattern>
%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n
</pattern>
</encoder>
</appender> <!-- 要想打印所有sql语句到日志 ,使用DEBUG级别 <logger name="druid" level="DEBUG">
<logger name="druid.sql.Statement" level="WARN">
参考log4j慢sql日志的输出策略:(https://www.cnblogs.com/telwanggs/p/7484854.html)
log4j.logger.druid.sql=WARN,druid
log4j.logger.druid.sql.DataSource=WARN,druid
log4j.logger.druid.sql.Connection=WARN,druid
log4j.logger.druid.sql.Statement=WARN,druid
-->
<logger name="com.alibaba.druid.filter.stat.StatFilter" level="WARN">
<appender-ref ref="STDOUT" />
<appender-ref ref="DruidFILE" />
</logger>
<!-- druid慢查询配置 [end] --> </configuration>
参考资料:
1、springboot 中使用Druid 数据源提供数据库监控
5、Druid监控功能的深入使用与配置-基于SpringBoot-完全使用 .properties配置文件
7、Druid监控功能的深入使用与配置-如何记录监控数据(基于logback)
8、druid日志logback.xml配置只记录sql和时间
druid官方文档:
1. Druid中使用log4j2进行日志输出 (这个配置时使用log4j2输出,其实用logback也可以) https://github.com/alibaba/druid/wiki/Druid%E4%B8%AD%E4%BD%BF%E7%94%A8log4j2%E8%BF%9B%E8%A1%8C%E6%97%A5%E5%BF%97%E8%BE%93%E5%87%BA
2. 配置StatViewServlet配置 (这个配置比较老,不适合springboot使用,看看就行) https://github.com/alibaba/druid/wiki/%E9%85%8D%E7%BD%AE_StatViewServlet%E9%85%8D%E7%BD%AE
3. Druid Spring Boot Starter 用于帮助你在Spring Boot项目中轻松集成Druid数据库连接池和监控。(这个文档很适合springboot的项目,但不是每一个配置项都需要写,全写了反而会起反效果)
https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter
druid配置以及监控的更多相关文章
- SpringBoot系列之集成Druid配置数据源监控
SpringBoot系列之集成Druid配置数据源监控 继上一篇博客SpringBoot系列之JDBC数据访问之后,本博客再介绍数据库连接池框架Druid的使用 实验环境准备: Maven Intel ...
- Spring Boot 整合 Druid && 配置数据源监控
1. 导入 Druid 包 <dependency> <groupId>com.alibaba</groupId> <artifactId>druid& ...
- 为Druid监控配置访问权限(配置访问监控信息的用户与密码)
转: l 为Druid监控配置访问权限(配置访问监控信息的用户与密码) 2014-09-26 09:21:48 来源:renfufei的专栏 收藏 我要投稿 Druid是一 ...
- Druid 配置及内置监控,Web页面查看监控内容 【我改】
转: Druid 配置及内置监控,Web页面查看监控内容 1.配置Druid的内置监控 首先在Maven项目的pom.xml中引入包 1 2 3 4 5 <dependency> ...
- 阿里druid连接池监控配置
首先在web.xml中添加如下配置: <filter> <filter-name>DruidWebStatFilter</filter-name> <filt ...
- 170628、springboot编程之Druid数据源和监控配置一
Spring Boot默认的数据源是:org.apache.tomcat.jdbc.pool.DataSource,那么如何修改数据源呢?我已目前使用比较多的阿里数据源Druid为例,如果使用其他的数 ...
- druid 配置
连接池配置,以及相关配置 <bean id="logFilter" class="com.alibaba.druid.filter.logging.Slf4jLog ...
- 最新 Druid 配置
Druid是一个JDBC组件库,包括数据库连接池.SQL Parser等组件.DruidDataSource是最好的数据库连接池.下面我们就一起来在项目中配置Druid吧 1.Druid依赖配置 &l ...
- SpringBoot入门之基于Druid配置Mybatis多数据源
上一篇了解了Druid进行配置连接池的监控和慢sql处理,这篇了解下使用基于基于Druid配置Mybatis多数据源.SpringBoot默认配置数据库连接信息时只需设置url等属性信息就可以了,Sp ...
随机推荐
- Java内部类介绍
在Java中,内部类包括:成员内部类(静态内部类.非静态内部类).匿名内部类.局部内部类(几乎不用). 1.成员内部类: 1.1非静态成员内部类 public class InnerClassTest ...
- Nginx日志监控工具
ngxtop是一个基于python的程序,可以在Python上安装.ngxtop通过实时解析nginx访问日志, 并将结果(nginx服务器的有用指标)输出到终端. 主要的功能 当前有效请求 总请求计 ...
- 数据库SQL语句查询指定时间段内的数据
[摘要]有的时候,我们需要查询数据库某段时间之间的数据,比如2016年5月1号到到5月3号之间用户注册数量(特殊节假日期间)等.那么用SQL语句如何实现呢? 首先,数据表中的存时间的字段比如是addt ...
- OpenTSDB查询和写入毫秒级数据
由于OpenTSDB没有支持Java的SDK进行调用,所以基于Java开发OpenTSDB的调用将要依靠HTTP请求的方式进行. 1.毫秒级数据写入 /api/put:通过POST方式插入JSON格式 ...
- c语言小技巧:C语言学习笔记之位运算求余
我们都知道,求一个数被另一个数整除的余数,可以用求余运算符”%“,但是,如果不 允许使用求余运算符,又该怎么办呢?下面介绍一种方法,是通过位运算来求余,但是注 意:该方法只对除数是2的N次方幂时才有效 ...
- Vue 系列(一): Vue + Echarts 开发可复用的柱形图组件
目录 前置条件 安装echarts 引入echarts 柱形图组件开发 在何时初始化组件? 完整的代码 记得注册组件!!! 本文归柯三(kesan)所有,转载请注明出处 https://www.cnb ...
- 缓存---CDN(内容分发网络)
4.CDN 内容分发网络(content distribution network,CDN)是一种互联的网络系统,它利用更靠近用户的服务器从而更快更可靠的将静态资源分发给用户. cdn主要有以下优 ...
- Numpy 基础函数 --《Python 数据分析从入门到精通》
在Numpy中,方向称作轴,轴的数目称作维.(array(z,y,x)) np.empty() 函数的使用待完全确定.(eg: np.empty([2,3]) -> ([[0,0,0] [0, ...
- 初探html-9 链接
HTML 链接 HTML 使用超级链接与网络上的另一个文档相连.几乎可以在所有的网页中找到链接.点击链接可以从一张页面跳转到另一张页面. 尝试一下 - 实例 <!DOCTYPE html> ...
- windows挂载nfs
注意:Win10 Creators Update前只有Win10企业版可以挂载NFS, Creators Update后专业版也可挂载NFS了. 安装 按Win+R输入OptionalFeatures ...