https://juejin.cn/post/6844904023015817224
 

最近公司正在升级Spring Boot版本(从1.5升级到2.1),其间踩到一个非常隐晦的MySQL时区陷阱,具体来说,就是数据库读出的历史数据的时间和实际时间差了14个小时,而新写入的数据又都正常。如果你之前也是使用默认的MySQL时区配置,那么大概率会碰到这个问题,深究其背后的原因又涉及到很多技术细节,故整理出来分享给大家。

首先来看一下原因。升级到Boot 2.1之后,MySQL Connect/J版本也随之升级到8.0,会优先使用连接参数(serverTimezone)中指定的时区,如果没有指定,则再使用数据库配置的时区,参考下面的官宣(对应的源代码是com.mysql.cj.protocol.a.NativeProtocol#configureTimezone())。由于我们之前数据库连接参数没有指定时区,并且数据库配置的是默认的CST时区(美国中部时区,即-6:00),所以读取出来的时间出现偏差。

Connector/J 8.0 always performs time offset adjustments on date-time values, and the adjustments require one of the following to be true:

  • The MySQL server is configured with a canonical time zone that is recognizable by Java (for example, Europe/Paris, Etc/GMT-5, UTC, etc.)
  • The server's time zone is overridden by setting the Connector/J connection property serverTimezone (for example, serverTimezone=Europe/Paris).

找到原因之后,解决办法就比较直白了,

方法一:数据库的连接参数添加serverTimezone=Asia/Shanghai或者serverTimezone=GMT%2B8。Boot 1.5下不需要添加此参数,但添加了也无妨。

方法二:修改MySQL数据库的time_zone配置,改为+8:00(默认是SYSTEM)。采用此方法,则不需要修改数据库连接参数。

方法二显然更优,一次修改,终生受益。但要注意,对于升级到Boot 2.1之后新生成的那批数据,如果包含时间类型的字段并且该字段值是应用指定的而不是数据库生成的(例如DEFAULT CURRENT_TIMESTAMP),那么需要手动修复(加上偏差的小时数)。

两个解决办法都很简单,有同学马上会问,为什么Boot 1.5下没有这个问题?为什么Boot 2.0下读取历史数据存在14个小时的偏差,而新生成的数据又是好的?要回答这两个问题,看官宣就不够了,需要读一下MySQL Connect/J的源代码。

谜题一,为什么Boot 1.5下没有这个问题?答案隐藏在com.mysql.jdbc.ResultSetImplcom.mysql.jdbc.ConnectionImpl两个类的源代码中。

 
复制代码
// 源代码:com.mysql.jdbc.ResultSetImpl
private TimeZone getDefaultTimeZone() {
// useLegacyDatetimeCode默认为true,因此使用connection的默认时区
return this.useLegacyDatetimeCode ? this.connection.getDefaultTimeZone() : this.serverTimeZoneTz;
}
 
复制代码
// 源代码:com.mysql.jdbc.ConnectionImpl
public ConnectionImpl(String hostToConnectTo, int portToConnectTo, Properties info, String databaseToConnectTo, String url) throws SQLException {
// connection的默认时区使用的是JVM的默认时区,一般为操作系统的时区
// We store this per-connection, due to static synchronization issues in Java's built-in TimeZone class...
this.defaultTimeZone = TimeUtil.getDefaultTimeZone(getCacheDefaultTimezone());
}

Boot 1.5下,MySQL Connect/J默认使用操作系统的时区(Asia/Shanghai,即+8:00),而忽略连接参数或者数据库指定的时区,因此不管是读数据还是写数据都是使用统一的时区,因此不存在时间偏差。

谜题二,为什么Boot 2.0下读取历史数据存在14个小时的偏差,而新生成的数据又是好的?升级到Boot 2.0之后,MySQL Connect/J改为使用数据库配置的CST时区,而历史数据是在Boot 1.5下的Asia/Shanghai时区生成的,因此读出来存在14(-6:00和+8:00之间)个小时的偏差。对于新生成的数据,由于同处在CST时区下,因此没有偏差。

解完这两个谜题,你可能还有些疑惑。那么接下来,结合数据流转的顺序,我们再来分析一下数据流转过程中时区的变化。

设定Application-1为数据生产方,Application-2为数据消费方,TZ-IN1为Application-1所处的时区,TZ-IN2为Application-1写入数据库的时区,TZ-OUT1为Application-2读出数据库的时区,TZ-OUT2为Application-2所处的时区。如前所述,TZ-IN2和TZ-OUT1由连接参数或者数据库配置决定。

整个数据流转过程,会涉及3次显式的时区转换和1次隐式的时区转换。

  • 转换①(显式):TZ-IN1转TZ-IN2,这个转换由MySQL Connect/J完成(参考com.mysql.cj.ClientPreparedQueryBindings#setTimestamp(),限于篇幅,此处不再展开分析)。
  • 转换②(隐式):TZ-IN2转无时区,MySQL内部存储时间类型的字段时或者忽略时区(DateTime类型)或者使用UTC(Timestamp类型),参考MySQL官宣的时间类型部分。
  • 转换③(显式):无时区转TZ-OUT1,将MySQL读出的无时区时间置为TZ-OUT1时区(参考com.mysql.cj.result.SqlTimestampValueFactory#localCreateFromTimestamp())。
  • 转换④(显式):TZ-OUT1转TZ-OUT2,这个转换由Application-2负责,一般在DAO层完成。

仔细分析这4次时区转换,其中①、②、③都是由MySQL完成,正确性不用怀疑,但由于TZ-IN2和TZ-OUT1都是由应用指定,如果两者值不相同,那么最后结果就会出现偏差(我们踩到的就是这个坑)。至于④,那么就得靠应用来保证正确性了,一般也不会出错。说句题外话,不管是时区转换,还是其他类型的数据转换(比如字符集转换),我们可以发现,正确转换的关键在于数据接收方必须使用和数据发送方相同的格式。这看上去像是一句废话,却是解决此类问题的底层心法。

至此,这个MySQL Connect/J 8.0的时区陷阱就算被填平了,希望你从中有所收获。

[转帖]MySQL Connect/J 8.0时区陷阱的更多相关文章

  1. MySQL Connector/J 6.x jdbc.properties 配置, mysql-connector-java-6.0.4.jar 异常

    今天学习SSM框架整合,完成Spring和mybatis这两大框架的整合做测试时候出来很多问题,主要来自于配置文件. 我这里重点说一下Mysql数据驱动配置. 配置pom.xml时候去网站 MySQL ...

  2. CentOS下httpd下php 连接mysql 本机可以,外网报错Could not connect: Can't connect to MySQL server on '127.0.0.1' (13)2003 原因解析

    php代码很简单: $server="127.0.0.1"; println("Begin"); $link = mysql_connect($server,& ...

  3. 解决 pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on '127.0.0.1' ([Errno 61] Conne

    pymysql.err.OperationalError: (2003, "Can't connect to MySQL server on '127.0.0.1' ([Errno 61] ...

  4. MySQL Connector/J

    5.1 Developer Guide 1. MysQL为由Java语言编程的客户端程序提供连接:MySQL Connector/J,这是一个实现Java Database Connectivity( ...

  5. MySQL、Hive以及MySQL Connector/J安装过程

    MySQL安装 ①官网下载mysql-server(yum安装) wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch. ...

  6. 集群架构03·MySQL初识,mysql8.0环境安装,mysql多实例

    官方网址 https://dev.mysql.com/downloads/mysql/社区版本分析 MySQL5.5:默认存储引擎改为InnoDB,提高性能和可扩展性,增加半同步复制 MySQL5.6 ...

  7. [转帖]mysql.sock的作用

    mysql.sock的作用 链接:http://blog.itpub.net/28602568/viewspace-1797619/ 标题:mysql.sock的作用 作者:lōττéry©版权所有[ ...

  8. 记:MySQL 5.7.3.0 安装 全程截图

    前言: 下一个班快讲MySQL数据库了,正好把服务器里面的MySQL卸了重装了一下. 截个图,作为笔记.也正好留给需要的朋友们. 目录: 下载软件 运行安装程序 安装程序欢迎界面 许可协议 查找更新 ...

  9. IdentityServer4 ASP.NET Core的OpenID Connect OAuth 2.0框架学习保护API

    IdentityServer4 ASP.NET Core的OpenID Connect OAuth 2.0框架学习之保护API. 使用IdentityServer4 来实现使用客户端凭据保护ASP.N ...

  10. MongoDB 由于目标计算机积极拒绝,无法连接 2014-07-25T11:00:48.634+0800 warning: Failed to connect to 127.0.0.1:27017, reason: errno:10061

    转载自:http://www.cnblogs.com/xiaoit/p/3867573.html 1:启动MongoDB 2014-07-25T11:00:48.634+0800 warning: F ...

随机推荐

  1. 5.elasticsearch中查询条件

    目录 一.URI查询 指定字段.泛查询 分组和phrase Bool条件 must条件 范围查询 通配符查询 正则表达式 模糊匹配与近似查询 二.RequestBody&DSL ignore_ ...

  2. Kafka 具体分析

    前面的相关文件简要地介绍了 Kafka 的基本使用,本文将将要介绍一下关于 Kafka 的集群关系.存储结构以及架构方面的内容进行简要的解析 组件之间的关系 Kafka 中,各个组件之间的关系如下图所 ...

  3. 面试官:单例Bean一定不安全吗?实际工作中如何处理此问题?

    默认情况下,Spring Boot 中的 Bean 是非线程安全的.这是因为,默认情况下 Bean 的作用域是单例模式,那么此时,所有的请求都会共享同一个 Bean 实例,这意味着这个 Bean 实例 ...

  4. Istio 为服务指定协议

    1.背景 Istio 默认支持代理所有 TCP 流量.包括 HTTP.HTTPS.gRPC 以及原始 TCP 协议.但为了提供额外的能力,比如路由和丰富的指标,必须确定协议.协议可以被自动检测或者手动 ...

  5. Implicit隐式渲染入门 SDF SphereTracing

    Implicit 何为隐式?隐式(Implicit)的是显式(explicit)的反义词. explicit可以简单理解为用网格等信息描述的几何形状,网格信息是离散的,信息量越大描述越精准.Impli ...

  6. maven 实现pb的实时编译

    <properties> <protobuf.version>3.15.7</protobuf.version></properties> <ex ...

  7. C++篇:第一章_变量和常量_知识点大全

    C++篇为本人学C++时所做笔记(特别是疑难杂点),全是硬货,虽然看着枯燥但会让你收益颇丰,可用作学习C++的一大利器 注意:C++篇为本人手动将Word文档修改成Markdown格式(因为网上修改的 ...

  8. 最终,我决定将代码迁出x86架构!

    如今,我们几乎所有软件都建立在 x86 架构之上 ,在互联网漫长的演进过程中,各大公司拼尽全力在迭代上层架构.优化整体性能,开发者们该用的.能用的招儿想必都用上了,接下来呢?如果底层架构不出现大的革新 ...

  9. GaussDB技术解读系列丨运维自动驾驶探索

    本文分享自华为云社区<DTCC 2023专家解读 | GaussDB技术解读系列之运维自动驾驶探索>,作者:GaussDB 数据库 . 近日,在第14届中国数据库技术大会(DTCC2023 ...

  10. 华为云GaussDB(for openGauss)推出重磅内核新特性

    摘要:华为云新一代金融级分布式数据库GaussDB(for openGauss)正式推出了Ustore存储引擎.基于Paxos协议的DCF高可用组件等多个重大内核新特性. 数字化时代,技术迭代更新比以 ...