MySQL数据库sql_mode导致varchar字段超过长度被截断插入

django数据库设置sql_mode

MySQL的sql_mode解析与设置

mysql中sql_mode的修改

sql_mode：它定义了MySQL应该支持的sql语法，对数据的校验等等。

问题

数据库varchar字段做了长度限制，线上环境发现插入超过长度的value成功，并且value被截断。

排查中发现不是代码问题，连接线上数据库超长的value在插入成功，

连接本地库插入超长value报错django.db.utils.DataError: (1406, "Data too long for column 'value' at row 1")

看来是数据库设置问题

django中开启sql_mode严格检查

查看本地sql_mode

SHOW VARIABLES LIKE '%sql_mode%';

STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION

查看线上sql_mode

很明显线上环境没有开启严格SQL检查

考虑到sql_mode是在数据库conf配置的，无法保证客户的数据库都开启，尝试在代码中临时修改sql_mode

翻阅django文档，找到了如下配置

设置 sql_mode

DATABASES = {
    "default": {
        "ENGINE": "django.db.backends.mysql",
        "NAME": "cw-uac",
        "USER": "root",
        # ...
        "OPTIONS": {
            "init_command": "SET sql_mode='STRICT_TRANS_TABLES'"  # 严格SQL检查
        },
    },
}

在项目中加入该配置并测试，达到了严格SQL检查效果。

sql_mode参数解释

sql_mode类型

sql_mode类型	释义
ONLY_FULL_GROUP_BY	对于GROUP BY聚合操作，如果在SELECT中的列，没有在GROUP BY中出现，那么将认为这个SQL是不合法的，因为列不在GROUP BY语句中。
STRICT_TRANS_TABLES	在该模式下，如果一个值不能插入到一个事务表中，则中断当前的操作，对非事务表不做任何限制。 对于InnoDB表，sql插入执行失败，会报错，全部回滚。
STRICT_ALL_TABLES	对于InnoDB表，和STRICT_TRANS_TABLES模式相同 对于MyISAM表，sql插入执行失败会保存错误发生之前修改的行，忽略剩下的行，并报错。
NO_ZERO_IN_DATE	在严格模式，不接受月或日部分为0的日期。如果使用IGNORE选项，我们为类似的日期插入'0000-00-00'。在非严格模式，可以接受该日期，但会生成警告。
NO_ZERO_DATE	在严格模式，不要将 '0000-00-00'做为合法日期。你仍然可以用IGNORE选项插入零日期。在非严格模式，可以接受该日期，但会生成警告。
ERROR_FOR_DIVISION_BY_ZERO	在严格模式，在INSERT或UPDATE过程中，如果被零除(或MOD(X，0))，则产生错误(否则为警告)。如果未给出该模式，被零除时MySQL返回NULL。如果用到INSERT IGNORE或UPDATE IGNORE中，MySQL生成被零除警告，但操作结果为NULL。
NO_AUTO_CREATE_USER	防止GRANT自动创建新用户，除非还指定了密码。
NO_ENGINE_SUBSTITUTION	如果需要的存储引擎被禁用或未编译，那么抛出错误。不设置此值时，用默认的存储引擎替代，并抛出一个异常。
NO_AUTO_VALUE_ON_ZERO	该值影响自增长列的插入。默认设置下，插入0或NULL代表生成下一个自增长值。如果用户希望插入的值为0，而该列又是自增长的，那么这个选项就有用了。
PIPES_AS_CONCAT	将"
ANSI_QUOTES	不能用双引号来引用字符串，因为它被解释为识别符

改变数据表的存储引擎

ALTER TABLE `alarm_alarmlevel` ENGINE = MyISAM;

sql_mode模式

column1	column2
ANSI	宽松模式，对插入数据进行校验，如果不符合定义类型或长度，对数据类型调整或截断保存，报warning警告。
TRADITIONAL	严格模式，当向mysql数据库插入数据时，进行数据的严格校验，保证错误数据不能插入，报error错误。用于事务时，会进行事务的回滚。
STRICT_TRANS_TABLES	严格模式，进行数据的严格校验，错误数据不能插入，报error错误。上面已经介绍。

查询和设置sql_mode

当前服务的sql_mode，修改会在重新MySQL服务后失效

SELECT @@GLOBAL.sql_mode;

SET GLOBAL sql_mode = ANSI;
SET @@GLOBAL.sql_mode = TRADITIONAL;

当前会话的sql_mode，修改会在关闭当前会话后失效

SHOW VARIABLES LIKE '%sql_mode%';
SELECT @@SESSION.sql_mode;

SET sql_mode = ANSI;
SET @@SESSION.sql_mode = ANSI;
SET SESSION sql_mode = ANSI;

设置ANSI模式：

SET sql_mode = ANSI;
SELECT @@SESSION.sql_mode;

设置TRADITIONAL模式：

SET sql_mode = TRADITIONAL;
SELECT @@SESSION.sql_mode;

设置STRICT_TRANS_TABLES模式：

SET sql_mode = STRICT_TRANS_TABLES;
SELECT @@SESSION.sql_mode;