laravel 解决mysql插入相同数据的问题
1.背景:
每天0点定时任务统计数据,实现目标是统计时如果没有今天的统计数据,那就执行insert操作 如果存在那就执行update操作;
代码逻辑
1 if(报表存在){
2 update();
3 }else{
4 insert();
5 }
上线跑了多天后 发现有时候会出现同一天的统计数据有2条
经过分析后
发现当0点定时任务跑的时候,存在用户登录(登录需要统计,需要更新报表),因为0点的时候,数据库都没记录,所以两者都判断了insert操作,造成数据库有2条相同数据(只有登录数量的字段不一样,其他字段都一样)
2.解决方案:
锁
说实话,第一反应是给数据表加锁。laravel提供了2个锁:sharedLock和lockForUpdate.经过仔细研究分析后发现,这2个锁并不能解决我目前的需求,原因如下:
- sharedLock 对应的是 LOCK IN SHARE MODE
- lockForUpdate 对应的是 FOR UPDATE
这2个锁都是避免同一行数据被其他transaction进行update()的。
- sharedLock 不会阻止其他 transaction 读取同一行
- lockForUpdate 会阻止其他 transaction 读取同一行 (需要特别注意的是,普通的非锁定读取读取依然可以读取到该行,只有 sharedLock 和 lockForUpdate 的读取会被阻止。)
但是我现在的实际情况都没有读到数据,所以都不能满足。
后来实在没办法想到了表锁,对,就是把全表都锁定了。但是这个效率性能实在太差了,而且在LOCK TABLE 和UNLOCK TABLE之间有异常,会导致锁无法释放。潜在问题很严重,所以还是不打算用这个方法。
INSERT IGNORE
经查阅大量资料(疯狂百度)后发现了insert ignore。insert ignore 如果存在数据,那么则忽略新数据
REPLACE INTO
replace into 表示插入替换数据,表中如果有PrimaryKey或者unique索引的话,数据库如果已存在数据,则用新数据替换,如果没有数据则和insert into一样。
上面2个方法固然好,但是存在数据丢失的问题,还是放弃了。
INSERT INTO
最终的解决办法居然回到了最原始的sql语句。insert into表示插入数据,数据库会检查主键(PrimaryKey),如果出现重复会报错;
对就是利用这个主键报错的机制,解决了的需求。就是在每次插入数据的时候把下一个自增id也插入进去。因为我们平时插入数据都是不用管自增id的,所以laravel都没有获取下一个自增id的封装方法。没办法,自己动手丰衣足食。
//获取下一个自增id,方法还是很简单的
1 public static function getIncrementId()
2 {
3 $id = self::query()
4 ->orderByDesc('id')
5 ->value('id');
6 return ++$id;
7 }
1 try {
2 $report = DailyReport::getReport($customer->id, 1);
3 if (!$report) {
4 $id = DailyReport::getIncrementId();
5 DailyReport::create([
6 'customer_id' => $customer->id,
7 'report_date' => Carbon::today(),
8 'id' => $id,//把id也插入
9 ...
10 ]);
11 }
12 } catch (\Exception $exception) {
13 if (23000 == $exception->getCode()){//这里捕获主键重复的错误,然后做相关逻辑的操作 23000后来发现好像也别的sql错误也会报,记得优化
14 //do something
15 }else{
16 LogManagers::error($exception);
17 }
18 }
上面就是解决的代码。最终的解决办法还是利用了主键重复的错误来解决问题。
本文属于个人原创,欢迎转载,转载请附链接:https://www.cnblogs.com/x-x-j/p/13491564.html
laravel 解决mysql插入相同数据的问题的更多相关文章
- mysql 插入/更新数据
mysql 插入/更新数据 INSERT 语句 1.一次性列出全部字段的值,例如: INSERT INTO student VALUES('Chenqi','M', 29); INSERT INTO ...
- 解决mysql导入导出数据乱码问题
最近在linux上面用mysqldump导出数据,放在windows系统中导入就会出现中文乱码,然后就会导致出现: Unknown MySQL server host和Can't connect to ...
- 通俗易懂地解决中文乱码问题(2) --- 分析解决Mysql插入移动端表情符报错 ‘incorrect string value: '\xF0...
原文:[原创]通俗易懂地解决中文乱码问题(2) --- 分析解决Mysql插入移动端表情符报错 'incorrect string value: '\xF0... 这篇blog重点在解决问题,如果你对 ...
- php 解决MySQL插入数据出现 Incorrect string value: '\xF0\x9F\x92\x8BTi...'错误
在项目中向MySQL插入数据时.发现数据插入不完整,通过调试,发现插入语句也没什么特殊的错误. 可是就是差不进去,于是就打开mysqli错误的调试 $ret = mysqli_query($this- ...
- MySQL 插入 中文数据乱码解决
问题描述: 1.在命令行中进行插入,没有问题.但是显示存在部分乱码 2.在JDBC中插入成功.中文是直接以“??”形式显示. 通过Navicat客户端查看 与在网页中看到的一一致,说明读取没有问题,问 ...
- MySQL插入中文数据出现?号
原文转载自:https://blog.csdn.net/LynneZoe/article/details/79174119 运行环境:win10 mysql版本:Mysql5.6 做一个项目的时候,向 ...
- 【原创】通俗易懂地解决中文乱码问题(2) --- 分析解决Mysql插入移动端表情符报错 ‘incorrect string value: '\xF0...
这篇blog重点在解决问题,如果你对字符编码并不是特别了解,建议先看看 < [原创]通俗易懂地解决中文乱码问题(1) --- 跨平台乱码 >. 当然,如果只是针对解决这个Mysql插入报错 ...
- [转载]mysql插入大量数据
mysql的批量数据格式, 比如 INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...) VALUES(NUM11,NUM12,NUM13,...), (NUM ...
- C API向MySQL插入批量数据的快速方法——关于mysql_autocommit
MySQL默认的数据提交操作模式是自动提交模式(autocommit).这就表示除非显式地开始一个事务,否则每个查询都被当做一个单独的事务自动执行.我们可以通过设置autocommit的值改变是否是自 ...
随机推荐
- Redis缓存穿透、缓存雪崩、缓存击穿好好说说
前言 Redis是目前非常流行的缓存数据库啦,其中一个主要作用就是为了避免大量请求直接打到数据库,以此来缓解数据库服务器压力:用上缓存难道就高枕无忧了吗?no,no,no,没有这么完美的技术, 缓存穿 ...
- 基于Hi3559AV100的视频采集(VDEC-VPSS-VO)整体框图设计
下面给出基于Hi3559AV100的视频采集整体设计,具体设计将在后续给出: 图形采集端整体设计 Hi3559AV100软件程序按结构划分可分为4层,第一层是硬件驱动层,第二层是操作系统层,第三层是媒 ...
- Hi3559AV100 NNIE RFCN开发:V4L2->VDEC->VPSS->NNIE->VGS->VO系统整体动态调试实现
下面随笔将给出Hi3559AV100 NNIE RFCN开发:V4L2->VDEC->VPSS->NNIE->VGS->VO系统整体动态调试实现,最终的效果是:USB摄像 ...
- CVE-2019-2618 任意文件上传
漏洞描述:CVE-2019-2618漏洞主要是利用了WebLogic组件中的DeploymentService接口,该接口支持向服务器上传任意文件.攻击者突破了OAM(Oracle Access Ma ...
- Keytool 工具使用
Keytool 管理私钥仓库(keystore)和与之相关的 X.509 证书链(用以验证与私钥对应的公钥),也可以用来管理其他信任实体 keytool 将密钥和证书存储在一个所谓的密钥仓库中,缺省的 ...
- rest framework Views
基于类的意见 Django的基于类的意见是从旧式的观点颇受欢迎. - Reinout面包车里斯 REST框架提供了一个APIView类,它的子类Django的View类. APIView类是从正规不同 ...
- java基础:变量、常量与作用域
变量就是可以变化的量,每个变量都必须声明其类型,Java 变量是程序中最基本的存储单元,其要素包括变量名,变量类型和作用域.作用域 类变量 实例变量 局部变量常量初始化后不能在改变值,不会变动的值,它 ...
- malloc和free解析
malloc和free都是库函数,调用系统函数sbrk()来分配内存.除了分配可使用的内存以外,还分配了"控制"信息,这有点像内存池常用的手段.并且,分配的内存是连续的. 1. m ...
- 解析分布式应用框架Ray架构源码
摘要:Ray的定位是分布式应用框架,主要目标是使能分布式应用的开发和运行. Ray是UC Berkeley大学 RISE lab(前AMP lab) 2017年12月 开源的新一代分布式应用框架(刚发 ...
- 在ASP.NET Core中用HttpClient(三)——发送HTTP PATCH请求
在前面的两篇文章中,我们讨论了很多关于使用HttpClient进行CRUD操作的基础知识.如果你已经读过它们,你就知道如何使用HttpClient从API中获取数据,并使用HttpClient发送PO ...