1. 慢 SQL 的危害 2. 数据库架构 & SQL 执行过程 3. 存储引擎和索引的那些事儿 3.1 存储引擎 3.2 索引 4. 慢 SQL 解决之道 4.1 优化分析流程 4.2 执行计划(explain)详解 4.3 索引设计策略 4.4 SQL 优化 4.5 表结构优化 4.6 事务和锁优化 4.7 MySQL 服务端参数优化 4.8 硬件优化 4.9 架构优化 1. 慢 SQL 的危害 慢 SQL,就是跑得很慢的 SQL 语句,你可能会问慢 SQL 会有啥问题吗? 试想一个场景:

一 简介:今天咱们来聊聊如何定位以及执行完的大事务 二 目的:通过分析binlog脚本来定位执行的大事务 三 分析脚本 mysqlbinlog --base64-output=decode-rows -vv --start-datetime="" --stop-datetime="" binlog | awk \'BEGIN {xid="null";s_type=""; stm="";endtm="

[问题] 有台MySQL服务器不定时的会出现并发线程的告警,从记录信息来看,有大量insert的慢查询,执行几十秒,等待flushing log,状态query end [初步分析] 从等待资源来看,大部分时间消耗在了innodb_log_file阶段,怀疑可能是磁盘问题导致,经过排查没有发现服务器本身存在硬件问题 后面开启线程上升时pstack的自动采集,定位MySQL线程等待的位置. [分析过程] 部署了pstack的自动抓取后,出现过6次thread concurrency >=50的告警

前提 在线执行一些大事务或锁表操作(给某个核心级表加一列或者执行修改操作),此时不但主库从库要长时间锁表,主从延迟也会变大.未避免大事务sql对整个集群产生影响,,我们希望一条SQL语句只在Master数据库上执行,而不复制到Slave数据库.这时候,sql_log_bin这个参数正是需要的.我们就可以这样操作: 1.先在备库执行 原slave mysql>set sql_log_bin=0; 原slave mysql>大事务sql 2.切换主备节点 3.在原主库再执行 原master mys

REQUIRES_NEW   如果不在一个事务那么自己创建一个事务 如果在一个事务中 自己在这个大事务里面在创建一个子事务  相当于嵌套事务 双层循环那种 不管是否存在事务,业务方法总会自己开启一个事务,如果在已有事务的环境中调用,已有事务会被挂起,新的事务会被创建,直到业务方法调用结束,已有事务才被唤醒.

原文:SqlServer 复制中将大事务分成小事务分发 在sql server 复制中,当在发布数据库执行1个大事务时,如一次性操作 十万或百万以上的数据.当操作数据在发布数据库执行完成后 ,日志读取器代理将扫描事务日志,一次性传递到分发数据库中.若上个事务未传递完成,连续执行多个事务,日志读取器代理将扫描日志中多个事务同时传递到分发数据库中,默认最大扫描500个事务.如果执行多次上百万或千万的数据将堵塞很久. 日志读取器代理可配置将大事务划分为多个小事务进行传递到分发数据库中,分发队列则按照小

如果mysql中有正在执行的大事务DML语句,此时不能直接将该进程kill,否则会引发回滚,非常消耗数据库资源和性能,生产环境下会导致重大生产事故. 如果事务操作的语句非常之多,并且没有办法等待那么久,可以采取以后操作: 1. 在数据库中的配置文件中新增:innodb_force_recovery = 3. innodb_force_recovery影响整个InnoDB存储引擎的恢复状况.默认为0,表示当需要恢复时执行所有的innodb_force_recovery可以设置为1-6,大的数字包含

所谓的大事务就是耗时比较长的事务. Spring有两种方式实现事务,分别是编程式和声明式两种. 不手动开启事务,mysql 默认自动提交事务,一条语句执行完自动提交. 一.大事务产生的原因 操作的数据比较多 调用了 rpc 方法 有其他非 DB 的耗时操作 大量的锁竞争 执行了比较耗时的计算 二.大事务造成的影响 并发情况下,数据库连接池容易被撑爆 锁定太多的数据,造成大量的阻塞和锁超时 执行时间长,容易造成主从延迟 回滚所需要的时间比较长 undo log日志膨胀,不仅增加了存储的空间,而且可

git push时终端报错: error: RPC failed; HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large fatal: The remote end hung up unexpectedly 你已经把大文件写入本地.git历史中. 你需要把它从commit历史,以及.git库里移除掉. 可以使用git filter-branch --tree-filter 'rm -f 文件

转载: http://www.cnblogs.com/accumulater/p/6089838.html 介绍 BEGIN TRAN 标记事务开始 COMMIT TRAN 提交事务 一般把DML语句(select ,delete,update,insert语句)放在BEGIN TRAN...COMMIT TRAN 之间作为一个事务处理 也就是那些语句执行过程中如果遇到错误,无论哪句遇到错误,所有语句都会回滚到BEGIN TRAN之前的状态.

log_event.cc 入口: int Query_log_event::do_apply_event(Relay_log_info const *rli,const char *query_arg, size_t q_len_arg) 包括: sql_mode , 客户端字符集,自增环境设置,登陆的db,结果执行时间,ddl和dml执行时间dml: 数据被写盘后的时间 thd->set_time(&(common_header->when)); , 一个事务对应一个Query_Ev

1.实例重启背景 收到监控组同学反馈,连接某一个MongoDB实例的应用耗时异常,并且出现了超时.查看数据库监控平台,发现此实例服务器的IO异常飙升,而查看副本集状态(rs.status()),主从是坏掉的,从节点不可达. 登入从节点,查看mongodb服务状态,是stop的. 查看服务器的log,发现出现了OOM,Mongodb被关闭了. Jan 17 12:02:48 qqorderdb02 kernel: Out of memory: Kill process 83717 (mongod)

//查找大文件 git verify-pack -v .git/objects/pack/pack-*.idx | sort -k 3 -g | tail -5 //根据上面查找到的hash值,筛选文件名 git rev-list --objects --all | grep 28c65edc2b880f02602970a5d13f6ffc9a59cb66 //删除 git filter-branch --force --index-filter 'git rm -rf --cached --i

最近性能调优的事比较多,所以摘一些比较有特点的 案例分享下. 业务系统用的是sql server 2016 ,搭建的ALWAYSON 两节点的 群集,今天早上突然辅助 副本的只读库出现大量的等待导致系统不能正常进行,通过监控的软件看到 如图 点进去看到 数据库中都在等待   HADR_DATABASE_WAIT_FOR_TRANSITION_TO_VERSIONING 这个等待,只有在辅助副本只读库上,版本状态更改被阻止时出现,同时看主副本的库又是已提交读的快照隔离级别,所以原因是主副本库上,有

工作中,需要设计一个数据库存储,项目的需求大致如下: (1)对于每个用户,需要存储一个或多个库, 每个库, 由一个用户标识来标识,这里成为clientFlag. (2) 对于每一个库,结构如下: 1) 一个clientFlag对应多个组,组包括组名和组的描述一类的信息 2)一个组中有多个成员,每个成员包括成员名和成员描述一类的信息 3)一个成员包括若干张自己喜欢的图片,图片有图片的文件ID和图片的描述信息 4)每张图片对应于多个版本,每个版本下存储使用深度学习引擎生成的特征 这个需求的目的是,给

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 0. 内容提纲 运行环境 部署MGR A&B 部署MGR A.B之间的复制通道 几个注意事项 如何在多个数据中心部署多套MySQL MGR集群以便快速切换. 在金融应用场景下,经常会要求在同城多中心部署高可用数据库架构,以期实现在发生故障时能达到快速切换的目标. 在同一个数据中心内,可以部署MGR集群,就可以实现快速灵活切换. 而即便是在同城,跨数据中心时,网络条件好的话,延迟可能也在 1ms 之内.这种网络条件下,如

GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 1.引子 2.AFTER 的写一致性 3.AFTER 的读一致性 4.AFTER 执行流程 5.BEFORE 执行流程 6.一些思考 7.参考文档 1.引子 某次测试过程中,发现在 AFTER 级别下,节点故障会导致集群无法进行事务提交,同时,当事务进入提交阶段后,其它节点无法开启只读事务.整个集群无法正常提供服务,直到故障节点被踢出集群. 以下首先复现上述故障场景的步骤: 1.初始化一个3节点的集群.集群信息如下:

目录 1.索引概述 2.索引结构 3.索引分类 4.索引语法 5.SQL 性能分析 5.1.执行频次 5.2.慢日志查询 5.3.profile 5.4.explain 6.索引使用规则 6.1.单列&联合索引 6.2.最左前缀 6.3.范围查询 6.4.索引失效 6.5.SQL 提示 6.6.覆盖索引 6.7.前缀索引 7.索引设计原则 1.索引概述 索引(Index)是高效获取数据的数据结构,就像书的目录,提高检索数据的效率. 优点:提高数据检索效率,降低数据库的 IO 成本:通过索引列对数

前言 一个项目上线了两个月,除了一些反馈的优化和小Bug之外,项目一切顺利:前期是属于推广阶段,可能使用人员没那么多,当然对于项目部署肯定提前想到并发量了,所以早就把集群安排上,而且还在测试环境搞了一下压测,绝对是没得问题的:但是,就在两个月后的一天,系统突然跑的比乌龟还慢,投诉开始就陆续反馈过来了. 经过排查,原来是频繁执行一条耗时100ms的SQL导致,100ms感觉不长,但就是把系统搞崩了,具体细节如下. 正文 1. 项目概况 项目采用ABP进行开发,集成统一的认证中心(IDS4),部分数

测试环境 MySQL Community Server 8.0.17 准备测试数据 DROP TABLE TB001; CREATE TABLE TB001(ID INT PRIMARY KEY AUTO_INCREMENT,C1 INT); ; DROP TABLE TB002; )); INSERT INTO TB002(C1,C2,C3) ) ; 测试SQL: SELECT * FROM TB002 ORDER BY c1,c2 DESC LIMIT ; 使用普通索引 ALTER TABL

测试环境 MySQL Community Server 准备测试数据 DROP TABLE TB001; CREATE TABLE TB001(ID INT PRIMARY KEY AUTO_INCREMENT,C1 INT); ; DROP TABLE TB002; )); INSERT INTO TB002(C1,C2,C3) ) AND T2.ID<3000; 测试SQL: SELECT * FROM TB002 ORDER BY C2 DESC LIMIT ; 使用普通索引 ALTER