阿里巴巴mysql数据库binlog的增量订阅&消费组件canal ,转载自  https://github.com/alibaba/canal 最新更新 canal QQ讨论群已经建立,群号:161559791 ,欢迎加入进行技术讨论. canal消费端项目开源: Otter(分布式数据库同步系统),地址:https://github.com/alibaba/otter 背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求.不过早期的数据库同步业务,主要是基于t…
1 引言 在没有索引的情况下,如果要寻找特定行,数据库可能要遍历整个数据库,使用索引后,数据库可以根据索引找出这一行,极大提高查询效率.本文是对MySQL数据库中索引使用的总结. 2 索引简介 索引是一个单独的.存储自磁盘上的数据库结构,包含着对数据表里所有记录的引用指针.使用索引用于快速找出在某个或多个列中有一特定值的行,所有MySQL列类型都可以被索引,对相关列使用索引是提高查询操作速度的最佳途径. 小时候我们都用过现代汉语词典,当我们要查找某个字时,如果没有目录,我们需要一页一页去寻找,有…
实践中如何优化MySQL 实践中,MySQL的优化主要涉及SQL语句及索引的优化.数据表结构的优化.系统配置的优化和硬件的优化四个方面,如下图所示: SQL语句及索引的优化 SQL语句的优化 SQL语句的优化主要包括三个问题,即如何发现有问题的SQL.如何分析SQL的执行计划以及如何优化SQL,下面将逐一解释. 怎么发现有问题的SQL?(通过MySQL慢查询日志对有效率问题的SQL进行监控) MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具…
写在前面:索引对查询的速度有着至关重要的影响,理解索引也是进行数据库性能调优的起点.考虑如下情况,假设数据库中一个表有10^6条记录,DBMS的页面大小为4K,并存储100条记录.如果没有索引,查询将对整个表进行扫描,最坏的情况下,如果所有数据页都不在内存,需要读取10^4个页面,如果这10^4个页面在磁盘上随机分布,需要进行10^4次I/O,假设磁盘每次I/O时间为10ms(忽略数据传输时间),则总共需要100s(但实际上要好很多很多).如果对之建立B-Tree索引,则只需要进行log100(…
##一.基础 ## *    插入                   INSERT INTO table_name ( field1, field2,...fieldN )                                        VALUES                                        ( value1, value2,...valueN ); *    修改                                update t…
一.索引 1.1 索引的概念 索引是一个排序的列表,存储着索引值和这个值所对应的物理地址 无须对整个表进行扫描,通过物理地址就可以找到所需数据 (数据库索引类似书中的目录,通过目录就可以快速査找所需信息) 1.2 索引的作用 建立索引之后,数据库利用各种快速定位技术,能够大大加快查询速率 当表很大或查询涉及多个表时,可以成千上万倍的提高查询速度 可以降低数据库的IO成本,还可以降低数据库的排序成本 通过创建唯一性索引保证数据表数据的唯一性 可以加快表与表之间的连接 1.3 索引的优缺点 优点:可…
1. 概述2. 索引分类2.1 不同索引的概念2.1.1 普通索引2.1.2 唯一索引2.1.3 全文索引2.1.4 多列索引3. 索引操作3.1 普通索引3.1.1 创建表时创建普通索引3.1.2 在已经存在的表上创建普通索引3.1.3 通过SQL语句alter table创建普通索引3.2 唯一索引3.2.1 创建表时创建唯一索引3.2.2 在已经存在的表上创建唯一索引3.2.3 通过SQL语句alter table创建唯一索引3.3 全文索引3.3.1 创建表时创建全文索引3.3.2 在已…
上章我们把zabbix的服务端和客户端都部署完成了,本章接着进行两部分的设置: 1  添加对mysql数据库主机的监控 2  添加对mysql数据库的监控 一.对数据库服务器主机监控 1 创建主机 步骤如下:组态>>主机>>创建主机 进入创建主机的界面,如下,填写信息后保存. 正确添加后状态是绿色的已启用: 2.为主机添加模板 模板添加完成后,出现绿色的表示监控成功了: 解决中文乱码问题:到windows中C:\Windows\Fonts选择一种喜欢的字体拷贝到/var/www/h…
B树(又叫平衡多路查找树) 注意B-树就是B树,-只是一个符号. B树的性质(一颗M阶B树的特性如下) 1.定义任意非叶子结点最多只有M个儿子,且M>2: 2.根结点的儿子数为[2, M]: 3.除根结点以外的非叶子结点的儿子数为[M/2, M]: 4.每个结点存放至少M/2-1(取上整)和至多M-1个关键字:(至少2个关键字) 5.非叶子结点的关键字个数=指向儿子的指针个数-1: 6.非叶子结点的关键字:K[1], K[2], …, K[M-1]:且K[i] < K[i+1]: 7.非叶子结…
1.查看数据库所有索引 SELECT * FROM mysql.`innodb_index_stats` a WHERE a.`database_name` = '数据库名'; 2.查看某一表索引 SELECT * FROM mysql.`innodb_index_stats` a WHERE a.`database_name` = '数据库名' and a.table_name like '%表名%'; 3.查看某一表索引 show index from 表名;…