问题描述: 同事在给jiradb做mysqldump时,发现dump出来的文件只有10MB左右,而ibd文件占用磁盘空间100MB左右. 最初,我们猜测可能是delete操作导致了大量的磁盘碎片,以及二级索引占用了很多空间. 但是对比了data_length+index_length+data_free的总和,与du的输出结果对比,还是相差较多. 版本信息:Server version: 5.6.48-log MySQL Community Server (GPL) 概念解释: data_len

方案一:两边做主从. SELECT SUM(DATA_LENGTH)+SUM(INDEX_LENGTH) FROM information_schema.tables WHERE TABLE_SCHEMA='(数据库名大小为K除去1048576为M)';查看库容量 SELECT TABLE_NAME,DATA_LENGTH+INDEX_LENGTH,TABLE_ROWS FROM information_schema.tables WHERE TABLE_SCHEMA='' AND TABLE_

1.1. 场景 有的时候test人员可能需要在测试库上比较新的数据,这时候只能是从生产库上面去那了.如果是小表还好实用mysqldump/mysqlpump就可以轻松的解决.但是,如果遇到了大表这将是一个很痛苦的过程.这时候最好的选择就是使用Percona公司的MySQL热备工具xtrabackup了. 1.2. 为什么不使用ibd文件拷贝方法 很简单,因为要锁表对生产环境影响比较大. 1.3. 扩展 当然如果他们数据的要求并不是那么高可以使用每天用xtrabackup备份的来做.但是,这往往会

1.1. 场景 有的时候开放人员自己的库需要帮忙导一些数据,但是表的数据量又很大.虽然说使用mysqldump或mysqlpump也可以导.但是这耗时需要比较久. 记得之前建议开放人员可以直接使用navicat去抽取测试库的数据.但是发现但遇到大表的时候,发现navicat会卡死. 1.2. 使用方法 使用拷贝*.ibd的方法. 注意:使用这种方法会锁表.因为是测试库,对服务器有一些影响还是可以接受的. 1.3. 先决条件 前提必须开启innodb_file_per_table选项,并且使用In

宏 概述 Zabbix支持许多在多种情况下使用宏.宏是一个变量,由如下特殊语法标识: {MACRO} 根据在上下文中, 宏解析为一个特殊的值. 有效地使用宏可以节省时间,并使Zabbix变地更加高效. 在一个的典型用途中,宏可以用于模板中.因此,模板的触发器可能命名为“Processor load is too high on {HOST.NAME}”.当这个模板应用与主机(如 Zabbix Server )时,并且当触发器展示在监控页面上时,触发器的名称讲解析为“Processor load

1.1. 场景 有的时候开放人员自己的库需要帮忙导一些数据,但是表的数据量又很大.虽然说使用mysqldump或mysqlpump也可以导.但是这耗时需要比较久. 记得之前建议开放人员可以直接使用navicat去抽取测试库的数据.但是发现但遇到大表的时候,发现navicat会卡死. 1.2. 使用方法 使用拷贝*.ibd的方法. 注意:使用这种方法会锁表.因为是测试库,对服务器有一些影响还是可以接受的. 1.3. 先决条件 前提必须开启innodb_file_per_table选项,并且使用In

MySQL事务及隔离级别详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.MySQL的基本架构 MySQL的基本架构可以分为三块,即连接池,核心功能层,存储引擎层. 1>.连接池 (线程处理工具) 主要功能是与用户请求建立连接.第一层向用户响应请求的数据,这个层次不是MySQL服务独有的,其实大多数C/S架构的工作软件基本上都是这种工作模式,只不过在处理连接池的内存,进程的释放等管理关系上mysql可能有着自己独特的方式. 我们知道MySQL是单进程多线程的模型,MyS

MySQL数据库以及表的管理 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 今天我们探讨的话题就是如何使用MySQL做开发,我们运维的主要工作不是去开发SQL的,但尽管如此,我们有可能需要对别人写出来的复杂SQL语句做性能评估,去分析他们写的SQL语句是不是足够高效,如果不是的话,我们还要能够达到对对方的SQL语句做改写的能力.所以,我们无需自行去开发SQL,但是我们一定要有一个看懂别人写的SQL的能力哟!       一.DBA的职责 1.开发DBA: 负责数据库设计(E-

MySQL数据类型以及基本使用详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.MySQL服务器的主要组件 我们知道MySQL的主要组件主要是由服务端(mysqld)和客户端(mysql)组成的.它们都共用一个配置文件(通常叫做my.cnf),这个配置文件很独特,它需要使用中括号括起来标明是为哪种组件使用的,例如[mysql]下面的指令就表示为客户端配置的参数,如果[mysqld]下面的指令就表示为服务端配置的参数.其实MySQL的客户端组件有很多个,本篇博客是用的my

DataStage序列文章 DataStage 一.安装 DataStage 二.InfoSphere Information Server进程的启动和停止 DataStage 三.配置ODBC DataStage 错误集(持续更新) DataStage 四和五因为包含大量图片发布不便,有兴趣学习和研究者请联系索要!!! DataStage 六.安装和部署集群环境 DataStage 七.在DS中使用配置文件分配资源 DataStage 八.清除日志 说明 默认情况下datastage 9.1版

常用Mysql存储引擎--InnoDB和MyISAM简单总结 2013-04-19 10:21:52|  分类: CCST|举报|字号 订阅     MySQL服务器采用了模块化风格,各部分之间保持相对独立,尤其体现在存储架构上.存储引擎负责管理数据存储,以及MySQL的索引管理.通过定义的API,MySQL服务器能够与存储引擎进行通信.目前使用最多的是MyISAM和InnoDB. MyISAM引擎是一种非事务性的引擎,提供高速存储和检索,以及全文搜索能力,适合数据仓库等查询频繁的应用.MyIS

原文:http://t.dbdao.com/archives/mysql%E6%95%B0%E6%8D%AE%E5%BA%93%E7%AE%A1%E7%90%86-%E8%A1%A8%E7%9A%84%E7%BB%B4%E6%8A%A4.html 一.目标 完成本课程后,你应该能够: 认识不同类型的表维护操作 执行维护表的SQL语句 使用客户端和实用程序维护表 根据具体的存储引擎维护表 二.实施表的维护 表的维护操作对识别和解决数据库问题非常有用,例如: 因服务器崩溃而损坏的表 表上查询处理缓慢

数据在表中是如何进行组织存放的?下面我们就来看看: InnoDB引擎表的类型 InnoDB表都会有一个主键. 如果没有显示的指定主键,首先会去查找,看是否有非空的唯一索引, 如果有,则该列为主键:如果没有,那么引擎会自动创建一个6字节大小的指针. InnoDB逻辑存储结构 所有的数据都被逻辑的放在一个空间中,称之为表空间. 表空间由段.区.页组成,页也叫做块. 表空间 对于启用了innodb_file_per_table的数据库,需要注意的是,数据.索引和插入缓冲是放在每张表的单独表空间中的,

1.安装zabbix-agentyum -y install zabbix-2.4.8-1.el6.x86_64.rpm zabbix-agent-2.4.8-1.el6.x86_64.rpm 安装以上两个包以后会在/etc/zabbix/zabbix_agentd.d目录下生成userparameter_mysql.conf这个配置文件我们只需要简单修改即可: 修改内容如下: 就是将里面的配置HOME=/var/lib/zabbix修改成HOME=/etc/zabbix 内容如下: # For

MySQL/MariaDB数据库的存储引擎 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.MySQL体系结构 连接管理模块: 负责接收远程用户的连接. 线程管理模块: 维护一个线程池,通过连接管理模块接入的连接会在线程池中分配一个空闲线程去响应,当用户端口连接后线程资源会被回收(并不会被销毁),即重新放回线程池. 用户管理: 负责验证用户是否合法. 命名分发器: 负责分发命令到相应模块并记录日志信息. 查询缓存模块: 负责缓存曾经执行SQL的返回结果.当下次查询到与之

第14章 运维技巧和常见问题处理 DBA的成长,离不开对各种问题的处理.本章将为读者介绍一些运维技巧和常见问题的处理方法.我们需要意识到,别人的经验代替不了自己的经验,所以,多实践.多处理问题,最终会帮你成为一名训练有素的DBA. 14.1 MySQL运维技巧 14.1.1 使用lsof命令恢复文件 如果你在Linux下不小心删除了一个文件,现在想要恢复这个文件,那么lsof命令就能派上用场了. 首先补充下关于lsof命令的基础知识. lsof是Linux自带的工具,其他Unix系统可能需要自己

第11章 MySQL的监控 为什么我们需要监控呢?因为如果没有了监控,那么我们的服务可用性就无从度量,我们也无法及时地发现问题和处理问题.一个完善的监控体系,不仅需要进行实时的监控,也需要分析历史的监控数据,以便掌握性能和容量趋势的变化,从而为产品.架构人员提供决策的依据. 本章将为读者讲述针对MySQL所提供的监控方法,然后,再来探讨下数据库监控的友好呈现,也就是数据的可视化技术. 11.1 非数据库的监控 11.1.1 开源监控工具/平台 一个完整的监控体系,要求能够监控各种非数据库的资源,

目录 一.什么是DDL? 二.表级锁和元数据锁 2.1.什么是表锁? 2.2.什么是MDL? 三.什么是无损DDL? 四.DDL重建表 Mysql5.5之前重建表 Mysql5.6之后重建表 五.ghost工具源码梳理 5.1.工作模式 5.1.1 主从模式a 5.1.2 主主模式b 5.1.3 migrate/test on relica 5.1.前置性检查 5.2.创建streamer监听binlog 5.3.创建xxx_ghc表,xxx_gho表. 5.4 开始迁移数据 5.5 cut-o

概述 Zabbix支持许多在多种情况下使用宏.宏是一个变量,由如下特殊语法标识: {MACRO} 根据在上下文中, 宏解析为一个特殊的值. 有效地使用宏可以节省时间,并使Zabbix变地更加高效. 在一个的典型用途中,宏可以用于模板中.因此,模板的触发器可能命名为“Processor load is too high on {HOST.NAME}”.当这个模板应用与主机(如 Zabbix Server )时,并且当触发器展示在监控页面上时,触发器的名称讲解析为“Processor load is

目录 RDBMS 术语 整删改查操作 库操作 表操作 账号与授权 匹配符(条件查询) MySQL三大类数据类型 函数 其他操作 查看数据库的占用空间大小 开启慢查询 状态查询 字符集设置 忘记密码重置 剩下的交给DBA RDBMS 术语 数据库: 数据库是一些关联表的集合 数据表: 表是数据的矩阵.在一个数据库中的表看起来像一个简单的电子表格. 表头(header): 每一列的名称; 列row: 一列(数据元素) 包含了相同类型的数据, 例如邮政编码的数据.每一行用来描述某物的具体信息; 行co

枯燥的任务 这一切都要从多年前说起. 那时候刚入职一家新公司,项目经理给我分配了一个比较简单的工作,为所有的数据库字段整理一张元数据表. 因为很多接手的项目文档都不全,所以需要统一整理一份基本的字典表. 如果是你,你会怎么处理这个任务呢? 重复的工作 一开始我是直接准备人工把所有的字段整理一遍,然后整理出对应的 SQL 插入到元数据库管理表中. meta_table 元数据表信息 meta_field 元数据字段信息 一开始还有点激情,后来就是无尽的重复,感觉十分无聊. 于是,我自己动手写了一个