数据库不仅仅是dba的工作,每一个测试人员也应该懂得基本的数据运维操作,因为数据库是数据承载的地方并且是系统中非常重要的一部分,所以我们也需要熟练的对数据库进行基本维护. 01.常用备份恢复命令 第1组命令: 1.1:导出所有库 mysqldump --socket=/home/q/mysql/multi/3306/socket/mysql.sock -hlocalhost -utester -p123456 --all-databases > alldb.sql 1.2:导入所有库 mysql…

MySQL数据库运维课程 http://www.dataguru.cn/article-4834-1.html?union_site=comm100 课程大纲 第一课:机器选型.系统规划 第二课:安装部署 第三课:压力测试 第四课:性能优化 第五课:字符集和权限安全 第六课:日志系统 第七课:备份与恢复1 第八课:备份与恢复2 第九课:常用工具 第十课:MySQL集群 第十一课:分布式集群 第十二课:集群高可用(HA)和容灾演练 第十三课:自动化运维 第十四课:监控和审计系统 第十五课:成长规划…

如何评价一个公司数据库运维水平的高低?用什么来进行横向与纵向对比?自动化平台建设的目标是什么?必须有相应的指标体系来指导,此指标体系必须满足以下条件: • 可以用数字来测算和衡量 • 最终指标,而不是中间指标 比如有时DBA会关注数据库的吞吐量,但吞吐量越高不能代表数据库提供的服务质量越好,开发人员关心这个指标的原因也是因为担心过高的吞吐量会影响响应时间或者造成系统不可用,所以这只是一个中间指标. • 可以全面衡量一个网站的数据库运维水平,而不会顾此失彼 • 有人文关注 1.1. 数据安全 数据…

目录 RDBMS 术语 整删改查操作 库操作 表操作 账号与授权 匹配符(条件查询) MySQL三大类数据类型 函数 其他操作 查看数据库的占用空间大小 开启慢查询 状态查询 字符集设置 忘记密码重置 剩下的交给DBA RDBMS 术语 数据库: 数据库是一些关联表的集合 数据表: 表是数据的矩阵.在一个数据库中的表看起来像一个简单的电子表格. 表头(header): 每一列的名称; 列row: 一列(数据元素) 包含了相同类型的数据, 例如邮政编码的数据.每一行用来描述某物的具体信息; 行co…

***************************************************************************部署MySQL自动化运维工具inception+archer 2018年03月28日 leo*************************************************************************** 服务器**************************************************…

  有赞MySQL自动化运维之路—ZanDB 一.前言 在互联网时代,业务规模常常出现爆发式的增长.快速的实例交付,数据库优化以及备份管理等任务都对DBA产生了更高的要求,单纯的凭借记忆力去管理那几十套DB已经不再适用.那么如何去批量管理这些实例的备份.元数据.定时脚本和快速实例交付就成了急需解决的的问题. 二.数据库的标准化 在实现MySQL的自动化运维的过程中,最痛苦的无非是目录的不统一,配置文件的混乱以及DB主机的不标准,而这些不标准的环境会让自动化运维的路途荆棘重重.所以首先我们将相应的…

一个兼职DBA的数据库运维经验 小米科技  xx@xiaomi.com 2011 内存扩容 16G->64G ,调大bp后,凌晨说监控物理内存有余量情况下,开吃swap,内存泄露措施1  定时 echo 1 >/proc/sys/vm/drop_caches  页面缓存措施2 下次mysql实例重启期间,numactl --interleave=all  mysqld &  启动mysql时候关闭numa特性 ulimit允许coreulimit -c  最大的core文件大小,以bl…

从马车到汽车是为了提升运输效率,而随着时代的发展,如今我们又希望用自动驾驶把驾驶员从开车这项体力劳动中解放出来,增加运行效率,同时也可减少交通事故发生率,这也是企业对于智能运维的诉求. 从人工运维到自动化运维是为了减少人力成本,降低操作风险,提高运维效率,但自动化运维的本质依然是人与自动化工具相结合的运维模式,仍有局限性.为了持续地面向大规模.高复杂性的系统提供高质量的运维服务,智能运维(AIOps)应运而生. 本文,袋鼠云将跟大家分享智能运维大数据平台(一款开箱即用的运维监控平台)在Oracl…

我们知道数据库性能是数据库运维中至关重要的一个部分,据传在Oracle数据库的江湖中也有威力无比的六脉神剑技能,下面与大家免费分享Oracle大师们广为流传的六脉神剑口诀,一般人我不告诉他哦:) 少商剑:应用程序SQL代码优化 指定SQL执行计划 使用索引技术:使用反向索引降低缩影快争用.使用函数索引提高复杂计算效率.通过索引重建减少碎片 保证数据的批量提交 使用Hint条横执行计划——OLAP 中冲剑:数据库设计优化 OLTP数据库: 密集型事物,以短事物以及小的查询为主 采用Cache技术.…

使用percona-xtrabackup工具对mysql数据库的备份方案 需要备份mysql的主机 172.16.155.23存放备份mysql的主机 172.16.155.22 目的:将155.23主机上mysql数据库每天全量备份一次,并且同步到远程主机中 1.安装备份工具 -.el6.x86_64.rpm 2.编写备份数据库脚本: vim /data/scripts/backdb.sh #!/bin/bash back_time=`date +%Y%m%d%H%M%S` backpath=…

这里简单总结MySQL的备份分为3种:分为冷备份,逻辑备份,热备份. 1.冷备份: 一般主要用于非核心业务,这类业务一般都是允许业务中断的,冷备份的特点就是数度快,恢复时也最为简单.通常直接复物理文件来实现冷备份. 1.1备份过程: 第一关闭mysql服务 第二步就是把datas数据目录(包含ibdata1)和日志目录(包含ib_logfile0,ib_logfile1,ib_logfile2)复制到磁盘,或者本地的另一块磁盘里 1.2恢复过程: 第一使用复制的数据目录和日志目录替换原有的目录…

转眼间,2021年的第一个季度已经到了最后一个月了,由于疫情原因,最近一段时间一直在北京,基本上没有出差,每天上班下班的日子感觉时间过的好快,新的一年继续努力奋斗啊. 仔细回想一下,自己踏入到sql server的领域也已经三年之久了,从刚开始只会简单的增删该查,到现在2020年自己支持的一百多家客户的日常数据库运维,现在回想一下,还是成长蛮多的(小夸自己一下) 现在想通过博客记录一下我的日常工作状态,回顾下这几年来在数据库遇到的各种各样的问题,给大家分享一下,欢迎各路大神前来指点.废话不多说,…

在MySQL数据库日常运维中,对业务子账号的权限的统一控制十分必要. 业务上基本分为读账号和写账号两种账号,所以可以整理为固定的存储过程,让数据库自动生成对应的库的账号,随机密码.以及统一的读权限,写权限.(这里没有对 host进行过多的限制.只赋给通用的192.168.% .有兴趣的同学可以在存储过程加个参数,对host 控制) delimiter // set session sql_log_bin=OFF; drop PROCEDURE IF EXISTS `usercrt` // CRE…

日常运维 DBA运维工作 日常 导数据,数据修改,表结构变更 加权限,问题处理 其它 数据库选型部署,设计,监控,备份,优化等 日常运维工作: 导数据及注意事项 数据修改及注意事项 表结构变更及注意事项 加权限及注意事项 问题处理,如数据库响应慢 导数据及注意事项 数据最终形式(csv,sql文本,还是直接导入某库中) 导数据方法(mysqldump,select into outfile,) 注意事项 导出为csv格式需要file权限,并且只能数据库本地导 避免锁库锁表(mysqldump使用…

转自:https://tech.youzan.com/youzan-mysql-auto-ops-road/ 一.前言 在互联网时代,业务规模常常出现爆发式的增长.快速的实例交付,数据库优化以及备份管理等任务都对DBA产生了更高的要求,单纯的凭借记忆力去管理那几十套DB已经不再适用.那么如何去批量管理这些实例的备份.元数据.定时脚本和快速实例交付就成了急需解决的的问题. 二.数据库的标准化 在实现MySQL的自动化运维的过程中,最痛苦的无非是目录的不统一,配置文件的混乱以及DB主机的不标准,而这…

作为一名DBA,选择自己的数据存储在什么上面,应该是最基本的事情了.但是很多DBA却容易忽略了这一点,我就是其中一个.之前对raid了解的并不多,本文就记录下学习的raid相关知识. 一.RAID的基础知识 [定义]RAID(Redundant Array of Independent Disk)是一种独立冗余磁盘阵列. 1.为什么要使用RAID? 我们知道,单块磁盘无论是从性能上.容量上.还是安全上都存在单点问题,如果把多块硬盘组成一个group,当成一个逻辑驱动器,从而实现同时从多块硬盘存取…

Inception介绍 GitHub:https://github.com/mysql-inception/inception 文档:https://mysql-inception.github.io/inception-document/install/ Inception是集审核.执行.回滚于一体的一个自动化运维系统,它是根据MySQL代码修改过来的,用它可以很明确的,详细的,准确的审核MySQL的SQL语句,它的工作模式和MySQL完全相同,可以直接使用MySQL客户端来连接,但不需要验证…

之前提到了约束的一些特点,看起来也没什么大不了的问题,http://www.cnblogs.com/wy123/p/7350265.html以下以实际生产运维中遇到的一个问题来说明规范的重要性. 如下是一个简单的建表脚本,表面上看起来并没有什么问题.其中创建了3个约束,一个主键约束,一个唯一约束,一个默认值约束,该脚本执行起来没有任何问题. USE Test GO from sys.tables where name = 'TestConstraint') drop table dbo.Test…

1.创建用户并授权 一般新建数据库都需要新增一个用户,用于程序连接,这类用户只需要insert.update.delete.select权限. 新增一个用户,并授权如下: (1)grant select,delete,update,insert on *.* to admin@'192.168.0.%' identified by '123456'; flush privileges; (2)新建用户再授权 create user 'test'@'localhost' identified by…

[时区设置不当会有什么问题] 当进行海外项目运维的时候,常常会遇到时区设置的问题.假设时区设置不当 或者 同样项目的server之间的时区不一致,都会有导致项目的数据异常的风险. 假设数据表的字段使用了date类型的字段,字段的默认值是sysdate.而且程序插入记录的时候使用了字段的默认值,那么就有可能导致数据异常.在改动数据库server的时区时.也是须要慎重操作的. [server时间同步的方法] # 时间同步server请改动为要求的地址(建议使用Windows的地址.由于世界上大部分个…

一.什么是高可用性: 高可用性=可靠性,它的本质就是通过技术和工具提高可靠性,尽可能长时间保持数据可用和系统运行,实现高可用性的原则,首先要消除单点故障,其次通过冗余机制实现快速恢复,还有就是实现容错. 二.我们在考虑数据库的高可用方案时,应该考虑几个方面: 1.若数据库发生了宕机或者意外中断等故障,能够尽快恢复数据库的可用性,尽可能的减少停机时间,保证业务不会因为数据库的中断而中断 2.用作备份,只读副本等功能的非主流节点的数据应该和主节点的数据实时或者始终保持一致 3.当业务发生数据库切换的…

一.Linux内核和发行版本 uname -a cat /etc/issue  二.glibc的版本   /lib/libc.so.6    ---没有man函数据的动态链接库   三.MySQL的版本   MySQL二进制分发版的文件名格式为:mysql-VERSION-OS.tar.gz   例如:Linux-Generic(glibc 2.5) (x86,64bit),Compressed TAR Archive(mysql-5.6.16-linux-glibc2.5-x86_64.tar…

案例: 线上有一数据库,需要每周全备一次,每天差备一次[安全起见还是差备吧,不要增备,不要吝啬磁盘哦,而且差备恢复还很快] 1.每周对数据库hellodb做完全备份 crontab任务计划: * * /bin/bash /work/dump-complete-hello.sh ===>每周周一凌晨1点10分执行全备脚本/work/dump-complete-hello.sh 全备脚本/work/dump-complete-hello.sh内容如下: #!/bin/bash # 全备文件存放位置…

需要的联系我,QQ:1844912514…

MySQL作为最关键的应用数据存储中心,如何保证MySQL服务的可靠性和持续性,是我们不得不细致考虑的一个问题.当master宕机的时候,我们如何保证数据尽可能的不丢失,如何保证快速的获知master宕机并进行相应的故障转移处理,都需要仔细考虑与规划. 要保证MySQL数据不丢失,replication是一个很好的解决方案,而MySQL提供了一套强大的replication机制,replication能极大地提升数据安全,异步复制的方式也保证了sql读写性能不受太大影响.在大量企业长期的使用和实…

一 数据同步方案  1 ES-JDBC  不能实现删除同步操作.MYSQL如果删除,ES不会删除  2 logstash-input-jdbc  能实现insert update,但是仍然不能实现删除操作  3 canal+Bulk API  能同步实现mysql内部的所有操作,消费binlog(推荐使用)二 注意点  1 设定好分片数量和index结构  2 避免关联查询三 定义  1 全文检索    将非结构化数据中的一部分信息提取出来,重新组织,使其变得有一定结构,然后对此有一定结构的数据…

一 部署   1 docker-compose up -d 即可非常方便   2 mysql安装   3 inception安装二 默认账号   默认用户admin 密码: Yearning_admin三 web配置  1 系统配置      1 Inception配置->配置链接和备份库信息  2 LDAP配置  3 消息推送 ->配置钉钉和邮件推送      钉钉 添加机器人和webhook(钉钉webhook并不会对SQL工单进行消息推送,需要在数据库中设置) 4 其他(重要)     …

2014-07-27 Created By BaoXinjian…

一 简介:inception的另一个激动人心的功能,很强大.二 功能简介: inception会针对已经执行sql语句进行1 记录 2 生成回滚语句三 备份:   1 启用远程备份机制(强烈建议一台单独的数据库用作备份)      inception_remote_backup_host //远程备份库的host      inception_remote_backup_port //远程备份库的port      inception_remote_system_user //远程备份库的用户 …

1.查看当前连接数: 这些参数都是什么意思呢? Threads_cached ##mysql管理的线程池中还有多少可以被复用的资源 Threads_connected ##打开的连接数 Threads_created ##表示创建过的线程数,如果发现Threads_created值过大的话,表明MySQL服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值,查询服务器 Threads_running ##激活的连接数,这个数值一般远低于connect…