存储知识 1.为什么需要存储,存储一般解决哪些问题? 容量.速度.易于管理.安全(容灾与备份).可扩展性 2.存储发展历史 [2.1]大型机 [2.2]c/s结构(客户端->服务器) [2.3]PC服务器 [2.4]internet B/S(浏览器->服务器) [2.5]云数据.云时代.云集群 [2.6]存储设备发展史 (1)tape磁带(1920) (2)HDD (1956) (3)DAS(1970 数据摆脱服务器,存储单独发展) (4)FCSAN(1980,光纤存储,数据的集中管理) (5…

使用mysql做数据库还原的时候,由于有些数据很大,会出现这样的错误:The MySQL Server returned this Error:MySQL Error Nr. MySQL server has gone away.我的一个30mb的备份还原的时候就出现了这错误. 解决的方法: 1.找到mysql安装目录: 2.找到my.ini文件: 3.在文件的最后添加: max_allowed_packet = 32M (也可以设置自己需要的大小). max_allowed_packet 参数…

1.什么情况下会用到备份呢? [1.1]灾难恢复 [1.2]单位审计:数据库在过去某一个点是什么样的 [1.3]跨机房灾备:异地备份 [1.4]认为的DDL或者DML语句,导致主从库的数据消失 [1.5]业务测试,构建测试库 2.备份的分类 分为冷备份.温备份.热备份 [2.1]冷备份(离线备份:读写操作均中止) 优点:设备投资较少,节省费用,对环境要求不高. 缺点:恢复时间较长,一般要数天至1周,数据完整性与一致性比较差: [2.2]温备份(只可以执行读操作) 优点:设备投资较少,节省费用,对…

前言: 在具体回顾每一个功能的实现前,还是有必要先温习一些项目涉及到的PHP.MySQL[语法基础].项目github地址:https://github.com/66Web/php_book_store,欢迎Star. 一.PHP基础语法 一个PHP程序混合代码: html + css + js + php PHP标记:XML标记风格 <?php echo "Hello world"; ?> 输出语句:echo语句,每条语句后都需要加分号“:”结束 <?php ech…

在深入理解MySq之前,我们先理下一些简单的问题 Q:什么是存储过程?(stored procedure) A:是一段写好的SQL代码,特别的就是它是存在数据库的目录里.所以外部程序可以直接调用数据库里面定义好的存储过程,另外数据库内部的触发器(trigger).或者其他存储过程也可以调用它. Q:存储过程有什么好处?有什么坏处? A: 先看看好处吧: 1.首先在性能上的提高,比起通过应用程序发送sql语句给数据库执行,让数据库自己内部执行存储过程效率更高.速度更快(存储过程将sql编译好后存在…

简介 冷.温.热备份 冷备:读写操作均不可进行 温备:读操作可执行:但写操作不可执行 热备:读写操作均可执行 MyISAM:温备,不支持热备 InnoDB:都支持 不管是热备还原还是冷备还原,还原时都需要停服务,禁止别人访问 备份工具 mysqldump:逻辑备份工具,适用所有存储引擎,温备:支持完全或部分备份:对InnoDB存储引擎支持热备,结合binlog的增量备份 xtrabackup:由Percona提供支持对InnoDB做热备(物理备份)的工具,支持完全备份.增量备份 mysqldum…

简介 Xtrabackup2.2版之前包括4个可执行文件: innobackupex: Perl 脚本 xtrabackup: C/C++ 编译的二进制 xbstream: 支持并发写的流文件格式 xbcrypt: 加解密 xtrabackup 是用来备份 InnoDB 表的,不能备份非 InnoDB 表,和 MySQLServer 没有交互:innobackupex 脚本用来备份非 InnoDB 表,同时会调用xtrabackup 命令来备份 InnoDB 表,还会和 MySQL Server…

序言 在上一篇博客中,博客介绍了redis的数据类型使用场景和redis分布式锁的正确姿势.我们知道一旦Redis重启,存在redis里面的数据就会全部丢失.所以这篇博客中向大家介绍Redis的磁盘持久化. REDIS持久化 以每隔一段时间对redis进行快照的方式实现持久化 RDB持久化 优点:1.对redis性能影响小. 2.数据集比较大的时候,恢复速度比AOF快.   3.RDB是一个非常紧凑的单一文件,很方便传到第三方数据中心(亚马逊S3),以便日后的灾难恢复. 缺点:1.因为RDB的快…

Gitlab 备份还原 备份数据:通过命令进行备份操作 gitlab-rake gitlab:backup:create ... [DISABLED] Creating backup archive: 1575855187_2019_12_09_gitlab_backup.tar ... done Uploading backup archive to remote storage ... skipped Deleting tmp directories ... done .... 备份完成提示…

欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 作者简介:xianmau,2015 年加入腾讯 TEG 架构平台部,一直负责 QQ 相册平台的维护和建设,主导相册上传架构重构和容灾优化等工作.主要研究方向为口语对话系统.分布式系统架构设计和优化,发表对话系统相关学术论文 3 篇,系统架构相关专利 2 篇. 本文由腾讯技术工程官方号发布在云加社区. 写在前面 QQ 相册作为重量级资深业务,稳定运营.有效容灾,一直是相册团队追求的目标.QQ 相册架构一直在演变进化,本文重点介绍相册最新的一次…

近日,阿里云正式发布OSS同城冗余存储产品.这是国内目前提供同城多AZ冗余部署能力覆盖最广的云上对象存储产品,可以实现云存储的同城双活,满足企业级客户对于“发生机房级灾难事件时数据不丢失,业务不中断”的需求.相对于用户自建同城容灾机房,OSS同城冗余存储,可以极大地降低企业的建设成本.同时,结合当前OSS的“跨区域复制”能力,可以轻松搭建云存储的“两地三中心”架构.至此,阿里云OSS能够为不同的业务提供同机房.同城.跨地域完整的多层次的容灾服务能力. 由于受限于IT能力.成本等因素,相当多的企业…

容灾全景图: 按照距离划分:分为本地容灾 同城容灾 异地容灾  本地容灾包括本地高可用和本地主备.(本数据中心的两机房.机柜) 本地高可用这个方案为了保持业务的连续性,从两个层面来考虑: ①一个是从主机.服务器这个层面考虑,假如这个服务器上的虚拟机或者业务挂了,可以自动的从其他服务器上把它拉活,以此来保证业务的连续性,主要是通过集群HA.DRS.DPM的这些特性. ②另一个就是从存储层面来考虑,使用的Hypermetro特性/ HyperMirror+SmartVirtualization(异构…

clienta作为集群的管理人员.一部分.他是需要秘钥与配置文件的 但真正服务端只需要通过curl就好 ceph 多区域网关 对象存储容灾解决方案 zone与zone会做数据同步. 把会做同步的rgw放到一个组里 同步有方向的概念 有主zone master 主zone会像其他zone同步 一个realm的数据可以同步(元数据) 我在realm创建一个bucket.那么realm下面的zonegroup也会看到 zone不可以跨集群 修改元数据得经过主zone,然后同步到其他zone 提交更改时…

大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推荐xtrabackup,这个工具比mysqldump要快很多. 一.Xtrabackup介绍 1,Xtrabackup是什么 Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品. Xtrabackup有两个主要的工具:xtrabackup.innobackupex 1.xtraback…

mysqldump --lock-all-tables -u root -p --databases mydb > /opt/database/mydb.sql,或者直接备份mysql的数据存储位置也行 还有我要改下数据库引擎 myisam ---> innodb 数据库备份还原 之前是myisam是吧? 两个办法,比较快的,直接复制数据目录,慢的,自己慢慢导sql 转innodb,工具很多…

原文:http://blog.51yip.com/mysql/1650.html 作者:海底苍鹰 大数据量备份与还原,始终是个难点.当MYSQL超10G,用mysqldump来导出就比较慢了.在这里推荐xtrabackup,这个工具比mysqldump要快很多. 一.Xtrabackup介绍 1,Xtrabackup是什么 Xtrabackup是一个对InnoDB做数据备份的工具,支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品. Xtra…

MySQL数据库备份还原(基于binlog的增量备份) 一.简介 1.增量备份      增量备份 是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的文件.这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件:第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推.这种备份方式最显著的优点就是:没有重复的备份数据,因此备份的数据量不大,备份所需的时间很短.但增量备份的数据恢复是比较麻烦的.您必须具有上一次全备份和所有增量备…

一. Percona XtraBackup 的优点. (1)无需停止数据库进行InnoDB热备: (2)增量备份MySQL: (3)流压缩传输到其它服务器: (4)在线移动表: (5)能够比较容易地创建主从同步: (6)备份MySQL时不会增大服务器负载. 二. Percona XtraBackup 工具集组成 在旧版本中,Percona XtraBackup 工具集里主要包含两个程序:innobackupex 和 xtrabackup. xtrabackup是C/C++编译的二进制程序,用来备…

1. 逻辑备份 (和存储引擎无关) mysqldump -uroot -p schoolDB TSubject > /mysqlbackup/schoolDB.TSubject.sql  (备份数据库schoolDB中的TSubject表) 按条件备份:mysqldump -uroot -p schoolDB TSubject  --where "publish='people publisher '"> /mysqlbackup/schoolDB.TSubject.sql…

mysql数据库的备份和还原的总结 (来自一运维同事的总结) 1. 备份方式: 热备:数据库在线进行备份,不影响读和写的在线备份方式! 温备:数据库在线进行备份,对表备份时先锁定写操作,仅可以执行读操作的备份方式! 冷备:离线备份,也就是关闭mysql后备份数据库. 2. 备份策略: 完全备份:备份全部数据.(可能备份某一个库的数据,也可能备份N个库的数据). 增量备份:仅备份上次完全备份或增量备份以后发生了变化的数据. 差异备份:第一次完全备份后,将后续发生变化的数据进行备份,时间长了,会很占…

            MySQL 八.数据库备份和还原       1.二进制日志相关配置     1)查看使用中的二进制日志文件列表,及大小   SHOW {BINARY | MASTER} LOGS   ex: show master logs; show binary logs;   这两个命令是一样的 物理大小 2)查看使用中的二进制日志文件   SHOW MASTER STATUS;   表示当前二进制数据库,处于什么位置(下图中当前处于245位置) 当对表进行修改后,可看到位置发生…

(4.5)mysql备份还原——深入解析二进制日志(binlog) 关键词:二进制日志,binlog日志 0.建议 (1)不建议随便去修改binlog格式(数据库级别) (2)binlog日志的清理 [2.1]过期日志天数:show variables like 'expire_logs_days'; [2.2]手工切换成新的日志文件:flush log; (3)手工直接清除:purge binary log to 'bin-log.00003'     详细参考:https://www.cnb…

(4.1)mysql备份还原——mysql常见故障 1.常见故障类型 在数据库环境中,常见故障类型: 语句失败,用户进程失败,用户错误 实例失败,介质故障,网络故障 其中最严重的故障主要是用户错误和介质故障. 2.具体故障情况 故障问题大致分为以下几类 [2.1]语句错误:单个数据库操作(选择.插入.更新.删除)失败,软件逻辑问题. [2.2]用户进程错误:单个数据库会话失败,一般不需要敢于,分析日志观察 [2.3]网络故障:与数据库的链接断开,如:网卡坏,网络配置问题 [2.4]用户错误:用户…

备份数据是数据库管理最常用的操作.为了保证数据库中数据的安全,数据管理员需要定期进行数据备份.一旦数据库遭到破坏,便可通过备份的文件来还原数据库.因此,数据备份是一项很重要的工作. 数据备份 使用mysqldump命令备份,mysqldump命令可以将数据库中的数据备份成一个文本文件.表的结构和表中的数据将存储在生成的文本文件中. Mysqldump命令的工作原理很简单.它先查出需要备份的表的结构,再在文本文件中生存一个CREATE语句:然后,将表中的所有记录转换成一条INSERT语句,这些CR…

备份类型: 热备份:读写不受影响 温备份:仅可执行读备份 冷备份:离线备份,读写均不能执行,关机备份 物理备份和逻辑备份 物理备份:复制数据文件,速度快. 逻辑备份:将数据导出之文本文件中,必要时候,把他还原回去. 完全备份.增量备份.差异备份 完全备份:备份全部数据 增量备份:仅备份上次完全备份以来变化的数据 差异备份:仅备份上次备份或增量备份以后变化的数据 备份是什么?数据.配置文件.二进制日志.事务日志.-+ MyISAM:不支持热备份,借助逻辑卷(LV),否则只能用温备份. Innodb…

MySQL/MariaDB数据库的mysqldump工具备份还原实战 作者:尹正杰  版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.mysqldump概述 1>.逻辑备份工具 mysqldump: 客户端命令,通过mysql协议连接至mysql服务器进行备份.因此备份过程中需要MySQL数据库实例必须处于可访问状态. 博主推荐阅读:https://dev.mysql.com/doc/refman/5.7/en/mysqldump.html mydumper: 博主推荐阅读:https:…

关键词:mysql热备工具,ibbackup,mysql物理备份工具 1. 准备 ibbackup 是 InnoDB 提供的收费工具,它支持在线热备 InnoDB 数据,主要有以下特性: * Online backup of InnoDB tables — the backup takes place entirely online, without preventing queries or updates. * Online backup of MyISAM tables — during…

通常数据库还原备份可以通过navicat等数据库管理工具进行,只需要简单的导出导入就行了,但遇到有索引外键的数据库,数据库管理工具运行.sql文件会报错,这时候可以尝试命令行导入,亲测可以成功 MySQL备份和还原,都是利用mysqldump.mysql和source命令来完成的. 1.Win32下MySQL的备份与还原 1.1 备份 cd /Program Files/MySQL/MySQL Server 5.0/bin //命令进入bin文件夹 mysqldump -u 用户名 -p dat…

以前一直做android客户端的项目,根本没有开发asp.net mvc的开发,现阶段做了一个模块,参数设置,以及数据库的备份与还原.其需求如下: 参数设置 本项参数设置为对自动数据备份进行设置,管理员可以对系统自动备份文件所存放的位置.自动备份的周期.自动备份的时间进行设定,并且可以开启或关闭自动备份功能. 数据备份 在本模块中,管理员可以通过录入系统备份文件的目标位置,对系统数据库进行备份,保证系统数据的安全性.每次备份都会记录在系统中,包含备份时间.备份位置及备份操作者. 数据还原 管理员…

备份 增量备份是基于完整备份的,所以我们需要先做一次完整备份: innobackupex --password=test /backup/ 备注:test是我的MySQL服务的root用户的密码,/backup/是我用于存放备份文件的目录. 执行完命令后,/backup/目录下会生成一个时间戳目录,在我这个例子中是/backup/2016-09-20_14-45-26/. 第一次增量备份: innobackupex --password=test --incremental /backup/ -…