记录通过.frm和.ibd文件恢复数据到本地 .frm文件:保存了每个表的元数据,包括表结构的定义等: .ibd文件:InnoDB引擎开启了独立表空间(my.ini中配置innodb_file_per_table = 1)产生的存放该表的数据和索引的文件. 以actclss表为例,结构如下 1.安装相同版本的mysql: 2.找回表结构(若有表结构,直接导入表即可) 建立同名的表(InnoDB),随意一个字段即可 关闭mysql服务,用需要恢复的.frm文件覆盖新生成的.frm文件.接着修改my

最近内部的 mysql 数据库发生了一件奇怪的事,其中有一个表 users625 突然出现问题, 所有对它的操作都报错误 数据表不存在. mysql> select count(*) from users625; ERROR 1146 (42S02): Table 'km8.users625' doesn't exist show tables 它还显示在列表里,在 mysql 数据目录中也可以找到对应的表文件,也没有 进行过删除操作,突然出现这样的错误非常奇怪. 内部运行环境: 名称 值 OS

1.前言 hi,大家好,我是三合.我是怎么想起写一篇关于数据库快速批量插入的博客的呢?事情起源于我们工作中的一个需求,简单来说,就是有一个定时任务,从数据库里获取大量数据,在应用层面经过处理后再把结果批量插入回到数据库里.这个任务每十分钟执行一次,但是有的时候数据量太大,循环插入数据库的时候会超时,导致任务失败,所以这个时候我就开始研究怎么快速批量插入数据库,因为我们用的数据库是Oracle,所以我首先研究了Oracle的快速批量插入,后面我一想那其他类型的数据库肯定也有这样的需求,于是我在找了

mysql数据安全之利用二进制日志mysqlbinlog恢复数据 简介:如何利用二进制日志来恢复数据 查看二进制日志文件的内容报错: [root@xdclass-public log_bin]# mysqlbinlog mysql-bin.000002 mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8'   解决: 第一种:在mysqlbinlog 后边加上 --no-defaults 第二种:注释掉配置文件里边的

MySQL误操作删除后,怎么恢复数据?登陆查数据库mysql> select * from abc.stad;+----+-----------+| id | name |+----+-----------+| 1 | abc1 || 2 | abc2 |+----+-----------+ 0点全量备份[root@M ~]# mkdir /opt/backup[root@M ~]# mysqldump -uroot -p123456 -F -B --master-data=2 abc|gzip

从上层的角度来看,InnoDB层的文件,除了redo日志外,基本上具有相当统一的结构,都是固定block大小,普遍使用的btree结构来管理数据.只是针对不同的block的应用场景会分配不同的页类型.通常默认情况下,每个block的大小为 UNIV_PAGE_SIZE,在不做任何配置时值为16kb,你还可以选择在安装实例时指定一个块的block大小.对于压缩表,可以在建表时指定block size,但在内存中表现的解压页依旧为统一的页大小. 从物理文件的分类来看,有日志文件.主系统表空间文件ib

此方法只适合innodb_file_per_table          = 1 当误删除ibdata 该怎么办? 如下步骤即可恢复: 1.准备工作 1)准备一台纯洁的mysql环境[从启动到现在没有使用过INNODB的表结构的mysql环境](当然也可以不用纯洁的,但是一定要保证表id 小于后续要恢复的表id); 2)备份frm.ibd文件; 2.通过frm恢复表结构 1)在测试库里新建任意一表,表结构随意,表名必须为:要恢复数据的表名[即为frm前缀名] 例如:CREATE TABLE fi

  此方法只适合innodb_file_per_table          = 1 当误删除ibdata 该怎么办? 如下步骤即可恢复: 1.准备工作 1)准备一台纯洁的mysql环境[从启动到现在没有使用过INNODB的表结构的mysql环境](当然也可以不用纯洁的,但是一定要保证表id 小于后续要恢复的表id); 2)备份frm.ibd文件; 2.通过frm恢复表结构 1)在测试库里新建任意一表,表结构随意,表名必须为:要恢复数据的表名[即为frm前缀名] 例如:CREATE TABLE

使用JDBC连接MySQL数据库进行数据插入的时候,特别是大批量数据连续插入(10W+),如何提高效率呢? 在JDBC编程接口中Statement 有两个方法特别值得注意: void addBatch() throws SQLException Adds a set of parameters to this PreparedStatement object's batch of commands. int[] executeBatch() throws SQLException Submits

前言:使用脚本进行大数据量的批量插入,对特定情况下测试数据集的建立非常有用. 0.准备 #1.创建tb_dept_bigdata(部门表). create table tb_dept_bigdata( id int unsigned primary key auto_increment, deptno mediumint unsigned , dname ) not null default '', loc ) not null default '' )engine=innodb default

我们平时的测试过程中有一个环节就是准备测试数据,包括准备基础数据,准备业务数据,使用的场景包括压力测试,后台批量数据传输,前端大数据查询导出,或者分页打印等功能,准备测试数据我们通俗点讲就是造数据,根据不同的使用场景我们有不同的造数据的方式,比如需要大数据时我们可以用jmeter压测获取大数据,也可以导入生产数据,简单少许的测试数据我们直接在数据库中插入,本篇主要记录的是另外一种造数据的方式——通过编写存储过程来实现批量数据插入. 一.编写调用存储过程: 数据库类型:mysql 需求:在user

当把mysql容器销毁,在新建一个容器,进行之前的数据恢复. 因为之前建立了数据卷,那么现在就可以利用这个数据卷进行数据恢复. 使用docker volume create volume_name命令新建一个数据卷 docker volume ls查看数据卷列表 注意:使用数据卷进行挂载的时候,数据卷必须是一个空的目录,也就是说不能有任何数据. docker inspect volume_name查看数据的相关信息,例如挂载位置 在恢复数据之前需要把刚刚建立的数据卷里面关联的内容删除掉,然后把之

my.ini 配置log-bin=mysql-bin 启用日志 用  mysql-bin.0000 mysqlbinlog -d keyboard ../data/mysql-bin.000024 –start-datetime="2017-05-29 12:17:56″ –stop-datetime=" 2017-05-29 12:57:56″ > D:k.sql 说明: mysqlbinlog -d 数据库  日志文件路径  –start-datetime="开始时

一.恢复指定程序包所有文件的权限: #!/bin/bash #Assume that you have mounted a correct orignal-system on /mnt read -p "Input packages' name: " pkg for i in $(rpm -ql $pkg) do chmod --reference=/mnt$i $i done 二.类似,恢复原始系统文件的权限 #!/bin/bash #Assume that you have mou

本文适用于,mysql无法启动,但数据文件未丢失的情况. Mysql因意外情况,导致无法启动,数据库未做备份的情况下,如何将数据迁移至其他数据库中. 原数据库地址:192.168.1.100(以下简称A服务器) 新数据库地址:192.168.2.100(以下简称B服务器) 数据恢复流程: 进入A服务器,输入命令 cat /etc/my.cnf (如文件不在当前位置,可使用find / -name my.cnf  命令查询文件位置) 找到datadir 路径 通过cd /www/server/da

刚刚不小心把数据库删掉了,于是想着上网上找找有没有可以恢复数据库的方法,没想到还真有,除了备份以外,还有以下方法. 在mysql有时执行了错误的update或者delete时导致大量数据错误恢复的办法.执行时没有开启事务,也没有对数据进行.这时就需要使用到sqlbinlog工具. sqlbinlog需要开启,具体的打开方法就不说了. 使用sqlbinlog会产生bin文件,恢复就需要用到这些文件.文件中记录着数据库的所有操作.(此方法的操作是将数据库之前所执行的语句重新执行一次,以达到恢复效果)

废话不多说直接开始. 在windows命令行下登录mysql,创建一个test_01数据库,创建一个user表,并插入一条数据,如下 一.导出数据库test_01 1.退出数据库,在命令行中输入 mysqldump --no-defaults -u root -p test_01 >d:\test01.sql(没有冒号,直接按回车) 2.输入密码 说明:必须是在系统下的命令行, --no-defaults 不能省(原因还不明), test_01是源数据库,01.sql是目标数据库 结果:在d:\

在Linux中误删除了某个文件,但是 ps-ef|grep 文件名 发现某个进程还在使用该文件,那么可以通 过以下方式恢复文件. 例如:创建一个简单文件/tmp/test.txt, 随便向里面写点内容 两个client模拟,client1 负责打开文件less /tmp/test.txt(模拟占用线程) client2 负责恢复文件,恢复步骤(均在client2上执行) 1. 查看/tp/test.txt被占用的进程id [root@host tmp]# ps -ef|grep test.txt

前言 当要向MariaDB中插入新的数据时,以下过程会影响插入所消耗的时间:(按时间消耗长短降序排序) 将数据sync到磁盘上(它是事务结束的一部分) 添加新的键值.索引越大,更新键值所消耗的时间就越长. 检查外键约束(如果存在). 将行添加到存储引擎中. 将待插入数据发送给服务器. 下面介绍几种向表中快速插入数据的技术(按效率的提升程度降序排序). 1. 禁用索引(key) 你可以临时禁用非唯一索引.特别是在表中数据很少甚至没有数据的时候,禁用非唯一索引可以极大提升插入速度. 多数存储引擎(至

在pom.xml中引入: <!--处理2003 excel--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.16</version> </dependency> <!--处理2007 excel--> <dependency> <group

如何用一条sql语句实现批量更新?mysql并没有提供直接的方法来实现批量更新,但是可以用点小技巧来实现. 复制代码 代码如下: UPDATE mytable SET myfield = CASE id WHEN 1 THEN 'value' WHEN 2 THEN 'value' WHEN 3 THEN 'value' END WHERE id IN (1,2,3); 这里使用了case when 这个小技巧来实现批量更新. 举个例子: 复制代码 代码如下: UPDATE categories