在电商项目中,最核心的功能之一就是搜索功能,搜索做的好,整个电商平台就是个优秀的平台.一般搜索功能都使用搜索引擎如Lucene.solr.elasticsearch等,虽然这功能比较强大,但是对于一些小公司或者小的电商平台项目有点大材小用了,对于小项目我们可以采用折中的方法,使用ik+MySQL的搜索引擎进行查询,ik用于分词,mysql利用match和against函数进行模糊查询.先写下mysql的match和against的用法. .给mm_product表name,label字段添加fu…
mysql 利用binlog增量备份,还原实例 张映 发表于 2010-09-29 分类目录: mysql 标签:binlog, mysql, mysqldump, 增量备份 一,什么是增量备份 增量备份,就是将新增加的数据进行备份.假如你一个数据库,有10G的数据,每天会增加10M的数据,数据库每天都要备份一次,这么多数据是不是都要备份呢?还是只要备份增加的数据呢,很显然,我只要备份增加的数据.这样减少服务器的负担. 二,启用binlog vi my.cnf log-bin=/var/lib/…
目录 mysql利用binlog进行数据恢复 binlog基本配置和格式 binlog基本配置 查看binlog状态 binlog的三种格式 转换成sql mysql自带的mysqlbinlog 利用binlog2sql 恢复数据的具体操作 另外 mysql利用binlog进行数据恢复 最近线上误操作了一个数据,由于是直接修改的数据库,所有唯一的恢复方式就在mysql的binlog.binlog使用的是ROW模式,即受影响的每条记录都会生成一个sql.同时利用了binlog2sql项目. bin…
Mysql 利用拷贝data目录文件的方式迁移mysql数据库 步骤如下: 1.首先要确定data目录 这个问题困扰了我很久,因为网上的帖子大部分只是说拷贝mysql数据库目录下的data文件夹中的数据,但是data目录到底在哪里,并未说明,我开始是拷贝的MySQL安装目录中的data文件夹,但是显然这是错误的,拷贝后并未出现需要的数据库. 其实是拷贝mysql的数据存放路径,具体如下 C:\ProgramData\MySQL\MySQL Server 5.6\data(注意:ProgramDa…
MySql 利用crontab实现MySql定时任务 by:授客 QQ:1033553122 适用平台 任意myslq版本数据库 操作方法 登陆到数据库系统所在的linxu系统 第一步:新建名为cronclear的文件,假设存放在/mnt/disk/目录下 builder:~# cd /mnt/disk builder:/mnt/disk# vim cronclear 按[i]键,输入文件内容如下: /usr/local/mysql/bin/mysql -u root -phdsds123 te…
MySql 利用mysql&mysqldum导入导出数据 by:授客 QQ:1033553122   测试环境 Linux下测试,数据库MySql 工具 mysqldump,该命令位于mysql/bin/目录中:..../mysql/bin/mysqldump 步骤 1.cd 命令进入到mysqldump所在目录下. 首先得知道mysql命令或mysqldump命令的完整路径,可以使用find命令查找 如:查找mysqldump命令的完整路径,这里/usr/local/mysql是MySql数据…
MySQL利用frm和idb文件进行数据恢复 源MySQL现状: 版本:5.6.* 存储引擎:innodb存储引擎 要恢复数据库:skill 重点要恢复表:slot_value 已有的文件: 备份了所有物理文件(含ibdata1和数据库skill整个目录) 友情提示:最好找个自己的开发机,自己额外搭一套MySQL数据库,以免因为共用mysql数据库而影响其他人. . 搭建MySQL,如果这步骤有疑问,出门左转有yum搭建各种版本数据库的操作步骤:http://www.cnblogs.com/zh…
表A:CREATE TABLE `tableA` (`id` int(11) NOT NULL auto_increment,`content` varchar(256) default NULL,PRIMARY KEY  (`id`),如果我要在content中进行模糊查询,那么使用like的话,肯定要这样写:select * from tableA from content like "%xxx%"这里有个问题,即使我为content加了index索引,那么在下面这两种情况索引也是…
在人工手动进行一些数据库写操作的时候(比方说数据订正),尤其是一些不可控的批量更新或删除,通常都建议备份后操作.不过不怕万一,就怕一万,有备无患总是好的.在线上或者测试环境误操作导致数据被删除或者更新后,想要恢复,一般有两种方法. 方法一.利用最近的全量备份+增量binlog备份,恢复到误操作之前的状态,但是随着数据量的增大,binlog的增多,恢复起来很费时.方法二.如果binlog的格式为row,那么就可以将binlog解析出来生成反向的原始SQL 以下是利用方法二写的一个python脚本b…
这里算是一个小技巧 利用mysql的information_schema中的COLUMNS表 和navicat中的导出功能实现快速导出数据字典 CREATE TEMPORARYTABLE `COLUMNS` (   `TABLE_CATALOG` varchar(512) NOT NULL DEFAULT'',   `TABLE_SCHEMA` varchar(64) NOT NULL DEFAULT'',   `TABLE_NAME` varchar(64) NOT NULL DEFAULT…
如果数据库的数据量不是很大,可以利用mysqldump导出备份修复从库故障或新增从库实例 主库IP:192.168.1.1从库IP:192.168.1.2 1.主库服务器导出备份:db_name=`mysql -h192.168.1.1 -uroot -p123456 -e "show databases" | egrep -v 'Database|information_schema|performance_schema|mysql|test'` mysqldump -h192.16…
如果数据库的数据量很大,表大小有几十个G,利用mysqldump导出备份会消耗非常长的时间,会对数据库产生不稳定风险,这时可以利用xtrabackup工具在线复制主库文件,利用复制出来的主库文件可以修复从库故障或新增从库实例 主库IP:192.168.1.1从库IP:192.168.1.2 主库和从库服务器都需要安装以下环境安装必须的依赖环境yum install libssl.so.6 -yln -sf /usr/lib64/libssl.so.10 /usr/lib64/libssl.so.…
备份 在源主机上,先使用mysqldump命令备份,导出sql脚本文件 mysqldump -uroot -p tel_dev > /opt/tel_dev.sql 也可指定编码 mysqldump -uroot -p --default-character-set=utf8 tel_dev > /opt/tel_dev.sql 远程连接时备份方法 mysqldump -h 192.168.0.130 -uroot -p tel_dev > /root/tel_dev.sql 从源主机上…
a.开启binlog日志:1)编辑打开mysql配置文件/etc/mys.cnf[root@vm-002 ~]# vim /etc/my.cnf在[mysqld] 区块添加 log-bin=mysql-bin 确认是打开状态(mysql-bin 是日志的基本名或前缀名): b. 下面开始进行场景模拟:1)ops库会在每天凌晨4点进行一次完全备份的定时计划任务 这里手动执行下,将ops数据库备份到/opt/backup/ops_$(date +%F).sql.gz文件中:[root@vm-002…
测试环境: Centos6.5.MySQL5.6.28 yum安装具有速度快,便捷关键是不用编译,编译时间太久了! 01.下载mysql https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/  ###一般每个都下载下,在同版本下! http://repo.mysql.com/ 02.安装rpm文件 yum localinstall -y *               ###把需要安装的rpm文件放到一个文件夹中 yum install -y mysql…
mysql的连接首先都是要通过init-connect初始化,然后连接到实例. 我们利用这一点,通过在init-connect的时候记录下用户的thread_id,用户名和用户地址实现db的访问审计功能. 实现步骤 1.创建审计用的库表. 为了不与业务的库冲突,单独创建自己的库: #建库表代码 create database db_monitor ; use db_monitor ; CREATE TABLE accesslog ( thread_id int(11) DEFAULT NULL,…
Xtrabackup下载.安装以及全量备份请参考:http://blog.itpub.net/26230597/viewspace-1465772/ 1,创建mysql备份用户 mysql -uroot --password="" -e"CREATE USER 'backup'@'192.168.%' IDENTIFIED BY '123456'"; mysql -uroot --password="" -e"GRANT RELOAD,…
模拟数据恢复的案例 有些时候脑瓜就会短路,难免会出错 场景:在生产环境中,我们搭建了mysql主从,备份操作都是在从备份数据库上 前提:有最近一天或者最近的全备 或者最近一天相关数据库的备份 最重要的是,二进制日志必须完整 服务器信息 角色 端口 192.168.1.21 mysql主 30136 192.168.1.21 mysql从 30236 接下来,我们模拟下 案例一.update未加where条件,误操作修改数据 全备命令: mysqldump -uroot -p123456  --s…
需求:需要给开发提供一个2018年9月30号的数据,按照我们公司正常备份策略来说,直接找到对应时间的备份数据,解压导入即可,恰好这个时间节点的数据没有,只备份到2018年9月25号的,糟糕了吧 咋办呢,咱们利用binlog日志来恢复吧,如果二进制日志都没有,那还恢复啥呢,运维咋当滴 话不多说,进入正题 一.导入数据 我的源数据:baodian_2018-09-25_.tar.bz2               #这一串数字是pos节点位置,等下利用二进制恢复的时候需要用到,时间:9月 25 01…
文章目录 frm文件和ibd文件简介 frm文件恢复表结构 ibd文件恢复表数据 通过脚本利用ibd文件恢复数据 通过shell脚本导出mysql所有库的所有表的表结构 frm文件和ibd文件简介 在MySQL中,使用默认的存储引擎innodb创建一张表,那么在库名文件夹下面就会出现表名.frm和表名.ibd两个文件 ibd文件是innodb的表数据文件 frm文件是innodb的表结构文件 需要注意的是,frm文件和ibd文件都是不能直接打开的 恢复数据之前,需要先恢复表结构 在有建表语句的前…
在Mysql官方帮助文档中,详细记录中Mysql的启动方式,有mysqld_safe.mysql.server.mysql_multi这三种.关于mysql_multi的介绍: Mysqld_multi可以管理多个帧听不同Unix套接字文件和TCP/IP端口的连接的mysqld 进程.它可以启动或停止服务器,或报告它们的当前状态. 即可以管理多个实例. 笔者在之前也介绍过使用mysqld_safe启用多实例的方法,启动和关闭都指定配置文件,实例间是对立的,互不影响.成功的部署了多个实例主从Rep…
背景: 对于MySQL的binlog的查看都是用其自带的工具mysqlbinlog进行操作的,其实还有另一个方法来操作binlog,就是Replication中的SQL线程去操作binlog,其实binlog和relaylog的格式是一样的.下面开始介绍如何用该方法进行对binlog的操作. 测试1: ---初始化: root : aaa ::>reset master; Query OK, rows affected (0.12 sec) root : aaa ::>reset slave;…
背景: 对于MySQL的binlog的查看都是用其自带的工具mysqlbinlog进行操作的,其实还有另一个方法来操作binlog,就是Replication中的SQL线程去操作binlog,其实binlog和relaylog的格式是一样的.下面开始介绍如何用该方法进行对binlog的操作. 测试1: ---初始化: root@192.168.200.25 : aaa 03:51:38>reset master; Query OK, 0 rows affected (0.12 sec) root…
最近需要测试一下mysql单表数据达到1000W条以上时增删改查的性能.由于没有现成的数据,因此自己构造,本文只是实例,以及简单的介绍. 首先当然是建表: [sql]view plaincopy CREATETABLE `fortest` ( `ID` INT(30) UNSIGNED NOTNULL AUTO_INCREMENT PRIMARYKEY, `IP` VARCHAR(32) NOTNULL, `OID` VARCHAR(15) DEFAULTNULL) 其次,构建存储过程: [sq…
1.根据binlog解析出所有ring数据库的所有sql [mysql@localhost ]$ mysqlbinlog --no-defaults --database=ring --start-datetime="2005-04-20 9:55:00" --stop-datetim="2009-04-08 08:05:00" /u01/mysql/log/mysql-bin.000005 > /u01/mysql/log/mysql_restore5.sq…
一,什么触发器 1,个人理解 触发器,从字面来理解,一触即发的一个器,简称触发器(哈哈,个人理解),举个例子吧,好比天黑了,你开灯了,你看到东西了.你放炮仗,点燃了,一会就炸了. 2,官方定义 触发器(trigger)是个特殊的存储过程,它的执行不是由程序调用,也不是手工启动,而是由事件来触发,比如当对一个表进行操作( insert,delete, update)时就会激活它执行.触发器经常用于加强数据的完整性约束和业务规则等. 触发器可以从 DBA_TRIGGERS ,USER_TRIGGER…
CREATE TABLE dept( /*部门表*/ deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, /*编号*/ dname VARCHAR(20) NOT NULL DEFAULT "",/*名称*/ loc VARCHAR(13) NOT NULL DEFAULT "" /*地点*/ )ENGINE=MyISAM DEFAULT CHARSET=utf8; CREATE TABLE emp( /*EMP雇员表*/ e…
首先了解 LAST_INSERT_ID LAST_INSERT_ID 有自己的存储空间,能存一个数字 不带参数时返回最近insert的那行记录的自增字段值.带参数时会将自己存储的数字刷成参数给定的值 结合使用样例来看: -- 这种情况是正常情况,LAST_INSERT_ID 输出值会增加 ); SELECT LAST_INSERT_ID(); -- 输出1 -- 如果主动赋值了 AUTO_INCREMENT 字段,则输出值不会增加 ); SELECT LAST_INSERT_ID(); -- 输…
LZ在网上搜索了要如何导出mysql的表结构和表中数据,发现有的方法不好用 记录一下好用的方式: 用navicat打开DB链接后,点击数据库,右击选择转储SQL文件,然后选择结构和数据: 之后弹出新的窗口,选择要保存的路径,填写文件名,点击保存则一键生成到指定目录了 打开生成的文件,如下,的确表结构和数据都有了. 附带…
比如插入1000W数据,不建议一次性插入,比如一次插入500W,分批插入. 创建表 /*部门表*/ CREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, /*id*/ deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT , /*编号*/ dname VARCHAR() NOT NULL DEFAULT "",/*名称*/ loc VARCHAR() NOT NULL DEFAULT…