关注微信公众号[程序员白泽],进入白泽的知识分享星球 前言 作为<手撕MySQL>系列的第三篇文章,今天讲解使用bin log实现主从复制的功能.主从复制也是MySQL集群实现高可用.数据库读写分离的基石.因为是系列文章,上一篇文章中(传送门)我们已经介绍了在MySQL中查看bin log的相关状态以及文件信息,并且借助bin log(二进制日志)实现数据恢复的案例.因此在这篇文章中如有涉及相关知识,将不再赘述. 重申一下,数据恢复和主从复制是bin log最重要的两个功能,也是面试的重点,一…
关注微信公众号[程序员白泽],进入白泽的知识分享星球 前言 上周五面试了字节的第三面,深感数据库知识的重要,我也意识到在平时的学习中,自己对于数据库的学习较为薄弱.甚至在有过一定实习经验之后,依旧因为开发分工的原因,对数据库方面的知识掌握依旧不多.我也相信,很多人对MySQL的索引.日志.多版本并发控制.ACID等等都只停留在八股文的阶段. 因此我打算接下来一段时间潜心学习一下MySQL数据库相关的知识点,写作一系列MySQL相关的文章,并且配合实操,希望等这个系列完成之后,可以将MySQL所有…
关注微信公众号[程序员白泽],进入白泽的知识分享星球 前言 作为<手撕MySQL>系列的第二篇文章,今天介绍一下MySQL的二进制日志(bin log),注意不要和MySQL的InnoDB存储引擎特有的重写日志(redo log)混淆,bin log是记录所有数据库表数据及表结构变更的二进制日志(不会记录查询操作),借助这个日志可以实现:数据恢复和主从复制(不难理解,因为所有涉及变更的操作都记录了下来,可以追溯). 这篇文章侧重于讲解使用bin log进行数据恢复,下一篇文章讲解主从复制. 预…
我在上一篇文章介绍了著名的LNMP主机一键安装工具,对比了军哥lnmp和AMH主机的差别,由于AMH拥有用户后台界面,易于新手操作,值得推荐. 但是,上周末我网站宕机,收到DNSPOD发来了宕机提醒,不得不半夜爬起来处理VPS问题,最终查明原因是AMH运行产生了大量的mysql数据库二进制文件,25GB的VPS硬盘几乎占满,导致网站不稳定,出现502宕机错误. AMH作者给出了解决办法,我不喜欢,其实后台修改配置就好了.考虑到所有lnmp vps用户的方便,我把所有解决办法都列出来给各位参考:…
(3.12)mysql基础深入——mysql日志文件/其他文件(socket/pid/表结构/Innodb) 关键词:mysql日志文件,mysqldumpslow分析工具 目录:日志文件的分类 1.错误日志(error log) 2.二进制日志(binlog):mysqlbinlog分析查看工具 3.慢查询日志(show query log):mysqldumpslow分析工具 4.通用日志(general log) 5.重做日志(redo log) 6.中继日志(relay log) 7.D…
MySQL运行过程中会生成大量的日志文件,占用不少空间,修改my.cnf文件配置bin-log过期时间,在Linux下自动清除MySQL日志文件 [mysqld] expire-logs-days= max-binlog-size=…
作者:珂珂链接:https://zhuanlan.zhihu.com/p/22104361来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. 小编的话 “技术干货”系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞! 2016年7月20日,本期品高云公开课由叶春草带来“可视化案发现场——浅谈ELK日志分析平台”的分享. 分享嘉宾 叶春草现就职于品高云软件技术支持工程师.就职一年来,曾参与过广州地铁聆客.…
五月最后一天啦,时间过得真快,做技术的难免做了几年就感觉很迷茫,那就需要多读点书,多学点技术才能有安全感. 栈长之前推荐过不少极客时间的课程,几乎每周都推荐一个,很多朋友评论说,课程太多学不过来,今天推荐几门"硬实力"的,不学也得学了.. 我抽时间集中梳理了一下,如果能够潜心搞透下面这几项技术,真就能搞定90%公司的offer!!!Java全栈,MySQL搞透,架构手到擒来,还有面试官搞不定? 我基于目前最流行的Java技术栈推荐的. 同时,我联系极客时间的美眉拿了些优惠给大家,不过数…
默认情况下mysql会一直保留mysql-bin文件,这样到一定时候,磁盘可能会被撑满,这时候是否可以删除这些文件呢,是否可以安全删除,是个问题. 首先要说明一下,这些文件都是mysql的日志文件,如果不做主从复制的话,基本上是没用的,虽然没用,但是不建议使用rm命令删除,这样有可能会不安全,正确的方法是通过mysql的命令去删除. mysql -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ;…
mysql的数据文件夹里出现mysql-bin日志文件,通过my.cnf注释掉log后,是否可以删除了? 参考 http://database.51cto.com/art/201107/278988.htm 详细介绍mysql-bin.000001文件的来源及处理方法 在MySQL数据库中,mysql-bin.000001.mysql- bin.000002等文件是数据库的操作日志,例如UPDATE一个表,或者DELETE一些数据,即使该语句没有匹配的数据,这个命令也会存储到日志文件中,还包括每…
1.二进制日志是什么? mysql 的二进制日志用于记录数据库上做的变更. 2.二进制日志什么时间写到磁盘 1.总的来说二进制日志会在释放锁之前就写入磁盘.也就是说在commit完成之前:client还没发送commit这个时候mysql并不把binlog写入磁盘. 别一方面mysql保证在commit完成之前会把二进制日志写入磁盘. 2.如果表不支持事务.那么二进制日志会在执行语句的一开始就写入磁盘. 3.对于innodb表在client没有发送commit的时候.所有的执行结果将会被cach…
1.log_output=[file | table | none ] 这个参数指定general_log &slow_query_log 的输出目标.可以是table | file | none 这向个值: 如果取table 那么日志会输出到mysql.general_log 和mysql.slow_log表中去 2.general_log=[1 | 0] 这个参数用来控制general_log是否开 3.general_log_file=[日志文件的全路径] 在general_log=1 且…
场景再现: --------------------------------------------------------------------------------------------------------------------------- 第一步: 找到出错的原因.运行-->  eventvwr  可以看到是出了什么错 这个说明日志文件的路径不对! 第二步: 改动日志文件的位置: 要在配置文件中修改: windows 系统日志文件在安装目录的data文件夹中,打开my.ini…
今天天气又开始变得很热了,虽然很热很浮躁,但是不能不学习,我在北京向各位问好.今天给大家分享一点关于数据库日志方面的东西,因为日志不仅讨厌而且还很重要,在开发中时常免不了与它的亲密接触,就在前几天公司开发环境中的几张数据表不知道被谁误删了,想看看日志但是一直没有过这方面的经历,于是望门却步了. MySQL数据库官方文档:https://dev.mysql.com/doc/refman/5.7/en/server-logs.html 一.MySQL日志分类:日志文件记录了影响数据库的各种类型活动,…
查看mysql日志方法: mysql默认不允许我们查看日志.需要更改一些设置 1 vi 更改配置文件 允许用户查看日志文件 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf 把68 69行前面的#删除 显示行号方法:shift : nu 跳转行方法: 68 shfit+g2 重启mysql服务 终端运行: sudo service mysql restart 3 进入 cd /var/log/mysql/ 能够查看里面有mysql的日志文件vi mysql.l…
前提MySQL开启了binlog日志操作1. 查看MySQL是否开启binlog(进mysql操作) mysql> show variables like 'log_bin%';       2. 查询binlog文件名        mysql>show master status(进mysql操作)        3. 查mysqlbinlog工具的位置(mysql自带,用来查看二进制日志)(系统目录查看,不进mysql)       (MySQL二进制文件直接打开是看不懂的,需要用这个自…
简介: Mysql 中提供了多种类型的日志文件,分别反映 Mysql 的不同信息,了解它们很有必要. 1.Error log ( 错误日志 ) 错误日志记录了 Mysql Server 运行过程中所有较为严重的警告和错误信息,以及 Mysql Server 每次启动和关闭的详细信息. 在默认情况下,系统记录错误日志的功能是关闭的( 我所使用的 Mysql 5.6 是开启的 ),错误信息被输出到标准错误输出( Stderr ). 需要开启系统记录错误日志功能时,需要在启动时开启 -log-erro…
今天打开phpmyadmin发现连不上mysql数据库,重新启动mysql启动不起来,查看日志发现例如以下错误 <span style="font-family:SimSun;font-size:12px;">mysqld: File '.\mysql-bin.000370' not found (Errcode: 2) 141120 13:23:13 [ERROR] Failed to open log (file '.\mysql-bin.000370', errno…
1.查询日志.慢查询日志.二进制日志对比 查询日志 general_log 会记录用户的所有操作,其中包含增删查改等 可以指定输出为表 慢查询日志 slow_log 只要超过定义时间的所有操作语句都记录 可以指定输出为表 二进制日志 log_bin 记录可能执行更改的所有操作 mysqlbinlog查看   2.日志的分析 2.1日志的存储 数据操作过程中,Mysqld是将接收到的语句按照接收的顺序(注意不是执行顺序)写到查询日志文件中.一条一条就类似这样: # Time: 070927 8:0…
MySQL和InnoDB的关系不在这里介绍了.但是大家都知道其中相关的文件很多,类型很多.看文件名就有点分布清楚了.所以在这里简单介绍下他们的文件. 我们直接看文件列表以及在后面直接加注释.做笔记. [root@localhost mysql]# pwd/var/lib/mysql[root@localhost mysql]# [root@localhost mysql]# ll总用量 177320-rw-rw---- 1 mysql mysql 79691776 2月 28 15:30  ib…
开启mysql日志 /etc/mysql/mysql.conf.d/mysqld.cnf sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf 找到第68,69行 前面的注释去掉 然后重启mysql sudo service mysql restart 监听mysql日志 sudo tail -f /var/log/mysql/mysql.log…
SHOW VARIABLES LIKE 'general_log_file';日志文件路径SHOW VARIABLES LIKE 'log_error';错误日志文件路径SHOW VARIABLES LIKE 'slow_query_log_file';慢查询日志文件路径…
目录 1.日志框架 2.为什么需要日志接口,直接使用具体的实现不就行了吗? 3.log4j2日志级别 4.log4j2配置文件的优先级 5.对于log4j2配置文件的理解 6.对于Appender的理解 7.对于Logger的理解 8.log4j2配置文件框架 9.Appender标签的实现类 10.ConsoleAppender(Console) 10-1.FileAppender(File).RandomAccessFileAppender(RandomAccessFile) 10-2.Ro…
手写HashMap?这么狠,面试都卷到这种程度了? 第一次见到这个面试题,是在某个不方便透露姓名的Offer收割机大佬的文章: 这--我当时就麻了,我们都知道HashMap的数据结构是数组+链表+红黑树,这是要手撕红黑树的节奏吗? 后来,整理了一些面经,发现这道题在快手的面试出现还比较频繁,分析这道题应该在快手的面试题库.那既然频繁出,肯定不能是手撕红黑树--我觉得面试官也多半撕不出来,不撕红黑树,那这道题还有点救,慢慢往下看. 认识哈希表 HashMap其实是数据结构中的哈希表在Java里的实…
把 mysql-bin.index 里面的索引全部删除…
文章来源于公司的大牛 1 Log的用途 不管是使用何种编程语言,日志输出几乎无处不再.总结起来,日志大致有以下几种用途: l  问题追踪:通过日志不仅仅包括我们程序的一些bug,也可以在安装配置时,通过日志可以发现问题. l  状态监控:通过实时分析日志,可以监控系统的运行状态,做到早发现问题.早处理问题. l  安全审计:审计主要体现在安全上,通过对日志进行分析,可以发现是否存在非授权的操作. 2 记录Log的基本原则 2.1 日志的级别划分 Java日志通常可以分为:error.warn.i…
关于sqlnet.ora的说明: *****************************************************FROM ORACLE11G DOCS************************************* The sqlnet.ora file is the profile configuration file. It resides on the client machines and the database server. Profiles…
JAVA类库中的NIO包相对于IO 包来说有一个新功能是内存映射文件,日常编程中并不是经常用到,但是在处理大文件时是比较理想的提高效率的手段.本文我主要想结合操作系统中(OS)相关方面的知识介绍一下原理. 在传统的文件IO操作中,我们都是调用操作系统提供的底层标准IO系统调用函数  read().write() ,此时调用此函数的进程(在JAVA中即java进程)由当前的用户态切换到内核态,然后OS的内核代码负责将相应的文件数据读取到内核的IO缓冲区,然 后再把数据从内核IO缓冲区拷贝到进程的私…
文件操作 文件的打开与关闭 打开文件 使用open(文件名,访问方式)函数,可以打开一个已存在的文件,或者创建一个新的文件. 示例如下: f = open('test.txt') # 访问方式可以省略,默认以r(只读)的形式 f = open('test.txt', 'w') f = open('test.txt', 'w', encoding="utf-8") encoding默认时使用与操作系统一样的编码方式,window为gbk,linux为utf-8.在window中有的ide…
Java类库中的NIO包相对于IO 包来说有一个新功能是内存映射文件,日常编程中并不是经常用到,但是在处理大文件时是比较理想的提高效率的手段.本文我主要想结合操作系统中(OS)相关方面的知识介绍一下原理. 在传统的文件IO操作中,我们都是调用操作系统提供的底层标准IO系统调用函数  read().write() ,此时调用此函数的进程(在JAVA中即java进程)由当前的用户态切换到内核态,然后OS的内核代码负责将相应的文件数据读取到内核的IO缓冲区,然后再把数据从内核IO缓冲区拷贝到进程的私有…