目录 一.binlog 的高速缓存 二.刷盘机制 三.推荐的策略 推荐阅读 问个问题吧!为什么你需要了解binlog的落盘机制呢? 我来回答一下: ​ 上一篇文章提到了生产环境中你可以使用binlog做数据的恢复.审计.以及搭建主从架构的MySQL集群.那你使用这些特性优势的时候有没有问自己一下,你使用的binlog是安全的吗?会不会少记录了一部分数据呢?因为使用一个有问题的binlog去做数据恢复.审计.搭建主从MySQL集群的结果肯定是错误的! ​ 下面,我们一起来看一下MySQL执行事物的…

这几天和华为的leader面试了下.感觉不错.关键是小女.不容易.是技术面啊.我说的不容易不是面试不容易,是说在华为写代码的小女不容易.哥走南闯北这么多年,女人代码写的好真不多. 其实在任何时候,只要一面试都感觉自己会的少.都这样.那只能不断的增强能力.开始重点转入native code的学习.今天和大家聊聊log机制,这个东西也不容易.今天只谈谈log如何被写到驱动里, 有人说这个比较容易,要打log,在java里直接Log.d Log.i Log.e就可以了.嗯,不错,那问题来了. 1 ja…

说明 除了标注之外,本文纯属原创,转载请注明出处:https://www.jianshu.com/p/ea6ef5f5b868, https://www.cnblogs.com/monkeyteng/p/10220395.html HDFS架构简介 Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算.本文基于Hadoop 2.7.3源码,分析本地文件推送(新建/追加)到的HDFS客户端逻辑. HDFS架构主…

我们都知道,在Linux关机的之前都会要运行一个命令那就是sync,这个命令是同步的意思,那为什么要运行这个?而且之前的数据改变我们已经看见了,为什么还要运行这个命令?要回答这个问题就要说一下Linux在这方面的执行机制. 首先我们要从buffer和cache说起,如下图: buffer和cache都可以翻译成缓存,但是到底有什么区别呢? cache: 目的是为了数据重复使用,在一定程度上解决读的效率,这里就是用来存放经常用到的数据,而不用每次都去磁盘上面读取,如果本次操作用到的数据没有,则会到…

一.ORACLE 物理体系结构 原理结构图 各部分解释: PGA: 私有内存区,仅供当前发起用户使用. 三个作用 用户登录后的session信息会保存在PGA. 执行排序,如果内存不够,oracle会在临时表空间中完成 保存用户权限信息 SGA: 包含共享池,数据缓冲区,日志缓冲区以及一些相关的进程. DATABASE: 数据最终存放的地方,其中一块区域是日志存放区.数据和记录日志又由DBWR和LGWR来写入数据库和重做日志组,待一个重做日志组满了之后切换到下一个,等到循环了一次之后,原来排序为…

 一.ORACLE 物理体系结构 原理结构图 各部分解释: PGA: 私有内存区,仅供当前发起用户使用. 三个作用 用户登录后的session信息会保存在PGA. 运行排序.假设内存不够,oracle会在暂时表空间中完毕 保存用户权限信息 SGA: 包括共享池,数据缓冲区,日志缓冲区以及一些相关的进程. DATABASE: 数据终于存放的地方,当中一块区域是日志存放区.数据和记录日志又由DBWR和LGWR来写入数据库和重做日志组,待一个重做日志组满了之后切换到下一个,等到循环了一次之后,原来…

写入安全(Write Concern) 是一种客户端设置,用于控制写入的安全级别.默认况下,插入.删除和更新都会一直等待数据库响应(写入是否成功),然后才会继续执行.通常,遇到错误时,客户端会抛出一个异常(有些语言中可能不叫"异常",不过实质上都是类似的东西). 有一些选项可以用于精确控制需要应用程序等待的内容.两种最基本的写入安全机制是应答式写入(acknowledged wirte)和非应答式写入(unacknowledged write).应答式写入是默认的方式:数据库会给出响应…

Oracle 的Redo 机制DB的一个重要机制,理解这个机制对DBA来说也是非常重要,之前的Blog里也林林散散的写了一些,前些日子看老白日记里也有说明,所以结合老白日记里的内容,对oracle 的整个Redo log 机制重新整理一下. 一．Redo log 说明 Oracle 的Online redo log 是为确保已经提交的事务不会丢失而建立的一个机制. 因为这种健全的机制,才能让我们在数据库crash时,恢复数据,保证数据不丢失. 1.1 恢复分类 恢复分两种: (1)    Cra…

一.LGWR进程简介 LGWR,是Log Writer的缩写,也是一种后台进程.主要负责将日志缓冲内容写到磁盘的在线重做日志文件或组中.DBWn将dirty块写到磁盘之前,所有与buffer修改相关的redo log都需要由LGWR写入磁盘的在线重做日志文件(组),如果未写完,那么DBWn会等待LGWR,也会产生一些相应的等待事件(例如:log file prarllel write,后面单独作为话题再聊).总之,这样做的目的就是为了当crash时,可以有恢复之前操作的可能,也是Oracle在保…

Rolling Forward(前滚) Oracle启动实例并加载数据库,然后通过Online Redologs中的重做日志,重现实例崩溃前对数据库的修改操作.在恢复过程中对于已经提交的事务,但尚未写入数据文件的那部分数据全部写入数据文件. Rolling Back(回滚) Rolling Forward之后,虽然已经提交的修改操作更改的数据都已经被写入数据文件,但在实例崩溃时,部分未提交的事务操作的数据也被写入到数据文件,这些事务必须被撤销. 触发LGWR进程的条件有:   1. 用户提交  …