弄明白日志号的原理之后,一段时间又有点忘记了,干脆整理一遍: (一)wal文件命名规则 1)在$PGDATA目录下面的pg_xlog目录中存放着xlog日志文件(10.1之后变为了pg_wal): total 165896-rw-r--r-- 1 apple staff 660K 11 22 15:46 000000010000000000000013.dump-rw------- 1 apple staff 295B 11 22 16:12 000000010000000000000014.0

wal日志即write ahead log预写式日志,简称wal日志.wal日志可以说是PostgreSQL中十分重要的部分,相当于oracle中的redo日志. 当数据库中数据发生变更时:change发生时:先要将变更后内容计入wal buffer中,再将变更后的数据写入data buffer:commit发生时:wal buffer中数据刷新到磁盘:checkpoint发生时:将所有data buffer刷新的磁盘. 可以想象,如果没有wal日志,那么数据库中将会发生什么?首先,当我们在数据

barman特点 零数据丢失备份.保证用户在只有一台备份服务器的情况下达到零数据丢失. 与备份服务器合作.允许备份服务器在与主服务器的流式复制不可用时,从barman获取wal文件. 可靠的监控集成.用于监控和创建有关Barman配置状态的报告. 可并行的备份和恢复.以更快的速度执行拷贝,加快了整个备份和恢复过程. 备份目录.允许用户在同一界面中列出.保留.删除.存档和恢复多个完整备份. 支持多个服务器.允许您从同一位置管理多个服务器的备份和恢复. 存储备份数据.存储来自多个PostgreSQL

安装PostgreSQL并配置三节点流复制环境,就不仔细说了,大致步骤如下: 1.下载源码 2.解压安装,如果在./configure --prefix=/usr/pgsql-10执行时提示要--without-readline,而系统已经有了readline一般是没有安装devel库 3.initdb 4.修改data目录下的postgresql.conf文件,主要有三个地方:listen_address='*',  wal_level=replica(10好像是默认的,9要改为hot_sta

配置 master 192.168.2.21 5432 slave 192.168.2.22 5432 目录 /var/lib/pgsql/10/data/ 配置主库 配置用户 psql create role rep login replication encrypted password '1qaz2wsx'; 配置访问权限 pg_hba.conf 在/var/lib/pgsql/10/data/pg_hba.conf增加 host replication rep 192.168.2.22/

原文地址:http://mysql.taobao.org/monthly/2015/10/04/ PostgreSQL在9.0之后引入了主备流复制机制,通过流复制,备库不断的从主库同步相应的数据,并在备库apply每个WAL record,这里的流复制每次传输单位是WAL日志的record.而PostgreSQL9.0之前提供的方法是主库写完一个WAL日志文件后,才把WAL日志文件传送到备库,这样的方式导致主备延迟特别大.同时PostgreSQL9.0之后提供了Hot Standby,备库在应用

一.编译安装初始化等 ./configure --prefix=/release --with-openssl --without-ldap --with-libxml - -enable-thread-safety make -j4 make install initdb -D /home/postgres/postgres_5432/data -U postgres -W --wal-segsize= -E UTF8 # 注意事项: # .-D 类似于mysql的datadir,data目录

mysql序列(这里只谈innodb引擎): 在使用mysql的AUTO_INCREMENT时,使用AUTO_INCREMENT的字段必须建有索引,也可以为索引的一部分.当没有索引时会报错:          由于mysql是索引组织表,数据存放在主键中,又由于自增列字段内容长度较小,建议选用自增字段为主键. 对于mysql来说AUTO_INCREMENT 的加锁模式是由参数innodb_autoinc_lock_mode决定的,不同的加锁模式加上的不同的insert方式对mysql产生不同的影

前段时间做了一下zfs做pg的增量恢复测试,mark一下. 服务器信息: 主机:192.168.173.43 备机:192.168.173.41 主备使用流复制搭建,在备机上面进行了zfs快照备份. 做zfs快照备份: 备机: 1.在2016-04-02 15:43:34对存放pg数据的zfs dataset zp1/data01进行快照备份.

The System Catalogs of PostgreSQLscott=# \dS List of relations Schema | Name | Type | Owner ------------+---------------------------------+----------+---------- pg_catalog | pg_aggregate | table | postgres pg_catalog | pg_am | table | postgres pg_cat

问题出现 我们在线上巡检中发现,一个实例的pg_xlog目录,增长到4G,很是疑惑.刚开始怀疑是日志归档过慢,日志堆积在pg_xlog目录下面,未被清除导致.于是检查归档目录下的文件,内容如下.但发现新近完成写入的日志文件都被归档成功了(即在pg_xlog/archive_status里面,有对应的xxx.done文件). ls -lrt pg_xlog ... -rw------- xxxx xxxx Jun : 0000000100000035000000DE -rw------- xxxx

Jeff Janes: Hi, As part of our monitoring work for our customers, we stumbled upon an issue with our customers' servers who have a wal_keep_segments setting higher than 0. We have a monitoring script that checks the number of WAL files in the pg_xlog

  关键字:wal日志归档  搭建从库 restore_command master 194.1 slave 194.4 wal归档目录 /backup/pgsql/pg_arch/ xlog目录 /var/lib/pgsql/9.5/data/pg_xlog   我们知道pg的从库的搭建是通过基础备份和完整的wal日志完成的,那么如果主库的wal日志已经被归档或异常丢失,如果通过备份进行搭建从库呢? 我们可以通过restore_command命令把wal归档拷贝回xlog目录完成.具体的操作如

pghoard 面向云存储的pg 备份&&恢复工具 包含的特性 自动定期basebackup 自动事务日志(WAL / Xlog软件)备份(使用pg_receivexlog, archive_command或与实验PG本地复制协议支持walreceiver) 云对象存储支持(AWS S3,Google Cloud,OpenStack Swift,Azure,Ceph) 直接从对象存储备份,压缩和加密 时间点恢复(PITR) 从对象存储备份初始化新备用数据库,自动配置为复制热备用数据库 参考

WAL(Write-ahead logging,预写式日志)是数据库系统提供原子性和持久化的一系列技术. 在使用WAL的系统中,所有的修改都先被写入到日志中,然后再被应用到系统状态中.通常包含redo和undo两部分信息. redo log称为重做日志,每当有操作时,在数据变更之前将操作写入redo log,这样当发生掉电之类的情况时系统可以在重启后继续操作,继续执行未执行完的操作. undo log称为撤销日志,当一些变更执行到一半无法完成时,可以根据撤销日志恢复到变更之间的状态,保证事务的原

PostgreSQL 与 MySQL比较: 一.pg优势: MySQL 不支持 OVER 子句, 而 Pg 支持 它可以存储 array 和 json, 可以在 array 和 json 上建索引, 甚至还能用表达式索引. 为了实现文档数据库的功能, 设计了 jsonb 的存储结构 用 Pg + PostgREST 直接生成后端 API 是非常快速高效的办法 Pg 可以高效处理树结构;高效处理图结构, 轻松实现 "朋友的朋友的朋友" 这种功能;支持 trigram 索引; 自带全文搜索

转自:http://blog.osdba.net/534.html WAL日志文件名称格式详解 PostgreSQL的WAL日志文件在pg_xlog目录下,一般情况下,每个文件为16M大小: osdba-mac:~ osdba$ ls -l $PGDATA/pg_xlog total 262144 -rw------- 1 osdba osdba 16777216 Oct 8 10:57 0000000100000000000000B6 -rw------- 1 osdba osdba 1677

​ 本文主要介绍PostgreSQL数据库(后文简称PG)进程结构和内存结构,物理结构将在后续继续整理分享. ​ 上图描述了PG进程结构.内存结构和部分物理结构的内容.图中的内容包含了两个部分: PG启动时分配 应用访问时分配 PG启动时进程结构和内存结构 ​ PG是一用户一进程的Client/Server的应用程序.在PG启动时会启动若干个进程,其中包括主进程和辅助进程.在详细介绍之前,我们先来做一个测试,以下是操作记录: [postgres@CHENZX-DB01 ~]$ ps -ef|gr

3 WAL WRITE AHEAD LOG 3.1 Settings 3.1.1 fsync 字符串 默认: fsync = on 开启后强制把数据同步更新到磁盘,可以保证数据库将在OS或者硬件崩溃的后恢复到一个一致的状态. 虽然关闭,可以提升数据库性能,但无法保证数据库崩溃后数据一致性. 通常情况下需要打开这个参数,除非能经受掉电或硬件故障带来的数据丢失,否则不要关闭. 3.1.2 wal_level 字符型 默认: wal_level = replica ,minimal.replica.l

初次使用pg的11版本,执行以下操作修改归wal_level设置: alter system set set wal_level='minimal'; 尝试重启pg,发现重启失败,并报错: waiting for server to start....2019-06-01 13:16:08.784 EDT [21737] FATAL: XX000: WAL streaming (max_wal_senders > 0) requires wal_level "replica" o