中秋节假期这么快就没了,这几天还一直下雨,索性在家看看书。这次看的是Tom Lane的《A Tour of PostgreSQL Internals》。这篇小随笔就算做学习笔记了。园子里面大神多,如果有哪里讲得不对,还请各位前辈多多指教了~
在这个ppt里面,大神Tom Lane分别从三个角度对Postgresql的内部原理进行了介绍。

View 1 Postgresql进程以及内部进程间的通信

这部分比较简短,主要介绍了客户端/服务器间通信,服务器内部的通信。

1. 客户端/服务器间通信

一图胜千言,我们先上图

将上图一分为二地看,分为客户端和服务器端:

1.1 客户端

在客户端中,主要有两类进程,一个是客户端本身的应用程序(Client Application),例如:psql,这些程序向服务器端发送DB请求或者接受从服务器端返回的查询结果;
另一类是客户端接口库,主要用于处理前后端通信协议。它们是一组通信协议接口库:libpq, ODBC, JDBC,Perl DBD等等。值得一提的是,libpq是Postgresql提供的使用C语言实现的协议处理库。利用这个库可以比较轻松地和后端进行通信。除了C以外,还支持Perl和PHP等其他语言,这些语言在内部也调用了libpq。(PSQLODBC在版本09.05.0400后完全使用libpq进行前后端的通信),当然,也有不依赖于libpq而直接与PostgreSQL通信的库。比较具有代表性的是Java, PostgreSQL的JDBC驱动是不依赖于libpq直接与PostgreSQL通信的。

1.2 服务器端

1.2.1 postmaster进程

在服务器端,postmaster是管理后端的常驻进程,默认监听UNIX Domain Socket和TCP/IP的5432端口,等待来自前端的的连接处理。一旦有前端连接过来,postgres会通过fork(2)生成子进程。对于没有fork(2)的windows平台,则利用createProcess()生成新的进程。在这种情形下,父进程的数据不会被继承过来,所以需要利用共享内存把父进程的数据继承过来。

1.2.2 postgres进程

Postgres会接受前端过来的查询,然后对数据库进行检索,最后把结果返回(select)或者对数据库进行更新(update,delete,set等)。更新的数据同时还会记录在事务日志里面(PostgreSQL称为WAL日志),这个主要是当停电的时候,服务器当机,重新启动的时候进行恢复处理的时候使用的。另外,把日志归档保存起来,可在需要进行恢复的时候使用。在PostgreSQL 9.0以后,通过把WAL日志传送其他的postgreSQL,可以实时得进行数据库复制,这就是所谓的‘数据库复制’功能。

1.2.3 其他进程

在服务端除了以上两个进程以外,还有其他很多辅助进程,这些进程都是由postmaster进程启动的。

a) Writer process

Writer process在适当的时间点把共享内存上的缓存写往磁盘。通过这个进程,可以防止在检查点的时候(checkpoint),大量的往磁盘写而导致性能恶化,使得服务器可以保持比较稳定的性能。Background writer起来以后就一直常驻内存,但是并非一直在工作,它会在工作一段时间后进行休眠,休眠的时间间隔通过postgresql.conf里面的参数bgwriter_delay设置,默认是200微秒。
这个进程的另外一个重要的功能是定期执行检查点(checkpoint)。在检查点的时候,会把共享内存上的缓存内容往数据库文件写,使得内存和文件的状态一致。这样可以在系统崩溃的时候可以缩短从WAL恢复的时间,另外也可以防止WAL无限的增长。 可以通过postgresql.conf的checkpoint_segments、checkpoint_timeout指定执行检查点的时间间隔。

b) WAL writer process

WAL writer process把共享内存上的WAL缓存在适当的时间点往磁盘写.这样可以减轻后端进程在写自己的WAL缓存时的压力,提高性能。另外,非同步提交设为true的时候,可以保证在一定的时间间隔内,把WAL缓存上的内容写入WAL日志文件。

c) Archive process

Archive process把WAL日志转移到归档日志里。如果保存了基础备份以及归档日志,即使是在磁盘完全损坏的时候,也可以回复数据库到最新的状态。

d) stats collector process

统计信息的收集进程。收集好统计表的访问次数,磁盘的访问次数等信息。收集到的信息除了能被autovaccum利用,还可以给其他数据库管理员作为数据库管理的参考信息。

e) Logger process

把postgresql的活动状态写到日志信息文件(并非事务日志),在指定的时间间隔里面,对日志文件进行rotate。

f) Autovacuum启动进程

autovacuum launcher process是依赖于postmaster间接启动vacuum进程。而其自身是不直接启动自动vacuum进程的。通过这样可以提高系统的可靠性。

g) 自动vacuum进程

autovacuum worker process进程实际执行vacuum的任务。有时候会同时启动多个vacuum进程。

h) wal sender / wal receiver

wal sender 进程和wal receiver进程是实现postgresql复制(streaming replication)的进程。Wal sender进程通过网络传送WAL日志,而其他PostgreSQL实例的wal receiver进程则接收相应的日志。Wal receiver进程的宿主PostgreSQL(也称为Standby)接受到WAL日志后,在自身的数据库上还原,生成一个和发送端的PostgreSQL(也称为Master)完全一样的数据库。


2. 服务器内部通信

还是要上图:

postmaster在接受到客户端的请求后,会创建共享内存,内存里的数据是从Unix系统硬盘里面读出来的,供postgres进程读取和写入,即客户端对postgresql数据库中的数据的操作不是实时写回物理磁盘的,而是通过Writer process定期写回磁盘,这里具体可以参照上面提到的几个进程。

为了能看得更明白一点,总结以上两点,我们来一张更细致的图,如下:

3. View 1 小结

postgresql进程间的这种机制的好处是:

  • 客户端和服务器端的“硬”分离,使系统具有良好的安全性和可靠性;
  • 使得Postgrsql在网络环境下能够工作良好(此处应该是指客户端接口库);
  • 在大部分Unix系统上使用方便,工作良好。

缺点也是明显的:

  • 服务器内部的通信过于依赖share memory(大小是有明显限制的),限制了其扩展性;
  • postgresql的连接启动时间是一定的,对于运行时间较短的客户端任务而言,该时间开销所占比重较大。不过这个缺点通常可以通过客户端连接池的方法来解决。

这篇介绍了 《A Tour of PostgreSQL Internals》中三个View中View 1 的内容,View2 和View3我们明天再继续学习吧。
对了,附上链接,《A Tour of PostgreSQL Internals》
还有 本文也参考了Postgresql srcstructure

《A Tour of PostgreSQL Internals》学习笔记——进程间通信的更多相关文章

  1. 《A Tour of PostgreSQL Internals》学习笔记——系统表和数据类型

    上周末学习了<A Tour of PostgreSQL Internals>的第一部分(View 1),今天我们继续打开书本,继续View 2 部分. View 2 Postgresql的 ...

  2. 《A Tour of PostgreSQL Internals》学习笔记——查询处理分析

           终于要迎来postgresql的<A Tour of PostgreSQL Internals>系列的最后一篇了.学习是不能拖延的事儿,越拖延事情越多.不废话,一起来看看吧~ ...

  3. Windows Internals学习笔记(二)系统架构

    参考资料: 1. <Windows Internals> 2. http://bestcbooks.com 3. Windows Drive Kit 4. Microsoft Window ...

  4. Mysql与PostgreSql数据库学习笔记---打酱油的日子

    mysql 从最基础的数据引擎,到进程结构,都不能支持数据版本.导致其职能阻塞“并发”,不支持最基本的事务,innodb达不到基本事务要求,任何写数据,都导致整个表锁住.充其量只能算是一个玩具,或者说 ...

  5. Windows Internals学习笔记(八)IO系统

    参考资料: 1. <Windows Internals> 知识点: ● 当一个进

  6. Windows Internals学习笔记(七)Image Loader

    参考资料: 1. <Windows Internals> 2. Fibers 知识点: ● 当一个进程在系统上启动时,内核将创建一个进程对象来代表它,并执行各种内核相关的初始化任务.然而, ...

  7. Windows Internals学习笔记(六)Windows关键系统组件

    参考资料: 1. <Windows Internals> 2. Dependency Walker 3. Ntoskrnl.exe 4. Livekd的使用 5. WinDbg的使用(一) ...

  8. Windows Internals学习笔记(五)Synchronization

    参考资料: 1. <Windows Internals> 2. 自旋锁spinlock剖析与改进 3. Lock指令前缀 4. Lock指令前缀(二) 5. Kernel Dispatch ...

  9. Windows Internals学习笔记(四)Trap Dispatching

    参考资料: 1. <Windows Internals> 知识点: ● 陷阱trap:它是一种处理器机制,用以在某一异常或中断出现时,捕捉该执行线程,并将其控制权转交到操作系统中某一固定位 ...

随机推荐

  1. python_ftplib实现通过FTP下载文件

    1.  Ftplib常用函数介绍 Python中默认安装的ftplib模块定义了FTP类,其中函数有限,可用来实现简单的ftp客户端,用于上传或下载文件,本次主要介绍连接FTP并且进行文件下载功能,可 ...

  2. DP-母函数

    DP---母函数 先由钱币兑换问题开始 http://acm.hdu.edu.cn/showproblem.php?pid=1284 Problem Description 在一个国家仅有1分,2分, ...

  3. [iOS]SourceTree+oschina实现代码远程托管

    在iOS开发, 涉及到多人协同开发的时候, 这个时候, 我们就得利用版本控制系统(例如GIT), 来合并和管理代码了, 今天我们来讲一下, 利用 SourceTree+oschina进行版本控制 先来 ...

  4. chrome开发配置(一)安装配置工具

    1.下载depot_tools,解压到本地,然后将解压后的depot_tools根目录添加到path环境变量: depot_tools下载地址 2.cmd 运行gclient,git比较大,有100M ...

  5. javascript把IP地址转为数值几种方案,来挑战一下效率吧

    先看看什么是IP地址: IP地址是一个32位的二进制数,通常被分割为4个“8位二进制数”(也就是4个字节).IP地址通常用“点分十进制”表示成(a.b.c.d)的形式,其中,a,b,c,d都是0~25 ...

  6. 《Linux内核设计与实现》读书笔记(十一)- 定时器和时间管理【转】

    转自:http://www.cnblogs.com/wang_yb/archive/2013/05/10/3070373.html 系统中有很多与时间相关的程序(比如定期执行的任务,某一时间执行的任务 ...

  7. Java安全编码之用户输入

    0x00 安全引言 1.传统Web应用与新兴移动应用 (1)传统Web应用:浏览器 HTTP 服务器(2)新兴移动应用:APP HTTP 服务器 从安全角度看,传统Web应用与新兴移动应用没有本质区别 ...

  8. Java @override报错的解决方法

    在eclipse中导入工程后@Overide报错 到入工程后,所有的@Override都报如下错误: Multiple markers at this line - The method getCou ...

  9. R语言算术运算和逻辑运算

    Arithmetic Operators Operator Description + addition - subtraction * multiplication / division ^ or ...

  10. MVC 中使用扩展方法

     扩展方法(Extension Method)是给那些不是你拥有.因而不能直接修改的类添加方法的一种方便的办法. 一.使用扩展方法 1.定义一个购物车的类-ShoppingCart using Sys ...