PostgreSQL Replication之第十一章使用Skytools（4）

11.4 使用 londiste 复制数据

pgq是一个叫做londiste的复制工具的核心。londiste 的核心是有一个比如比Slony 更加简单，容易使用的机制。如果您在一个大的安装中使用Slony，在集群方面的一个问题很容易引起其他方面的问题—在许多年前，但Slony还是相当新的时候，这尤其是如此。

和Slony相比，londiste的主要优势是，在londiste的情况下，每个“程序”复制就会有一个进程。所以，如果您从A复制到B，这个通道将被一个londiste进程管理。如果您从B复制到A或者从A复制到C，将会有这些独立的进程，这些进程相互之间都是彼此独立的。所有的从A到其它地方的通道可能共享一个接收者的队列，但是，传输进程之间不会相互交互。使用这种方法有些好处，因为如果一个组件出现故障，它不太可能导致其它问题—这不是所有进程交互的情况，因为这是Slony 的情况。对我来说这是londiste和Slony相比最关键的优势。

11.4.1 复制我们的第一个表

在这个理论的介绍之后，我们就可以向前继续，复制我们的第一个表。要做到这一点，我们在同一个实例中创建两个数据库(这些数据库是否在同一个实例或者相距甚远并没有什么区别):

hs@hs-VirtualBox:~$ createdb node1

hs@hs-VirtualBox:~$ createdb node2

就像以前一样，我们将创建两个数据库中的表：

node1=# CREATE TABLE t_test (id int4, name text,

t timestamp DEFAULT now(),

PRIMARY KEY (id));

NOTICE: CREATE TABLE / PRIMARY KEY will create implicit index "t_

test_pkey" for table "t_test"

CREATE TABLE

在Slony的章节中，我们已经看到了，DDL不被复制。该规则同样适用于 londiste，因为在PostgreSQL方面，这两个系统都面临这同样的限制。

在我们深入细节之前—让我们简单地总结一些复制我们的表的接下来的步骤：

• 写一个init 文件并初始化master.

• 在master上启动 londiste

• 写一个slave配置并初始化slave

• 在slave上启动londiste

• 写一个ticker 配置并启动ticker

• 添加所需要的来复制

让我们从该国过程的第一部分开始。我们必须创建一个init 文件，它应该控制master；

[londiste3]

job_name = first_table

db = dbname=node1

queue_name = replication_queue

logfile = /home/hs/log/londiste.log

pidfile = /home/hs/pid/londiste.pid

这里重要的部分是每项工作必须有一名字。这对于我们容易区分这些进程有意义。然后，我们必须定义一个到master的连接字符串，以及所以涉及的复制队列的名称。最后，我们可以配置一个PID和一个日志文件。

[每一项工作都必须有一个名字。这是要求的，因为Slony在集群上有一个单一的进程(因此，集群名称是足够的)，但是londiste 的情况是每个程序有一个进程。]

要安装重要的东西，以及要初始化master节点，我们可以调用 londiste：

hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini create-root node1

dbname=node1

2013-05-15 13:37:24,902 3999 WARNING No host= in public connect

string, bad idea

2013-05-15 13:37:25,118 3999 INFO plpgsql is installed

2013-05-15 13:37:25,119 3999 INFO Installing pgq

2013-05-15 13:37:25,119 3999 INFO Reading from /usr/local/share/

skytools3/pgq.sql

2013-05-15 13:37:25,327 3999 INFO pgq.get_batch_cursor is installed

2013-05-15 13:37:25,328 3999 INFO Installing pgq_ext

2013-05-15 13:37:25,328 3999 INFO Reading from /usr/local/share/

skytools3/pgq_ext.sql

2013-05-15 13:37:25,400 3999 INFO Installing pgq_node

2013-05-15 13:37:25,400 3999 INFO Reading from /usr/local/share/

skytools3/pgq_node.sql

2013-05-15 13:37:25,471 3999 INFO Installing londiste

2013-05-15 13:37:25,471 3999 INFO Reading from /usr/local/share/

skytools3/londiste.sql

2013-05-15 13:37:25,579 3999 INFO londiste.global_add_table is

installed

2013-05-15 13:37:25,670 3999 INFO Initializing node

2013-05-15 13:37:25,674 3999 INFO Location registered

2013-05-15 13:37:25,755 3999 INFO Node "node1" initialized for queue

"replication_queue" with type "root"

2013-05-15 13:37:25,761 3999 INFO Done

在Skytools中，这里有一个简单的规则：给脚本传递的第一个脚本总是包含所需配置的INI文件。然后是一些指令以及一些参数。这个调用将安装所有需要的基础设施并返回Done。

一旦这个操作完成，我们就可以启动一个工作进程：

hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini worker

2013-05-15 13:41:31,761 4069 INFO {standby: 1}

2013-05-15 13:41:42,801 4069 INFO {standby: 1}

在master上启动了工作进程之后，我们可以看看slave的配置：

[londiste3]

job_name = first_table_slave

db = dbname=node2

queue_name = replication_queue

logfile = /home/hs/log/londiste_slave.log

pidfile = /home/hs/pid/londiste_slave.pid

这里主要的区别是，我们使用不同的连接字符串和一个不同的工作的名字。如果master和slave是两个独立的机器，剩下的将是一样。

一旦我们编译了配置，我们就可以创建叶子节点：

hs@hs-VirtualBox:~/skytools$ londiste3 slave.ini create-leaf node2

dbname=node2 --provider=dbname=node1

2013-05-15 13:51:27,090 4246 WARNING No host= in public connect

string, bad idea

2013-05-15 13:51:27,117 4246 INFO plpgsql is installed

2013-05-15 13:51:27,118 4246 INFO pgq is installed

2013-05-15 13:51:27,122 4246 INFO pgq.get_batch_cursor is installed

2013-05-15 13:51:27,122 4246 INFO pgq_ext is installed

2013-05-15 13:51:27,123 4246 INFO pgq_node is installed

2013-05-15 13:51:27,124 4246 INFO londiste is installed

2013-05-15 13:51:27,126 4246 INFO londiste.global_add_table is

installed

2013-05-15 13:51:27,205 4246 INFO Initializing node

2013-05-15 13:51:27,291 4246 INFO Location registered

2013-05-15 13:51:27,308 4246 INFO Location registered

2013-05-15 13:51:27,317 4246 INFO Subscriber registered: node2

2013-05-15 13:51:27,321 4246 INFO Location registered

2013-05-15 13:51:27,324 4246 INFO Location registered

2013-05-15 13:51:27,334 4246 INFO Node "node2" initialized for queue

"replication_queue" with type "leaf"

2013-05-15 13:51:27,345 4246 INFO Done

这里的关键是要告诉slave 从哪里找到master（提供者）。一旦系统知道从哪里找到所有的数据，我们就可以启动这里的worker了。

hs@hs-VirtualBox:~/skytools$ londiste3 slave.ini worker

2013-05-15 13:55:10,764 4301 INFO Consumer uptodate = 1

如果之前的命令已经成功运行了，这不会引起任何问题并正常工作。既然我们所有的工作都已就绪，我们可以进行最后的组件的安装—ticker进程：

[pgqd]

logfile = /home/hs/log/pgqd.log

pidfile = /home/hs/pid/pgqd.pid

ticker 的配置文件相当简单，--它所需要只有三行。这足以启动ticker 进程：

hs@hs-VirtualBox:~/skytools$ pgqd pgqd.ini

2013-05-15 14:01:12.181 4683 LOG Starting pgqd 3.1.4

2013-05-15 14:01:12.188 4683 LOG auto-detecting dbs ...

2013-05-15 14:01:12.310 4683 LOG test: pgq version ok: 3.1.3

2013-05-15 14:01:12.531 4683 LOG node1: pgq version ok: 3.1.3

2013-05-15 14:01:12.596 4683 LOG node2: pgq version ok: 3.1.3

2013-05-15 14:01:42.189 4683 LOG {ticks: 90, maint: 3, retry: 0}

2013-05-15 14:02:12.190 4683 LOG {ticks: 90, maint: 0, retry: 0}

如果ticker 已经成功启动了，我们已经把所有的基础工作完成了。到目前为止，我们配置了复制所需要的所有进程—但是，我们还没有告诉系统复制什么。

londiste 命令将为我们提供一组定义复制对象的命令。在我们的例子中，我们只是要添加所有的表并复制它们：

hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini add-table --all

2013-05-15 14:02:39,367 4760 INFO Table added: public.t_test

就像Slony一样，londiste 将安装一个触发器，它会跟踪所有的变化。这些变化将希尔到pgq队列中，并有我们已经设置的进程来调度：

node1=# \d t_test

Table "public.t_test"

Column | Type | Modifiers

--------+-----------------------------+---------------

id | integer | not null

name | text |

t | timestamp without time zone | default now()

Indexes:

"t_test_pkey" PRIMARY KEY, btree (id)

Triggers:

_londiste_replication_queue AFTER INSERT OR DELETE OR UPDATE ON t_

test FOR EACH ROW EXECUTE PROCEDURE pgq.logutriga('replication_queue')

_londiste_replication_queue_truncate AFTER TRUNCATE ON t_test FOR

EACH STATEMENT EXECUTE PROCEDURE pgq.sqltriga('replication_queue')

Skytools 和 londiste 都特别地提供了使您的生活更方便的一组丰富的附加功能。然而，记录所有这些特征恐怕要查出本书的范围。如果您要了解更多的信息，我们建议更深入地去看Skytools 源代码的文档目录。您会发现一些有意思的文档，解释了一步一步地可以做什么。