MYSQL集群的搭建

按照此配置完全可以配置成功!!

一、介绍
========
测试环境：
Server1:ndbd 192.168.1.225
Server2:ndbd 192.168.1.226
Server3:mysqld --ndb-cluster 192.168.1.224 (ndbd_mgm ndbd_mgmd也在本机)
Server4:LVS 192.168.1.111 (调度主服务器,利用此服务器进行MYSQL的负载均衡,否则MYSQL CLUSTER只做到了数据同步的作用,好像在机制内部MYSQL NDB的各各节点上也会有负载均衡这一说!)
操作系统均为
RH AS4

所需软件包：
mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz
下载地址：http://dev.mysql.com/downloads/mysql/5.0.html

首先，明确几个概念（参照下图）：
ndbd： 数据库节点,需要更大的内存。
mysqld --ndb-cluster： MySQL服务器节点，程序直接访问的是这台机器的IP。默认端口仍是3306,。
ndbd_mgm ndbd_mgmd：管理节点。管理／查看各库节点和服务器节点的状态,最好自己单独一台服务器,测试发现只要ndbd_mgmd程序死掉,所有的节点全部停止工作.

二、在Server1、Server2、Server3上安装MySQL
=================================
1.安装：
# mv mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz /usr/local/
# cd /usr/local/
# tar -zxvf mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz
# ln -s mysql-5.1.23-ndb-6.2.15-linux-i686-glibc23.tar.gz mysql
# groupadd mysql
# useradd -g mysql mysql
# cd mysql
# scripts/mysql_install_db --user=mysql
# chown -R mysql:mysql .

2.编辑配置文件：
# cp /usr/local/mysql/support-files/my-medium.cnf /etc/my.cnf
# vi /etc/my.cnf 在文件尾加入
............................................................
............................................................
# Options for mysqld process:
[MYSQLD]
ndbcluster                      # run NDB engine
ndb-connectstring=192.168.1.224  # location of MGM node

# Options for ndbd process:
[MYSQL_CLUSTER]
ndb-connectstring=192.168.1.224  # location of MGM node
保存＆退出
............................................................
............................................................
3.在Server1、Server2上创建日志文件夹，默认
# mkdir /var/lib/mysql-cluster

4.在Server3上创建ndb_mgmd启动配置文件：
# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# vi config.ini
内容如下：
 Options affecting ndbd processes on all data nodes:
[NDBD DEFAULT]   
NoOfReplicas=2    # Number of replicas
DataMemory=80M    # How much memory to allocate for data storage
IndexMemory=18M   # How much memory to allocate for index storage
                  # For DataMemory and IndexMemory, we have used the
                  # default values. Since the "world" database takes up
                  # only about 500KB, this should be more than enough for
                  # this example Cluster setup.
 
# TCP/IP options:
[TCP DEFAULT]    
portnumber=2202   # This the default; however, you can use any
                  # port that is free for all the hosts in cluster
                  # Note: It is recommended beginning with MySQL 5.0 that
                  # you do not specify the portnumber at all and simply allow
                  # the default value to be used instead
 
# Management process options:
[NDB_MGMD]                     
hostname=192.168.1.224         # Hostname or IP address of MGM node
datadir=/var/lib/mysql-cluster  # Directory for MGM node logfiles
 
# Options for data node "A":
[NDBD]                         
                                # (one [NDBD] section per data node)
hostname=192.168.1.225         # Hostname or IP address
datadir=/usr/local/mysql/data   # Directory for this data node's datafiles
 
# Options for data node "B":
[NDBD]                         
hostname=192.168.1.226         # Hostname or IP address
datadir=/usr/local/mysql/data   # Directory for this data node's datafiles
 
# SQL node options:
[MYSQLD]              
[MYSQLD]
[MYSQLD]         
#hostname=192.168.1.224           # Hostname or IP address
                                # (additional mysqld connections can be
                                # specified for this node for various
                                # purposes such as running ndb_restore)

保存＆退出

[MYSQLD]
[MYSQLD]
[MYSQLD]
表示允许有三台MySQL服务器从任何IP访问数据库结点。

各参数功能，请参考http://dev.mysql.com/doc/refman/ ... config-example.html

三、启动服务
============
Server3 /usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini
Server1 /usr/local/mysql/bin/ndbd --initial (只在第一次启动ndbd时使用--initial参数,通知ndbd执行初始化启动。初始化启动将删除以前ndbd实例为恢复目的创建的任何文件。它还能重新创建恢复用日志文件。注意，在某些操作系统上，该进程可能会占用较长的时间)
Server2 /usr/local/mysql/bin/ndbd --initial
Server3 /usr/local/mysql/support-files/mysql.Server start

四、检查工作状态
================
回到管理节点服务器Server3上，并启动管理终端：

# /usr/bin/ndb_mgm
键入show命令查看当前工作状态：（下面是一个状态输出示例）

ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]     2 node(s)
id=2 (not connected, accepting connect from 192.168.1.225)
id=3    @192.168.1.226  (Version: 5.0.22, Nodegroup: 0, Master)

[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.1.224  (Version: 5.0.22)

[mysqld(API)]   3 node(s)
id=4    @192.168.1.224  (Version: 5.0.22)
id=5 (not connected, accepting connect from any host)
id=6 (not connected, accepting connect from any host)

mysqld(API)即mysqld --ndb-cluster，MySQL服务器节点。当前只有Server3 MySQL启动。

如果上面没有问题，现在开始测试MySQL：
注意，这篇文档对于MySQL并没有设置root密码，推荐你自己设置Server1、Server2、Server3的MySQL root密码。

在Server3中：
# /usr/local/mysql/bin/mysql
> use test;
> CREATE TABLE ctest (i INT) ENGINE=NDBCLUSTER;(一定要加上ENGINE=NDBCLUSTER或ENGINE=NDB,否则各主机无法同步数据!!)
> INSERT INTO ctest () VALUES (1);
> SELECT * FROM ctest;

应该可以看到1 row returned信息（返回数值1）。

如果上述正常，则换到Server1、Server2上重复上面的测试，观察效果，数据库应该是同步刷新的。但首先要启动这两台机器的MySQL服务
# /usr/local/mysql/support-files/mysql.Server start
如果都没有问题，那么恭喜成功！

FAQ:
失败原因，可能是启动顺序不对。
查找所有ndb和sql相关进程，杀掉，重新按顺序来。
ps -aux |grep ndb
ps -aux |grep sql
kill -9 <PID> <PID> ...<PID>
/usr/local/mysql/bin/ndb_mgm -e shutdown(此命令会关闭所有主机节点)

五、破坏性测试
==============
将Server1或Server2的网线拔掉，观察另外一台集群服务器工作是否正常（可以使用SELECT查询测试）。测试完毕后，重新插入网线即可。

如果你接触不到物理服务器，也就是说不能拔掉网线，那也可以这样测试：
在Server1或Server2上：
ifconfig eth0 down  #如果只有一块网卡，默认是eth0

之后在Server3上使用SELECT查询测试。并且在管理节点服务器的管理终端中执行show命令会看到被破坏的那台服务器的状态。
测试完成后，只需要重新启动被破坏服务器的ndbd进程即可：
# ndbd
注意！前面说过了，此时是不用加--inital参数的！
至此，MySQL集群就配置完成，MySQL负载均衡功能完成！

===============================================
六.注意事项:
1.ndb_mgmd管理服务器,防火墙勿忘开1186端口.
2.ndb数据服务器,防火墙勿忘开2202端口.
3.LVS主服务器应该打开3306端口.
4.创建表时注意,在表后一定要加上ENGINE=NDBCLUSTER或ENGINE=NDB,否则各主机无法同步数据!!
===============================================
七:用于MySQL簇进程的命令选项
1.ndb_mgm -e show (查看各节点状态)

2. --skip-ndbcluster        (禁止NDB簇存储引擎。对于包含该功能的二进制版本，在默认情况下，该功能是被禁止的，换句话讲，NDB簇存储引擎处于禁止状态，直至使用“—ndbcluster”选项激活了它为止。仅当所编译的服务器支持NDB簇存储引擎时，才能使用该选项。)

--ndb-connectstring=connect_string (使用NDB存储引擎时，通过设置该选项，能够指定分配簇配置数据的管理服务器)

3.ndb>

·         SHOW
在使用多个管理节点的簇中，该命令仅显示与当前管理服务器实际相连的数据节点的信息

·         node_id START

启动由node_id标识的数据节点（或所有数据节点）。

·         node_id STOP

停止由node_id标识的数据节点（或所有数据节点）。

·         node_id RESTART [-N] [-I]

重启由node_id标识的数据节点（或所有数据节点）。

·         node_id STATUS

显示由node_id标识的数据节点（或所有数据节点）的状态信息。

·         ENTER SINGLE USER MODE node_id

进入单用户模式，仅允许由节点ID“node_id”标识的MySQL服务器访问数据库。

·         EXIT SINGLE USER MODE

退出单用户模式，允许所有的SQL节点（即所有运行的mysqld进程）访问数据库。

·         QUIT

中止管理客户端。

·         SHUTDOWN

关闭除SQL节点之外的所有簇节点，并退出。

4.用单用户模式，数据库管理员能够将对数据库系统的访问限制在1个MySQL服务器（SQL节点）。进入单用户模式时，与所有其他MySQL服务器的所有连接均将恰当关闭，而且所有正在运行的事务均将被放弃。不允许启动任何新事务.
NDB> ENTER SINGLE USER MODE 5
执行该命令而且簇进入单用户模式后，节点ID为5的SQL节点将成为簇中唯一允许的用户
  NDB> EXIT SINGLE USER MODE
退出单用户模式
八.MYSQL CLUSTER 备份与恢复
1、在管理节点上进行备份。
ndb_mgm> start backup nowait
ndb_mgm> Node 3: Backup 4 started from node 1
Node 3: Backup 4 started from node 1 completed
 StartGCP: 43010 StopGCP: 43013
 #Records: 2138 #LogRecords: 0
 Data: 53068 bytes Log: 0 bytes
 
ndb_mgm> shutdown
Node 3: Cluster shutdown initiated
Node 4: Cluster shutdown initiated
Node 4: Node shutdown completed.
Node 3: Node shutdown completed.
2 NDB Cluster node(s) have shutdown.
Disconnecting to allow management server to shutdown.
ndb_mgm> exit
2、删掉SQL节点的数据。
   DROP DATABASE TEST_CLUSTER;
3、关闭MYSQLD服务器。
[root@localhost bin]# service mysqld stop
Shutting down MySQL… SUCCESS!
4、重新顺序启动所有节点。
[root@localhost mysql]# /usr/local/mysql/ndb_mgmd -f /etc/config.ini
[root@localhost data]# /usr/local/mysql/bin/ndbd –initial
我发现如果不带这个 –initial选项的话，恢复会失败。

[root@localhost bin]# service mysqld start
Starting MySQL SUCCESS!

4、在NDBD节点上进行恢复。（每个节点都得执行一次，因为数据分散在两个节点上）
第一个节点：
[root@localhost BACKUP]#
/usr/local/mysql/bin/ndb_restore -n3 -b4 -r -m \
–backup_path=/usr/local/mysql/data/BACKUP/BACKUP-4/

-r开关是记录集合。
-m是元数据。就是表和库的SCHEMA。
Nodeid = 3
Backup Id = 4
backup path = /usr/local/mysql/data/BACKUP/BACKUP-4/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
Successfully restored table `test_cluster/def/lk4_test`
…
Successfully created index `PRIMARY` on `lk4_test`
…
_____________________________________________________
Processing data in table: test_cluster/def/lk4_test54) fragment 1
_____________________________________________________
…
Restored 37 tuples and 0 log entries

NDBT_ProgramExit: 0 - OK
第二个节点：
[root@localhost BACKUP-1]#
/usr/local/mysql/bin/ndb_restore -n4 -b4  -r \
–backup_path=/usr/local/mysql/data/BACKUP/BACKUP-4/

Nodeid = 4
Backup Id = 4
backup path = /usr/local/mysql/data/BACKUP/BACKUP-4/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(1) fragment 1
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(4) fragment 1
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_2_3(3) fragment 1
_____________________________________________________
Processing data in table: test/def/t11(5) fragment 1
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(0) fragment 1
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(2) fragment 1
Restored 2 tuples and 0 log entries

NDBT_ProgramExit: 0 - OK
这里完成。
5、查看一下有没有数据，为了安全起见。
mysql> show databases;
+——————–+
| Database           |
+——————–+
| information_schema |
| mysql              |
| test               |
+——————–+
3 rows in set (0.00 sec)
没有恢复的数据库？
MYSQL现在必须重新建立SCHEMA。

mysql> create database test_cluster;
Query OK, 1 row affected (0.33 sec)

mysql> use test_cluster;
Database changed
mysql> show tables;
+——————————+
| Tables_in_test_cluster       |
+——————————+
| lk4_test                     |
| …                          |
+——————————+
27 rows in set (0.11 sec)

mysql> select * from cs_comment;
Empty set (0.00 sec)

不过MYSQL的backup 程序现在还只能进行完全备份。

[root@localhost BACKUP]# du -h
76K     ./BACKUP-2
96K     ./BACKUP-6
180K    ./BACKUP-4
172K    ./BACKUP-3
76K     ./BACKUP-1
60K     ./BACKUP-5
668K    .

6、在NDBD节点上进行恢复的时候有一个要注意的问题。
因为NDBD节点以 –initial 方式启动的时候不会自动删除undo 和 data 文件（即保存到磁盘上的表数据），所以得手动在每个NDBD节点上进行RM操作：

[root@node239 ndb_6_fs]# rm -rf *.dat

然后开始备份。
在MASTER上备份的时候要加 -m 开关。
在SLAVE上要加-d 而且不要-m开关。

具体步骤如下：
MASTER :

[root@localhost ndb_3_fs]# /usr/local/mysql/bin/ndb_restore -n3 -b1 -r -m –backup_path=/usr/local/mysql/data/BACKUP/BACKUP-1/
Nodeid = 3
Backup Id = 1
backup path = /usr/local/mysql/data/BACKUP/BACKUP-1/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
Creating logfile group: lg_1…done
Creating tablespace: ts_1…done
Creating datafile “data_1.dat”…done
Creating undofile “undo_1.dat”…done
Successfully restored table `test/def/t11`
Successfully restored table event REPL$test/t11
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(1) fragment 0
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_2_3(3) fragment 0
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(0) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(2) fragment 0
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(4) fragment 0
_____________________________________________________
Processing data in table: test/def/t11(10) fragment 0
Restored 26 tuples and 0 log entries

NDBT_ProgramExit: 0 - OK

其他的SLAVE上的操作：

[root@node239 ndb_6_fs]# /usr/local/mysql/bin/ndb_restore -n6 -b1 -r -d –backup_path=/usr/local/mysql/data/BACKUP/BACKUP-1/                                                                                                              
Nodeid = 6
Backup Id = 1
backup path = /usr/local/mysql/data/BACKUP/BACKUP-1/
Ndb version in backup files: Version 5.1.21
Connected to ndb!!
_____________________________________________________
Processing data in table: sys/def/NDB$EVENTS_0(1) fragment 3
_____________________________________________________
Processing data in table: mysql/def/NDB$BLOB_2_3(3) fragment 3
_____________________________________________________
Processing data in table: sys/def/SYSTAB_0(0) fragment 3
_____________________________________________________
Processing data in table: mysql/def/ndb_schema(2) fragment 3
_____________________________________________________
Processing data in table: mysql/def/ndb_apply_status(4) fragment 3
_____________________________________________________
Processing data in table: test/def/t11(10) fragment 3
Restored 20 tuples and 0 log entries

NDBT_ProgramExit: 0 - OK

-d 开关的意思即：
 -d, –no-restore-disk-objects
                      Dont restore disk objects (tablespace/logfilegroups etc)
既忽略表空间和分组空间