memcached+magent的集群部署详细过程

问题描述

Memcached在实现分布集群部署时， Memcached服务端的之间是没有通讯的，服务端是伪分布式，实现分布式是由客户端实现的，客户端实现了分布式算法把数据保存到不同的Memcached服务端。

memcached对容错不做处理的，也就是说当 Memcached服务端挂掉或者Memcached重启复活后是无数据的，这对高并发的大型系统是没办法接受的。我们在集群的情况下，要做到负载均衡和容错，而memcached服务器端挂掉，负载就不均衡，缓存数据也会丢失，重新对数据库进行操作，加大系统性能消耗，数据丢失容错也做得不好。

解决方案

Magent是一款开源的Memcached代理服务器软件，使用它可以搭建高可用性的集群应用的Memcached服务，备份Memcached数据，尽管Memcached服务挂掉，前端也能获取到数据。

客户端先连到Magent代理服务器，然后Magent代理服务器再连接多台Memcached服务器，然后可以进行数据的保存和备份。这样数据就不会丢失，保存了数据完整性。

memcached+magent集群部署

安装libevent（Memcached用到了libevent这个库，所以先安装libevent）

虽然阿里云上已经安装了高版本的libevent

但好像不是通过编译安装的，如果我们直接装magent，会提示：

我们find / -name event.h 发现该文件没有被包含在/usr/include或者/usr/local/include的头文件目录中，可能是跟rpm或yum方式安装有关系，故需要改用编译先安装libevent。

步骤如下：

tar xvf libevent-1.4.9-stable.tar.gz

cd libevent-1.4.9-stable/

./configure --with-libevent=/usr/local

Make

make install

检查安装成功：

再去查找event.h文件就有了

安装magent

tar zxvf magent-0.6.tar.gz

make

报错1：

解决办法：vi ketama.h

#ifndef SSIZE_MAX

#define SSIZE_MAX 32767

#endif

继续make，报错2：

解决办法：ln -s 软连接

# ln -s /usr/local/lib/libevent* /usr/lib64/

继续make，报错3：

解决办法：

yum install glibc glibc-devel

如果是64bit的系统不会在/usr/lib64/libm.a 生成，如果是32bit即会有。

cp /usr/lib64/libm.so /usr/lib64/libm.a（我们是64位的，复制过去）

继续make，成功了！

最后创建magent的软连接

验证安装是否正确， #magent 能正常显示帮助信息，就说明安装正确，如图所示：

安装memcached

yum安装

yum install memcached

编译安装

#tar zxvf memcached-1.4.21.tar.gz

#cd memcached-1.4.21

# ./configure --prefix=/usr  --with-libevent=/usr/local   指定libevent的安装位置

# make && make install

启动memcached服务

/usr/bin/memcached -d -m 256 -p 11211 -u memcached

/usr/bin/memcached -d -m 256 -p 11212 -u memcached

-p:Memcached的监听端口号，不设置的话Memcached默认的的11211

-U:监听的upd端口，0的时候表示关闭，默认是11211

-l:监听的IP地址，不写的话所有的IP都能访问，写了的话只这这IP能访问，要是有多个IP用逗号分隔或者用多个-l就行了，实际应用中应当都是要配置的，不能让任何机器都能访问我们的memcached服务器，只有指定的机器可以访问。＊有时候不配置想让只有固定的机器才能访问的话，可以配置电脑的防火墙只能固定的电脑IP访问。

-d:以后台的方式运行，不占用终端。

-m:最大可使用的内存。

查看Memcahce的运行状态

echo stats | nc localhost 11211

Memcache简单使用

用telnet连接memcached：

telnet xxx.xxx.xxx.xxx 11211

memcached 命令的参数和语法：

command <key> <flags> <expiration time> <bytes>

<value>

set：无论如何都存储（数据不存在时进行添加：add 只有数据存在时进行替换：replace）

这个set的命令在memcached中的使用频率极高。set命令不但可以简单添加，如果set的key已经存在，该命令可以更新该key所对应的value。

　　图中字节数5一定要和value对应，不然得不到STORED 响应

get：可以通过“get 键名”的方式查看添加进去的记录

delete：通过delete命令删除掉，然后重新添加

启动magent

到此，libevent、memcached、magent都安装好了，memcached也已启动，现在启动magent

magent -u root -n 51200 -l 0.0.0.0 -p 12000 -s 10.171.250.19:11211 -b 10.252.117.150:11211

参数说明：

-u 用户

-g gid

-p 启动端口, 默认11211

-s 服务memcached地址，ip:port, set memcached server ip and port

-b 备份memcached地址，ip:port, set backup memcached server ip and port

-l 启动IP地址，ip, local bind ip address, default is 0.0.0.0

-n 最大并发数number, set max connections, default is 4096

-D 非后台运行

测试magent

在magent代理端（12000）保存数据，看下服务memcached（11211）和备份memcached（11211）是否都有这个数据

上述证明：通过magent的连接池放的值会分别存在magent代理的所有memcached上去

还有两个结论，通过类似的方式测试，这里不验证了：

如果有一个memcached宕机，通过magent代理方式还能取到值。

如果memcached修复重启后通过magent代理方式取到的值就会为Null，这是由于memcache重启后里边的值随着memcache服务的停止就消失了（因为在内存中），但是magent是通过key进行哈希计算分配到某台机器上的，memcache重启后会还从这台机器上取值，所以取到的值就为空。

解决办法：

在每次memcache宕机修复后可以写一个程序把集群中的其他memcache的所有信息全给拷贝到当前宕机修复后的memcache中。

自己写代理，当从一个memcached服务上取到的值为Null时再去其他memcached上取值。

magent的调用方式同memcached一样，所以magent与memcached 是可以混搭的，甚至我们可以视为等价，如下图的架构