Memcached完全解剖–1. memcached基金会

翻译一篇技术评论社的文章，是讲memcached的连载。fcicq同学说这个东西非常实用，希望大家喜欢。

发表日：2008/7/2

作者：长野雅广(Masahiro Nagano)

原文链接：http://gihyo.jp/dev/feature/01/memcached/0001

我是mixi株式会社开发部系统运营组的长野。日常负责程序的运营。从今天開始。将分几次针对近期在Web应用的可扩展性领域的热门话题memcached，与我公司开发部研究开发组的前坂一起。说明其内部结构和使用。

memcached是什么？

memcached 是以LiveJournal 旗下Danga
Interactive 公司的Brad Fitzpatric 为首开发的一款软件。

如今已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中
提高Web应用扩展性的重要因素。

很多Web应用都将数据保存到RDBMS中，应用server从中读取数据并在浏览器中显示。但随着数据量的增大、訪问的集中，就会出现RDBMS的负担加重、数据库响应恶化、站点显示延迟等重大影响。

这时就该memcached大显身手了。

memcached是高性能的分布式内存缓存server。一般的使用目的是，通过缓存数据库查询结果，降低数据库訪问次数。以提高动态Web应用的速度、提高可扩展性。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvYWlnb29nbGU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">

图1 普通情况下memcached的用途

memcached的特征

memcached作为快速执行的分布式缓存server，具有下面的特点。

协议简单
基于libevent的事件处理
内置内存存储方式
memcached不互相通信的分布式

协议简单

memcached的serverclient通信并不使用复杂的XML等格式，而使用简单的基于文本行的协议。因此，通过telnet 也能在memcached上保存数据、取得数据。

以下是样例。

$ telnet localhost 11211
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
set foo 0 0 3     （保存命令）
bar               （数据）
STORED            （结果）
get foo           （取得命令）
VALUE foo 0 3     （数据）
bar               （数据）

协议文档位于memcached的源码内，也能够參考下面的URL。

http://code.sixapart.com/svn/memcached/trunk/server/doc/protocol.txt

基于libevent的事件处理

libevent是个程序库，它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对server的连接数添加。也能发挥O(1)的性能。 memcached使用这个libevent库。因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。

关于事件处理这里就不再具体介绍，能够參考Dan Kegel的The C10K Problem。

libevent: http://www.monkey.org/~provos/libevent/
The C10K Problem: http://www.kegel.com/c10k.html

内置内存存储方式

为了提高性能，memcached中保存的数据都存储在memcached内置的内存存储空间中。因为数据仅存在于内存中，因此重新启动memcached、重新启动操作系统会导致所有数据消失。另外，内容容量达到指定值之后，就基于LRU(Least Recently Used)算法自己主动删除不使用的缓存。 memcached本身是为缓存而设计的server，因此并没有过多考虑数据的永久性问题。

关于内存存储的具体信息。本连载的第二讲以后前坂会进行介绍，请届时參考。

memcached不互相通信的分布式

memcached虽然是“分布式”缓存server，但server端并没有分布式功能。

各个memcached不会互相通信以共享信息。

那么。如何进行分布式呢？这全然取决于client的实现。本连载也将介绍memcached的分布式。

图2 memcached的分布式

接下来简介一下memcached的用法。

安装memcached

memcached的安装比較简单。这里稍加说明。

memcached支持很多平台。

Linux
FreeBSD
Solaris (memcached 1.2.5以上版本号)
Mac OS X

另外也能安装在Windows上。这里使用Fedora Core 8进行说明。

memcached的安装

执行memcached须要本文开头介绍的libevent库。Fedora 8中有现成的rpm包，通过yum命令安装就可以。

$ sudo yum install libevent libevent-devel

memcached的源码能够从memcached站点上下载。本文执笔时的最新版本号为1.2.5。 Fedora 8尽管也包括了memcached的rpm。但版本号比較老。由于源码安装并不困难。这里就不使用rpm了。

下载memcached：http://www.danga.com/memcached/download.bml

memcached安装与一般应用程序同样。configure、make、make install即可了。

$ wget http://www.danga.com/memcached/dist/memcached-1.2.5.tar.gz
$ tar zxf memcached-1.2.5.tar.gz
$ cd memcached-1.2.5
$ ./configure
$ make
$ sudo make install

默认情况下memcached安装到/usr/local/bin下。

memcached的启动

从终端输入下面命令，启动memcached。

$ /usr/local/bin/memcached -p 11211 -m 64m -vv
slab class   1: chunk size     88 perslab 11915
slab class   2: chunk size    112 perslab  9362
slab class   3: chunk size    144 perslab  7281
中间省略
slab class  38: chunk size 391224 perslab     2
slab class  39: chunk size 489032 perslab     2
<23 server listening
<24 send buffer was 110592, now 268435456
<24 server listening (udp)
<24 server listening (udp)
<24 server listening (udp)
<24 server listening (udp)

这里显示了调试信息。这样就在前台启动了memcached，监听TCPport11211 最大内存使用量为64M。调试信息的内容大部分是关于存储的信息，下次连载时详细说明。

作为daemon后台启动时，仅仅需

$ /usr/local/bin/memcached -p 11211 -m 64m -d

这里使用的memcached启动选项的内容例如以下。

选项	说明
-p	使用的TCPport。默觉得11211
-m	最大内存大小。默觉得64M
-vv	用very vrebose模式启动。调试信息和错误输出到控制台
-d	作为daemon在后台启动

上面四个是经常使用的启动选项。其它还有非常多。通过

$ /usr/local/bin/memcached -h

命令能够显示。很多选项能够改变memcached的各种行为。推荐读一读。

用client连接

很多语言都实现了连接memcached的client，当中以Perl、PHP为主。只memcached站点上列出的语言就有

Perl
PHP
Python
Ruby
C#
C/C++
Lua

等等。

memcachedclientAPI：http://www.danga.com/memcached/apis.bml

这里介绍通过mixi正在使用的Perl库链接memcached的方法。

使用Cache::Memcached

Perl的memcachedclient有

Cache::Memcached
Cache::Memcached::Fast
Cache::Memcached::libmemcached

等几个CPAN模块。这里介绍的Cache::Memcached是memcached的作者Brad Fitzpatric的作品，应该算是memcached的client中应用最为广泛的模块了。

Cache::Memcached - search.cpan.org: http://search.cpan.org/dist/Cache-Memcached/

使用Cache::Memcached连接memcached

以下的源码为通过Cache::Memcached连接刚才启动的memcached的样例。

#!/usr/bin/perl

use strict;
use warnings;
use Cache::Memcached;

my $key = "foo";
my $value = "bar";
my $expires = 3600; # 1 hour
my $memcached = Cache::Memcached->new({
    servers => ["127.0.0.1:11211"],
    compress_threshold => 10_000
});

$memcached->add($key, $value, $expires);
my $ret = $memcached->get($key);
print "$ret\n";

在这里，为Cache::Memcached指定了memcachedserver的IP地址和一个选项，以生成实例。

Cache::Memcached经常使用的选项例如以下所看到的。

选项	说明
servers	用数组指定memcachedserver和port
compress_threshold	数据压缩时使用的值
namespace	指定加入到键的前缀

另外。Cache::Memcached通过Storable模块能够将Perl的复杂数据序列化之后再保存。因此散列、数组、对象等都能够直接保存到memcached中。

保存数据

向memcached保存数据的方法有

add
replace
set

它们的用法都同样：

my $add = $memcached->add( '键', '值', '期限' );
my $replace = $memcached->replace( '键', '值', '期限' );
my $set = $memcached->set( '键', '值', '期限' );

向memcached保存数据时能够指定期限(秒)。

不指定期限时，memcached依照LRU算法保存数据。这三个方法的差别例如以下：

选项	说明
add	仅当存储空间中不存在键同样的数据时才保存
replace	仅当存储空间中存在键同样的数据时才保存
set	与add和replace不同，不管何时都保存

获取数据

获取数据能够使用get和get_multi方法。

my $val = $memcached->get('键');
my $val = $memcached->get_multi('键1', '键2', '键3', '键4', '键5');

一次取得多条数据时使用get_multi。

get_multi能够非同步地同一时候取得多个键值，其速度要比循环调用get快数十倍。

删除数据

删除数据使用delete方法。只是它有个独特的功能。

$memcached->delete('键', '堵塞时间(秒)');

删除第一个參数指定的键的数据。

第二个參数指定一个时间值，能够禁止使用相同的键保存新数据。

此功能能够用于防止缓存数据的不完整。可是要注意，set函数忽视该堵塞。照常保存数据

增一和减一操作

能够将memcached上特定的键值作为计数器使用。

my $ret = $memcached->incr('键');
$memcached->add('键', 0) unless defined $ret;

增一和减一是原子操作。但未设置初始值时，不会自己主动赋成0。因此，应当进行错误检查。必要时增加初始化操作。并且，server端也不会对超过2<sup>32</sup>时的行为进行检查。

总结

这次简介了memcached。以及它的安装方法、PerlclientCache::Memcached的用法。仅仅要知道，memcached的用法十分简单就足够了。

下次由前坂来说明memcached的内部结构。了解memcached的内部构造，就能知道怎样使用memcached才干使Web应用的速度更上一层楼。

欢迎继续阅读下一章。

原版的：http://kb.cnblogs.com/page/42731/;