一、Memcached简介:

1. Memcached是一个自由开源的,高性能的,分布式内存对象缓存系统。

2. Memcached是一种基于内存的key-value存储,用来存储小块的任意数据(字符串、对象)。

这些数据可以是数据库调用、API调用或者是页面渲染的结果。一般的使用目的是,通过

缓存数据库查询结果,减少数据库访问次数,以提高动态Web应用的速度、提高可扩展

性。

3. Memcached简洁而强大。它的简洁设计便于快速开发,减轻开发难度,解决了大数据量

缓存的很多问题。其守护进程是用C写的,但是客户端可以用任何语言来编写,并通过

memcached协议与守护进程通信。它的API兼容大部分流行的开发语言。

4. Memcached特点:

(1)基于C/S架构,协议简单;

(基于文本行的协议,可使用telnet协议连接);

(2)基于libevent的事件处理;

(使用libevent来进行网络并发连接的处理,在很大并发情况下仍能保持快速的响应能力);

(3)内置内存存储方式;

(4)memcached不互相通信的分布式。

二、Memcached内存分配:

1. 名词理解:

(1)Page:分配给Slab的内存空间,默认是1MB,分配给Slab之后根据slab的大小切

成chunk。page一旦被分配,在memcached重启前不会被回收或者重新分配。

(2)chunk:用于缓存记录的内存空间。

(3)Slab Class:特定大小的chunk的组。每个slab只负责一定大小范围内的数据存储。

每个slab中的chunk都是相同大小的。

2. page、slab和chunk三者关系的理解:

(1)page是memcached在收到内存不够的请求,并进行内存分配的单位。举例来说,

slab2的所有空间都用完了,又有大小适合slab2的数据过来了,那么slab2就会向

memcached请求新的内存空间,memcached就会划分一个page大小的内存量到

slab2。page的默认大小是1M,这个数值可以通过参数-I来修改。

(2)slab是memcached用来划定存储空间的大小概念,每当memcached启动的时候,

它会按照-n参数配置的值(如果有的话,否则为默认值)来决定第一个slab的大小,

然后根据-f参数的值来决定后续slab大小的增长速率,一个一个地决定后续的slab

的大小,直到slab的大小达到设定的page大小(一般是1M)。

(3)chunk是实际用来存储数据的内存空间,它的大小和包含它的slab的大小是一致的。

当page大小的内存分配到slab的时候,slab会根据自身的大小将page大小的内存

分割成 page / slabsize 个chunk。

3. 数据存储方式:Slab Allocation 原理

将分配的内存分割成各种尺寸的块(chunk),并把尺寸相同的块分成组,以完全解决内存碎片问题。Memcached根据收到的数据的大小,选择最适合数据大小的slab。Memcached中保存着slab内空闲chunk的列表,根据该列表选择chunk,然后将数据缓存于其中。

优点:不会存在内存碎片。

缺点:由于分配的是特定长度的内存,所以无法有效利用分配的内存。

4. 数据过期方式:Lazy Expiration + LRU(Least Recently Used)

(1)Lazy Expiration:Memcached内部不会监视记录是否过期,而是在get命令执行时查

看记录的时间戳,检查记录是否过期。如果某一个item在memcached里过期了,

这个东西并不会被删除,而是客户端无法再看见该记录(invisible,透明), 其存储

空间即可重复使用。

注:只有对一个key执行了get命令之后Memcached才会知道这个key对应的值是否已过期,

这点可以使用命令来测试。当Memcached中的某些key对应的值过期之后,执行stats

sizes等统计命令的时候,Memcached还是将它们当做未过期的数据,只有执行了get

之后再执行统计命令,Memcached才知道哪些数据已过期。

(2)LRU:Memcached会优先使用已超时的记录的空间,当内存空间不足时,就从最近

未被使用的记录中搜索,并将其空间分配给新的记录。

三、Memcached一些特性和限制:

  1. memcached缺乏认证以及安全管制,这代表应该将memcached服务器放置在防火墙后。
  2. memcached不提供冗余,当某个服务器S停止运行或崩溃了,所有存放在S上的键/值对

都将丢失。

3. 往memcached存储的所有数据,如果数据的大小分布于各种chunk大小区间,从64B到1MB

都有,可能会造成内存的极大浪费以及memcached的异常。

4. 在Memcached中可以保存的item数据量是没有限制的,只要内存足够。

5. Memcached单进程最大使用内存为2G,若要使用更多内存,可以多个端口开启多个

Memcached进程。

6. 最大30天的数据过期时间,设置为永久的也会在这个时间过期,由常量

REALTIME_MAXDELTA控制。

7. 最大键长为250字节,大于该长度无法存储,由常量KEY_MAX_LENGTH控制。

8. 单个item最大数据是1MB,超过1MB不予存储,由常量POWER_BLOCK控制。它是默认

的slab大小。

9. 最大同时连接数是200,通过conn_init()中的freetotal进行控制,最大软连接数是1024,

通过settings.maxconns进行控制。

10. 参数settings.factor和settings.chunk_size分别控制slab的数据占用和步进方式。

Memcached理解的更多相关文章

  1. Memcached理解笔记4---应对高并发攻击

    近半个月过得很痛苦,主要是产品上线后,引来无数机器用户恶意攻击,不停的刷新产品各个服务入口,制造垃圾数据,消耗资源.他们的最好成绩,1秒钟可以并发6次,赶在Database入库前,Cache进行Mis ...

  2. Memcached理解笔记3---Memcached使用总结

    为了将N个前端数据同步,通过Memcached完成数据打通,但带来了一些新问题: 使用iBatis整合了Memcached,iBatis针对每台server生成了唯一标识,导致同一份数据sql会产生不 ...

  3. Memcached理解笔2---XMemcached&Spring集成

    一.Memcached Client简要介绍 Memcached Client目前有3种: Memcached Client for Java SpyMemcached XMemcached 这三种C ...

  4. Memcached理解笔记1---安装&常规错误&监控

    一.下载 1.Libevent 简单的说就是一个事件触发的网络库,Memcached离不开它. wget http://cloud.github.com/downloads/libevent/libe ...

  5. memcached全面剖析–2. 理解memcached的内存存储

    Slab Allocation机制:整理内存以便重复使用 最近的memcached默认情况下采用了名为Slab Allocator的机制分配.管理内存. 在该机制出现以前,内存的分配是通过对所有记录简 ...

  6. 深入理解memcached

    网上有5篇介绍memcached的文章,写的挺好,这里转过来. memcached完全剖析–1. memcached的基础 memcached全面剖析–2.理解memcached的内存存储 memca ...

  7. memcached全面剖析--2.理解memcached的内存存储

    下面是<memcached全面剖析>的第二部分. 发表日:2008/7/9 作者:前坂徹(Toru Maesaka) 原文链接:http://gihyo.jp/dev/feature/01 ...

  8. 理解Memcached的分布式

    Memcached尽管是"分布式"的缓存系统,但是服务器端并没有分布式功能.各个Memcached实例不会相互通信以共享信息,Memcached如何进行分布式完全取决于客户端的实现 ...

  9. MongoDB仲裁节点的理解以及memcached,zookeeper,redis,故障恢复方案思考.

    在进行副本集部署时我们会添加一个或多个仲裁节点,仲裁节点不用于备份数据,由于它职责的职责是负责选举主节点,所以对硬件没有太高要求,可以将它部署在单独的服务器上,这个服务器可以是监听服务器,也可以部署在 ...

随机推荐

  1. 视频转GIF图

    1.工具 PS6.0(其他版本也可以) 视频一个(具体格式应该无所谓) 2.步骤 (1)打开PS,点击导入->视频帧到图层 (2)选择视频打开 (3)进行范围选择.由于每隔2帧导入一张图片,每秒 ...

  2. OC——关于KVO

    我们知道在WPF.Silverlight中都有一种双向绑定机制,如果数据模型修改了之后会立即反映到UI视图上,类似的还有如今比较流行的基于MVVM设计模式的前端框架,例如Knockout.js.其实在 ...

  3. js添加下拉列表的模糊搜寻

    1引入插件<script type="text/javascript"src="common/lib/jQueryComboSelect/jquery.combo. ...

  4. 【京东账户】——Mysql/PHP/Ajax爬坑之购物车列表显示

    一.引言 做京东账户项目中的购物车模块,功能之二是购物车列表显示.要用到的是Apach环境,Mysql.PHP以及Ajax. 二.小功能-点击“去购物车结算” 小坑:Ajax动态生成的不能直接绑定,因 ...

  5. CenOs 部署记录

    1.安装APache.即 httpd 2.需要将80端口添加进iptable.外网才能访问.命令:iptables -I INPUT -p TCP --dport 80 -j ACCEPT

  6. vue组件初学--弹射小球

    1. 定义每个弹射的小球组件( ocicle ) 2. 组件message自定义属性存放小球初始信息(可修改) { top: "0px", //小球距离上方坐标 left: &qu ...

  7. vue学习之vue基本功能初探

    vue学习之vue基本功能初探: 采用简洁的模板语法将声明式的将数据渲染进 DOM: <div id="app"> {{ message }} </div> ...

  8. ElasticSearch入门(3) —— head插件

    #### 安装ES head插件 具体请参考github地址:https://github.com/mobz/elasticsearch-head 使用 安装Install # 在线安装head插件 ...

  9. UWP 改变Button样式

    -----some words------ 1.Control:控制 (我们理解成控件) 2.Template:模板 3.Ellipse 椭圆 4.Content 内容 5.Presenter 节目主 ...

  10. PIC32MZ 通过USB在线升级 -- USB HID bootloader

    了解 bootloader 的实现, 请加QQ: 1273623966(验证填bootloader); 欢迎咨询或定制bootloader; 我的博客主页 www.cnblogs.com/geekyg ...