1. 什么是Memcached

要了解Memcached首先要到官网上去看官方对它的描述。Memcached的官网网站是:http://memcached.org/,官方对Memcached的描述如下图:

从官方的描述中可以总结出,Memcached是一个高性能分布式的内存对象缓存系统。它将数据以key-value形式存储的存储在内存中,极大的提高了效率。但是Memcached的缺点在于不支持持久化(不支持写入磁盘),所以一旦断电,内存中的全部数据都会丢失。而Redis弥补了这个缺点,既在内存中存取数据,又支持持久化,所以Memcached可以理解为是Redis的前身,关于Redis的技术,后续会发新的文章论述,这里不展开讨论。

2. Memcached基本原理和体系架构

实际上,Memcached是在内存中维护一张巨大的Hash表。这张Hash表的结构是由多个slab组成,每个slab的大小是1M;每个slab中存在多个chunk,chunk是数据最终存储的单位。chunk采用预分配的方式提高性能,在保存数据之前,需要制定chunk的大小来分配内存。如add key *** 3



3. Memcached 集群

3.1 背景

    Memcached官方版本不支持集群搭建,Memcached彼此之间不进行通信,也就是把一个数据存到一个Memcached上,一旦这个Memcached宕掉了,不能从其它Memcached上读取这些数据,会造成数据丢失。

    但是,一个日本工程师改写了官方Memcached,使它能够支持集群。此时,Memcached之间可以进行通信,数据存储到一个Memcached实例上,可以同步到其它Memcached实例,防止数据丢失。

3.2 基本操作

 3.2.1 命令行
(1) 启动并连接memcached

(2) 添加数据:set、add(当存在相同key值时,set会覆盖value,add会报错);获取数据:get

(2) 查看slab信息
3.2.2 JavaAPI

1. 首先创建一个Java项目,然后添加memcached的jar包,如果网上找不到jar包的话可以在这个链接下载:https://download.csdn.net/download/xin93/10482424

2. 创建一个简单的Person信息类,用于存储到Memcached。

package com.nova;

import java.io.Serializable;
/**
*
* @author Supernova
* @date 2018/06/16
*
*/
public class Person implements Serializable{
private String name; //姓名
private String sex; //性别 public Person() { }
public Person(String name, String sex) {
super();
this.name = name;
this.sex = sex;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getSex() {
return sex;
}
public void setSex(String sex) {
this.sex = sex;
} }

        3. 添加、获取

package com.nova;

import java.net.InetSocketAddress;
import java.util.concurrent.Future; import org.junit.Test; import net.spy.memcached.MemcachedClient;
/**
*
* @author Supernova
* @date 2018/06/16
*
*/
public class MemcachedOperation {
/*
* 向memcached添加数据
*/
@Test
public void addData() throws Exception {
// 创建Memcached客户端
MemcachedClient client = new MemcachedClient(new InetSocketAddress("192.168.243.11", 11211));
// 插入数据
Future<Boolean> future= client.set("name", 0, "Supernova");
//判断执行操作后返回的Boolean值
if(future.get().booleanValue()) {
//插入成功 client.shutdown();
}
} /*
* 获取memcached数据
*/
@Test
public void getData() throws Exception{
// 创建Memcached客户端
MemcachedClient client = new MemcachedClient(new InetSocketAddress("192.168.243.11",11211));
// 获取对应key值的value
String name = client.get("name").toString();
System.out.println(name);
}
/*
* 向memcached存储一个对象
*/
@Test
public void insertObject() throws Exception{
// 创建Memcached客户端
MemcachedClient client = new MemcachedClient(new InetSocketAddress("192.168.243.11",11211)); Person person = new Person("Supernova","man");
// 插入对象
Future<Boolean> future = client.set("person", 0, person); if(future.get().booleanValue()) {
//插入成功 client.shutdown();
}
} }

3.2 路由算法

既然Memcached实例可以有多个,那么当客户端发送一条数据的时候,这条数据要存储到哪个Memcached实例中?所以这就涉及到了Memcached路由算法,由它来决定数据最终存储在哪个Memcached上。注意:Memcached路由算法是由客户端实现的。在Memcached中有两种路由算法

 3.2.1 求余数

【基本原理】将key做hash运算,对memcached数量进行求余数,根据余数来决定存储到哪个Memcached实例。

如:有 4 台Memached,将对4进行求余数

8%4 = 0

7%4 = 3

6%4 = 2

5%4 = 1

……

这样根据余数路由的优点在于,能够使数据均匀分布在每个Memcached上,但是也有很大的缺点,一旦某个Memcached宕机,或有新的memcached加入就会找不到数据,出现严重的数据丢失

【数据丢失的原因】:

比如原先有3个Memcached:1%3=1, 2%3=2, 3%3=0, 4%3=1,……

新增之后为4个Memcached:1%4=1, 2%4=2, 3%4=2, 4%4=0,……

原先3存在0号,4存在1号,但是新增后,3变成2号,4变成0号。导致了存取的目标位置不一样,在0号存,去2号取就会找不到数据。

3.2.2 一致性Hash

一致性hash能够将丢失的数据减小到最小,但不能完全解决宕机造成的数据丢失。

【基本原理】:

如下图所示,数据分段在Memcached上存储,当扩容的时候,1~6666的数据将不受影响。同理,当有机器宕机的时候也一样。

【Memcached】原理、体系架构、基本操作及路由算法的更多相关文章

  1. 分布式缓存技术memcached学习(四)—— 一致性hash算法原理

    分布式一致性hash算法简介 当你看到“分布式一致性hash算法”这个词时,第一时间可能会问,什么是分布式,什么是一致性,hash又是什么.在分析分布式一致性hash算法原理之前,我们先来了解一下这几 ...

  2. 大数据体系概览Spark、Spark核心原理、架构原理、Spark特点

    大数据体系概览Spark.Spark核心原理.架构原理.Spark特点 大数据体系概览(Spark的地位) 什么是Spark? Spark整体架构 Spark的特点 Spark核心原理 Spark架构 ...

  3. Kylin工作原理、体系架构

    核心思想:预计算. 对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,并存在HBase中,供查询时直接访问 将高复杂度的聚合运算.多表连接……操作转换成对预计算结果的查询.决定了Kyl ...

  4. 说说面向服务的体系架构SOA

    序言 在.Net的世界中,一提及SOA,大家想到的应该是Web Service,WCF,还有人或许也会在.NET MVC中的Web API上做上标记,然后泛泛其谈! 的确,微软的这些技术也确实推动着面 ...

  5. 面向服务的体系架构SOA

    面向服务的体系架构SOA 序言 在.Net的世界中,一提及SOA,大家想到的应该是Web Service,WCF,还有人或许也会在.NET MVC中的Web API上做上标记,然后泛泛其谈! 的确,微 ...

  6. Memcached原理与应用

    Memcached原理与应用 标签: linux 笔者Q:972581034 交流群:605799367.有任何疑问可与笔者或加群交流 1.Memcached是什么 高性能 支持高并发 分布式内存缓存 ...

  7. kafka原理和架构

    转载自:  https://blog.csdn.net/lp284558195/article/details/80297208 参考:   https://blog.csdn.net/qq_2059 ...

  8. [转]OpenContrail 体系架构文档

    OpenContrail 体系架构文档 英文原文:http://opencontrail.org/opencontrail-architecture-documentation/ 翻译者:@KkBLu ...

  9. InnoDB引擎体系架构

    InnoDB引擎架构介绍 innodb存储引擎的体系架构,可简单划分成三层: 数据文件 :磁盘上的数据文件 内存池:缓存磁盘上的数据,方便读取,同时在对磁盘文件数据修改之前在这里缓存,然后按一定规刷新 ...

随机推荐

  1. asp.net生成PDF文件(一)

    这个是例子是网上淘来的,哈哈,很有用的! 首先要到网上下载itextsharp.dll,然后添加引用,主程序如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1 ...

  2. [EffectiveC++]item02:尽量以const,enum,inline代替#define

  3. There was a problem confirming the ssl certificate: [SSL: TLSV1_ALERT_PROTOCOL_VERSION] tlsv1 alert protocol version (_ssl.c:661) - skipping

    Could not fetch URL https://pypi.python.org/simple/xlrd/: There was a problem confirming the ssl cer ...

  4. Linux命令--压缩解压(简化版)

    Linux tar.gz.tar.bz2.zip 等解压缩.压缩命令详解(简化版) Linux 常用的压缩与解压缩命令有:tar.gzip.gunzip.bzip2.bunzip2.compress ...

  5. Economy a Two-Edged Sword for Democrats

    2017-05-03 12:05:07 https://www.usnews.com/news/blogs/ken-walshs-washington/2014/10/03/economy-a-two ...

  6. shell编程技巧和陷阱

    先推荐两本经典书籍: 1.advanced bash scripting guide http://www.tldp.org/LDP/abs/abs-guide.pdf 2.Unix Power To ...

  7. python 中logging的日志封装

    因为最近在做平台,发现有同事,使用django封装了日志模块,看样子很简单,准备自己单独做了一个日志封装模板,对于python不熟练的我,封装部分参考了多个博主的内容,形成自己的日志模块,内容如下: ...

  8. BeanDefinition的创建(BeanDefinitionHolder的创建)

    这个对另一篇章Bean Definition从加载.解析.处理.注册到BeanFactory的过程的扩展. Spring框架中BeanDefinition的继承结构. Spring框架中BeanDef ...

  9. BZOJ4653:[NOI2016]区间(线段树)

    Description 在数轴上有 n个闭区间 [l1,r1],[l2,r2],...,[ln,rn].现在要从中选出 m 个区间,使得这 m个区间共同包含至少一个位置.换句话说,就是使得存在一个 x ...

  10. ZooKeeper学习之路 (八)ZooKeeper原理解析

    ZooKeeper中的各种角色 ZooKeeper与客户端 每个Server在工作过程中有三种状态: LOOKING:当前Server不知道leader是谁,正在搜寻 LEADING:当前Server ...