再使用redis的过程中,发现使用缓存尽管好,可是有些地方还是比較难权衡,缓存对象大了,存储对象时的序列化工作非常繁重,消耗大量cpu;那么切分成非常小的部分吧,存取的次数变多了,redisclient的交互次数上不去,这是一个矛盾。要是有一个client能支持很多其它的交互次数,那么在完毕既定指标的前提下,岂不是能够让我们的建模工作变的更宽松一些?

于是參照redis协议,花了5天时间,做了一个具备基本功能的redisclient。它的特性:

1.支持异步调用,在getA之后不用等结果,能继续getB,getC,等等。等要做的redis操作都做完了,再来检查结果。

2.单连接,支持断线重连。client和随意一个redisserver仅仅建立一个连接。由于是异步调用,不是必需建立很多其它连接。

3.底层支持pipeline,不管是异步调用,还是堵塞调用,底层使用的都有概率使用到pipeline。对pipeline的支持是在通信层做的,所以不管哪种调用都是隐性的使用pipeline。可是,连续的异步操作,本线程内的操作就有可能使用pipeline。而同步调用,则通常是线程之间的操作使用pipeline。更重要的是,这一切都是在底层完毕的,我们在调用redis api的时候根本不用管这些,仅仅管调用就可以。仅仅只是是建议採用连续的异步操作,由于这样效率最高。

4.支持shard模式。採用一致性算法的分片。

5.shard模式下仍然支持pipeline。由于对pipeline的支持是做在通信层的,所以,在不论什么模式下都支持pipeline。

最后看一下,在我机器上跑的结果吧:

机器配置:双核cpu,主频2GHz,8g内存,mac osx

redis执行在本机的虚拟机上,虚拟机单核单线程,2G内存,ubuntu server。

測试场景1(模拟堵塞调用的场景):

80个线程,进行简单的get、set,

每秒运行的get和set总数为:130000次以上。

public class ShardClientTest {

	public static void main(String[] args) throws IOException,
InterruptedException {
final int T = 80;
final int CONTINUOUS = 1;
final int N = 20000000; EzSelector selector = new EzSelector();
List<BiTuple<String, Integer>> list = new ArrayList<>();
list.add(new BiTuple<>("10.211.55.5", 6379)); final ShardClient conn = new ShardClient(selector, list); final AtomicLong count = new AtomicLong();
for (int n = 0; n < T; n++) {
Thread t = new Thread() {
public void run() {
try {
for (int i = 0; i < N; i++) {
try {
Result ret = null;
for (int cc = 0; cc < CONTINUOUS; cc++) {
ret = conn.asyncSet(i + "", i + ":" + cc);
// System.out.println(ret.get());
}
ret.get(); Result ret6 = null;
for (int cc = 0; cc < CONTINUOUS; cc++) {
ret6 = conn.asyncGet(i + "");
// System.out.println(ret6.get());
}
ret6.get(); count.addAndGet(CONTINUOUS * 2);
} catch (Exception e) {
e.printStackTrace();
} finally {
}
}
} catch (Exception e) {
e.printStackTrace();
}
};
};
t.start();
} while (true) {
long start = count.get();
Thread.sleep(1000);
System.out.println(count.get() - start);
}
} }

測试场景2(模拟异步调用,连续5次get和set):

每秒可运行的get和set总数是330000次左右

package zhmt.ezredis;

import java.io.IOException;
import java.util.concurrent.atomic.AtomicLong; import zhmt.eznet.EzSelector;
import zhmt.eznet.EzSocketOption;
import zhmt.eznet.SharedRpcConnection.Result;
import zhmt.ezredis.AsyncClient; public class RedisClientTest {
public static void main(String[] args) throws IOException,
InterruptedException {
final int T = 100;
final int CONTINUOUS = 5;
final int N = 20000000; EzSelector selector = new EzSelector();
final RedisClient conn = new AsyncClient(selector,
new EzSocketOption("10.211.55.5", 6379)); final AtomicLong count = new AtomicLong();
for (int n = 0; n < T; n++) {
Thread t = new Thread() {
public void run() {
try {
for (int i = 0; i < N; i++) {
try {
Result ret = null;
for (int cc = 0; cc < CONTINUOUS; cc++) {
ret = conn.asyncSet(i + "", i + ":" + cc);
// System.out.println(ret.get());
}
ret.get(); Result ret6 = null;
for (int cc = 0; cc < CONTINUOUS; cc++) {
ret6 = conn.asyncGet(i + "");
// System.out.println(ret6.get());
}
ret6.get(); count.addAndGet(CONTINUOUS * 2);
} catch (Exception e) {
e.printStackTrace();
} finally {
}
}
} catch (Exception e) {
e.printStackTrace();
}
};
};
t.start();
} while (true) {
long start = count.get();
Thread.sleep(1000);
System.out.println(count.get() - start);
}
}
}

到眼下为止,仅仅实现了十几命令。

接下来,准备优先实现用户自己定义shard key。使数据依照用户的意图去分片。以最大化pipeline的使用。

其次,继续实现经常使用命令。

源代码:

https://github.com/zhmt/ezredis

JAVA实现的异步redisclient的更多相关文章

  1. Java多线程实现异步调用

    在Java平台,实现异步调用的角色有如下三个角色:调用者. 提货单 .真实数据,一个调用者在调用耗时操作,不能立即返回数据时,先返回一个提货单 .然后在过一断时间后凭提货单来获取真正的数据.去蛋糕店买 ...

  2. java网络通信:异步非阻塞I/O (NIO)

    转: java网络通信:异步非阻塞I/O (NIO) 首先是channel,是一个双向的全双工的通道,可同时读写,而输入输出流都是单工的,要么读要么写.Channel分为两大类,分别是用于网络数据的S ...

  3. Java回调实现异步 (转)

    出处: Java回调实现异步 在正常的业务中使用同步线程,如果服务器每处理一个请求,就创建一个线程的话,会对服务器的资源造成浪费.因为这些线程可能会浪费时间在等待网络传输,等待数据库连接等其他事情上, ...

  4. 深入浅出: Java回调机制(异步)

    一.什么是回调 回调,回调.要先有调用,才有调用者和被调用者之间的回调.所以在百度百科中是这样的: 软件模块之间总是存在着一定的接口,从调用方式上,可以把他们分为三类:同步调用.回调和异步调用. 回调 ...

  5. java 中的异步回调

    异步回调,本来在c#中是一件极为简单和优雅的事情,想不到在java的世界里,却如此烦琐,先看下类图: 先定义了一个CallBackTask,做为外层的面子工程,其主要工作为start 开始一个异步操作 ...

  6. 【转载】高性能IO设计 & Java NIO & 同步/异步 阻塞/非阻塞 Reactor/Proactor

    开始准备看Java NIO的,这篇文章:http://xly1981.iteye.com/blog/1735862 里面提到了这篇文章 http://xmuzyq.iteye.com/blog/783 ...

  7. wemall app商城源码中基于JAVA的Android异步加载图片管理器代码

    wemall doraemon是Android客户端程序,服务端采用wemall微信商城,不对原商城做任何修改,只需要在原商城目录下上传接口文件即可完成服务端的配置,客户端可随意定制修改.本文分享其中 ...

  8. Java中的异步通知

    在我们的日常开发中,经常会遇到这样的问题--"我让你做一件事情,但是你做得很慢,并不能够立马返回给我结果,害我一直在那儿等着你给我返回结果,什么都做不了". 程序是自上而下顺序执行 ...

  9. java CountDownLatch 控制异步和同步

    应用场景举例: 执行A项目的方法,需要调用B项目.C项目.D项目的接口方法. 需求: 异步调用B.C.D项目的接口方法,且每个接口都调用结束后,A项目的方法才可以结束. 注:如果需要获取接口返回结果, ...

随机推荐

  1. Java泛型类与类型擦除

    转载自:http://blog.csdn.net/lonelyroamer/article/details/7868820 一.Java泛型的实现方法:类型擦除 前面已经说了,Java的泛型是伪泛型. ...

  2. RMAN数据库异机迁移步骤

    --RMAN数据库异机迁移步骤----------------------------2013/09/28 测试环境:AIX+ora11g   一. source数据库准备.   1.获取数据文件编号 ...

  3. 【转】photoshop CS2安装激活破解教程

    原文网址:http://www.16xx8.com/photoshop/jiaocheng/109348_all.html photoshop CS2安装教程:(本页介绍如何安装CS2软件,如果你安装 ...

  4. 怎么找到MyEclipse->add struts capabilities

    问:MyEclipse:我的工程右键可以MyEclipse->add struts capabilities之前有,后来不知怎么就没有了,谁知道怎么弄出来是struts 答:你已经add过一次了 ...

  5. SharePoint 2010 获取列表中所有数据(包括文件夹内)的方法

    转: http://blog.csdn.net/wangwenism/article/details/8751411 SharePoint的列表能存储文件以及文件夹,用户使用的时候,经常会建几个分类文 ...

  6. CF GYM 100703K Word order

    题意:给一个字符串,其中只有F.A.N三种字母,问最少交换多少次能使所有的A在所有F之前. 解法:贪心.先预处理每位的左边有多少F右边有多少A,对于每位A必须至少向左交换的次数为它左面的F个数,而对于 ...

  7. tap/click on search button on softkeyboard

    driver.sendKeyEvent(84);Appium says it successfully sent in the command but 'search' does not get ta ...

  8. 黑盒测试用例设计方法&理论联系实际-> 功能图法

    一. 概念 功能图由状态迁移图和布尔函数组成.状态迁移图用状态和迁移来描述.一个状态指出数据输入的位置(或时间),而迁移则指明状态的改变.同时要依靠判定表或因果图表示的逻辑功能.例,一个简化的自动出纳 ...

  9. python引用在函数传参时的体现以及可变与不可变对象的对比

    今天偶然看到 vamei 老师的博客 http://www.cnblogs.com/vamei/archive/2012/07/10/2582795.html 讲的是python动态类型以及引用的事儿 ...

  10. Zabbix探索:资产信息的妙用

    前一阵子还在考虑CMDB的问题,因此Zabbix中的Inventory,也就是所谓的资产信息,遭到了我的不少鄙视. 这几天在研究告警通知对应责任人的问题,突然想起Zabbix的资产信息中应该有这么一栏 ...