1 前言

Redis Standalone,Redis Cluster的安装在前面介绍过,地址:http://www.cnblogs.com/liuchangchun/p/5063477.html,这里不做介绍。

2 Redis的使用

针对各种编程语言,差不多都有Redis的驱动程序。针对Scala程序,在github上面有几个可用驱动:

scala-redis:https://github.com/liuchchc/scala-redis

rediscala:https://github.com/etaty/rediscala

jedis:https://github.com/liuchchc/jedis

我用的是jedis,感觉还是蛮好用的,支持Cluster

2.1 JedisSentinelPool方式

Standalone模式中,Cluster提供了哨兵用于监视Redis Server的运行状态,并选举出Master,这个模式中需要配置sentinel.conf,在这种模式下Jedis中如下使用

  val sentinelClusterName = "mymaster"

  val sentinelServerHostHS = new HashSet[String]
sentinelServerHostHS.add("192.168.1.103:26379")
sentinelServerHostHS.add("192.168.1.104:26379")
sentinelServerHostHS.add("192.168.1.105:26379")
sentinelServerHostHS.add("192.168.1.106:26379")
sentinelServerHostHS.add("192.168.1.107:26379")
sentinelServerHostHS.add("192.168.1.108:26379") // 如果赋值为-1,则表示不限制;如果pool已经分配了maxActive个jedis实例,则此时pool的状态为exhausted(耗尽),默认值是8。
val MAX_ACTIVE = -1;
// 控制一个pool最多有多少个状态为idle(空闲的)的jedis实例,默认值也是8。
val MAX_IDLE = -1;
// 等待可用连接的最大时间,单位毫秒,默认值为-1,表示永不超时。如果超过等待时间,则直接抛出JedisConnectionException;
val MAX_WAIT = -1;
// 超时时间,0永不超时
val TIMEOUT = 0; var poolConfig = new GenericObjectPoolConfig
poolConfig.setMaxTotal(MAX_ACTIVE)
poolConfig.setMaxIdle(MAX_IDLE)
poolConfig.setMaxWaitMillis(MAX_WAIT)
poolConfig.setTestOnBorrow(true)
poolConfig.setTestOnReturn(true) def getPoolConfig: GenericObjectPoolConfig = poolConfig
lazy val jedisSentinelPool = new JedisSentinelPool("mymaster", sentinelServerHostHS, poolConfig, TIMEOUT)
lazy val sentinelConnection = jedisShardedPool.getResource
// Redis 操作……
// Redis 操作完毕
sentinelConnection.close
jedisSentinelPool.destroy

2.2 ShardedJedisPool方式

  val shardsServerHostList = new ArrayList[JedisShardInfo]
val si1 = new JedisShardInfo("192.168.1.103", 6379)
val si2 = new JedisShardInfo("192.168.1.104", 6379)
val si3 = new JedisShardInfo("192.168.1.105", 6379)
val si4 = new JedisShardInfo("192.168.1.106", 6379)
val si5 = new JedisShardInfo("192.168.1.107", 6379)
val si6 = new JedisShardInfo("192.168.1.108", 6379) shardsServerHostList.add(si1)
shardsServerHostList.add(si2)
shardsServerHostList.add(si3)
shardsServerHostList.add(si4)
shardsServerHostList.add(si5)
shardsServerHostList.add(si6)
lazy val jedisShardedPool = new ShardedJedisPool(poolConfig, shardsServerHostList)
lazy val shardedConnection = jedisShardedPool.getResource
  // Redis 操作……
  // Redis 操作完毕
  shardedConnection.close
  jedisShardedPool.destroy

2.3 JedisCluster方式

在Redis Cluster模式中,我这里面是3 master,6 slave,HostAndPort只需要传1个,Redis会自己检测整个集群中有哪些Master和Slave。至于在添加数据时候数据存储到哪个集群中,用户层面不需要关心,读取数据也一样。

  val jedisClusterNodes = new java.util.HashSet[HostAndPort]()
jedisClusterNodes.add(new HostAndPort("192.168.1.100", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.101", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.103", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.104", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.105", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.106", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.107", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.108", 6379))
jedisClusterNodes.add(new HostAndPort("192.168.1.109", 6379))
// Redis 操作
lazy val jedisCluster = new JedisCluster(jedisClusterNodes)

3 使用场景

这里是Spark处理生物数据,因为中间结果比较多,所以加了一台Redis Server存储中间结果,总共1亿多条,3.5G左右,大概在分分钟就能存进去,所以Redis的性能还是杠杠滴,不过要批量写,读,否则也会慢的很。

4 参考文献:

4.1 http://my.oschina.net/zhuguowei/blog/411077

4.2 http://ju.outofmemory.cn/entry/141317

Ubuntu 15.10 下Scala 操作Redis Cluster的更多相关文章

  1. Ubuntu 15.10 下Redis Cluster使用

    1 Redis Standalone安装 可以参考这篇博文:http://www.cnblogs.com/_popc/p/3684835.html 2 Redis Cluster安装 2.1 环境介绍 ...

  2. Ubuntu 15.10 下Tachyon安装

    1 系统环境 Ubuntu 15.10, Java 1.7, Hadoop 2.6.0 HA, Spark-1.4.0 三台机器 spark-1423-0001: Master, Worker spa ...

  3. Ubuntu 15.10下的WebStorm-11.0.3完美破解

    由于最新的JetBrains 发布了最新版本的IntelliJ IDEA的各个版本,而且更换了注册机的使用方式,这就导致了之前对WebStorm的破解方法不能在使用了.所以我们就必须另寻他法咯.如题, ...

  4. Ubuntu 14.10 下Eclipse操作HBase

    环境介绍 64位Ubuntu14.10,Hadoop 2.5.0 ,HBase 0.99.0 准备环境 1 安装Hadoop 2.5.0,可参考http://www.cnblogs.com/liuch ...

  5. Ubuntu 15.10下droidbox安装使用

    DroidBox是一个动态分析Android代码的的分析工具.其目前的安装环境为:Linux/Unix/MacOSX 下面是安装步骤 一. 安装Android SDK 并添加环境变量 export P ...

  6. Ubuntu 15.10下Qt5的安装实战

    写照篇博客的目的就是因为最近要使用Qt,但是由于本人的系统是Ubuntu的,而网上大部分的讲解全是基于Windows的,所以就花费一些时间总结了一下我的安装过程,当然也是也为了能帮助到更多的博友. 第 ...

  7. 求助下 Ubuntu 15.10(64 位)下安装 pyspider 下的问题 - V2EX

    https://www.v2ex.com/t/279405 求助下 Ubuntu 15.10(64 位)下安装 pyspider 下的问题 - V2EX pip 更新到最新 sudo apt inst ...

  8. ubuntu 15.10 64bit 下 steam无法启动

    首先查看steam日志,在/tmp/dumps/下,以“用户名_output.txt”命名. $ cat /tmp/dumps/liuxu_output.txt Running Steam on ub ...

  9. Ubuntu 15.10 x64 安装 Android SDK

    操作系统:Ubuntu 15.10 x64 目标:安装 Android SDK 本文最后更新时间:2015-11-3 安装32位库文件 2013年9月的iPhone 5s是第一款64位手机,而Andr ...

随机推荐

  1. Java程序心得体会

    学习Java是一件快乐的事情,刚开始学习的时候还有点难,后来慢慢熟悉了Java的程序操作,在错误中获得技巧,一次又一次的失败,让我对Java产生了兴趣,现在对Java既陌生又熟悉,我相信我会喜欢上Ja ...

  2. [转载] Fiddler为所欲为第二篇 像OD一样调试 [二]

    首先,如果大家没有看过第一篇,可以先看看第一篇,了解Fiddler script的脚本哦.传送门:https://www.52pojie.cn/thread-854434-1-1.html 导语:其实 ...

  3. 201771010141 周强《面向对象程序设计(java)》第十三周学习总结

    实验目的与要求 (1) 掌握事件处理的基本原理,理解其用途: (2) 掌握AWT事件模型的工作机制: (3) 掌握事件处理的基本编程模型: (4) 了解GUI界面组件观感设置方法: (5) 掌握Win ...

  4. 日志管理中获取浏览器、操作系统、IP等信息。。。

    今天在书写日志管理的模块的时候,遇到了一些问题,首先是日志的添加,就是在登录的时候记下他登录的名字以及登录的时间和登录的一些信息给存入到日志表中,这一下给蒙了,于是就查找资源,在这里我就简单地总结一下 ...

  5. jsonModel使用

    流弊的JSON数据模型框架 https://github.com/jsonmodel/jsonmodel 版本 1.3.0 如果你喜欢JSONModel,并且使用了它,请你: star一下 给我一些反 ...

  6. imeiimsi生成规则

    添加SMI 和 IMSI修改  添加模拟器名修改(MEmu_ 修改成其他的名字,不支持批量修改)   IMSI第十位:7代表是145卡,6代表186卡,3代表156,0代表130,其他的可以自己找 预 ...

  7. two pointers

    two pointers是算法编程中一种非常重要的思想,但是很少会有教材单独拿出来将,其中一个原因是它更倾向于是一种编程技巧,而长得不太像是一个是“算法”的模样.two pointers的思想十分简介 ...

  8. CentOS 7 下安装 Nginx

    安装所需环境 Nginx 是 C语言 开发,建议在 Linux 上运行,当然,也可以安装 Windows 版本,本篇则使用 CentOS 7 作为安装环境. 一. gcc 安装安装 nginx 需要先 ...

  9. maya模板lock工具

    #lockTemple import  maya.cmds  as  mcimport stringif  mc.window('LockWin',ex=1)==1:    mc.deleteUI(' ...

  10. LDAP&it's usage

    LDAP: 的英文全称是Lightweight Directory Access Protocol,简称为LDAP.LDAP是轻量目录访问协议[1],它是基于X.500标准的,但是简单多了并且可以根据 ...