Zookeeper应用之——队列(Queue)
为了在Zookeeper中实现分布式队列,首先需要设计一个znode来存放数据,这个节点叫做队列节点,我们的例子中这个节点是/zookeeper/queue
。 生产者向队列中存放数据,每一个消息都是队列节点下的一个新节点,叫做消息节点。消息节点的命名规则为:queue-xxx,xxx是一个单调 递增的序列,我们可以在创建节点时指定创建模式为PERSISTENT_SEQUENTIAL来实现。这样,生产者不断的向队列节点中发送消息,消息为queue-xxx, 队列中,生产者这一端就解决了,我们具体看一下代码:
Producer(生产者)
public class Producer implements Runnable,Watcher { private ZooKeeper zk; public Producer(String address){
try {
this.zk = new ZooKeeper(address,3000,this);
} catch (IOException e) {
e.printStackTrace();
}
} @Override
public void run() {
int i = 0;
//每隔10s向队列中放入数据
while (true){
try {
zk.create("/zookeeper/queue/queue-",(Thread.currentThread().getName()+"-"+i).getBytes(),
ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT_SEQUENTIAL);
Thread.sleep(10000);
i++;
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
} @Override
public void process(WatchedEvent event) {
}
}
生产者每隔10s向队列中存放消息,消息节点的类型为PERSISTENT_SEQUENTIAL,消息节点中的数据为Thread.currentThread().getName()+”-“+i。
消费者
消费者从队列节点中获取消息,我们使用getChildren()方法获取到队列节点中的所有消息,然后获取消息节点数据,消费消息,并删除消息节点。 如果getChildren()没有获取到数据,说明队列是空的,则消费者等待,然后再调用getChildren()方法设置观察者监听队列节点,队列节点发生变化后 (子节点改变),触发监听事件,唤起消费者。消费者实现如下:
public class Consumer implements Runnable,Watcher {
private ZooKeeper zk;
private List<String> children; public Consumer(String address){
try {
this.zk = new ZooKeeper(address,3000,this);
} catch (IOException e) {
e.printStackTrace();
}
} @Override
public void run() {
int i = 1;
while (true){
try {
//获取所有子节点
children = zk.getChildren("/zookeeper/queue", false);
int size = CollectionUtils.isEmpty(children) ? 0 : children.size();
System.out.println("第"+i+"次获取数据"+size+"条"); //队列中没有数据,设置观察器并等待
if (CollectionUtils.isEmpty(children)){
System.out.println("队列为空,消费者等待");
zk.getChildren("/zookeeper/queue", true);
synchronized (this){
wait();
}
}else {
//循环获取队列中消息,进行业务处理,并从结果集合中删除
Iterator<String> iterator = children.iterator();
while (iterator.hasNext()){
String childNode = iterator.next();
handleBusiness(childNode);
iterator.remove();
}
}
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
}
i++;
}
} /**
* 从节点获取数据,执行业务,并删除节点
* @param childNode
*/
private void handleBusiness(String childNode) {
try {
Stat stat = new Stat();
byte[] data = zk.getData("/zookeeper/queue/"+childNode, false, stat);
String str = new String(data);
System.out.println("获取节点数据:"+str);
zk.delete("/zookeeper/queue/"+childNode,-1);
} catch (KeeperException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
} } /**
* 子节点发生变化,且取得结果为空时,说明消费者等待,唤起消费者
* @param event
*/
@Override
public void process(WatchedEvent event) {
if (event.getType().equals(Event.EventType.NodeChildrenChanged)){
synchronized (this){
notify();
}
}
}
}
上面的例子中有一个局限性,就是 消费者只能有一个 。队列的用户有两个:广播和队列。
- 广播是所有消费者都拿到消息并消费,我们的例子在删除消息节点时,不能保证其他消费者都拿到了这个消息。
- 队列是一个消息只能被一个消费者消费,我们的例子中,消费者获取消息时,并没有加锁。
所以我们只启动一个消费者来演示,主函数如下:
public class Application { private static final String ADDRESS = "149.28.37.147:2181"; public static void main(String[] args) {
//设置日志级别
setLog(); //启动一个消费者
new Thread(new Consumer(ADDRESS)).start(); //启动4个生产者
ExecutorService es = Executors.newFixedThreadPool(4);
for (int i=0;i<4;i++){
es.execute(new Producer(ADDRESS));
}
es.shutdown(); } /**
* 设置log级别为Error
*/
public static void setLog(){
//1.logback
LoggerContext loggerContext = (LoggerContext) LoggerFactory.getILoggerFactory();
//获取应用中的所有logger实例
List<Logger> loggerList = loggerContext.getLoggerList(); //遍历更改每个logger实例的级别,可以通过http请求传递参数进行动态配置
for (ch.qos.logback.classic.Logger logger:loggerList){
logger.setLevel(Level.toLevel("ERROR"));
}
}
}
后台打印结果如下:
第1次获取数据2条
获取节点数据:pool-1-thread-4-118
获取节点数据:pool-1-thread-1-0
第2次获取数据3条
获取节点数据:pool-1-thread-4-0
获取节点数据:pool-1-thread-2-0
获取节点数据:pool-1-thread-3-0
第3次获取数据0条
队列为空,消费者等待
第4次获取数据4条
获取节点数据:pool-1-thread-3-1
获取节点数据:pool-1-thread-1-1
获取节点数据:pool-1-thread-4-1
获取节点数据:pool-1-thread-2-1
Zookeeper实现队列就介绍完了,项目地址:https://github.com/liubo-tech/zookeeper-application。
Zookeeper应用之——队列(Queue)的更多相关文章
- ZooKeeper实现分布式队列Queue
ZooKeeper实现分布式队列Queue 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务. 现在硬件越来 ...
- [转载] ZooKeeper实现分布式队列Queue
转载自http://blog.fens.me/zookeeper-queue/ 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户 ...
- Python进阶【第二篇】多线程、消息队列queue
1.Python多线程.多进程 目的提高并发 1.一个应用程序,可以有多进程和多线程 2.默认:单进程,单线程 3.单进程,多线程 IO操作,不占用CPU python的多线程:IO操作,多线程提供并 ...
- Java中的队列Queue,优先级队列PriorityQueue
队列Queue 在java5中新增加了java.util.Queue接口,用以支持队列的常见操作.该接口扩展了java.util.Collection接口. Queue使用时要尽量避免Collecti ...
- jquery 的队列queue
使用示列代码: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www ...
- Windows Azure Service Bus (2) 队列(Queue)入门
<Windows Azure Platform 系列文章目录> Service Bus 队列(Queue) Service Bus的Queue非常适合分布式应用.当使用Service Bu ...
- Windows Azure Service Bus (3) 队列(Queue) 使用VS2013开发Service Bus Queue
<Windows Azure Platform 系列文章目录> 在之前的Azure Service Bus中,我们已经介绍了Service Bus 队列(Queue)的基本概念. 在本章中 ...
- (C#)使用队列(Queue)解决简单的并发问题
(C#)使用队列(Queue)解决简单的并发问题 2015-07-16 13:04 13265人阅读 评论(8) 收藏 举报 分类: Asp.Net(8) 版权声明:本文为博主原创文章,未经博主允 ...
- STL中的单向队列queue
转载自:http://blog.csdn.net/morewindows/article/details/6950917 stl中的queue指单向队列,使用时,包含头文件<queue>. ...
- java09 队列Queue与Deque
队列Queue与Deque. Enumeration Hashtable与Hashtable子类Properties(资源配置文件) 引用类型(强.软.弱.虚)与WeakHashMap Identit ...
随机推荐
- 根据xlsx模板生成excel数据文件发送邮件代码
package mail; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcept ...
- 并发编程基础之volatile关键字的用法
一:概念 volatile关键字是一个轻量级的线程同步,它可以保证线程之间对于共享变量的同步,假设有两个线程a和b, 它们都可以访问一个成员变量,当a修改成员变量的值的时候,要保证b也能够取得成员变量 ...
- jQuery UI =>jquery-ui.js中sortable方法拖拽对象位置偏移问题
今天要处理sortable方法处理的对象,拖拽的时候,位置偏移的问题. 按理应该是鼠标在哪,对象就跟着在哪的 百度了一下问题,http://blog.csdn.net/samed/article/de ...
- fastadmin 使用记录
1.引用静态css文件 参考路径:D:\wwwroot\public\assets\addons\cms\css 静态资源文件基本都放在public目录下引用 引用实例 D:\wwwroot\addo ...
- 学习Vue 入门到实战——学习笔记
闲聊: 自从进了现在的公司,小颖就再没怎么接触vue了,最近不太忙,所以想再学习下vue,就看了看vue相关视频,顺便做个笔记嘻嘻. 视频地址:Vue 入门到实战1.Vue 入门到实战2 学习内容: ...
- 如何判断java对象是否为String数组
if (entry.getValue() instanceof String[]) {// ko .................... }
- Nestjs 设置静态文件,public
Docs: https://docs.nestjs.com/techniques/mvc main.js import { NestFactory } from '@nestjs/core'; imp ...
- hdu 4544——消灭兔子
游戏规则很简单,用箭杀死免子即可. 箭是一种消耗品,已知有M种不同类型的箭可以选择,并且每种箭都会对兔子造成伤害,对应的伤害值分别为Di(1 <= i <= M),每种箭需要一定的QQ币 ...
- Nginx打卡
Nginx打卡 此括号中的是干货 [ 直接说最关心的事:如何去掉访问路径的端口号? 答案:使用Nginx啊 具体安装还需看底下啰嗦的东东,安装OK且完美启动的同学,server proxy_pass ...
- GCD与LCM
求最大公约数(GCD)和求最小公倍数(LCM): 首先是求最大公约数,我们可以利用辗转相除法来求 1 int gcd(int a,int b) 2 { 3 if(b==0) 4 return a; 5 ...