StringBoot集成Rabbit Redis和ack机制双重保险,保障消息一定能够正确的消费
转: StringBoot集成Rabbit,根据业务返回ACK
为了维护消息的有效性,当消费消息时候处理失败时候,不进行消费,需要我们根据业务区返回ACK,本项目我使用Redis和ack机制双重保险,保障消息一定能够正确的消费
首先,接着上部分内容,使用Topic,机制(不明白的,可以回顾上部分内容)
上部分内容,我们使用SpringBoot注解,去实现,但是控制权不完全账务,当进行大规模项目时候,不太建议使用
@RabbitListener(queues = TopicRabbitConfig.USER_QUEUE)
@RabbitHandler
public void processUser(String message) {
threadPool.execute(new Runnable() {
@Override
public void run() {
logger.info("用户侧流水:{}",message);
}
});
}
根据源码分析,当然这里不分析源码,有兴趣的可以多失败几次就ok明白了
在配置类中定义监听器,监听这个序列(
AcknowledgeMode.MANUAL
是必须的哦)
/**
* 接受消息的监听,这个监听客户交易流水的消息
* 针对消费者配置
* @return
*/
@Bean
public SimpleMessageListenerContainer messageContainer1(ConnectionFactory connectionFactory, TransactionConsumeImpl transactionConsume) {
SimpleMessageListenerContainer container = new SimpleMessageListenerContainer(connectionFactory);
container.setQueues(queueMessage());
container.setExposeListenerChannel(true);
container.setMaxConcurrentConsumers(1);
container.setConcurrentConsumers(1);
container.setAcknowledgeMode(AcknowledgeMode.MANUAL); //设置确认模式手工确认
container.setMessageListener(transactionConsume);
return container;
}
这个 TransactionConsumeImpl
要继承ChannelAwareMessageListener
,主要说的手动返回ACK就是channel。调用
@Component
public class TransactionConsumeImpl implements ChannelAwareMessageListener {
private static final Logger logger = LoggerFactory.getLogger(TransactionConsumeImpl.class);
private static final Gson gson = new Gson();
@Autowired
JedisShardInfo jedisShardInfo;
@Autowired
ExecutorService threadPool;
@Autowired
BoluomeFlowService boluomeFlowService;
@Override
public void onMessage(Message message, Channel channel) throws Exception {
String boby = new String(message.getBody(), "utf-8");//转换消息,我们是使用json数据格式
threadPool.execute(new Runnable() { //多线程处理
@Override
public void run() {
Jedis jedis = jedisShardInfo.createResource();
jedis.sadd(TopicRabbitConfig.TRANSACTION_QUEUE, boby);//添加到key为当前消息类型的集合里面,防止丢失消息
BoluomeFlow flow = gson.fromJson(boby, BoluomeFlow.class);
String json = gson.toJson(flow);
if (boluomeFlowService.insert(flow)) { //当添加成功时候返回成功
logger.info("客户交易流水添加1条记录:{}", json);
jedis.srem(TopicRabbitConfig.TRANSACTION_QUEUE, boby);//从当前消息类型集合中移除已经消费过的消息
try {
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);//手工返回ACK,通知此消息已经争取消费
} catch (IOException ie) {
logger.error("消费成功回调成功,io操作异常");
}
} else {
logger.info("客户交易流水添加失败记录:{}", json);
}
}
});
}
}
channel.basicAck(message.getMessageProperties().getDeliveryTag(), false); // 消息的标识,false只确认当前一个消息收到,true确认所有consumer获得的消息
channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, true); // ack返回false,并重新回到队列,api里面解释得很清楚
- channel.basicReject(message.getMessageProperties().getDeliveryTag(), true); // 拒绝消息
- true 发送给下一个消费者
- false 谁都不接受,从队列中删除
Rabbitmq进阶
)))); factory.setAcknowledgeMode(AcknowledgeMode.MANUAL); return factory; } //消费者配置 @RabbitListener 和 @Bean SimpleMessageListenerContainer 方式 /** * 针对消费者配置 * 方式一 每一个Queue 对应一个SimpleMessageListenerContainer * 指定消息接受监听器 MessageListener implements ChannelAwareMessageListener 接口 自己实现onMessage方法 * * 作用: 接受消息的监听,这个监听指定Queue(payQueue)客户交易流水的消息 * @return */ /* @Bean public SimpleMessageListenerContainer simpleMessageListenerContainer(ConnectionFactory connectionFactory) { SimpleMessageListenerContainer container = new SimpleMessageListenerContainer(connectionFactory); container.setQueues(payQueue()); container.setExposeListenerChannel(true); container.setMaxConcurrentConsumers(1); container.setConcurrentConsumers(1); //设置确认模式手工确认 //设置ack方式为手动,增加对应队列的监听器。acknowledge="manual" 则开启ack机制 container.setAcknowledgeMode(AcknowledgeMode.MANUAL); container.setMessageListener(transactionConsumer); return container; } */ /** * 方式二 @RabbitListener * SimpleRabbitListenerContainerFactory 可以生成 RabbitListenerContainer */ //factory.setAcknowledgeMode(AcknowledgeMode.AUTO); // 自动响应时 简单配置即可 不需要手动确认是否消费 @RabbitListener(queues = "payQueue") public void displayMail(Mail mail) throws Exception { System.out.println("队列监听器1号收到消息"+mail.toString()); } //factory.setAcknowledgeMode(AcknowledgeMode.MANUAL); //需要手动确认消息是否消费时 这样处理 @RabbitListener(queues = "payQueue") public void process(@Payload Mail mail, @Header(AmqpHeaders.DELIVERY_TAG) long deliveryTag, Channel channel)throws Exception{ logger.info("rabbit receiver message:{}",mail); try { channel.basicAck(deliveryTag, false); }catch (Exception e){ logger.error("process message error: {}",e); } } }
方式二 的消息接受MessageListener 实现类 TransactionConsumerImpl
import com.alibaba.fastjson.JSONObject;import com.rabbitmq.client.Channel;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.amqp.core.Message;import org.springframework.amqp.rabbit.core.ChannelAwareMessageListener;import org.springframework.amqp.support.converter.SimpleMessageConverter;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.stereotype.Service;import po.Mail; import java.io.IOException;import java.util.concurrent.ExecutorService; @Service("transactionConsumerImpl")public class TransactionConsumerImpl implements ChannelAwareMessageListener { private static final Logger logger = LoggerFactory.getLogger(TransactionConsumerImpl.class); private SimpleMessageConverter converter = new SimpleMessageConverter(); @Autowired ExecutorService threadPool; // @Autowired //BoluomeFlowService boluomeFlowService; //只有在消息处理成功后发送ack确认,或失败后发送nack使信息重新投递 public void onMessage(final Message message, final Channel channel) throws Exception { final String boby = new String(message.getBody(), "utf-8");//转换消息,我们是使用json数据格式 Object msg = converter.fromMessage(message); // todo mail chuli System.out.println(JSONObject.toJSONString(msg)); try { //手工返回ACK,通知此消息已经争取消费 channel.basicAck(message.getMessageProperties().getDeliveryTag(), false); } catch (IOException e1) { e1.printStackTrace(); System.out.println("消息已重复处理失败,拒绝再次接收 失败..."); } /* threadPool.execute(new Runnable() { //多线程处理 public void run() { Jedis jedis = jedisShardInfo.createResource(); jedis.sadd(TopicRabbitConfig.TRANSACTION_QUEUE, boby);//添加到key为当前消息类型的集合里面,防止丢失消息 BoluomeFlow flow = gson.fromJson(boby, BoluomeFlow.class); String json = gson.toJson(flow); if (boluomeFlowService.insert(flow)) { //当添加成功时候返回成功 logger.info("客户交易流水添加1条记录:{}", json); jedis.srem(TopicRabbitConfig.TRANSACTION_QUEUE, boby);//从当前消息类型集合中移除已经消费过的消息 try { channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);//手工返回ACK,通知此消息已经争取消费 } catch (IOException ie) { logger.error("消费成功回调成功,io操作异常"); } } else { logger.info("客户交易流水添加失败记录:{}", json); } try { System.out.println("consumer--:" + message.getMessageProperties() + ":" + new String(message.getBody())); // deliveryTag是消息传送的次数,我这里是为了让消息队列的第一个消息到达的时候抛出异常,处理异常让消息重新回到队列,然后再次抛出异常,处理异常拒绝让消息重回队列 if (message.getMessageProperties().getDeliveryTag() == 1 || message.getMessageProperties().getDeliveryTag() == 2) { throw new Exception(); } channel.basicAck(message.getMessageProperties().getDeliveryTag(), false); // false只确认当前一个消息收到,true确认所有consumer获得的消息 } catch (Exception e){ e.printStackTrace(); if (message.getMessageProperties().getRedelivered()) { System.out.println("消息已重复处理失败,拒绝再次接收..."); try { channel.basicReject(message.getMessageProperties().getDeliveryTag(), true); // 拒绝消息 } catch (IOException e1) { e1.printStackTrace(); System.out.println("消息已重复处理失败,拒绝再次接收 失败..."); } } else { System.out.println("消息即将再次返回队列处理..."); try { channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, true); // requeue为是否重新回到队列 } catch (IOException e1) { e1.printStackTrace(); System.out.println("requeue为是否重新回到队列 失败..."); } } } } });*/ }}
本地测试代码地址: xxx
StringBoot集成Rabbit Redis和ack机制双重保险,保障消息一定能够正确的消费的更多相关文章
- (35)Spring Boot集成Redis实现缓存机制【从零开始学Spring Boot】
[本文章是否对你有用以及是否有好的建议,请留言] 本文章牵涉到的技术点比较多:Spring Data JPA.Redis.Spring MVC,Spirng Cache,所以在看这篇文章的时候,需要对 ...
- Spring Boot从入门到精通(六)集成Redis实现缓存机制
Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言 ...
- RabbitMq + Spring 实现ACK机制
概念性解读(Ack的灵活) 首先啊,有的人不是太理解这个Ack是什么,讲的接地气一点,其实就是一个通知,怎么说呢,当我监听消费者,正常情况下,不会出异常,但是如果是出现了异常,甚至是没有获取的异常,那 ...
- Storm的ack机制在项目应用中的坑
正在学习storm的大兄弟们,我又来传道授业解惑了,是不是觉得自己会用ack了.好吧,那就让我开始啪啪打你们脸吧. 先说一下ACK机制: 为了保证数据能正确的被处理, 对于spout产生的每一个tup ...
- Spring boot集成Rabbit MQ使用初体验
Spring boot集成Rabbit MQ使用初体验 1.rabbit mq基本特性 首先介绍一下rabbitMQ的几个特性 Asynchronous Messaging Supports mult ...
- RabbitMQ的消息确认ACK机制
1.什么是消息确认ACK. 答:如果在处理消息的过程中,消费者的服务器在处理消息的时候出现异常,那么可能这条正在处理的消息就没有完成消息消费,数据就会丢失.为了确保数据不会丢失,RabbitMQ支持消 ...
- Redis键通知机制
Redis键通知机制 一.概念 自从redis2.8.0以后出了一个新特性,Keyspace Notifications 称为“键空间通知”. 这个特性大概是,凡是实现了Redis的Pub/Sub的客 ...
- Redis的主从复制与Redis Sentinel哨兵机制
1 Redis的主从复制 1.1 什么是主从复制 持久化保证了即使redis服务重启也不会丢失数据,因为redis服务重启后会将硬盘上持久化的数据恢复到内存中,但是当redis服务器的硬盘损 ...
- kafkaspot在ack机制下如何保证内存不溢
新浪微博:intsmaze刘洋洋哥. storm框架中的kafkaspout类实现的是BaseRichSpout,它里面已经重写了fail和ack方法,所以我们的bolt必须实现ack机制,就可以 ...
随机推荐
- bootstrap——强大的网页设计元素模板
本文介绍一个网页设计工具——bootstrap,它包含了很多华丽的按钮及排版,我们可以在网页设计中直接使用它,尤其是加入我们只是想简单的使用一下的话,将会是一个不错的选择,下面是几张examples, ...
- 批量删除SQL数据库中的所有表【笔记】
use OTRJiraDB GO ) begin SELECT @sql='drop table ' + name FROM sysobjects WHERE (type = 'U') ORDER B ...
- JAVA WEB 解决编码问题的filter
最近使用Springmvc,GET传输参数的时候,经常出错误,下面介绍添加一个Filter的方法,可以解决这个问题.既支持POST方式也支持GET方式. 首先写一个Filter package com ...
- http2.0 特性
1.HTTP 2.0将只用于https://网址,而 http://网址将继续使用HTTP/1. 查看http协议(chrome F12) 2.异步连接多路复用 HTTP2.0 把消息分解为独立帧,交 ...
- HTTPS与HTTP协议区别
1.主要区别 (1)超文本传输协议HTTP,HTTP下加入SSL层(位于传输层)的安全协议. (2)HTTP端口为80,HTTPS端口是443. 2.HTTPS通信过程 https 通信传输过程:
- psql 查询表大小
select schemaname,tablename,pg_relation_size(schemaname||'.'||tablename) as tabsize from pg_tables o ...
- The Builder pattern simulates named optional parameters(Java)
the Builder pattern is a good choice when designing classes whose constructors or static factories w ...
- Java通过在主循环中判断Boolean来停止线程
Java代码: package Threads; /** * Created by Frank */ public class StopBoolean extends Thread { // 确保变化 ...
- VREP中的力触觉设备接口(CHAI3D)
力反馈技术是一种新型的人机交互技术,它允许用户借助力反馈设备触碰.操纵计算机生成的虚拟环境中的物体,并感知物体的运动和相应的力反馈信息,实现人机力觉交互.虽然传统的鼠标.键盘.触摸屏等交互手段可以满足 ...
- python之模块copy,了解概念即可
# -*- coding: utf-8 -*- #python 27 #xiaodeng #python之模块copy,了解概念即可 import copy #浅拷贝 #copy拷贝一个对象,但是对象 ...