golang实现rabbitmq消息队列失败尝试
在工作中发现,有些时候消息因为某些原因在消费一次后,如果消息失败,这时候不ack,消息就回一直重回队列首部,造成消息拥堵。
如是有了如下思路:
消息进入队列前,header默认有参数 retry_num=0 表示尝试次数;
消费者在消费时候的,如果消息失败,就把消息插入另外一个队列(队列abc);该队列abc 绑定一个死信队列(原始消费的队列),这样形成一个回路;
当消息失败后,消息就进入队列abc,队列abc拥有ttl过期时间,ttl过期时间到了后,该消息进入死信队列(死信队列刚好是刚开始我们消费的队列);
这样消息就又回到原始消费队列尾部了;
最后可以通过队列消息头部的header参数retry_num 可以控制消息消费多少次后,直接插入db日志;
db日志可以记录交换机 路由,queuename,这样,可以做一个后台管理,可以手动一次把消息重新放入队列,进行消息(因为有时间消费队列里面可能在请求其它服务,其它服务也可能会挂掉)
这时候消息无论你消费多少次都没有用,但是入库db后,可以一键重回队列消息(当我们知道服务已经正常后)
图解:
附上代码
git clone https://github.com/sunlongv520/go-msgserver.git
package rabbitmq import (
"errors"
"fmt"
"github.com/streadway/amqp"
"sync"
"time"
) // 定义全局变量,指针类型
var mqConn *amqp.Connection
var mqChan *amqp.Channel // 定义生产者接口
type Producer interface {
MsgContent() string
} // 定义生产者接口
type RetryProducer interface {
MsgContent() string
} // 定义接收者接口
type Receiver interface {
Consumer([]byte) error
} // 定义RabbitMQ对象
type RabbitMQ struct {
connection *amqp.Connection
channel *amqp.Channel
dns string
queueName string // 队列名称
routingKey string // key名称
exchangeName string // 交换机名称
exchangeType string // 交换机类型
producerList []Producer
retryProducerList []RetryProducer
receiverList []Receiver
mu sync.RWMutex
wg sync.WaitGroup
} // 定义队列交换机对象
type QueueExchange struct {
QuName string // 队列名称
RtKey string // key值
ExName string // 交换机名称
ExType string // 交换机类型
Dns string //链接地址
} // 链接rabbitMQ
func (r *RabbitMQ)mqConnect() (err error){
//var err error
//RabbitUrl := fmt.Sprintf("amqp://%s:%s@%s:%d/", "guest", "guest", "192.168.2.232", 5672)
//mqConn, err = amqp.Dial(RabbitUrl)
mqConn, err = amqp.Dial(r.dns)
r.connection = mqConn // 赋值给RabbitMQ对象
if err != nil {
return err
//fmt.Printf("MQ打开链接失败:%s \n", err)
}
mqChan, err = mqConn.Channel()
r.channel = mqChan // 赋值给RabbitMQ对象
if err != nil {
return err
//fmt.Printf("MQ打开管道失败:%s \n", err)
}
return err
} // 关闭RabbitMQ连接
func (r *RabbitMQ)mqClose() {
// 先关闭管道,再关闭链接
err := r.channel.Close()
if err != nil {
fmt.Printf("MQ管道关闭失败:%s \n", err)
}
err = r.connection.Close()
if err != nil {
fmt.Printf("MQ链接关闭失败:%s \n", err)
}
} // 创建一个新的操作对象
func New(q *QueueExchange) *RabbitMQ {
return &RabbitMQ{
queueName:q.QuName,
routingKey:q.RtKey,
exchangeName: q.ExName,
exchangeType: q.ExType,
dns:q.Dns,
}
} // 启动RabbitMQ客户端,并初始化
func (r *RabbitMQ) Start() (err error){
// 开启监听生产者发送任务
for _, producer := range r.producerList {
err = r.listenProducer(producer)
} // 开启监听接收者接收任务
for _, receiver := range r.receiverList {
//r.listenReceiver(receiver)
r.wg.Add()
go func() {
err = r.listenReceiver(receiver)
}() }
r.wg.Wait()
time.Sleep(time.Microsecond*)
return err
} type SendRbmqPro struct {
msgContent string
} // 实现生产者
func (t *SendRbmqPro) MsgContent() string {
return t.msgContent
} // 注册发送指定队列指定路由的生产者
func (r *RabbitMQ) RegisterProducer(msg string) {
a := &SendRbmqPro{msgContent:msg}
a.MsgContent()
r.producerList = append(r.producerList, a)
} // 发送任务
func (r *RabbitMQ) listenProducer(producer Producer) (err error){
// 验证链接是否正常,否则重新链接
if r.channel == nil {
err = r.mqConnect()
if err !=nil {
return err
}
}
err = r.channel.ExchangeDeclare(r.exchangeName, r.exchangeType, true, false, false, false, nil)
if err != nil {
fmt.Printf("MQ注册交换机失败:%s \n", err)
} _, err = r.channel.QueueDeclare(r.queueName, true, false, false, false, nil)
if err != nil {
fmt.Printf("MQ注册队列失败:%s \n", err)
} // 队列绑定
err = r.channel.QueueBind(r.queueName, r.routingKey, r.exchangeName, true,nil)
if err != nil {
fmt.Printf("MQ绑定队列失败:%s \n", err)
} header := make(map[string]interface{},) header["retry_nums"] = int32() // 发送任务消息
err = r.channel.Publish(r.exchangeName, r.routingKey, false, false, amqp.Publishing{
ContentType: "text/plain",
Body: []byte(producer.MsgContent()),
Headers:header,
}) if err != nil {
fmt.Printf("MQ任务发送失败:%s \n", err)
}
return err
} func (r *RabbitMQ) listenRetryProducer(producer RetryProducer,retry_nums int32 ,args ...string) {
fmt.Println("消息处理失败,进入延时队列.....")
//defer r.mqClose()
// 验证链接是否正常,否则重新链接
if r.channel == nil {
r.mqConnect()
} err := r.channel.ExchangeDeclare(r.exchangeName, r.exchangeType, true, false, false, false, nil)
if err != nil {
fmt.Printf("MQ注册交换机失败:%s \n", err)
return
} //原始路由key
oldRoutingKey := args[]
//原始交换机名
oldExchangeName := args[] table := make(map[string]interface{},)
table["x-dead-letter-routing-key"] = oldRoutingKey
table["x-dead-letter-exchange"] = oldExchangeName table["x-message-ttl"] = int64() _, err = r.channel.QueueDeclare(r.queueName, true, false, false, false, table)
if err != nil {
fmt.Printf("MQ注册队列失败:%s \n", err)
return
} // 队列绑定
err = r.channel.QueueBind(r.queueName, r.routingKey, r.exchangeName, true,nil)
if err != nil {
fmt.Printf("MQ绑定队列失败:%s \n", err)
return
} header := make(map[string]interface{},) header["retry_nums"] = retry_nums + int32() // 发送任务消息
err = r.channel.Publish(r.exchangeName, r.routingKey, false, false, amqp.Publishing{
ContentType: "text/plain",
Body: []byte(producer.MsgContent()),
Headers:header,
}) if err != nil {
fmt.Printf("MQ任务发送失败:%s \n", err)
return
}
} // 注册接收指定队列指定路由的数据接收者
func (r *RabbitMQ) RegisterReceiver(receiver Receiver) {
r.mu.Lock()
r.receiverList = append(r.receiverList, receiver)
r.mu.Unlock()
} // 监听接收者接收任务 消费者
func (r *RabbitMQ) listenReceiver(receiver Receiver) (err error) {
// 处理结束关闭链接
defer r.mqClose()
defer r.wg.Done()
//defer
// 验证链接是否正常
if r.channel == nil {
err = r.mqConnect()
if err != nil{
return errors.New(fmt.Sprintf("MQ注册队列失败:%s \n", err))
}
}
// 用于检查队列是否存在,已经存在不需要重复声明
_, err = r.channel.QueueDeclare(r.queueName, true, false, false, false, nil)
if err != nil {
return errors.New(fmt.Sprintf("MQ注册队列失败:%s \n", err))
}
// 绑定任务
err = r.channel.QueueBind(r.queueName, r.routingKey, r.exchangeName, false, nil)
if err != nil {
return errors.New(fmt.Sprintf("绑定队列失败:%s \n", err))
}
// 获取消费通道,确保rabbitMQ一个一个发送消息
err = r.channel.Qos(, , false)
msgList, err := r.channel.Consume(r.queueName, "", false, false, false, false, nil)
if err != nil {
return errors.New(fmt.Sprintf("获取消费通道异常:%s \n", err))
}
for msg := range msgList { retry_nums,ok := msg.Headers["retry_nums"].(int32)
if(!ok){
retry_nums = int32()
}
// 处理数据
err := receiver.Consumer(msg.Body)
if err!=nil {
//消息处理失败 进入延时尝试机制
if retry_nums < {
r.retry_msg(msg.Body,retry_nums)
}else{
//消息失败 入库db
fmt.Printf("消息处理失败 入库db")
}
err = msg.Ack(true)
if err != nil {
return errors.New(fmt.Sprintf("确认消息未完成异常:%s \n", err))
}
}else {
// 确认消息,必须为false
err = msg.Ack(true) if err != nil {
return errors.New(fmt.Sprintf("确认消息完成异常:%s \n", err))
}
return err
}
}
return
} type retryPro struct {
msgContent string
} // 实现生产者
func (t *retryPro) MsgContent() string {
return t.msgContent
} //消息处理失败之后 延时尝试
func(r *RabbitMQ) retry_msg(Body []byte,retry_nums int32){
queueName := r.queueName+"_retry_3"
routingKey := r.queueName+"_retry_3"
exchangeName := r.exchangeName
queueExchange := &QueueExchange{
queueName,
routingKey,
exchangeName,
"direct",
r.dns,
}
mq := New(queueExchange)
msg := fmt.Sprintf("%s",Body)
t := &retryPro{
msg,
}
mq.listenRetryProducer(t,retry_nums,r.routingKey,exchangeName)
}
go-msgserver/utils/rabbitmq/receiver.go
package main import (
"fmt"
"github.com/ichunt2019/go-msgserver/utils/rabbitmq"
"time"
"errors"
) type RecvPro struct { } //// 实现消费者 消费消息失败 自动进入延时尝试 尝试3次之后入库db
func (t *RecvPro) Consumer(dataByte []byte) error {
fmt.Println(string(dataByte))
return errors.New("顶顶顶顶")
//return nil
} func main() { //消费者实现 下面接口即可
//type Receiver interface {
// Consumer([]byte) error
//}
t := &RecvPro{} queueExchange := &rabbitmq.QueueExchange{
"fengkong_static_count",
"fengkong_static_count",
"fengkong_exchange",
"direct",
"amqp://guest:guest@192.168.2.232:5672/",
}
for{ mq := rabbitmq.New(queueExchange)
mq.RegisterReceiver(t)
err :=mq.Start()
if err != nil{ fmt.Println(err)
}
time.Sleep(time.Second)
} }
demo-recv.go
package main import (
"fmt"
_ "fmt"
"github.com/ichunt2019/go-msgserver/utils/rabbitmq"
"strconv"
) func main() { queueExchange := &rabbitmq.QueueExchange{
"b_test_rabbit",
"b_test_rabbit",
"b_test_rabbit_mq",
"direct",
"amqp://guest:guest@192.168.2.232:5672/",
}
mq := rabbitmq.New(queueExchange)
for i := ;i<;i++{
mq.RegisterProducer("这是测试任务"+strconv.Itoa(i))
}
err := mq.Start()
if(err != nil){
fmt.Println("发送消息失败")
} }
demo-send.go
golang实现rabbitmq消息队列失败尝试的更多相关文章
- golang监听rabbitmq消息队列任务断线自动重连接
需求背景: goalng常驻内存任务脚本监听rbmq执行任务 任务脚本由supervisor来管理 当rabbitmq长时间断开连接会出现如下图 进程处于fatal状态 假如因为不可抗拒因素,rabb ...
- (转)RabbitMQ消息队列(七):适用于云计算集群的远程调用(RPC)
在云计算环境中,很多时候需要用它其他机器的计算资源,我们有可能会在接收到Message进行处理时,会把一部分计算任务分配到其他节点来完成.那么,RabbitMQ如何使用RPC呢?在本篇文章中,我们将会 ...
- RabbitMQ消息队列(七):适用于云计算集群的远程调用(RPC)
在云计算环境中,很多时候需要用它其他机器的计算资源,我们有可能会在接收到Message进行处理时,会把一部分计算任务分配到其他节点来完成.那么,RabbitMQ如何使用RPC呢?在本篇 ...
- RabbitMQ学习系列二:.net 环境下 C#代码使用 RabbitMQ 消息队列
一.理论: .net环境下,C#代码调用RabbitMQ消息队列,本文用easynetq开源的.net Rabbitmq api来实现. EasyNetQ 是一个易于使用的RabbitMQ的.Net客 ...
- RabbitMQ 消息队列 安装及使用
RabbitMQ 消息队列安装: linux版本:CentOS 7 安装第一步:先关闭防火墙 1.Centos7.x关闭防火墙 [root@rabbitmq /]# systemctl stop fi ...
- (五)RabbitMQ消息队列-安装amqp扩展并订阅/发布Demo(PHP版)
原文:(五)RabbitMQ消息队列-安装amqp扩展并订阅/发布Demo(PHP版) 本文将介绍在PHP中如何使用RabbitMQ来实现消息的订阅和发布.我使用的系统依然是Centos7,为了方便, ...
- C# .net 环境下使用rabbitmq消息队列
消息队列的地位越来越重要,几乎是面试的必问问题了,不会使用几种消息队列都显得尴尬,正好本文使用C#来带你认识rabbitmq消息队列 首先,我们要安装rabbitmq,当然,如果有现成的,也可以使用, ...
- 基于ASP.NET Core 5.0使用RabbitMQ消息队列实现事件总线(EventBus)
文章阅读请前先参考看一下 https://www.cnblogs.com/hudean/p/13858285.html 安装RabbitMQ消息队列软件与了解C#中如何使用RabbitMQ 和 htt ...
- RabbitMQ消息队列(一): Detailed Introduction 详细介绍
http://blog.csdn.net/anzhsoft/article/details/19563091 RabbitMQ消息队列(一): Detailed Introduction 详细介绍 ...
随机推荐
- Docker配置整理
目录: 以非root用户身份管理Docker 配置Docker以在启动时启动 配置Docker守护程序监听连接的位置 以非root用户身份管理Docker 默认情况下,Docker运行权限由用户roo ...
- 自定义segue的方向
花了挺久时间,终于通过google在stake overflow上找到了解决方式. 总结一下:重写一个custom的segue,在storyboard的右边设置segue为custom,并设置其对应的 ...
- java和Jvm目录
回到占占推荐博客索引 主要介绍java基础知识,非框架类及JVM相关的内容文章 java和Jvm目录 Java~关于开发工具和包包 Java~类,抽象类和接口 Java~时间戳小知识 Java~命名规 ...
- 暑期集训20190725 胜地不常(paradise)
[题目描述] 给定两个长度为n的非负整数数组a,b, [输入数据] 第一行一个整数n. 第二行n个整数a1~an. 第三行n个整数b1~bn. [输出数据] 一行一个整数表示答案. [样例输入] 4 ...
- mysql cpu使用率过高解决方法
mysql cpu使用率过高解决方法 1 mysql查看正在运行的语句 并且查看运行最多的mysql语句 MySQL 打开 general log 后,所有的查询语句都会记录在 general log ...
- 关于mysql驱动cj与不是cj的问题
1. 带cj的是mysql驱动6.0以上的,不带的是6.0以下的. 2.6.0以上的需要注意有时区纠正
- SAP HCM 评估路径
一.评估路径的配置方法: 1)IMG菜单路径:人事管理-〉组织管理-〉基本设置-〉维护评估路径: 2)首先定义评估路径的名称和描述,客户自定义的评估路径的名称编码可以采用字母数字编码,最大长度是八 ...
- 《计算机网络 自顶向下方法》 第8章 计算机网络中的安全 Part2
SSL(使 TCP 连接安全) SSL(Secure Socket Layer),即安全套接字层,是对 TCP 的强化 HTTPS 使用 SSL,而 HTTP 不使用 SSL 通过采用机密性.数据完整 ...
- SpringBoot 整合jdbc和mybatis
摘要 该文章主要为记录如何在SpringBoot项目中整合JDBC和MyBatis,在整合中我会使用简单的用法和测试用例,毕竟该文章目的是为了整合,而不是教大家如何去使用.希望大家多多包涵. 通用配置 ...
- centos6升级openssh至7.9
1.为了防止升级失败登陆不了,所以需要安装telnet mkdir /root/ssh_updateyum install -y telnet-serveryum install -y xinetd ...