一、RabbitMQ实例介绍
RabbitMQ实例由华为云分布式消息服务(DMS)团队打造,实例采用物理隔离的方式部署,租户独占RabbitMQ实例。一键式部署,完全兼容开源RabbitMQ的使用方式,真正做到服务零改动快速迁移,大大节省维护和使用成本。

产品特点
1.一键式部署

用户只需要在实例管理界面点击申请按钮,提交订单。后台将自动创建部署完成一整套RabbitMQ实例。

2.即时可用

用户只要等待实例创建完成后即可正常访问使用。

3.业务零修改迁移

完全兼容开源的RabbitMQ使用方式。使用开源RabbitMQ客户端进行生产消费的业务将不再需要任何业务逻辑改动。

4.独占式体验

创建的每个RabbitMQ实例之间相互隔离,互不影响。

5.多种规格可选

可提供多种不同的规格,满足用户不同需求,用户可自行选择适合自己的规格。

6.无忧运维

无需关注服务的运行维护,可节省大量服务维护的费用。

二、Kafka专享实例

Kafka专享实例介绍

Kafka专享版由华为云分布式消息服务(DMS)团队打造,旨在为用户提供更加便捷高效的消息队列使用方式。一键式部署,完全兼容开源Kafka的使用方式,真正做到服务零改动快速迁移,大大节省维护和使用成本。

产品特点
1.一键式部署

用户只需要在实例管理界面点击申请按钮,提交订单。后台将自动创建部署完成一整套Kafka实例。

2.业务零修改迁移

完全兼容开源的Kafka使用方式。使用开源Kafka客户端进行生产消费的业务将不再需要任何业务逻辑改动。

3.独占式体验

创建的每个Kafka实例之间资源相互隔离,互不影响。

4.即用即创,即停即删

提供按需付费的方式,按小时收费。实例不需要时,则可直接删除释放。

5.多种规格可选

可提供多种不同的规格,满足用户不同需求,用户可自行选择适合自己的规格。

6.无忧运维

无需关注服务的运行维护,可节省大量服务维护的费用。

Kafka专享实例规格说明

Kafka专享版完全兼容开源Kafka1.1.0,实例规格以实例提供的基准带宽分类,包括100MB/300MB/600MB/1200MB共4种类型。

指标参考
Kafka实例不同带宽类型的TPS与分区数限制

实例带宽类型

I/O类型

TPS(高吞吐场景)

TPS(同步复制场景)

分区数上限

100MB

高I/O

10万

6万

300

超高I/O

10万

8万

300

300MB

高I/O

30万

15万

900

超高I/O

30万

20万

900

600MB

超高I/O

60万

30万

1800

1200MB

超高I/O

120万

40万

1800

Kafka实例的网络带宽指单向(读或写)最大带宽。一般建议选择带宽时建议预留30%,确保您的应用运行更稳定。

100MB

kafka客户端链接数在3,000以内,消费组个数在60个以内,业务流量为70M以内时推荐选用。

300MB

kafka客户端链接数在10,000以内,消费组个数在300个以内,业务流量为210M以内时推荐选用。

600MB

kafka客户端链接数在20,000以内,消费组个数在600个以内,业务流量为420M以内时推荐选用。

1200MB

kafka客户端链接数在20,000以内,消费组个数在600个以内,业务流量为840M以内时推荐选用。

Kafka专享版支持多副本存储,副本数量为1~3。存储空间包含所有副本存储空间总和,因此,您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估以及副本数量选择合适的存储空间。

例如:业务消息体积预估100GB,则磁盘容量最少应为100GB*副本数 + 预留磁盘大小100GB。

Kafka实例支持对存储进行扩容,根据业务增长,随时更改存储体积,节约成本。

三、应用场景

分布式消息服务可应用在多个领域,包括异步通信解耦、企业解决方案、金融支付、电信、电子商务、快递物流、广告营销、社交、即时通信、手游、视频、物联网、车联网等。

分布式消息服务可以应用但不局限于以下业务场景:

业务解耦

将业务中依赖其他系统同时属于非核心或不重要的部分使用消息通知即可,无需同步等待其他系统的处理结果。如电商网             站在促销期间抢购订单,抢到的商品订单信息放入消息队列,出库、发货等后续会从队列里读取任务信息然后执行。

最终一致性

在交易或支付系统中,不同的子系统/模块的状态需要最终保持一致,或都成功或都失败。子系统/模块之间传递的数据不             能丢失,需要有可靠消息传递,能保证业务的连续性。DMS可以用于子系统/模块间的高可靠数据传递,实现两者之间的               事务最终一致,降低实现难度和成本。

例如用户使用储蓄余额购买理财产品。由于理财系统一般对理财申购交易采用日终统一处理,允许用户的储蓄余额与理财             系统资金余额存在一定时间段的不一致,或者说中间状态,因此,可以对理财产品的购买支付流程使用DMS服务的消息               处理机制,保证储蓄余额与理财余额的最终一致,同时避免系统间对账不平。

错峰流控

在电子商务系统或大型网站中,上下游系统处理能力存在差异,处理能力高的上游系统的突发流量可能会对处理能力低的             某些下游系统造成冲击,需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以             通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时候再处理,避免下游订阅系统因突发流量崩溃。消息          队列提供亿级消息堆积能力,3天的保留时长,消息消费系统可以错峰进行消息处理。

日志同步

应用通过可靠异步方式将日志消息同步到消息服务,再通过其他组件对日志做实时或离线分析,也可用于关键日志信息收            集进行应用监控。

四、与其他服务的关系
云审计服务

云审计服务(Cloud Trace Service,简称CTS),为您提供云服务资源的操作记录,记录内容包括您从公有云管理控制台或者开放API发起的的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。
当前CTS记录DMS的操作有:
创建实例
删除实例
虚拟私有云
分布式消息服务的RabbitMQ实例和Kafka专享版实例运行于虚拟私有云,需要使用虚拟私有云创建的IP和带宽。通过虚拟私有云安全组的功能可以增强访问分布式消息服务RabbitMQ实例和Kafka专享版实例的安全性。
云监控(Cloud Eye)云监控是一个开放性的监控平台,提供资源的实时监控、告警、通知等服务。

DMS服务向Cloud Eye上报监控数据的更新周期为1分钟。

五、基本概念
DMS向用户提供服务的最小资源单位。

当前支持RabbitMQ实例和Kafka实例,不同的实例支持不同的规格。

针对RabbitMQ实例,可以为其绑定一个弹性公网IP地址,客户端通过公网IP进行访问。

指允许DMS产品服务团队为实例进行升级维护的时间段。

DMS对实例升级维护频率较低,一般每季度一次。虽然频率低,且升级过程不会影响业务,但建议您选择业务量较少的               时间段作为维护时间窗。

在创建实例时,都会要求设置一个维护时间窗,您也可以在实例创建后,对维护时间窗进行修改。

将RabbitMQ和Kafka集群实例部署在不同的AZ(可用区域)内,节点间电力与网络均物理隔离。您可以将应用程序也进               行跨AZ部署,从而达到数据与应用全部高可用。

在创建RabbitMQ和Kafka集群实例时,在“可用区”中可选择3个及以上可用区。

本文内容来自华为云帮助中心

RabbitMQ和Kafka,更加便捷高效的消息队列使用方式,请放心食用的更多相关文章

  1. 深入剖析 RabbitMQ —— Spring 框架下实现 AMQP 高级消息队列协议

    前言 消息队列在现今数据量超大,并发量超高的系统中是十分常用的.本文将会对现时最常用到的几款消息队列框架 ActiveMQ.RabbitMQ.Kafka 进行分析对比.详细介绍 RabbitMQ 在 ...

  2. 深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列

    消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题.实现高性能,高可用,可伸缩和最终一致性架构,是大型分布式系统不可缺少的中间件. 本场 Chat 主要内容: Kafk ...

  3. Kafka 和 ZooKeeper 的分布式消息队列分析

    1. Kafka 总体架构 基于 Kafka-ZooKeeper 的分布式消息队列系统总体架构如下: 如上图所示,一个典型的 Kafka 体系架构包括若干 Producer(消息生产者),若干 bro ...

  4. 用过消息队列?Kafka?能否手写一个消息队列?懵

    是否有同样的经历?面试官问你做过啥项目,我一顿胡侃,项目利用到了消息队列,kafka,rocketMQ等等. 好的,那请开始你的表演,面试官递过一支笔:给我手写一个消息队列!!WHAT? 为了大家遇到 ...

  5. 为什么要使用 kafka,为什么要使用消息队列?

    缓冲和削峰:上游数据时有突发流量,下游可能扛不住,或者下游没有足够多的机器来保证冗余,kafka在中间可以起到一个缓冲的作用,把消息暂存在kafka中,下游服务就可以按照自己的节奏进行慢慢处理. 解耦 ...

  6. Service Broker 消息队列的方式实现数据同步

    SQL Server 2008中SQL应用系列--目录索引 导读:本文主要涉及Service Broker的基本概念及建立一个Service Broker应用程序的基本步骤. 一.前言: Servic ...

  7. 大数据安装之Kafka(用于实时处理的消息队列)

    一.安装部署kafka 1.集群规划 hadoop102                                 hadoop103                          hado ...

  8. RabbitMQ 和 Kafka 的消息可靠性对比

    RabbitMQ和Kafka都提供持久的消息保证.两者都提供至少一次和至多一次的保证,另外,Kafka在某些限定情况下可以提供精确的一次(exactly-once)保证. 让我们首先理解一下上述术语的 ...

  9. RabbitMQ,RocketMQ,Kafka 几种消息队列的对比

    常用的几款消息队列的对比 前言 RabbitMQ 优点 缺点 RocketMQ 优点 缺点 Kafka 优点 缺点 如何选择合适的消息队列 参考 常用的几款消息队列的对比 前言 消息队列的作用: 1. ...

随机推荐

  1. TensorFlow函数(七)tf.argmax()

    tf.argmax(input, dimension, name=None) 参数: input:输入数据 dimension:按某维度查找. dimension=0:按列查找: dimension= ...

  2. C++标准转换运算符dynamic_cast

    dynamic_cast <new_type> (expression) dynamic_cast运算符,应该算是四个里面最特殊的一个,因为它涉及到编译器的属性设置,而且牵扯到的面向对象的 ...

  3. Log4J日志配置与Juit测试

    一.Log4j简介 Log4j有三个主要的组件:Loggers(记录器).Appenders(输出源)和Layouts(布局). 这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出.综合使 ...

  4. block本质探寻一之内存结构

    一.代码——命令行模式 //main.m #import <Foundation/Foundation.h> struct __block_impl { void *isa; int Fl ...

  5. JS基础-组成

    类型 前缀 类型 实例 数组 a Array aItems 布尔值 b Boolean bIsComplete 浮点数 f Float fPrice 函数 fn Function fnHandler ...

  6. C++练习 | 计算两日期之间天数差

    #include<iostream> #include<string> #include<cstring> using namespace std; class D ...

  7. 2018-11-26 BIG DATA ANALYSIS

  8. nor flash启动与nand flash启动的区别

    1)接口区别:NOR FLASH地址线和数据线分开,来了地址和控制信号,数据就出来.NAND Flash地址线和数据线在一起,需要用程序来控制,才能出数据.通俗的说,就是光给地址不行,要先命令,再给地 ...

  9. NRF52832初步使用

    开发环境搭建 开发环境涉及到协议栈SDK版本.keil PACK版本的匹配问题,目前测试通过的环境如下: windows系统:win10 硬件:NRF52832测试板.JLINK-V8仿真器 Keil ...

  10. 实际项目开发过程中常用C语言函数的9大用法

    C语言是当中最广泛的计算机编程语言,是所有计算机编程语言的祖先,其他计算机编程语言包括当前流行的Java语言,都是用C语言实现的,C语言是编程效率最高的计算机语言,既能完成上层应用开发,也能完成底层硬 ...