1、MQ场景
    1)订单异步解耦
    2)解决分布式事务问题
    3)应用于聊天平台
    4)大规模机器的Cache同步
    5)MySQL BinLog订阅数据分发
2、ONS应用场景
    异步、解耦、最终一致、并行
3、设计假定
    1)每台PC机器都可能down机不可服务
    2)任意集群都可能处理能力不足
    3)最坏情况一定会发生
    4)内网环境需要低延迟来提供你最佳用户体验
4、关键设计
    1)分布式集群化
        a、理论上无限处理能力
        b、集群级别高可用
    2)强数据安全
        a、单机磁盘级别冗余
        b、单组多队列级别冗余
        c、多组消息队列冗余
    3)海量数据堆积
        a、推模式:订阅者逻辑简单
        b、拉模式:关注吞吐量,快
        c、推拉结合:队列通知消费者,消费者去拉取(两次交互)
        d、阿里采用长连接和轮询:轮询去拉,有则拉取,无则保持长连接等待,直到有消息
    4)毫秒级投递延迟
5、关键概念
    1)Topic:第一级消息类型,主标题
    2)Tug:第二级消息类型,分标题
    3)发送组:生产者所在集群
    4)订阅组:消费者所在集群
    5)RocketMQ不是一对一,也不是一对多,是随机一对一
    6)网络三种状态:成功、失败、没响应
6、消息乱序问题:Message服务器不处理,恰好不需要解决
    1)发送时对消息进行编号
    2)一组消息只有唯一一个订阅者处理(sharding)
    3)一组消息的数量(即“锁的颗粒度”)越小越好
7、消息重复问题
    1)重复原因:网络不可达
    2)幂等:某个操作无论重复多少次,结果都一样(不需要解决,性能极高)
    3)非幂等,去重
        a、保证有个唯一ID标记每一条消息;
        b、保证消息处理成功与去重表日志同时出现
    4)去重代价:额外的tps和qps
8、事务的分布式优化
    1)事务1-->MQ Server-->事务2
    2)同时成功,同时失败:
        a、发消息;
        b、执行事务1;
        c、确认消息发送;
        d、投递消息到消费者
    3)处理超时问题(重复):事务2增加消息确认表(去重表)
    4)消息失败(事务2失败):记录后人工处理(小概率事件)
---------------------
作者:猴子哥哥1024
来源:CSDN
原文:https://blog.csdn.net/qq_21033663/article/details/73379103
版权声明:本文为博主原创文章,转载请附上博文链接!

阿里分布式开放消息服务(ONS)原理与实践——笔记整理的更多相关文章

  1. 分布式开放消息系统(RocketMQ)的原理与实践(转)

    转自:http://www.jianshu.com/p/453c6e7ff81c 分布式消息系统作为实现分布式系统可扩展.可伸缩性的关键组件,需要具有高吞吐量.高可用等特点.而谈到消息系统的设计,就回 ...

  2. 开个坑, 写个阿里云开放储存服务(OSS)的C++版SDK以及客户端

    这应该是继我研究手册QQ协议后的第2个稍微正式一点的网络程序, 不只是Scoket套接字编程, 还涉及到更多的HTTP协议知识! 阿里云开放储存服务OSS官方已经提供了不少SDK, 包括PHP/Pyt ...

  3. 基于PHP实现阿里云开放存储服务

    开放存储服务(OpenStorageService,简称OSS),是阿里云对外提供的海量,安全,低成本,高可靠的云存储服务.用户可以通过简单的API(REST方式的接口),在任何时间.任何地点.任何互 ...

  4. 【Microsoft Azure学习之旅】消息服务Service Bus的学习笔记及Demo示例

    今年项目组做的是Cloud产品,有幸接触到了云计算的知识,也了解并使用了当今流行的云计算平台Amazon AWS与Microsoft Azure.我们的产品最初只部署在AWS平台上,现在产品决定同时支 ...

  5. 分布式开放消息系统(RocketMQ)的原理与实践

    分布式消息系统作为实现分布式系统可扩展.可伸缩性的关键组件,需要具有高吞吐量.高可用等特点.而谈到消息系统的设计,就回避不了两个问题: 消息的顺序问题 消息的重复问题 RocketMQ作为阿里开源的一 ...

  6. 分布式开放消息系统RocketMQ的原理与实践(消息的顺序问题、重复问题、可靠消息/事务消息)

    备注:1.如果您此前未接触过RocketMQ,请先阅读附录部分,以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展 ...

  7. 2MyBatis入门--深入浅出MyBatis技术原理与实践(笔记)

    什么是 MyBatis ? MyBatis 是支持定制化 SQL.存储过程以及高级映射的优秀的持久层框架.MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集.MyBatis ...

  8. 3MyBatis配置--深入浅出MyBatis技术原理与实践(笔记)

    XML 映射配置文件 configuration 配置 properties 属性 settings 设置 typeAliases 类型命名 typeHandlers 类型处理器 objectFact ...

  9. 分布式消息中间件rocketmq的原理与实践

    RocketMQ作为阿里开源的一款高性能.高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ 有哪些关键特性?其实现原理是怎样的? 关键特性以及其实现原理 一.顺序消息 消息有序指的是 ...

随机推荐

  1. mysql 查询结果保存为表

    mysql> create table stunow select distinct 学号,姓名,密码 from stu12to15 ;

  2. git密码相关问题

    一.解决:每次都需要输入账号密码 git config --global credential.helper store 二.后期git密码更改后,重置密码操作 git config --system ...

  3. Comparable

    为什么会有Comparable与Comparator接口? 引入策略模式   目录 引入 Comparable接口的来龙去脉 引入Comparator接口 什么是策略模式? 使用了策略模式有什么好处? ...

  4. opencv:Mat对象

    Mat对象:图像文件的内存数据对象 读取为 Mat 对象 读取图像位Mat对象,获取图像的相关信息 #include <opencv2/opencv.hpp> #include <i ...

  5. Clausen Functions (and related series, functions, integrals)

    Since the Clausen functions are intimately related to a number of other important special functions, ...

  6. 重新梳理IT知识之java-05面向对象(一)

    一.Java面向对象学习的三条主线: 1.Java类及类的成员:属性.方法.构造器:代码块.内部类 2.面向对象的三大特征:封装性.继承性.多态性.(抽象性) 3.其他关键字:this.super.s ...

  7. Maven (一)--- 入门和依赖

    部分图片来自参考资料 问题 : - maven 生命周期是怎么样的 - mvn clean install 与 mvn clean deploy 的区别是什么 概述 Maven 是一种构建项目的工具, ...

  8. php 单机redis 常用命令

    一.Redis连接与认证 //连接参数:ip.端口.连接超时时间,连接成功返回true,否则返回false $ret = $redis->connect('127.0.0.1', 6379, 3 ...

  9. websocket 无法查看Data

    websocket 是浏览器新的信息传输协议,记录一些遇到的问题: 调试相关: websocket 连接以后可以在Chrome tools 中的network下看到,如图 要查看通信内容可以选中点击f ...

  10. acm数论之旅---扩展欧几里得算法

    度娘百科说: 首先, ax+by = gcd(a, b) 这个公式肯定有解 (( •̀∀•́ )她说根据数论中的相关定理可以证明,反正我信了) 所以 ax+by = gcd(a, b) * k 也肯定 ...