分布式应用和集群: 从部署形态来看,它们都是多台机器或者多个进程部署,而且都是为了实现一个业务功能. 如果是一个业务被拆分成多个子业务部署在不同的服务器上,那就是分布式应用 如果是同一个业务部署在多台服务器上,那就是集群 分布式应用的多个子系统之间并不是完全独立的,它们需要相互通信来共同完成某个功能.系统间通信的方式有两种,一种是远程过程调用即RPC接口, 另一种是基于消息队列的方式. 基于消息队列的方式是指由应用中的某个系统负责发送消息,由订阅这条消息的相应系统负责接收消息.不同的系统在收到消…

MetaQ(全称Metamorphosis)是一个高性能.高可用.可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy.MetaQ具有消息存储顺序写.吞吐量大和支持本地和XA事务等特性,适用于大吞吐量.顺序消息.广播和日志数据传输等场景,目前在淘宝和支付宝有着广泛的应用.   Github地址:  链接地址 为了使大家对MetaQ有进一步的了解,本期我们采访了MetaQ的核心开发者庄晓丹.  欢迎大家推荐更多开源项目给我们,支持中国的开源项目发展,如…

TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条.较之于众多明星的开源MQ组件,TubeMQ在海量实践(稳定性+性能)和低成本方面有着比较好的核心优势. TubeMQ 捐赠 Apache 基金会 9月12日,Apache软件基金会成立20周年之际,腾讯在ApacheCon宣布TubeMQ 开源.TubeMQ 启动计划捐赠 Apache 基金会的流程. TubeMQ系统特点 1.…

RabbitMQ是一个基于AMQP协议(Advanced Message Queuing Protocol,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计.基于此协议的客户端与消息中间件可传递消息,并不受客户端/中间件不同产品,不同的开发语言等条件的限制)用Erlang实现的高性能,高扩展,高可用的消息服务框架. 1.安装:介绍关于centeros上安装 1)确保安装:GCC GCC-C++ Openssl依赖(源码安装方式需要编译所以需要他…

写在前面的话 项目中因为要用到消息中间件,当初极力推荐RabbitMq.但因为种种原因,最终选型为java+mongodb自实现一套分布式的消.没有用RabbitMq工作过,实属遗憾.因为个人来说实在是太喜欢它了.... 今天在闲逛又看到作者在提交代码了,不禁让我想写一系列的文章来分析RabbitMq,一方面加深自己对中间件的学习RabbitMq的学习,另一方面给正在学习的人和将来要使用到的人提供一些参考资料. 纲要 本系列文章会围绕下面的几个关注点分别来展开学习.讨论.分析:(如果有同学有其他…

为什么是kafka? 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 知道了我们有必要在数据处理系统中使用一个消息系统,但是我们为什么一定要选kafk…

RocketMQ作为阿里开源的一款高性能.高吞吐量的消息中间件,它是怎样来解决这两个问题的?RocketMQ 有哪些关键特性?其实现原理是怎样的? 关键特性以及其实现原理 一.顺序消息 消息有序指的是可以按照消息的发送顺序来消费.例如:一笔订单产生了 3 条消息,分别是订单创建.订单付款.订单完成.消费时,要按照顺序依次消费才有意义.与此同时多笔订单之间又是可以并行消费的.首先已两笔消息来看如下示例: 假如生产者产生了2条消息:M1.M2,要保证这两条消息的顺序,应该怎样做?你脑中想到的可能是这…

https://www.zhihu.com/question/43557507 https://baijiahao.baidu.com/s?id=1610644333184173190&wfr=spider&for=pc 本文将从,Kafka.RabbitMQ.ZeroMQ.RocketMQ.ActiveMQ 17 个方面综合对比作为消息队列使用时的差异. 作者:知乎用户链接:https://www.zhihu.com/question/43557507/answer/370979636来…

假设rabbitmq配置了集群,且客户端连接rabbitmq-server通过lvs实现HA但一般情况下不建议做LB.在分布式系统的环境下,由于节点的非预知性,使用spring amqp模板进行配置不足以灵活到满足弹性扩展的需求,因此,更加方便的方式是通过rabbitmq原生的java client进行订阅和发布.在我们的场景中,某些节点需要同时是发布端和订阅端以便做到弹性扩展,无需额外的配置.以fanout类型为例,如下所示: 发布端: /** * @Title: Send.java * @P…

转自:https://blog.csdn.net/qq_27384769/article/details/79465954 1.下载Erlangwget  http://erlang.org/download/otp_src_17.0.tar.gz 2. 解压tar -zxvf otp_src_17.0.tar.gz 3. 安装Erlang编译环境yum -y install make ncurses-devel gcc gcc-c++ unixODBC unixODBC-devel opens…