对于node开发同学经常要处理异步请求,然后根据请求的结果或请求成功后的状态码做不同的策略处理,众多策略中最常用的一种就是重试策略.针对重试策略我们往往还需要设定一定的规则,如重试次数.重试时间间隔.总体超时时间.重试判定等.针对以上问题,这里推荐一个工具包:bluebird-retry. bluebird-retry基本用法如下: var retry = require('bluebird-retry'); function logFail() { console.log(new Date()

本文主要摘录自:详细介绍Spring Boot + RabbitMQ实现延迟队列 并增加了自己的一些理解,记录下来,以便日后查阅. 项目源码: spring-boot-rabbitmq-delay-queue 实现 stream-rabbitmq-delay-queue 实现 背景 何为延迟队列? 顾名思义,延迟队列就是进入该队列的消息会被延迟消费的队列.而一般的队列,消息一旦入队了之后就会被消费者马上消费. 延迟队列能做什么?延迟队列多用于需要延迟工作的场景.最常见的是以下两种场景: 延迟消费

Mq的使用中,延迟队列是很多业务都需要用到的,最近我也是刚在项目中用到,就在跟大家讲讲吧. 何为延迟队列? 延迟队列就是进入该队列的消息会被延迟消费的队列.而一般的队列,消息一旦入队了之后就会被消费者马上消费. 业务场景 延迟队列能做什么?最常见的是以下两种场景: 消费 比如:用户生成订单之后,需要过一段时间校验订单的支付状态,如果订单仍未支付则需要及时地关闭订单:用户注册成功之后,需要过一段时间比如一周后校验用户的使用情况,如果发现用户活跃度较低,则发送邮件或者短信来提醒用户使用. 重试 比如

RabbitMQ 的优化 channel prefetch Count 死信队列 什么是死信队列 使用场景 代码实现 延迟队列 什么是延迟队列 使用场景 实现延迟队列的方式 Queue TTL Message TTL 使用 Queue TTL 设置过期时间 使用 Message TTL 设置过期时间 使用插件还是Queue TTL处理延迟队列呢? 参考 RabbitMQ 的优化 channel 生产者,消费者和 RabbitMQ 都会建立连接.为了避免建立过多的 TCP 连接,减少资源额消耗.

1.nodeJs接受Post传递的参数需要通过绑定两个事件来获取, querystring = require("querystring");  1 app.post('/communicate', function (req, res) { var postData = ""; //POST & GET : name=zzl&email=zzl@sina.com // 数据块接收中 req.addListener("data",

false false false false EN-US ZH-CN X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:普通表格; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:""; mso-padding-alt

Android SDK 网络问题解析 Android 客户端网络不稳定,会导致App 有时候无法及时收到 Push 消息. 很多开发者认为这是因为 JPush 推送不稳定.延迟,甚至有时候认为 JPush 后台推送系统出问题了. 本文目的是从各个方面来分析 Android 网络导致的 JPush 不能正常工作的问题. JPush 正常工作的必要条件 首先,我们需要知道,JPush SDK 并不是集成到App 后就必然一直工作的. 其正常工作的必要条件是:JPush SDK 与 JPush Ser

概述 RabbitMQ是一个开源的消息代理和队列服务器,用来通过普通协议在完全不同的应用之间共享数据,或者简单地将作业队列以便让分布式服务器进行处理. 它现实了AMQP协议,并且遵循Mozilla Public License开源协议,它支持多种语言,可以方便的和spring集成. 消息队列使用消息将应用程序连接起来,这些消息通过像RabbitMQ这样的消息代理服务器在应用程序之间路由. 基本概念 Broker 用来处理数据的消息队列服务器实体 vhost 由RabbitMQ服务器创建的虚拟消息

在上一篇文章中介绍了下载器中间件的一些简单应用,现在再来通过案例说说如何使用下载器中间件集成Selenium.重试和处理请求异常. 在中间件中集成Selenium 对于一些很麻烦的异步加载页面,手动寻找它的后台API代价可能太大.这种情况下可以使用Selenium和ChromeDriver或者Selenium和PhantomJS来实现渲染网页. 这是前面的章节已经讲到的内容.那么,如何把Scrapy与Selenium结合起来呢?这个时候又要用到中间件了. 创建一个SeleniumMiddlewa

调用 TASK 基础 task 的调用方式有三种: 类似普通函数的调用方式, 通过 __calling__ 调用 ,类似 function() 通过 apply_async() 调用,能接受较多的参数 通过 delay() 调用 ,是apply_async 方法的快捷方法,可接受的参数较少 task.delay(arg1, arg2, kwarg1=1, kwarg2=2) 等同于 task.apply_async(args=[arg1, arg2], kwargs={'kwarg':1, 'k

Task task 具有如下特点: task 可以在任何可调用的地方创建.它有双重角色: 定义了当task被调用时,会发送一个消息. 定义了当worker收到消息时会运行消息对应的函数 每个task都有一个唯一的名字.因此worker才会找到其对应的函数. 每个task消息都会保存在queue中,直到收到从worker收来的 acknowledged.如果worker因为某些原因死亡了,那么该task消息会被再投递到其它的worker task不能保证每个任务的幂等性,因此,默认情况下,woke

对象池化设计: 将池对象通过Channel方式进行借出与还入,利用Go本身的特性还能实现更多限定需求.比如利用select的分支可以进行优雅的限流.超时熔断等操作.   思路:将需要池化的对象通过Channel进行包装,使用与归还都通过Channel的方式进行 package pool type Pool chan *Object // 初始化池,可指定容量 func New(total int) *Pool { p := make(Pool, total) ; i < total; i++ {

创建 CI 流程的第一件事应该是安装 CI 工具,本文以最常见的 Jenkins 为例,介绍如何使用 Ansible 自动安装 Jenkins Server.说明:本文的演示环境为 ubuntu 16.04. Ansible roles(角色) Ansible 中除了 playbook,还有更高层级的抽象,称为 role(角色).所谓的 role 其实就是把一些 playbook 组织成为一个更简洁.清晰的可重用对象.比如把安装 Jenkins Server 的 playbook 组织成为一个

//实现:邮件服务器hMailServer管理工具hMailServer Administrator的汉化 //环境: Windows Server 2008 R2 hMailServer Administrator //创建汉化文件 //在"hMailServer\Languages"下,创建后缀为".ini"的文件"chinese.ini",复制以下内容到文件 [Strings] String_1=文件 String_2=退出 String_

一:为什么选择Ansible 相对于puppet和saltstack,ansible无需客户端,更轻量级 ansible甚至都不用启动服务,仅仅只是一个工具,可以很轻松的实现分布式扩展 更强的远程命令执行操作 不输于puppet和saltstack的其他功能 二:Ansible基本架构 三:Asible基本组成 核心:ansible 核心模块(Core Modules):这些都是ansible自带的模块 扩展模块(Custom Modules):如果核心模块不足以完成某种功能, 可以添加扩展模块

前言 本文是对上一篇博文的扩充,很多平时用不到的特性就开始简略一写,Spring Cloud各版本之间的差距很大的,用不到的可能下一个版本就被kill掉了.由于笔者写本文开始的时候误解了Feign的继承特性,导致实验没有成功,今天是周六加班过程中画了个图,参考了一些资料才得出正确的结果,本人是一边学习一边写的博客做验证,更新估计是快不了了--不多说了,继续Feign的学习. 五. 继承特性 我们发现每次定义Feign调用服务提供者的接口时都要再写一份和所调用的接口方法名参数列表均相同的接口,那么

前言 前面我们了解了celery的基本使用后,现在对其常用的对象和方法进行分析. Celery对象 核心的对象就是Celery了,初始化方法: class Celery(object): def __init__(self, main=None, loader=None, backend=None, amqp=None, events=None, log=None, control=None, set_as_current=True, accept_magic_kwargs=False, tas

部署前后端分离应用 容器化 Abp 应用 关于 Abp 应用的容器化,其实和普通的 ASP.NET Core 应用差不多,大家可以参考我此前的文章. 唯一需要注意的是:因为 Abp 解决方案中有多个项目,在 publish 过程中需要手动指定启动项目,例如: # 其余内容请参考上述文章 # 修改 RUN dotnet publish -c Release -o /app 为以下内容 RUN dotnet publish ./src/YourProjectName.Web.Host/YourPro

Circuit Breaker模式会处理一些需要一定时间来重连远程服务和远端资源的错误.该模式可以提高一个应用的稳定性和弹性. 问题 在类似于云的分布式环境中,当一个应用需要执行一些访问远程资源或者是远端服务的时候,是很容易碰到一些偶然的错误的,比如说,网络连接速度很慢,超时,或者是资源的过量使用,或者临时资源不再可用等等.这一类的错误通常来说会在短暂的时间内,自动恢复过来.一个健壮的云应用也该能够通过一些策略能够处理这类错误,比如使用重试模式. 然而,也有一些情况,错误是出于一些意想不到的事件

引言 什么叫 远程暴露 ?试着想象着这么一种场景:假设我们新增了一台服务器 A,专门用于发送短信提示给指定用户.那么问题来了,我们的 Message 服务上线之后,应该如何告知调用方服务器,服务器 A 提供了 Message 功能?那么我们是不是可以把目前已提供的服务暴露在一个地方,让调用方知道某台机器提供了某个特定功能?带着这样的假设,我们今天就来聊聊 Dubbo 服务暴露之远程暴露!! 服务远程暴露 先回顾一下上篇文章,上篇文章我们聊到了 ServiceConfig 的 export() 方

[Tpcc-mysql] Tpcc-mysql是percona基于tpcc衍生出来的产品,专用于mysql基准测试,其源码放在bazaar(Bazaar是一个分布式的版本控制系统,采用 GPL 许可协议,可运行于 Windows.GNU/Linux.UNIX 以及 Mac OS 系统之上.Bazaar 由 Canonical 公司(Ubuntu母公司)赞助)上,因此还需要先安装bazaar客户端. 一.编译安装 cd /tmp/tpcc-mysql/src make 然后就会在 /tmp/tpc