【赶快收藏】Hystrix实战，优雅提升系统的鲁棒性

背景

最近接手了一个系统，其功能都是查询。查询分了两种方式，一种是公司集团提供的查询能力，支持全国各个省份的查询，但是业务高峰期时服务响应比较慢；另外一种是各省的分公司都分别提供了对应的查询能力，但是服务质量相对较差，业务高峰期服务超时较多，而且分公司系统升级时也会影响服务质量。为了提升服务查询的成功率，可以将两种查询方式结合起来。比较完备方案就是优先使用各省分公司提供的服务，当分公司的服务质量下降后降级到公司集团对应的服务。很早就听过Hystrix，用在现用系统服务质量提升的改造上，再适合不过了。

Hystrix简介

Hystrix是Netflix开源的一款容错系统，能帮助开发者码出具备强大的容错能力和鲁棒性的程序！

Hystrix功能

1、对依赖的服务（HTTP调用、SOA服务）进行保护，并且把控住由于依赖服务所带来的的延迟和失败。

2、防止在一个复杂的分布式系统里出现级联失效（cascading failures）。

3、快速失败（Fail fast），并且快速恢复依赖服务。

4、优雅的降级。

5、实时的监控和报警。

健康状态系统

请求被阻塞系统

任何的RPC都可能会面临三种情况：成功、失败、超时。如果一次用户请求所依赖外部服务(A,H,I,P)有任何一个不可用，就有可能导致整个用户请求被阻塞。考虑到应用容器的线程数目基本都是固定的，当在高并发的情况下，某一外部依赖的服务超时阻塞，就有可能使得整个主线程池被占满线程池被占满就会导致整个服务不可用，而依赖该服务的其他服务，就又可能会重复产生上述问题。因此整个系统就像雪崩一样逐渐的扩散、坍塌、崩溃了！

舱壁隔离模式(Bulkheads)

货船为了进行防止漏水和火灾的扩散, 将船的底部划分成一个个的舱室，这样一个舱室进水不会导致整艘船沉没。

服务雪崩

隔离架构

降级-触发fallback

1、run()/construct方法抛出非HystrixBadRequestException异常

2、run()/construct()运行超时

3、熔断器启动

4、线程池/信号量拒绝

隔离策略

线程池隔离：会带来线程开销

Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("ThreadPoolTestGroup"))

      .andCommandKey(HystrixCommandKey.Factory.asKey(“testCommandKey"))

        //与其他命名的线程池天然隔离

      .andThreadPoolKey(HystrixThreadPoolKey.Factory.asKey("ThreadPoolTest"))

信号量隔离：服务的并发数大于信号量阈值时将进入fallback 采用资源计数法，TryableSemaphore

.andCommandPropertiesDefaults(  // 配置信号量隔离

    HystrixCommandProperties.Setter()

      .withExecutionIsolationStrategy(ExecutionIsolationStrategy.SEMAPHORE)

    .withExecutionIsolationSemaphoreMaxConcurrentRequests(3)

         // fallback(降级)调用最大的并发数

    .withFallbackIsolationSemaphoreMaxConcurrentRequests(10))

熔断器

熔断相当于家里电压过大电路的跳闸功能，跳闸可以保护我们的电器，在代码中类比就是将调用的服务直接给屏蔽了，不再调用调用远程服务器的服务举个栗子，配置熔断策略为当请求错误比例在5s内>50%时，该服务将进入熔断状态。

熔断器默认工作时间,默认:5秒，熔断器中断请求5秒后会进入半打开状态, 放部分流量过去重试。

熔断器的开关能保证服务调用者在调用异常服务时, 快速返回结果, fail fast or fallback static,避免大量的同步等待并且熔断器能在一段时间后继续侦测请求执行结果, 提供恢复服务调用的可能。

请求结果cache

将一个请求结果缓存起来，下一个具有相同key的请求将直接从缓存中取出结果，减少请求开销。

Hystrix设计点

资源隔离
熔断器模式
命令模式
观察者模式
RxJava

自助服务系统查询改造方案

命令调用模式，省端直连接口；降级调用模式，集团电商接口。

自助服务整合Hystrix后系统请求流程图。

参考链接

http://www.jianshu.com/p/b9af028efebb

https://github.com/Netflix/Hystrix/wiki

https://github.com/Netflix/Hystrix/wiki/How-To-Use

https://segmentfault.com/a/1190000005988895

http://kriszhang.com/hystrix_defend_your_webapp

https://blog.51cto.com/snowtiger/2057092