(马蜂窝技术原创内容,公众号 ID:mfwtech) Part 1 背景 大交通业务需要对接机票.火车票.租车.接送机等业务的外部供应链,供应商的数据接口大部分通过 HTTP.HTTPS 等协议进行通信. 为了保证开发进度并支持集成测试时进行多场景支持,我们往往需要对供应商接口进行 MOCK.之前我们在开发环境和测试环境对外部接口的调用没有统一管控,无法实现调用开关,也无法对调用量进行统计和限制. 为了解决这些问题,我们设计了接入 API 资源隔离系统 JARVIS(Join Api Resou…

YARN对内存资源和CPU资源采用了不同的资源隔离方案.对于内存资源,它是一种限制性资源,它的量的大小直接决定应用程序的死活,因为应用程序到达内存限制,会发生OOM,就会被杀死.CPU资源一般用Cgroups进行资源控制,Cgroups控制资源测试可以参见这篇博文Cgroups控制cpu,内存,io示例,内存资源隔离除Cgroups之外提供了另外一个更灵活的方案,就是线程监控方案. 默认情况下YARN采用线程监控的方案控制内存使用,采用这种机制的原因有两点: 1.Java创建子进程采用了“for…

注:本文以hadoop-2.5.0-cdh5.3.2为例进行说明.   Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源,以避免它们之间相互干扰.目前支持两种类型的资源隔离:CPU和内存,对于这两种类型的资源,Yarn使用了不同的资源隔离方案.   对于CPU而言,它是一种“弹性”资源,使用量大小不会直接影响到应用程序的存亡,因此CPU的资源隔离方案采用了Linux Kernel提供的轻量级资源隔离技术Cgroup:对于内存而言,它是一种“限制…

本文共分为三个部分:   Kafka Topic创建方式 Kafka Topic Partitions Assignment实现原理 Kafka资源隔离方案   1. Kafka Topic创建方式   Kafka Topic创建方式有以下两种表现形式:   (1)创建Topic时直接指定Topic Partition Replica与Kafka Broker之间的存储映射关系   /usr/lib/kafka_2.10-0.8.2.1/bin/kafka-topics.sh --zookeep…

随着项目的不断迭代,复杂的业务模块及项目自身的基础技术组件迅速扩张,以往基于单个模块的项目往往显得过于臃肿.代码目录结构,包名混乱,代码模块职责不清晰,耦合度高,不便维护.基础公共组件没有抽取并剥离干净,新人上手较难,项目整体编译慢,等等.于是,近几年来,基于Gradle构建的模块化方案得到迅速应用,甚至在划分模块的同时,也可以将基础公共组件抽取独立的项目,并以单独的Git库进行管理和维护. 模块化的方案,整体上能够很好的将各个模块按照自身的职责进行独立划分,无论是基于业务的,还是基于技术的角度…

这个系列文章介绍的是Identity Server 4 的 Hybrid Flow, 前两篇文章介绍了如何保护MVC客户端, 本文介绍如何保护API资源. 保护MVC客户端的文章: https://www.cnblogs.com/cgzl/p/9253667.html,  https://www.cnblogs.com/cgzl/p/9268371.html 相关代码: https://github.com/solenovex/Identity-Server-4-Tutorial-Code 里面…

这个系列文章介绍的是Identity Server 4 实施 OpenID Connect 的 Hybrid Flow. 保护MVC客户端: https://www.cnblogs.com/cgzl/p/9253667.html,  https://www.cnblogs.com/cgzl/p/9268371.html 保护API资源(这里用到了RBAC: Role-based Access Control 基于角色的访问权限控制 官方文档): https://www.cnblogs.com/c…

准备写一些关于Identity4相关的东西,最近也比较对这方面感兴趣.所有做个开篇笔记记录一下,以便督促自己下一个技术方案方向 已经写好的入门级别Identity4的服务+api资源访问控制和简单的客户端请求模拟: 1.实现服务端+api资源控制+客户端请求 2.后面准备写单点登录统一认证服务…

此类建模API资源. Enabled 指示此资源是否已启用且可以请求.默认为true. Name API的唯一名称.此值用于内省身份验证,并将添加到传出访问令牌的受众. DisplayName 该值可以在例如同意屏幕上使用. Description 该值可以在例如同意屏幕上使用. ApiSecrets API密钥用于内省端点.API可以使用API​​名称和密钥进行内省验证. UserClaims 应包含在访问令牌中的关联用户声明类型的列表. Scopes API必须至少有一个范围.每个范围可以有…

转自:https://blog.csdn.net/liuchuanhong1/article/details/73718794 Hystrix的资源隔离策略有两种,分别为:线程池和信号量. 说到资源隔离,那我们就要明白,我们为什么需要资源隔离. 在一个分布式系统中,服务之间都是相互调用的,如下图所示: 例如, 我们容器(Tomcat)配置的线程个数为1000,服务A-服务R,其中服务I的并发量非常的大,需要500个线程来执行,此时,服务I又挂了, 那么这500个线程很可能就夯死了,那么剩下的服务…