前言 几天前和大哥说起了Yarn,大哥问我,你知道Yarn里面怎么进行资源的动态分配回收的吗?我和诚实,说不知道,然后就有了这个系列博文.不同版本的hadoop版本对应的yarn文档会有差别,本文中选择的是Hadoop 3.3:废话不多说,咱们直接开始吧! 架构 YARN的基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护程序. 这个想法是拥有一个全局的ResourceManager(RM)和每个应用程序的ApplicationMaster(AM). 应用程序可以是单个作业,也可以是作业…

在前面的博客中,我给大家演示了使用 @SentinelResource 定义资源完成限流的例子, 下面就从源码解析开始,看下SentinelResource是如何实现限流的,以及@SentinelResource提供了哪些功能,支持哪些属性. @SentinelResource可以说是Sentinel学习的突破口,搞懂了这个注解的应用, 基本上就搞清楚了 Sentinel 的大部分应用场景. 一.@SentinelResource 解析 Sentinel 提供了 @SentinelResourc…

Kafka 简介 Kafka 是一种高吞吐.分布式.基于发布和订阅模型的消息系统,最初是由 LinkedIn 公司采用 Scala 和 java 开发的开源流处理软件平台,目前是 Apache 的开源项目. Kafka 用于离线和在线消息的消费,将消息数据按顺序保存在磁盘上,并在集群内以副本的形式存储以防止数据丢失.Kafka 可以依赖 ZooKeeper 进行集群管理,并且受到越来越多的分布式处理系统的青睐,比如 Storm.Spark.Flink 等都支持与 Kafka 集成,用于实时流式计…

最近在给别人讲解Java并发编程面试考点时,为了解释锁对象这个概念,想了一个形象的故事.后来慢慢发现这个故事似乎能讲解Java并发编程中好多核心概念,于是完善起来形成了了这篇文章.大家先忘记并发编程,只听我给你讲个故事. 故事可能比较奇怪.有这么一个学校,里面有好多好多人,我们简单分成学生.老师.以及宿管阿姨.学校中间还有一个很奇葩的水果超市,里面有个仓库放着苹果.西瓜.橘子.来这个超市的人,一方面可以拿走水果吃掉,另一方面也可以送来水果还钱.不过超市还有一个很奇葩的规则,就是学生只能去吃或者送…

你知道什么是ERP? ERP是什么? 你知道什么是ERP吗? (通俗易懂版) 一个故事搞懂“ERP” 一天中午,丈夫在外给家里打电话:“亲爱的老婆,晚上我想带几个同事回家吃饭可以吗?”(订货意向) 妻子:“当然可以,来几个人,几点来,想吃什么菜?” 丈夫:“6个人,我们7点左右回来,准备些酒.烤鸭.番茄炒蛋.凉菜.蛋花汤......,你看可以吗?”(商务沟通) 妻子:“没问题,我会准备好的.”(订单确认) 妻子记录下需要做的菜单(MPS计划),具体要准备的菜:鸭.酒.番茄.鸡蛋.作油......…

当我们new一个GirlFriend时,我们都做了什么? 一个例子搞懂Java程序运行顺序 public class Girl { Person person = new Person("Girl"); /*构造代码块忘记加了,不过构造代码块和成员变量一样,每次构造方法时都会执行一次 { System.out.println("构造代码块"); } */ static{ System.out.println("Girl static"); } s…

0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管.etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件. <彻底搞懂 etcd 系列文章>将会从 etcd 的基本功能实践.API 接口.实现原理.源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd.预计会有 20 篇左右的文章,笔者将会每周持续更新,欢迎关注. 1 etcd 集群部署 在生产环境中,为了整个集群的高可用,etcd 正常都会…

0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管.etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件. <彻底搞懂 etcd 系列文章>将会从 etcd 的基本功能实践.API 接口.实现原理.源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd.预计会有 20 篇左右的文章,笔者将会每周持续更新,欢迎关注. 1 etcd 安装与使用 在上一篇主要介绍了 etcd 的相关概念和使用场景,…

0 专辑概述 etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管.etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件. <彻底搞懂 etcd 系列文章>将会从 etcd 的基本功能实践.API 接口.实现原理.源码分析,以及实现中的踩坑经验等几方面具体展开介绍 etcd.预计会有 20 篇左右的文章,笔者将会每周持续更新,欢迎关注. 1 etcd 介绍 etcd 是 CoreOS 团队于 2013 年 6 月发…

版权声明:本文出自汪磊的博客,转载请务必注明出处. Java线程系列文章只是自己知识的总结梳理,都是最基础的玩意,已经掌握熟练的可以绕过. 一.从一个小Demo说起 上篇我们聊到了Java多线程的同步机制:Java多线程同步问题:一个小Demo完全搞懂.这篇我们聊一下java多线程之间的通信机制. 上一篇探讨java同步机制的时候我们举得例子输出log现象是:一段时间总是A线程输出而另一段时间总是B线程输出,有没有一种方式可以控制A,B线程交错输出呢?答案是当然可以了,这时候我们就要用到多线程的…