Flink中TaskManager端执行用户逻辑过程(源码分析)

TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象,启动了任务,在StreamInputProcessor类的processInput()方法中通过一个while(true)中不停的拉取上游的数据,然后调用streamOperator.processElement(record)调用用户实现的方法去处理数据拉取的数据首先先来看下这个operator对象然后看看OneInputStreamOperator类的UML 这里所有的实现类没有全部列出,只列了…

Flink中接收端反压以及Credit机制 (源码分析)

先上一张图整体了解Flink中的反压可以看到每个task都会有自己对应的IG(inputgate)对接上游发送过来的数据和RS(resultPatation)对接往下游发送数据, 整个反压机制通过inputgate,resultPatation公用一个一定大小的memorySegmentPool来实现(Flink 中memorySegment作为内存使用的抽象,类比bytebuffer), 公用一个pool当接收上游数据时Decoder,往下游发送数据时Encoder,都会向pool中请求…

（3.10）mysql基础深入——mysqld 服务器与客户端连接过程源码分析【待写】

(3.10)mysql基础深入——mysqld 服务器与客户端连接过程源码分析[待写]…

Netty源码分析（七）----- read过程源码分析

在上一篇文章中,我们分析了processSelectedKey这个方法中的accept过程,本文将分析一下work线程中的read过程. private static void processSelectedKey(SelectionKey k, AbstractNioChannel ch) { final NioUnsafe unsafe = ch.unsafe(); //检查该SelectionKey是否有效,如果无效,则关闭channel if (!k.isValid()) { // cl…

Servlet容器Tomcat中web.xml中url-pattern的配置详解[附带源码分析]

目录前言现象源码分析实战例子总结参考资料前言今天研究了一下tomcat上web.xml配置文件中url-pattern的问题. 这个问题其实毕业前就困扰着我,当时忙于找工作. 找到工作之后一直忙,也就没时间顾虑这个问题了. 说到底还是自己懒了,没花时间来研究. 今天看了tomcat的部分源码了解了这个url-pattern的机制. 下面让我一一道来. tomcat的大致结构就不说了, 毕竟自己也不是特别熟悉. 有兴趣的同学请自行查看相关资料. 等有时间了我会来补充这部分的知识…

时间轮机制在Redisson分布式锁中的实际应用以及时间轮源码分析

本篇文章主要基于Redisson中实现的分布式锁机制继续进行展开,分析Redisson中的时间轮机制. 在前面分析的Redisson的分布式锁实现中,有一个Watch Dog机制来对锁键进行续约,代码如下: private void renewExpiration() { ExpirationEntry ee = EXPIRATION_RENEWAL_MAP.get(getEntryName()); if (ee == null) { return; } //用到了时间轮机制 Timeout t…

HashMap在JDK1.8中并发操作，代码测试以及源码分析

HashMap在JDK1.8中并发操作不会出现死循环,只会出现缺数据.测试如下: package JDKSource; import java.util.HashMap; import java.util.Map; import java.util.concurrent.TimeUnit; /** * @Auther: wenbochang * @Date: 2018/8/5 11 */ public class TestHashMap { /** * NUMBER = 10,表示十个线程执行p…

从flink-example分析flink组件(3)WordCount 流式实战及源码分析

前面介绍了批量处理的WorkCount是如何执行的 <从flink-example分析flink组件(1)WordCount batch实战及源码分析> <从flink-example分析flink组件(2)WordCount batch实战及源码分析----flink如何在本地执行的?> 这篇从WordCount的流式处理开始 /** * Implements the "WordCount" program that computes a simple wor…

YARN(MapReduce 2)运行MapReduce的过程-源码分析

这是我的分析,当然查阅书籍和网络.如有什么不对的,请各位批评指正.以下的类有的并不完全,只列出重要的方法. 如要转载,请注上作者以及出处. 一.源码阅读环境需要安装jdk1.7.0版本及其以上版本,还需要安装Eclipse阅读hadoop源码. Eclipse安装教程参见我的博客. Hadoop源码官网下载.我下载的是2.7.3版本的.其中source是源代码工程,需要你编译才能执行.而binary是编译好的克执行文件. 如果你要搭建Hadoop集群,则下载binary的.如果阅读源代码,下载…

面试高频SpringMVC执行流程最优解（源码分析）

文章已托管到GitHub,大家可以去GitHub查看阅读,欢迎老板们前来Star! 搜索关注微信公众号码出Offer 领取各种学习资料! SpringMVC执行流程 SpringMVC概述 Spring MVC属于SpringFrameWork的后续产品,已经融合在Spring Web Flow里面.Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块.使用 Spring 可插入的 MVC 架构,从而在使用Spring进行WEB开发时,可以选择使用Spring的Spring M…

HDFS dfsclient写文件过程源码分析

HDFS写入文件的重要概念 HDFS一个文件由多个block构成.HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的.每一个packet由若干个chunk(默认512Byte)组成.Chunk是进行数据校验的基本单位,对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储. 在写入一个block的时候,数据传输的基本单位是packet,每个packet由若干个chunk组成. HDFS客户端写文件示例代码 FileSystem hdfs…

Flink 如何通过2PC实现Exactly-once语义（源码分析）

Flink通过全局快照能保证内部处理的Exactly-once语义但是端到端的Exactly-once还需要下游数据源配合,常见的通过幂等或者二阶段提交这两种方式保证这里就来分析一下Sink二阶段提交的Flink源码是如何实现的本文源码基于Flink1.14 老版本的话看TwoPhaseCommitSinkFunction,现在用SinkWriter逻辑都是差不多的先来看下我们的主角 org.apache.flink.streaming.runtime.operators.sink.S…

Java中HashMap底层实现原理(JDK1.8)源码分析

这几天学习了HashMap的底层实现,但是发现好几个版本的,代码不一,而且看了Android包的HashMap和JDK中的HashMap的也不是一样,原来他们没有指定JDK版本,很多文章都是旧版本JDK1.6.JDK1.7的.现在我来分析一哈最新的JDK1.8的HashMap及性能优化. 在JDK1.6,JDK1.7中,HashMap采用位桶+链表实现,即使用链表处理冲突,同一hash值的链表都存储在一个链表里.但是当位于一个桶中的元素较多,即hash值相等的元素较多时,通过key值依次查找的效…

ZGC gc策略及回收过程-源码分析

源码文件:/src/hotspot/share/gc/z/zDirector.cpp 一.回收策略 main入口函数: void ZDirector::run_service() { // Main loop while (_metronome.wait_for_tick()) { sample_allocation_rate(); const GCCause::Cause cause = make_gc_decision(); if (cause != GCCause::_no_gc) { Z…

[SPDK/NVMe存储技术分析]012 - 用户态ibv_post_send()源码分析

OFA定义了一组标准的Verbs,并提供了一个标准库libibvers.在用户态实现NVMe over RDMA的Host(i.e. Initiator)和Target, 少不了要跟OFA定义的Verbs打交道.但是,仅仅有libibverbs里的API是不够的,还需要对应的RDMA硬件的用户态驱动支持.在前文中,我们分析了内核态ib_post_send()的实现,理解了内核空间的回调函数post_send()是如何跟mlx5卡的设备驱动函数mlx5_ib_post_send()关联在一起的.本…

Netty源码分析（八）----- write过程源码分析

上一篇文章主要讲了netty的read过程,本文主要分析一下write和writeAndFlush. 主要内容本文分以下几个部分阐述一个java对象最后是如何转变成字节流,写到socket缓冲区中去的 pipeline中的标准链表结构 java对象编码过程 write:写队列 flush:刷新写队列 writeAndFlush: 写队列并刷新 pipeline中的标准链表结构一个标准的pipeline链式结构如下数据从head节点流入,先拆包,然后解码成业务对象,最后经过业务Handler…

elasticsearch 5.5 query 过程源码分析

(1)请求 transfer to 任意node 节点标记为coordinate node server入口函数 transportSearchAction doExecute方法 coordinate node 将请求处理形成AbstractSearchAsyncAction的一个继承类, 调用该继承类中的start方法,进而通过使用this调用其父类InitialSearchPhrase中 run方法,轮询各个shard,对每一个shard执行performPhaseOnShard方法…

spring启动component-scan类扫描加载过程---源码分析

http://blog.csdn.net/xieyuooo/article/details/9089441#comments…

Netty中FastThreadLocal源码分析

Netty中使用FastThreadLocal替代JDK中的ThreadLocal[JAVA]ThreadLocal源码分析,其用法和ThreadLocal 一样,只不过从名字FastThreadLocal来看,其处理效率要比JDK中的ThreadLocal要高在类加载的时候,先初始化了一个静态成员: private static final int variablesToRemoveIndex = InternalThreadLocalMap.nextVariableIndex(); 实际上…

springmvc拦截器入门及其执行顺序源码分析

springmvc拦截器是偶尔会用到的一个功能,本案例来演示一个较简单的springmvc拦截器的使用,并通过源码来分析拦截器的执行顺序的控制.具体操作步骤为:1.maven项目引入spring依赖2.配置web.xml中的DispatcherServlet3.准备两个拦截器,并在springmvc配置文件中进行配置管理4.准备业务类,该类转发到一个JSP页面,并在页面做后台打印5.测试发送请求到业务类,查看执行顺序6.源码分析7.总结以及代码附件————————————————————————…

angular源码分析：injector.js文件分析——angular中的依赖注入式如何实现的（续）

昨天晚上写完angular源码分析:angular中jqLite的实现--你可以丢掉jQuery了,给今天定了一个题angular源码分析:injector.js文件,以及angular的加载流程,但是想了想,加载流程还是放到后面统一再讲比较好. 如果你没有看过笔者的angular源码分析:angular中的依赖注入式如何实现的,可以点击看看,在其中讲过的内容,我将不会再这里重复,这一期将作那一期的补充. 一.从createInjector函数开始先省去具体实现,总体看看:函数拥有两个参数,m…

BIZ中model.getSql源码分析

功能:根据model.xml文件中配置的sql,获取对应的动态sql结果. 实例代码:String sql1 = model.getSql(dao.dbMeta());String sql2 = model.getSql(paramsMap, dao.dbMeta());String sql3 = model.getSql(sqlName, paramsMap, dao.dbMeta());String sql4 = model.getSql(sqlName, dao.dbMeta()); #i…