一.源码分析 1. ###入口org.apache.spark.sql/SQLContext.scala sql()方法: /** * 使用Spark执行一条SQL查询语句,将结果作为DataFrame返回,SQL解析使用的方言,可以 * 通过spark.sql.dialect参数,来进行设置 */ def sql(sqlText: String): DataFrame = { // 首先,查看我们通过SQLContext.setConf()方法设置的参数,Spark.sql.dialect,…

目录 构建Spring环境 Spring 版本 5.1.3.RELEASE 测试类 Spring 配置文件 测试方法Main 快速进入Debug查看IOC容器构建源码 Spring IOC源码步骤分析 第一步: 检查并设置Spring XML配置文件 第二步:执行创建Bean容器之前的准备工作 第三步:创建 Bean 容器,加载并注册 Bean 第四步:配置 Bean容器: prepareBeanFactory 第五步: 处理自定义Bean的后置处理器 第六步: 初始化Spring容器的消息源…

勿在流沙筑高台,出来混迟早要还的. 做一个积极的人 编码.改bug.提升自己 我有一个乐园,面向编程,春暖花开! 上一篇文章介绍了类加载器分类以及类加载器的双亲委派模型,让我们能够从整体上对类加载器有一个大致的认识,本文会深入到类加载器源码分析,了解类加载器ClassLoader中核心的源码,并且分析ClassLoader中的设计思想或者设计模式! 本文地图: 一.ClassLoader核心API介绍 当你要学习类的时候,首先我们要做的就是这个类API文档,下面我们从JDK API文档对 Cla…

Aspects的源码学习,我学到的有几下几点 Objective-C Runtime 理解OC的消息分发机制 KVO中的指针交换技术 Block 在内存中的数据结构 const 的修饰区别 block 中常量在特定情况下的三种处理方法 断言语句, 自旋锁 使用注意 _objc_msgForward_stret 和 _objc_msgForward 前者存在的必要 Type Encoding https://www.cnblogs.com/DafaRan/p/8192069.html 简介 Asp…

/** Spark SQL源码分析系列文章*/ 前几篇文章介绍了Spark SQL的Catalyst的核心运行流程.SqlParser,和Analyzer 以及核心类库TreeNode,本文将详细讲解Spark SQL的Optimizer的优化思想以及Optimizer在Catalyst里的表现方式,并加上自己的实践,对Optimizer有一个直观的认识. Optimizer的主要职责是将Analyzer给Resolved的Logical Plan根据不同的优化策略Batch,来对语法树进行优化…

摘要 对于Java开发人员来说,能够熟练地掌握java的集合类是必须的,本节想要跟大家共同学习一下JDK1.8中HashMap的底层实现与源码分析.HashMap是开发中使用频率最高的用于映射(键值对)处理的数据结构,而在JDK1.8中HashMap采用位桶数组+链表+红黑树实现的,现在我们深入探究一下HashMap的结构实现 一.HashMap简介 1.特点 HashMap根据键的hashcode值存储数据,大多数情况可以直接定位到它的值,因而具有很快的访问速度,但遍历顺序是不确定的 想要使得…

Netty 学习(六):创建 NioEventLoopGroup 的核心源码说明 作者: Grey 原文地址: 博客园:Netty 学习(六):创建 NioEventLoopGroup 的核心源码说明 CSDN:Netty 学习(六):创建 NioEventLoopGroup 的核心源码说明 基于 JDK 的 API 自己实现 NIO 编程,需要一个线程池来不断监听端口.接收到新连接之后,这条连接上数据的读写会在另外一个线程池中进行. 在 Netty 实现的服务端中, 有如下经典代码 Event…

版权声明:本文出自汪磊的博客,未经作者允许禁止转载. 上一篇基于哈希表实现HashMap核心源码彻底分析 分析了HashMap的源码,主要分析了扩容机制,如果感兴趣的可以去看看,扩容机制那几行最难懂的代码真是花费了我很大的精力. 好了本篇我们分析一下HashMap的儿子LinkedHashMap的核心源码,提到LinkedHashMap做安卓的同学肯定会想到Lru(Least Recently Used)算法,Lru算法就是基于LinkedHashMap来实现的,明白了LinkedHashMap…

前言 SynchronousQueue 是一个普通用户不怎么常用的队列,通常在创建无界线程池(Executors.newCachedThreadPool())的时候使用,也就是那个非常危险的线程池 ^_^. 它是一个非常特殊的阻塞队列,他的模式是:在 offer的时候,如果没有另一个线程在 take 或者 poll 的话,就会失败,反之,如果在 take或者 poll的时候,没有线程在offer ,则也会失败,而这种特性,则非常适合用来做高响应并且线程不固定的线程池的Queue.所以,在很多高性…

libevent 源码深度剖析十三 —— libevent 信号处理注意点 前面讲到了 libevent 实现多线程的方法,然而在多线程的环境中注册信号事件,还是有一些情况需要小心处理,那就是不能在多个 libevent 实例上注册信号事件.依然冠名追加到 libevent 系列. 以 2 个线程为例,做简单的场景分析. 1 首先是创建并初始化线程 1 的 libevent 实例 base1 ,线程 1 的 libevent 实例 base2 : 2 在 base1 上注册 SIGALRM 信号…