spark1.1.0源码阅读-dagscheduler and stage

1. rdd action ->sparkContext.runJob->dagscheduler.runJob def runJob[T, U: ClassTag]( rdd: RDD[T], func: (TaskContext, Iterator[T]) => U, partitions: Seq[Int], callSite: String, allowLocal: Boolean, resultHandler: (Int, U) => Unit, properties:…

spark1.1.0源码阅读-executor

1. executor上执行launchTask def launchTask( context: ExecutorBackend, taskId: Long, taskName: String, serializedTask: ByteBuffer) { val tr = new TaskRunner(context, taskId, taskName, serializedTask) runningTasks.put(taskId, tr) threadPool.execute(tr) }…

spark1.1.0源码阅读-taskScheduler

1. sparkContext中设置createTaskScheduler case "yarn-standalone" | "yarn-cluster" => if (master == "yarn-standalone") { logWarning( "\"yarn-standalone\" is deprecated as of Spark 1.0. Use \"yarn-cluster\&qu…

Yii2.0源码阅读-一次请求的完整过程

Yii2.0框架源码阅读,从请求发起,到结束的运行步骤其实最初阅读是从yii\web\UrlManager这个类开始看起,不断的寻找这个类中方法的调用者,最终回到了yii\web\Application,那就从头开始看. 1.Nginx nginx作为web服务器,时刻监听着80端口,等待接收用户请求,并转发给php进行处理,Yii2.0框架使用了统一的入口脚本:index.php 所以nginx中有如下的配置: location / { try_files $uri $uri/ /index…

Vue2.0源码阅读笔记（四）：nextTick

在阅读 nextTick 的源码之前,要先弄明白 JS 执行环境运行机制,介绍 JS 执行环境的事件循环机制的文章很多,大部分都阐述的比较笼统,甚至有些文章说的是错误的,以下为个人理解,如有错误,欢迎指正. 一.浏览器中的进程与线程以 chorme 浏览器为例,浏览器中的每个页面都是一个独立的进程,在该进程中拥有多个线程,通常有以下几个常驻线程: 1.GUI 渲染线程 2.JavaScript引擎线程 3.定时触发器线程 4.事件触发线程 5.异步http请求线程 GUI 渲染线程…

Vue2.0源码阅读笔记--生命周期

一.Vue2.0的生命周期 Vue2.0的整个生命周期有八个:分别是 1.beforeCreate,2.created,3.beforeMount,4.mounted,5.beforeUpdate,6.updated,7.beforeDestroy,8.destroyed. 用官方的一张图就可以清晰的了解整个生命周期: Vue最新源码下载:地址二:源码分析 1.先看new Vue实例的方法创建Vue实例的文件是: src/core/instance/index.js function Vue…

Vue2.0源码阅读笔记--双向绑定实现原理

上一篇文章了解了Vue.js的生命周期.这篇分析Observe Data过程,了解Vue.js的双向数据绑定实现原理. 一.实现双向绑定的做法前端MVVM最令人激动的就是双向绑定机制了,实现双向数据绑定的做法大致有如下三种: 1.发布者-订阅者模式(backbone.js) 思路:使用自定义的data属性在HTML代码中指明绑定.所有绑定起来的JavaScript对象以及DOM元素都将“订阅”一个发布者对象.任何时候如果JavaScript对象或者一个HTML输入字段被侦测到发生了变化,我…

Yii2.0源码阅读-从路由到控制器

之前的文章弄清了一次请求的开始到结束.主要讲了Yii Applicaton实例的创建.初始化,UrlManager如何返回Yii中的路由信息,到runAction,最后将Response发送给客户端.这其中略过了runAction($route)到底是如何找到以及调用对应的控制器中的方法的,下面继续从源码入手. 1.继承关系首先我们弄清楚Yii几个重要类的继承关系: yii\web\Application extends yii\base\Application yii\base\Applic…

Yii2.0源码阅读-视图(View)渲染过程

之前的文章我们根据源码的分析,弄清了Yii如何处理一次请求,以及根据解析的路由如何调用控制器中的action,那接下来好奇的可能就是,我在控制器action中执行了return $this->render('index'),那render这个方法是如何完成渲染视图文件的工作的?我们继续从源码入手. 1.找到视图文件先看我们在controller/action中视图渲染的调用: public function actionIndex() { //代码省略 return $this->rende…

Vue2.0源码阅读笔记（二）：响应式原理

Vue是数据驱动的框架,在修改数据时,视图会进行更新.数据响应式系统使得状态管理变的简单直接,在开发过程中减少与DOM元素的接触.而深入学习其中的原理十分有必要,能够回避一些常见的问题,使开发变的更为高效. 一.实现简单的数据响应式系统 Vue使用观察者模式(又称发布-订阅模式)加数据劫持的方式实现数据响应式系统,劫持数据时使用 Object.defineProperty 方法将数据属性变成访问器属性.Object.defineProperty 是 ES5 中一个无法 shim 的特性,…

Vue2.0源码阅读笔记（一）：选项合并

Vue本质是上来说是一个函数,在其通过new关键字构造调用时,会完成一系列初始化过程.通过Vue框架进行开发,基本上是通过向Vue函数中传入不同的参数选项来完成的.参数选项往往需要加以合并,主要有两种情况: 1.Vue函数本身拥有一些静态属性,在实例化时开发者会传入同名的属性. 2.在使用继承的方式使用Vue时,需要将父类和子类上同名属性加以合并. Vue函数定义在 /src/core/instance/index.js中. function Vue (options) { if (pr…

Yii2.0源码阅读-behavior的实现原理

Yii2.0中的一个思想就是组件化的思想,所以.大多数的类都直接或间接的继承自yii\base\Component,而组件的三大功能:属性.事件.行为. 行为的目的是为了方便的扩展一个类的功能,而不需要直接去修改这个类,同时行为中也附带了事件的实现. 1.整体的结构 Controller和模型ActiveRecord都继承自yii\base\Component 而Component继承自yii\base\Object Object中和Component中都实现了魔术方法__get和__set以及…

Yii2.0源码阅读-PHP如何与redis通信？

PHP与Redis可以通过socket进行通信,前提是PHP需要实现Redis的协议 RESP协议描述: 字符串 \r\n : 表示一个正确的状态信息,具体信息是'+'后面的字符(Simple Strings) 错误前缀错误信息 \r\n : 表示一个错误信息,具体信息是当前行'-'后面的字符(Errors) $ 字符串的长度 \r\n 字符串 \r\n : 表示字符串(Bulk Strings) 数组元素个数 \r\n 其他所有类型 : 表示消息体总共有多少行(array) : 数字\r\n…

[thinkphp 5.0源码阅读] 缓存（一）

保存缓存: user表数据: cache()方法保存缓存: 访问 http://mythinkphp.com/index/index/cache ,两个缓存被保存(runtime/cache目录下): 来看其中一个缓存文件:\runtime\cache\7e\58d63b60197ceb55a1c487989a3720.php <?php //000000003600a:2:{i:0;a:4:{s:2:"id";i:1;s:4:"name";s:2:"…

Vue2.0源码阅读笔记（三）：计算属性

计算属性是基于响应式依赖进行缓存的,只有在相关响应式依赖发生改变时才会重新求值,这种缓存机制在求值消耗比较大的情况下能够显著提高性能. 一.计算属性初始化 Vue 在做数据初始化时,通过 initComputed() 方法初始化计算属性. const computedWatcherOptions = { lazy: true } function initComputed (vm: Component, computed: Object) { const watchers = vm._c…

Idea1.5使用Maven搭建Apache Spark1.6源码阅读环境

1.插件安装,在Idea界面依次:File->settings->plugins,安装Maven 2.下载Spark1.6.2源码,这个在GitHub上下载,具体流程自己百度,很简单 3.在Idea右侧会有Maven Projects标签,点击+,选择下载好的源码,找到pom.xml,打开即是将源码自动导入到Maven中,Maven会自动编译 4.然后就可以好好阅读Spark源码啦 PS:过程中可以有一些不同,多百度,自己查查哪些步骤不会,慢慢摸索,我也是Spark初学者.…

Spark1.0.0 源码编译和部署包生成

问题导读:1.如何对Spark1.0.0源码编译?2.如何生成Spark1.0的部署包?3.如何获取包资源? Spark1.0.0的源码编译和部署包生成,其本质只有两种:Maven和SBT,只不过针对不同场景而已:Maven编译SBT编译IntelliJ IDEA编译(可以采用Maven或SBT插件编译),适用于开发人员部署包生成(内嵌Maven编译),适用于维护人员编译的目的是生成指定环境下运行Spark本身或开发Spark Application的JAR包,本次编译的目的生成运行在hadoo…

koa源码阅读[0]

koa源码阅读[0] Node.js也是写了两三年的时间了,刚开始学习Node的时候,hello world就是创建一个HttpServer,后来在工作中也是经历过Express.Koa1.x.Koa2.x以及最近还在研究的结合着TypeScript的routing-controllers(驱动依然是Express与Koa).用的比较多的还是Koa版本,也是对它的洋葱模型比较感兴趣,所以最近抽出时间来阅读其源码,正好近期可能会对一个Express项目进行重构,将其重构为koa2.x版本的,所以,…

redis 5.0.7 源码阅读——整数集合intset

redis中整数集合intset相关的文件为:intset.h与intset.c intset的所有操作与操作一个排序整形数组 int a[N]类似,只是根据类型做了内存上的优化. 一.数据结构 typedef struct intset { uint32_t encoding; uint32_t length; int8_t contents[]; } intset; intset的数据结构比较简单,使用了一个变长结构体,成员length记录当前成员数量,成员encoding记录当前的int类…

redis 5.0.7 源码阅读——跳跃表skiplist

redis中并没有专门给跳跃表两个文件.在5.0.7的版本中,结构体的声明与定义.接口的声明在server.h中,接口的定义在t_zset.c中,所有开头为zsl的函数. 一.数据结构单个节点: typedef struct zskiplistNode { //key,唯一 sds ele; //分值,可重复 double score; //后退指针 struct zskiplistNode *backward; //层 struct zskiplistLevel { //前进指针 struc…

redis 5.0.7 源码阅读——字典dict

redis中字典相关的文件为:dict.h与dict.c 与其说是一个字典,道不如说是一个哈希表. 一.数据结构 dictEntry typedef struct dictEntry { void *key; union { void *val; uint64_t u64; int64_t s64; double d; } v; struct dictEntry *next; } dictEntry; dictEntry是一个kv对的单向链表,其中v是一个联合体,支持数字,或者是指向一块内存的指…