date: 2020-09-27 13:50:00 updated: 2020-09-28 16:30:00 Phoenix创建索引源码过程 org.apache.phoenix.index.IndexMaintainer public byte[] buildRowKey(ValueGetter valueGetter, ImmutableBytesWritable rowKeyPtr, byte[] regionStartKey, byte[] regionEndKey, long ts)…

sparkContext创建还没完呢,紧接着前两天,我们继续探索..作死... 紧接着前几天我们继续SparkContext的创建: 接下来从这里我们可以看到,spark开始加载hadoop的配置信息,第二张图中 new出来的Configuration正是hadoop的Configuration.同时,将所有sparkConf中所有以spark.hadoop.开头的属性都复制到了Hadoop的Configuration.同时又将spark.buffer.size复制为Hadoop的Configu…

即日起开始spark源码阅读之旅,这个过程是相当痛苦的,也许有大量的看不懂,但是每天一个方法,一点点看,相信总归会有极大地提高的.那么下面开始: 创建sparkConf对象,那么究竟它干了什么了类,从代码层面,我们可以看到我们需要setMaster啊,setAppName啊,set blabla啊...等等~ val sparkConf = new SparkConf().setMaster("local").setAppName("TopActiveLocations&qu…

上一篇博文将nova创建虚机的流程推进到了/compute/api.py中的create()函数,接下来就继续分析. 在分析之前简单介绍nova组件源码的架构.以conductor组件为例: 每个组件都会有这三个文件:api.py rpcapi.py manager.py. api.py            conductor实现自身功能的文件 rpcapi.py       conductor提供给其他组件通过消息队列调用的接口函数 manager.py  其他组件通过消息队列调用的处理端函…

前面讲了很多nova restful的功能,无非是为本篇博文分析做铺垫.本节说明nova创建虚拟机的请求发送到openstack之后,nova是如何处理该条URL的请求,分析到处理的类. nova对于URL请求的处理在上一篇博文中以刻画了简化版的模型,参考该模型,能够快速理解openstack中真实的处理情景. 首先来熟悉nova的代码 openstack  nova的源码分布如下,其中比较重要的是nova文件夹,几乎所有的功能实现都是在这个文件夹下. WSGI服务器的实现. 路径:/nova/…

上一篇博文介绍WSGI在nova创建虚拟机过程的作用是解析URL,是以一个最简单的例子去给读者有一个印象.在openstack中URL复杂程度也大大超过上一个例子.所以openstack使用了PasteDeploy模块去解析复杂的URL. 首先看"笨办法"是如何处理不同的URL. 在WSGI简单的模型中,如果有多个URL,可以判断请求方和请求路径的然后分别处理不同的URL. 处理函数 app.py def application(environ, start_response): me…

开始学习openstack源码,源码文件多,分支不少.按照学习的方法走通一条线是最好的,而网上推荐的最多的就是nova创建虚机的过程.从这一条线入手,能够贯穿openstack核心服务.写博文仅做学习笔记整理,多为借鉴网上大牛的分析.因为涉及到的知识点很多,所以分期来比较写合适. openstack有3中创建虚拟机的方法,分别是:命令行创建,dashboard界面创建和api接口创建. 前两种方式最终还是调用openstack的Restful API去工作. openstack创建虚拟机流程如下…

上一篇文章的产出,其实离不开网上各位大神们的辅助,正是通过他们的讲解,我才对Tomcat的结构有了更进一步的认识. 但在描述前后端交互的过程中,还有很多细节并没有描述到位,所以就有了研究Tomcat源码的想法. 而在配置Tomcat源码工程的过程中,摸摸爬爬两个多小时,总算是成功启动了. 故撰写此篇博文,授之以渔. 准备工作 1.apache-tomcat-8.5.32-src源码包,官网下载并解压即可: 2.apache-ant-1.10.5(用的最新版)下载并安装:Tomcat源码默认采用的…

编译Android源码的过程参考Android官网介绍: 1.下载Android源码的步骤:https://source.android.com/source/downloading.html 2.编译Android源码的步骤:https://source.android.com/source/building-running.html 下面就是我遇到的一些问题: 1.Compile Android Source时JDK相关的错误: 错误1: target release 1.5 conflic…

最初我参考的是老罗的博客http://blog.csdn.net/luoshengyang/article/details/6559955 进行下载安装的,但弄着弄着就发现不太对劲了.这里记录下详细过程: 1,我的前提是已经搭建好了Android开发环境,也即jdk已经安装好了,输入java -version来检查是否成功.搭建android开发环境可以看链接1 和 链接2. 2,首先要安装git工具,而repo是基于git的.同时要安装所需的若干软件,命令如下: sudo apt-get in…

Android源码一般几十G,就拿Android5.0来说,下载下来大概也有44G左右,和编译产生的文件以及Ubuntu系统占用的空间加起来,源码双倍的空间都不够有.编译源码前能分配足够的空间再好不过,但往往事后才发现分配的空间不够用也在所难免,一下是本人遇到空间不足以及解决过程的记录. 在此之前,先讲些相关情况,装Ubuntu之前最好能把/boot分区和编译Android源码的目录所在分区分开安装,单独出来,以免编译源码的目录满了的时候关机后再登录,这时就会黑屏进不了桌面. Ubuntu系统(…

转自:http://blog.csdn.net/zhanglongit/article/details/9263009,中间有些不行的地方进行了些小修改. 最初我参考的是老罗的博客http://blog.csdn.net/luoshengyang/article/details/6559955 进行下载安装的,但弄着弄着就发现不太对劲了.这里记录下详细过程: 1,我的前提是已经搭建好了Android开发环境,也即jdk已经安装好了,输入java -version来检查是否成功.搭建android…

前言 dwebsocet 是python django的websocket库,github地址:https://github.com/duanhongyi/dwebsocket 本章是对dwebsocet的一个源码分析. 开胃菜 在django视图里,只需要这么定义,就搭建了一个websocet端. 分析开始 1.打开 accept_websocket 源码,是这样. 不要被它吓到,其实就是动态加载中间介,我们打开红箭头处的WebSocketMiddleware,代码是这样 数字3 是当一个re…

代码直接放在Github仓库[https://github.com/Damaer/Mybatis-Learning ],可直接运行,就不占篇幅了. 目录 1.为什么我们使用SQLSessionFactoryBuilder的时候不需要自己关闭流? 2. Sqlsession是如何创建的? 3.增删改是怎么执行的 4.SqlSession.commit()为什么可以提交事务(transaction)? 5.为什么sqlsession关闭就不需要回滚了? 1.为什么我们使用SQLSessionFact…

系列文章目录  WPF自定义控件与样式(1)-矢量字体图标(iconfont) WPF自定义控件与样式(2)-自定义按钮FButton WPF自定义控件与样式(3)-TextBox & RichTextBox & PasswordBox样式.水印.Label标签.功能扩展 WPF自定义控件与样式(4)-CheckBox/RadioButton自定义样式 WPF自定义控件与样式(5)-Calendar/DatePicker日期控件自定义样式及扩展 WPF自定义控件与样式(6)-ScrollV…

openstack 版本:Newton 注:博文图片采用了很多大牛博客图片,仅作为总结学习,非商用.该图全面的说明了nova创建虚机的过程,从逻辑的角度清晰的描述了前端请求创建虚拟机之后发生的一系列反应. 上图是以逻辑的关系说明虚机创建的流程,并没有涉及到真正的代码,下面这张图则是从代码的角度来看虚机的创建过程.两张逻辑图相辅相成,能够快速对nova创建虚机流程有一个认识. 上一篇博文已经将nova创建虚机的流程分析到restful调用具体的函数.如下图所示,本篇将从该函数开始分析,展开nova…

mkdir /home/redis cd /home/redis 下载源码 wget https://codeload.github.com/antirez/redis/tar/4.0.9 解压源码包 tar -zxvf  redis-4.0.9.tar 进入文件夹 cd redis-4.0.9 make 完成之后,输入make test, 如果出现错误, You need tcl 8.5 or newer in order to run the Redis test, 则安装tcl yun i…

openstack nova启动时首先通过命令行或者dashborad填写创建信息,然后通过restful api的方式调用openstack服务去创建虚拟机.数据信息从客户端到达openstack服务器端. 以上的过程看不到openstack调用restful api的详细过程,如果想详细的看到restful api的过程,可以使用postman工具. postman是一个在验证restful api接口,开发过程中十分方便的工具.上篇博客中使用restful api请求token的过程. 其…

紧接着昨天,我们继续开搞了啊.. 1.下面,开始创建BroadcastManager,就是传说中的广播变量管理器.BroadcastManager用于将配置信息和序列化后的RDD.Job以及ShuffleDependency等信息在本地存储.紧接着blockManager的创建后创建.如下: 随之我们继续深入看这个broadcastManager是怎么创建与实现的. 可以看到,在initialize()初始化方法调用以后,通过utils.classForName反射生成工厂实例broadcast…

/conductor/api.py _build_instance()  /conductor/rpcapi.py  _build_instance() 1 构造一些数据类型2 修改一些api版本信息3 投入消息队列  /conductor/manager.py  _build_instance()1 过滤信息2 调度模块工作(选出最合适的主机,并返回)3 调用/nova/compute/rpcapi.py::build_and_run_instance() 此时已经拿到最合适主机 /compu…

在前面的三篇博文中,介绍了restful和SWGI的实现.结合restful和WSGI配置就能够简单的实现nova服务模型的最简单的操作. 如下的内容是借鉴网上博文,因为写的很巧妙,将nova管理虚拟机的过程刻画十分清楚,所以想自己实现一遍,加深印象. 在上一篇博文中写的URL的对应处理函数,结果是十分简单的return 一个网页. 在openstack当中肯定不会这么简单的处理,毕竟前面的工作只是将路修好,真正的功能还未实现呢! 所以对于nova操作的模拟,要实现的是对虚拟机的增,删,改,查等…

代码之余,将开发过程中经常用的代码片段备份一下,如下的代码是关于python在sqlite动态创建表的代码,应该能对各位有所用. import sqlite3 as db conn = db.connect('mytest.db')cursor = conn.cursor()cursor.execute("create table person(name text, age text, address text)")print("table created")…

Spring容器的refresh()[创建刷新] 1.prepareRefresh()刷新前的预处理 1).initPropertySources()初始化一些属性设置;子类自定义个性化的属性设置方法: 2).getEnvironment().validateRequiredProperties();检验属性的合法等 3).earlyApplicationEvents= new LinkedHashSet<ApplicationEvent>();保存容器中的一些早期的事件: 2.obtainF…

#coding=utf-8 import wx class MyFrame(wx.Frame): def __init__(self): wx.Frame.__init__(self,None,-1,"多模测试热补丁工具",size = (800,600)) panel = wx.Panel(self) #第一种方法使用wx.RadioButton类 self.check1 = wx.RadioButton(panel,-1,"BPN2",pos = (50,20)…

概述: Spring 对于Java 开发来说,以及算得上非常基础并且核心的框架了,在有一定开发经验后,阅读源码能更好的提高我们的编码能力并且让我们对其更加理解.俗话说知己知彼,百战不殆.当你对Spring 掌握熟透之后,也就没什么能过阻拦你在开发路上前进了. IOC 总体来说有两处地方最重要,一个是创建Bean容器,一个是初始化.在本文中,主要为大家讲解了 IOC Bean 容器创建过程.后续将会补上初始化部分的知识. 为了保持文章的严谨性,如果读者发现我哪里说错了请一定不吝指出,非常希望可以听…

Spring Bean的创建过程非常的复杂,上一篇重点介绍了Spring在创建Bean的过程中,使用InstantiationBeanPostProcessor进行提前创建Bean,我们可以通过CGLIB创建对象对Bean的方法进行增强,当然也可以进行其他方式的创建方式.通过提前创建Bean,减少了调用doCreateBean方法的复杂逻辑的执行,而且通过这种方式可以定制创建的方式,便于扩展. 使用 supplier 进行Bean的提前暴露 接下来继续介绍Spring的创建过程,执行doCrea…

dubbo源码分析1-reference bean创建 dubbo源码分析2-reference bean发起服务方法调用 dubbo源码分析3-service bean的创建与发布 dubbo源码分析4-基于netty的dubbo协议的server dubbo源码分析5-dubbo的扩展点机制 dubbo源码分析6-telnet方式的管理实现 和reference的实现思路略有不同1. 在spring对接这一层略有区别ServiceBean不再是一个bean factory,而是Applica…

1. 前言 如今,Docker作为业界领先的轻量级虚拟化容器管理引擎,给全球开发者提供了一种新颖.便捷的软件集成测试与部署之道.在团队开发软件时,Docker可以提供可复用的运行环境.灵活的资源配置.便捷的集成测试方法以及一键式的部署方式.可以说,Docker的优势在简化持续集成.运维部署方面体现得淋漓尽致,它完全让开发者从持续集成.运维部署方面中解放出来,把精力真正地倾注在开发上. 然而,把Docker的功能发挥到极致,并非一件易事.在深刻理解Docker架构的情况下,熟练掌握Docker C…

sparkEnv概述 sparkEnv是spark的执行环境,其中包括众多与Executor执行相关的对象.在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下worker另起的CoarseGrainedExecutorBackend进程中也会创建Executor,所以SparkEnv存在于Driver或者CoarseGrainedExecutorBackend进程中. 创建分析 创建方法源码: _conf.set("spar…

目录 Buffer概述 Buffer的创建 Buffer的使用 总结 参考资料 Buffer概述 注:全文以ByteBuffer类为例说明 在Java中提供了7种类型的Buffer,每一种类型的Buffer根据分配内存的方式不同又可以分为 直接缓冲区和非直接缓冲区. Buffer的本质是一个定长数组,并且在创建的时候需要指明Buffer的容量(数组的长度). 而这个数组定义在不同的Buffer当中.例如ByteBuffer的定义如下: public abstract class ByteBuff…