摘要: 1.背景 2.rangeBounds 上边界数组源码走读 3.RangePartitioner的sketch 源码走读 4.determineBounds 源码走读 5.关于RangePartitioner和sortByKey实验 内容: 1.背景:这是一个填之前Spark RDD 核心总结这篇博文中RangePartitioner留下的坑,没想到又发现一个坑(XORShiftRandom:生成随机数的一个算法,有时间再来总结) RangePartitioner 是Spark Parti…

摘要: 1.RDD的五大属性 1.1 partitions(分区) 1.2 partitioner(分区方法) 1.3 dependencies(依赖关系) 1.4 compute(获取分区迭代列表) 1.5 preferedLocations(优先分配节点列表) 2.RDD实现类举例 2.1 MapPartitionsRDD 2.2 ShuffledRDD 2.3 ReliableCheckpointRDD 3.RDD可以嵌套吗? 内容: 1.RDD的五大属性 1.1partitions(分区…

摘要: 1.spark_core 2.spark_sql 3.spark_ml 内容: 1.spark_core 原理篇: Spark RDD 核心总结 RangePartitioner 实现简记 Spark核心作业调度和任务调度之DAGScheduler源码 Spark 运行架构核心总结 Spark DAGSheduler生成Stage过程分析实验 Spark join 源码跟读记录 图解spark的RDD编程模型 (收藏用) 实战篇: Spark算子选择策略 Spark的持久化简记 Spar…

摘要 1.适用场合 2.算法简介 3.代码例子 4.Spark RangePartitioner 中的应用(待补充) 内容 1.适用场合:从包含n个项目的集合S中选取k个样本,其中n为一很大或未知的数量,尤其适用于不能把所有n个项目都存放到主内存的情况. 2.算法简介: 从S中抽取首k项放入「水塘」中 对于每一个S[i]项(i ≥ k): 随机产生一个范围0到i的整数r 若 r < k 则把水塘中的第r项换成S[i]项 深入:papers 3.代码例子: 4.Spark RangePartiti…

xlslib库使用简记 1 前言 最近需要使用C++结合xlslib库来生成Excel文件,但发现这个库的文档还真难找,找来找去发现唯一的线索是有一个test/目录里面的几个例子而已. 想到以后要不断的和这个库打交道,除非愿意用Python去重写,但吃力不讨好,还是做个笔记,以备不时之需. 2 安装使用 官网: http://xlslib.sourceforge.net/ 下载: http://sourceforge.net/projects/xlslib/ 文档: https://github…

Eclipse 使用简记 本文针对 Eclipse Neon (4.6)版本进行说明,具体而言是 Eclipse IDE for Java EE Developers . 下载 Eclipse eclipse 是开源免费软件,可到eclipse 官网 处获取到下载链接地址. eclipse 有两种方式下载,直接下载独立安装的ZIP程序包,或者使用 Eclipse Installer 进行在线安装. eclipse 下载页面地址:https://eclipse.org/downloads/ecli…

SLF4J 使用简记 使用 SLF4J有一段时间了,在此作上些许记录,以作提示. 本文使用的实际实现的日志框架是 Log4j,所以使用 log4j.properties 文件 SLF4J 需要引入的jar包 Maven <dependencies> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version&g…

make 要点简记 1.隐式推导 make可以自动推导文件及其文件依赖关系后面的命令,所以我们没有必要在每一个.o文件后面都写上类似的命令,因为make 会自动识别并且自动推导命令. objects = main.o main.o:main.cc main:$(objects) c++ $(objects) -o main # 伪目标,防止目录下有同名为clean的文件造成make clean执行失败 .PHONY:clean clean: -rm $(objects) main 2.在规则中使…

Spark RDD的宽依赖中存在Shuffle过程,Spark的Shuffle过程同MapReduce,也依赖于Partitioner数据分区器,Partitioner类的代码依赖结构主要如下所示: 主要是HashPartitioner和RangePartitioner两个类,分别用于根据RDD中key的hashcode值进行分区以及根据范围进行数据分区 一.Partitioner Spark中数据分区的主要工具类(数据分区类),主要用于Spark底层RDD的数据重分布的情况中,主要方法两个,如…

在大数据工作中难免遇到数据仓库(OLAP)架构,以及通过Hive SQL简化分布式计算的场景.所以想通过这篇博客对Hive使用有一个大致总结,希望道友多多指教! 摘要: 1.Hive安装 2.Hive DDL命令 3.Hive DML初步 4.Hive DML高级 5.Hive 优化与配置参数 内容: 1.Hive安装 依赖:mysql,jdk,hadoop 安装文档参考:官方文档:注意这里hive默认使用Derby数据库,只支持单用户登录.修改具体配置请参考官网说明: Metadata Sto…