val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2))) //1.根据传入的参数进行分组 val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupBy(_._1) println(rdd1.collect.toBuffer) //2.根据key进行分区(对KV形式是使用) --

写在前面 面向java开发者.实际上,具有java基础学习scala是很容易.java也可以开发spark,并不比scala开发的spark程序慢.但学习scala可有助于更快更好的理解spark.比如spark的很多算子group,filter之类的,全都是scala语言本身所具备的功能.再比如,想做一个更高级别的spark开发者,势必需要了解spark源码.哪怕不需要通读,但也需要了解scala语言. 快速入门的意思先具备一个宏观上的系统而整体的把控,然后再到这个框架上去把血肉丰满.从阅读源

1. scala2.10.4.msi 安装 2. 配置SCALA_HOME 及path路径 SCALA_HOME C:\Program Files (x86)\scala PATH :%SCALA_HOME%\bin 3. 安装eclipse-scala-plugin插件,下载地址http://scala-ide.org/download/prev-stable.html 解压缩以后把plugins和features复制到eclipse目录,重启eclipse以后即可. Window -> Op

1- 类 1.1- 简介:类.方法及对象 类是用来创建对象的蓝图. Scala文件中包含的多个类之间,都是彼此可见的,不需要声明为public. 创建对象 定义好类以后,就可以使用new关键字来创建对象. 字段默认为public,在类外部和内部都可以访问该字段. 私有字段使用private关键字修饰,外界无法访问,只有在类内部可以访问该字段. 方法 通过def关键字实现方法的定义 方法的返回值:方法里面的最后一个表达式的值就是方法的返回值,不需要靠return语句. 如果方法不返回任何值,返回值

第1章 RDD概述 1.1 什么是RDD RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象.代码中是一个抽象类,它代表一个不可变.可分区.里面的元素可并行计算的集合. 1.2 RDD的属性 1) 一组分区(Partition),即数据集的基本组成单位; 2) 一个计算每个分区的函数; 3) RDD之间的依赖关系; 4) 一个Partitioner,即RDD的分片函数; 5) 一个列表,存储存取每个Partition的优先位置(p

第2章 RDD编程(2.3) 2.3 TransFormation 基本RDD Pair类型RDD (伪集合操作  交.并.补.笛卡尔积都支持) 2.3.1 map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 package com.diyo.funtion import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /** * map(func) *

按照新建自动步骤,建好文件后,在build-gradle 里面 写上: allprojects { group 'aaaa' version '1.0-SNAPSHOT' apply plugin: 'java' apply plugin: 'maven' apply plugin: 'scala' apply plugin: 'eclipse' sourceCompatibility = 1.8} subprojects { [compileJava, compileTestJava, jav

在maven 中搜索相关模块依赖 http://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.10/1.0.0 dependencies { compile(group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.3.0') { exclude group: 'javax.servlet'//, module: 'servlet-api' exclude

groupByKey,reduceByKey,sortByKey算子 视频教程: 1.优酷 2. YouTube 1.groupByKey groupByKey是对每个key进行合并操作,但只生成一个sequence,groupByKey本身不能自定义操作函数. java: package com.bean.spark.trans; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf;

一.RDD概述      1.什么是RDD           RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合.RDD具有数据流模型的特点:自动容错.位置感知性调度和可伸缩性.RDD允许用户在执行多个查询时显式地将工作集缓存在内存中,后续的查询能够重用工作集,这极大地提升了查询速度.      2.RDD属性      (1). 一组分片(Partition),即数据集

前言 传统的RDD相对于mapreduce和storm提供了丰富强大的算子.在spark慢慢步入DataFrame到DataSet的今天,在算子的类型基本不变的情况下,这两个数据集提供了更为强大的的功能.但也有些功能暂时无法使用.比如reduceByKey,在DataFrame和DataSet里是没有的.所以觉得有必要做一些梳理. 准备工作 测试数据,json格式: { "DEVICENAME": "test1", "LID": 17050131

1. 究竟是怎么运行的? 很多的博客里大量的讲了什么是RDD, Dependency, Shuffle.......但是究竟那些Executor是怎么运行你提交的代码段的? 下面是一个日志分析的例子,来自Spark的example def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("Log Query") val sc = new SparkContext(sparkConf) val

map 产生的键值对是tupple,      split分隔出来的是数组 一.常用Transformation算子 (map  .flatMap .filter .groupByKey .reduceByKey .sortByKey  .join .cogroup ) JAVA: package day2; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.

Kafka0.8版本基于receiver接受器去接受kafka topic中的数据(并演示reduceByKeyAndWindow的使用) 依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> <version>2.1.3</version> </depen

第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD.DataFrame 与 DataSet0.3.2 DataSet 与 RDD 互操作0.3.3 RDD.DataFrame 与 DataSet 之间的转换0.3.4 用户自定义聚合函数(UDAF)0.3.5 开窗函数0.4 Spark Streaming0.4.1 Dst

map算子 flatMap算子 mapParitions算子 filter算子 mapParttionsWithIndex算子 sample算子 distinct算子 groupByKey算子 reduceByKey算子 1.map算子 (1)任何类型的RDD都可以调用map算子:在java中,map算子接收的参数是Function对象,在Function中,需要设置第二个泛型类型为返回的新元素的类型:同时,call()方法的返回类型也需要与第二个泛型的返回类型一致.在call()方法中,对原始

Spark算子总结 算子分类 Transformation(转换) 转换算子 含义 map(func) 返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 filter(func) 过滤, 返回一个新的RDD, 该RDD由经过func函数计算后返回值为true的输入元素组成 flatMap(func) 类似于map,但是每一个输入元素可以被映射为0或多个输出元素(所以func应该返回一个序列,而不是单一元素) mapPartitions(func) 类似于map,但独立地在R

[源码解析] GroupReduce,GroupCombine和Flink SQL group by 目录 [源码解析] GroupReduce,GroupCombine和Flink SQL group by 0x00 摘要 0x01 缘由 0x02 概念 2.1 GroupReduce 2.2 GroupCombine 2.3 例子 0x03 代码 0x04 Flink SQL内部翻译 0x05 JobGraph 0x06 Runtime 6.1 ChainedFlatMapDriver 6.

Spark 选择 Scala 作为开发语言 在 Spark 诞生之初,就有人诟病为什么 AMP 实验室选了一个如此小众的语言 - Scala,很多人还将原因归结为学院派的高冷,但后来事实证明,选择 Scala 是非常正确的,Scala 很多特性与 Spark 本身理念非常契合,可以说它们是天生一对. Scala 背后所代表的函数式编程思想也越来越为人所知. 函数式编程思想早在 50 多年前就被提出,但当时的硬件性能太弱,并不能发挥出这种思想的优势.目前多核 CPU 大行其道,函数式编程在并发方面

1. sortBy是Transformation算子,为什么会触发Action sortBy需要对数据进行全局排序,其需要用到RangePartitioner,而在创建RangePartitioner时需要大概知道有多少数据,以及数据的范围(采样),其内部获取这个范围(rangeBounds)是通过调用sample方法得到,在调用完sample后会调用collect方法,所以会触发Action 2. Spark SQL概述 2.1 Spark SQL定义: Spark SQL是Spark用来处理