1. reduceByKey

reduceByKey的作用对像是(key, value)形式的rdd,而reduce有减少、压缩之意,reduceByKey的作用就是对相同key的数据进行处理,最终每个key只保留一条记录,保留一条记录通常,有两种结果:一种是只保留我们希望的信息,比如每个key出现的次数;第二种是把value聚合在一起形成列表,这样后续可以对value做进一步的操作,比如排序。

2. 使用说明

比如现在我们有数据goods Sale:RDD[(String, String)],两个字段分别是goodsid、单个订单中的销售额,现在我们需要统计每个goodsid的销售额。我们只需要保留每个goodsid的累记销售额,可以使用如下语句来实现:

val goodsSaleSum = goodsSale.reduceByKey((x,y) => x+y)
简化方式为:
val goodsSaleSum = goodsSale.reduceByKey(_+_)

reduceByKey会寻找相同key的数据,当找到这样的两条记录时会对其value(分别记为x,y)做(x,y) => x+y的处理,即只保留求和之后的数据作为value。反复执行这个操作直至每个key只留下一条记录。

现在假设goodsSaleSum还有一个字段类目id,即 RDD[(String, String, String)] 形式,三个字段分别是类目id、goodsid、总销量,现在我们要获得第个类目id下销量最高的一个商品。上一步聚是保留value求和之后的数据,而这里其实我们只需要保留销量更高的那条记录。不过我们不能直接对RDD[(String, String, String)]类型的数据使用reduceByKey方法,因为这并不是一个(key, value)形式的数据,所以需要使用map方法转化一下类型。

val catGmvTopGoods = goodsSaleSum.map(x => (x._1, (x._2, x._3))).reduceByKey((x, y) => if (x._2.toDouble > y._2.toDouble) x else y).map(x => (x._1, x._2._1, x._2._2)

再进一步,假设现在我们有一个任务:推荐5个销售额最高的类目,并为每个类目推荐一个销售额最高的商品,而我们的数据就是上述RDD[(String, String, String)类型的goodsSaleSum。这需要两步,一是计算每个类目的销售额,这和举的第一个例子一样。二是找出每个类目下销量最高的商品,这和第二个例子一样。实际上,我们可以只实用一个reduceByKey就达到上面的目的。

val catIdGmvTopGoods = goodsSaleSum.map(x => (x._1, (x._2, x._3, x._3))) .reduceByKey((x, y) => if (x._2 > y._2) (x._1, x._2, x._3+y._3) else (y._1, y._2, x._3+y._3)) .map( x => (x._1, x._2._1, x._2._2, x._2._3).sortBy(_._3, false).take()

由于我们需要计算每个类目的总销售额,同时需要保留商品的销售额,所以先使用map增加一个字段用来记录类目的总销售额。这样一来,我们就可以使用reduceByKey同时完成前两个例子的操作。剩下的就是进行排序并获取前5条记录。

3. 聚合方式举例

上述的三个例子都是只保留需要的信息,但有时我们需要将value聚合在一起进行排序操作,比如对每个类目下的商品按销售额进行排序。假设我们的数据是 RDD[(String, String, String)],三个字段分别是类目id、goodsid、销售额。若是使用sql,那我们直接用row_number函数就可以很简单的使用分类目排序这个任务。但由于spark-sql占用的资源会比RDD多不少,在开发任务时并不建议使用spark-sql。我们的方法是通过reduceByKey把商品聚合成一个List,然后对这个List进行排序,再使用flatMapValues摊平数据。我们在使用reduceyByKey时会注意到,两个value聚合后的数据类型必须和之前一致。所以在聚合商品时我们也需要保证这点,通常有两种方法,一是使用ListBuffer,即可变长度的List。二是使用String,以分隔符来区分商品和销售额。下面我们使用第一种方式完成这个任务。

val catIdGoodsIdSorted = goodsGmvSum.map(x => (x._1, ListBuffer(x._2, x._3.toDouble))) .reduceByKey((x, y) => x++y).flatMapValues( x => x.toList.sortBy(_._2).reverse.zipWithIndex)

上述zipWithIndex给列表增加一个字段,用来记录元素的位置信息。而flatMapValues可以把List的每个元素单独拆成一条记录

4. 总结

本文中介绍了reduceByKey的三种作用:

  1. 求和汇总

  2. 获得每个key下value最大的记录

  3. 聚合value形成一个List之后进行排序

转自: https://www.jianshu.com/p/af175e66ce99

Spark学习之常用算子介绍的更多相关文章

  1. spark学习(10)-RDD的介绍和常用算子

    RDD(弹性分布式数据集,里面并不存储真正要计算的数据,你对RDD的操作,他会在Driver端转换成Task,下发到Executor计算分散在多台集群上的数据) RDD是一个代理,你对代理进行操作,他 ...

  2. spark 学习_rdd常用操作

    [spark API 函数讲解 详细 ]https://www.iteblog.com/archives/1399#reduceByKey [重要API接口,全面 ] http://spark.apa ...

  3. Spark中的常用算子

    更多有用的例子和算子讲解参见: http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html map是对每个元素操作, ma ...

  4. Spark学习进度-Transformation算子

    Transformation算子 intersection 交集 /* 交集 */ @Test def intersection(): Unit ={ val rdd1=sc.parallelize( ...

  5. Spark RDD算子介绍

    Spark学习笔记总结 01. Spark基础 1. 介绍 Spark可以用于批处理.交互式查询(Spark SQL).实时流处理(Spark Streaming).机器学习(Spark MLlib) ...

  6. spark算子介绍

    1.spark的算子分为转换算子和Action算子,Action算子将形成一个job,转换算子RDD转换成另一个RDD,或者将文件系统的数据转换成一个RDD 2.Spark的算子介绍地址:http:/ ...

  7. spark常用算子总结

    算子分为value-transform, key-value-transform, action三种.f是输入给算子的函数,比如lambda x: x**2 常用算子: keys: 取pair rdd ...

  8. 学习游戏服务器开发必看,C++游戏服务器开发常用工具介绍

    C++游戏服务器开发常用工具介绍 在软件开发过程中需要使用的工具类型实属众多,从需求建模到软件测试,从代码编译到工程管理,这些工具都对项目有着不可替代的作用.庄子有云,"吾生也有涯,而知也无 ...

  9. Spark—RDD编程常用转换算子代码实例

    Spark-RDD编程常用转换算子代码实例 Spark rdd 常用 Transformation 实例: 1.def map[U: ClassTag](f: T => U): RDD[U]  ...

随机推荐

  1. 关于setTimeout和setInterval的函数参数问题

    今天在写验证码倒计时小demo时,用了如下代码: window.setTimeout(count(num),1000); 这样直接使用将使count函数立即执行,并将返回值传递给setTimeout函 ...

  2. JSAP105

    JSAP105 1.目标 2.一次性定时器 window.setTimeout(函数,时间); 参数列表同window.setInterval,同样返回timeID.只能定时一次,但不意味着不需要清理 ...

  3. Nginx的https配置记录以及http强制跳转到https的方法梳理

    一.Nginx安装(略)安装的时候需要注意加上 --with-http_ssl_module,因为http_ssl_module不属于Nginx的基本模块.Nginx安装方法: 1 2 # ./con ...

  4. EF Core中执行Sql语句查询操作之FromSql,ExecuteSqlCommand,SqlQuery

    一.目前EF Core的版本为V2.1 相比较EF Core v1.0 目前已经增加了不少功能. EF Core除了常用的增删改模型操作,Sql语句在不少项目中是不能避免的. 在EF Core中上下文 ...

  5. zookeeper 实现分布式锁安全用法

    zookeeper 实现分布式锁安全用法 标签: zookeeper sessionExpire connectionLoss 分布式锁 背景 ConnectionLoss 链接丢失 SessionE ...

  6. 图解Windows下 GIT GUI 使用教程

    https://jingyan.baidu.com/article/19020a0a7ae6af529c284248.html 本篇经验将和大家介绍Windows下 GIT GUI 使用教程,希望对大 ...

  7. 使用Azure的GPU系列虚拟机Ubuntu-16.0.4安装GPU驱动并使用Tensorflow-GPU的过程。

    1.source activate python362.source activate tensorflow-gpu3.pip install tensorflow-gpu(提示安装的这个版本:ten ...

  8. 面经 cisco 2

    1. cpu中的cache结构及cache一致性 一. 引子 在多线程环境中,经常会有一些计数操作,用来统计线上服务的一些qps.平均延时.error等.为了完成这些统计,可以实现一个多线程环境下的计 ...

  9. Linux系统盘扩容-物理机非虚拟机

    # Linux系统盘扩容 ## 了解磁盘分区情况 - `blkid` 查看分区情况- `fdisk -l` 分区表 ## 系统挂载分区 - `/etc/fstab` 启动挂载分区情况 ## 双系统下分 ...

  10. F3D模式规则详解

    F3D有两个版本,长期版还有短期版 长期版规则 1.购买时候分配 第一队 20% to 奖金池, 56%分给所有人, 30% 持有p3d的人第二队 35% to 奖金池, 43%分给所有人, 8% 持 ...