RDD实例
实例一:
teacher.log
http://bigdata.baidu.cn/zhangsan
http://bigdata.baidu.cn/zhangsan
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/wangwu
http://bigdata.baidu.cn/wangwu
http://javaee.baidu.cn/xiaoxu
http://javaee.baidu.cn/xiaoxu
http://javaee.baidu.cn/laoyang
http://javaee.baidu.cn/laoyang
http://javaee.baidu.cn/laoyang
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/wangwu
http://bigdata.baidu.cn/wangwu
http://javaee.baidu.cn/xiaoxu
http://javaee.baidu.cn/xiaoxu
http://javaee.baidu.cn/laoyang
http://javaee.baidu.cn/laoyang
http://javaee.baidu.cn/laoyang
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/lisi
http://bigdata.baidu.cn/wangwu
http://bigdata.baidu.cn/wangwu
http://javaee.baidu.cn/xiaoxu
http://javaee.baidu.cn/xiaoxu
http://javaee.baidu.cn/laoyang
http://javaee.baidu.cn/laoyang
http://javaee.baidu.cn/laoyang
http://php.baidu.cn/laoli
http://php.baidu.cn/laoliu
http://php.baidu.cn/laoli
http://php.baidu.cn/laoli
全局topn 组内topn
代码:
package dayo1 import java.net.URL import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext} object teacher2 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf ()
.setAppName ( this.getClass.getSimpleName )
.setMaster ( "local[1]" ) val sc = new SparkContext ( conf ) val lines = sc.textFile ( "E:\\teacher.log" ) val overAll: RDD[((String, String), Int)] = lines.map ( tp => {
val teacher: String = tp.split ( "/" ).last
val host = new URL ( tp ).getHost
val subject = host.substring ( , host.indexOf ( "." ) )
((teacher, subject), )
} )
//所有科目和老师的前三
val topOverAll = overAll.reduceByKey ( _ + _ ).sortBy ( -_._2 ).take ( ).foreach ( println ) //每个科目前两名的老师
val topGroup = overAll.reduceByKey ( _ + _ ).groupBy ( _._1._2 ).mapValues ( _.toList.sortBy ( -_._2 ).take ( ) ).foreach ( println )
sc.stop () }
}
实例二:
去重
file1:
-- a
-- b
-- c
-- d
-- a
-- b
-- c
-- c file2:
-- b
-- a
-- b
-- d
-- a
-- c
-- d
-- c
代码:
package dayo1 import org.apache.spark.{SparkConf, SparkContext} object distinct {
def main(args: Array[String]): Unit = {
val cof = new SparkConf ()
.setAppName ( this.getClass.getSimpleName )
.setMaster ( "local[1]" ) val sc = new SparkContext ( cof ) val file1 = sc.textFile ( "E:\\file1.txt" )
val file2 = sc.textFile ( "E:\\file2.txt" )
val list = file1.union ( file2 ).distinct ().sortBy ( tp => tp )
list.foreach ( println )
sc.stop ()
}
}
实例三:
temperature.txt
0067011990999991950051507004888888889999999N9++
0067011990999991950051512004888888889999999N9++
0067011990999991950051518004888888889999999N9-+
0067011990999991949032412004888888889999999N9++
0067011990999991950032418004888888880500001N9++
0067011990999991950051507004888888880500001N9++
需求:分析每年的最高温度
代码:
package dayo1 import org.apache.spark.{SparkConf, SparkContext} /**
* 0067011990999991950051507004888888889999999N9+00001+9999999999999999999999
* 0067011990999991950051512004888888889999999N9+00221+9999999999999999999999
* 0067011990999991950051518004888888889999999N9-00111+9999999999999999999999
* 0067011990999991949032412004888888889999999N9+01111+9999999999999999999999
* 0067011990999991950032418004888888880500001N9+00001+9999999999999999999999
* 0067011990999991950051507004888888880500001N9+00781+9999999999999999999999
*
* 12345678911234567892123456789312345678941234567895123456789612345678971234
* 需求:分析每年的最高温度
* 数据说明:
*
*
* 第15-19个字符是year 6-9
*
* 第45-50位是温度表示,+表示零上 -表示零下,且温度的值不能是9999,9999表示异常数据
*
* 第50位值只能是0、1、4、5、9几个数字
*/
object temperature {
def main(args: Array[String]): Unit = {
val cof = new SparkConf ()
.setAppName ( this.getClass.getSimpleName )
.setMaster ( "local[*]" )
val sc = new SparkContext ( cof ) val lines = sc.textFile ( "E:\\temperature.txt" ) val yearAndTemp = lines.filter ( tp => {
var temp =
val query = tp.charAt ( ).toString //val query=tp.subString(50,51)
if (tp.charAt ( ).equals ( "+" )) {
temp = tp.substring ( , ).toInt
} else {
temp = tp.substring ( , ).toInt
}
temp != && query.matches ( "[01459]" ) } ).map ( tp => { val year = tp.substring ( , )
var temp =
if (tp.charAt ( ).equals ( "+" )) {
temp = tp.substring ( , ).toInt
} else {
temp = tp.substring ( , ).toInt
} (year, temp)
} ) val res = yearAndTemp.reduceByKey ( (x, y) => if (x > y) x else y ) res.foreach ( tp => println ( "year:" + tp._1 + " temp:" + tp._2 ) )
sc.stop ()
}
}
RDD实例的更多相关文章
- Spark RDD编程核心
一句话说,在Spark中对数据的操作其实就是对RDD的操作,而对RDD的操作不外乎创建.转换.调用求值. 什么是RDD RDD(Resilient Distributed Dataset),弹性分布式 ...
- Spark RDD 操作
1. Spark RDD 创建操作 1.1 数据集合 parallelize 可以创建一个能够并行操作的RDD.其函数定义如下: ) scala> sc.defaultParallelism ...
- spark streaming之三 rdd,job的动态生成以及动态调度
前面一篇讲到了,DAG静态模板的生成.那么spark streaming会在每一个batch时间一到,就会根据DAG所形成的逻辑以及物理依赖链(dependencies)动态生成RDD以及由这些RDD ...
- spark 源码分析之一 -- RDD的四种依赖关系
RDD的四种依赖关系 RDD四种依赖关系,分别是 ShuffleDependency.PrunDependency.RangeDependency和OneToOneDependency四种依赖关系.如 ...
- Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍
[注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Spark Streaming简介 1.1 概述 Spark Streaming 是Spa ...
- Spark Streaming揭秘 Day15 No Receivers方式思考
Spark Streaming揭秘 Day15 No Receivers方式思考 在前面也有比较多的篇幅介绍了Receiver在SparkStreaming中的应用,但是我们也会发现,传统的Recei ...
- spark 启动job的流程分析
从WordCount開始分析 编写一个样例程序 编写一个从HDFS中读取并计算wordcount的样例程序: packageorg.apache.spark.examples importorg.ap ...
- 《图解Spark:核心技术与案例实战》作者经验谈
1,看您有维护博客,还利用业余时间著书,在技术输出.自我提升以及本职工作的时间利用上您有没有什么心得和大家分享?(也可以包含一些您写书的小故事.)回答:在工作之余能够写博客.著书主要对技术的坚持和热爱 ...
- SparkStreaming流处理
一.Spark Streaming的介绍 1. 流处理 流式处理(Stream Processing).流式处理就是指源源不断的数据流过系统时,系统能够不停地连续计算.所以流式处理没有什么 ...
随机推荐
- 【转】关于 Ruby 解释器:一些你需要知道的
关于 Ruby 解释器:一些你需要知道的 原文:Ruby Interpreters: What You Need to Know 使用正确的 Ruby 解释器来运行程序可以发挥重要作用,不幸的是很难找 ...
- Springboot + Mybatis + Ehcache
最近在做一个项目,为处理并发性较差的问题,使用了Mybatis二级缓存 但在多表联合查询的情况下,Mybatis二级缓存是存在着数据脏读的问题的 两天就是在想办法解决这个数据脏读的问题 考虑到简易性. ...
- div contenteditable 代替Textarea,做成Vue属性动态绑定
前言 一般都是用Textarea 文本来编辑,但发现可以用 div contenteditable = “true”,这个属性来搞定 <div contenteditable=true plac ...
- php类知识 self $this都只能在当前类中使用
$this是当前对象的指针,self是当前类的指针 $this只能用在成员方法中,不能存在于静态方法 self 静态方法和成员方法中都能使用 self可以访问类常量,静态属性,静态方法,成员方法--- ...
- BZOJ 1984: 月下“毛景树” (树链剖分+线段树)
注意赋值和加法的标记下传优先级.具体看代码. CODE #include <vector> #include <queue> #include <cstdio> # ...
- mysql修改数据存储路径报错处理
Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'解决?: >>> vim ...
- python 通过序列索引迭代
另外一种执行循环的遍历方式是通过索引,如下实例: #!/usr/bin/python # -*- coding: UTF-8 -*- fruits = ['banana', 'apple', 'man ...
- codevs 1200 同余方程 2012年NOIP全国联赛提高组 x
/*我在提交的时候发现了一个特别好玩的事,有兴趣的话,可以自己尝试一下:把下面说的地方的y=0改为y=1在codevs里面能够ac,这……数据水?到一定境界……厉害了,吓得我还以为自己对了,结果一讲才 ...
- 【CUDA 基础】4.3 内存访问模式
title: [CUDA 基础]4.3 内存访问模式 categories: - CUDA - Freshman tags: - 内存访问模式 - 对齐 - 合并 - 缓存 - 结构体数组 - 数组结 ...
- Into Blocks (easy version)
G1 - Into Blocks (easy version) 参考:Codeforces Round #584 - Dasha Code Championship - Elimination Rou ...