日志类型

测试数据
http://bigdata.myit.com/zhangsan
http://bigdata.myit.com/zhangsan
http://bigdata.myit.com/zhangsan
http://bigdata.myit.com/zhangsan
http://bigdata.myit.com/zhangsan
http://java.myit.com/lisi
http://java.myit.com/lisi
http://java.myit.com/lisi

计算每个学科最受欢迎的老师

package mypro

import java.net.URL

import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkContext, SparkConf} /**
* Created by 166 on 2017/9/5.
*/
object FavTeacher {
def main(args: Array[String]) {
Logger.getLogger("org.apache.spark").setLevel(Level.OFF)
val conf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[2]")//local[*]代表用多个线程跑,2代表用两个线程跑
val sc = new SparkContext(conf) //读取数据
val lines: RDD[String] = sc.textFile(args())
//整理数据
val subjectAndTeacher:RDD[(String,String)]=lines.map(line=> {
val url = new URL(line)
val host = url.getHost
val subject = host.substring(, host.indexOf("."))
val teacher = url.getPath.substring() //去掉路径前面的"/"
(subject, teacher)
}) //聚合
val reduce = subjectAndTeacher.map((_,)).reduceByKey(_+_)
//println(reduce.collect().toBuffer) //按学科分组
val grouped: RDD[(String, Iterable[((String, String), Int)])] = reduce.groupBy(_._1._1)//迭代器不能排序,需要将它变成List。 //二次排序
val result: RDD[(String, List[((String, String), Int)])] = grouped.mapValues(_.toList.sortBy(_._2).reverse.take())//用scala的语法,会把数据全部加载到内存后再做排序,数据量大的时候会有性能问题,内存溢出的问题,不建议这样使用,
val arr: Array[(String, List[((String, String), Int)])] = result.collect()
println(arr.toBuffer) }
}

另种角度来实现,过滤多次提交

package com.rz.spark.base

import java.net.URL

import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
// 过滤多次提交
object GroupFavTeacher2 {
def main(args: Array[String]): Unit = {
Logger.getLogger("org.apache.spark").setLevel(Level.OFF) val conf = new SparkConf().setMaster("local[2]").setAppName(this.getClass.getSimpleName)
val sc = new SparkContext(conf)
val topN = args(1).toInt val subject = Array("bigdata","javaee","php")
// 读取数据
val lines: RDD[String] = sc.textFile(args(0))
// 整理数据 http://bigdata.myit.cn/laozhang
val subjectAndTeacher= lines.map(line => {
val url = new URL(line)
val host = url.getHost
val subject = host.substring(0, host.indexOf("."))
val teacher = url.getPath.substring(1) // 去掉前面的/
((subject, teacher),1)
}) // 聚合
val reduced = subjectAndTeacher.reduceByKey(_+_)
  
  // 缓存到内存,因为多次过滤都是使用同一个rdd,缓存到内存可以提高反复使用的性能
  val cache = reduced.cache()
for (sb <- subject){
val sorted = cache.filter(_._1._1 == sb).sortBy(_._2,false).take(topN)
println(sorted.toBuffer)
}
sc.stop()
} }

  使用自定义分区器将每个学科的数据shuffle到独自的分区,在分区内进行排序取topN

package com.rz.spark.base

import java.net.URL

import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.{Partitioner, SparkConf, SparkContext} // 自定义分区器
import scala.collection.mutable
// 过滤多次提交
object GroupFavTeacher3 {
def main(args: Array[String]): Unit = {
Logger.getLogger("org.apache.spark").setLevel(Level.OFF) val conf = new SparkConf().setMaster("local[2]").setAppName(this.getClass.getSimpleName)
val sc = new SparkContext(conf)
val topN = args().toInt val subject = Array("bigdata","javaee","php")
// 读取数据
val lines: RDD[String] = sc.textFile(args())
// 整理数据 http://bigdata.myit.cn/laozhang
val subjectAndTeacher= lines.map(line => {
val url = new URL(line)
val host = url.getHost
val subject = host.substring(, host.indexOf("."))
val teacher = url.getPath.substring() // 去掉前面的/
((subject, teacher),)
}) // 聚合
val reduced = subjectAndTeacher.reduceByKey(_+_) // 计算我们有多少学科
val sujects: Array[String] = reduced.map(_._1._1).distinct().collect() // 自定义一个分区器,并且按照指定的分区器进行分区
val subjectPartitoner = new SubjectPartitoner(sujects) // partitionBy按照指定的分区规则进行分区
val partitioned: RDD[((String, String), Int)] = reduced.partitionBy(subjectPartitoner) // 如果一次拿出一个分区(可以操作一个分区的数据)
val sorted = partitioned.mapPartitions(it => {
// 将迭代器转成List,然后排序,再转成迭代器返回
it.toList.sortBy(_._2).reverse.take(topN).toIterator // 按数值排序
})
val result = sorted.collect() println(result.toBuffer)
sc.stop()
} // 自定义分区器
class SubjectPartitoner(sbs: Array[String]) extends Partitioner{
// 相当于主构造器(new 的时候会执行一次)
// 用于存放规则的一个map
val rules = new mutable.HashMap[String, Int]()
var i =
for (sb <- sbs){
rules.put(sb,i)
i +=
} // 返回分区的数量(下一个RDD有多少分区)
override def numPartitions: Int = sbs.length // 根据传入的key计算分区标号
// Key是一个无组(String, String)
override def getPartition(key: Any): Int ={
// 获取学科名称
val subject = key.asInstanceOf[(String, String)]._1
// 根据规则计算分区编号
rules(subject)
}
} }

上面的方式会有多次shuffle,reduceByKey聚合数据的时候shuffle一次,使用自定义分区器重新对数据进行分析又shuffle了一次。我们可以尽可能的减少shuffle的过程,我们可以在reduceByKey的时候手动使用自定分区器进行分区,reduceByKey默认使用的是。HashPartitioner。

package com.rz.spark.base

import java.net.URL

import org.apache.log4j.{Level, Logger}
import org.apache.spark.rdd.RDD
import org.apache.spark.{Partitioner, SparkConf, SparkContext} // 自定义分区器且减少shuffle
import scala.collection.mutable // 过滤多次提交
object GroupFavTeacher4 {
def main(args: Array[String]): Unit = {
Logger.getLogger("org.apache.spark").setLevel(Level.OFF) val conf = new SparkConf().setMaster("local[2]").setAppName(this.getClass.getSimpleName)
val sc = new SparkContext(conf)
val topN = args().toInt val subject = Array("bigdata","javaee","php")
// 读取数据
val lines: RDD[String] = sc.textFile(args())
// 整理数据 http://bigdata.myit.cn/laozhang
val subjectAndTeacher= lines.map(line => {
val url = new URL(line)
val host = url.getHost
val subject = host.substring(, host.indexOf("."))
val teacher = url.getPath.substring() // 去掉前面的/
((subject, teacher),)
}) // 计算我们有多少学科
val sujects: Array[String] = subjectAndTeacher.map(_._1._1).distinct().collect() // 自定义一个分区器,并且按照指定的分区器进行分区
val subjectPartitoner = new SubjectPartitoner2(sujects) // 聚合,聚合是按照指定的分区器进行分区
// 该RDD一个分区内仅有一个学科的数据
val reduced: RDD[((String, String), Int)] = subjectAndTeacher.reduceByKey(subjectPartitoner,_+_) // 如果一次拿出一个分区(可以操作一个分区的数据)
val sorted = reduced.mapPartitions(it => {
// 将迭代器转成List,然后排序,再转成迭代器返回
it.toList.sortBy(_._2).reverse.take(topN).toIterator // 按数值排序
}) // 收集数据
val result = sorted.collect() println(result.toBuffer)
sc.stop()
} // 自定义分区器
class SubjectPartitoner2(sbs: Array[String]) extends Partitioner{
// 相当于主构造器(new 的时候会执行一次)
// 用于存放规则的一个map
val rules = new mutable.HashMap[String, Int]()
var i =
for (sb <- sbs){
rules.put(sb,i)
i +=
} // 返回分区的数量(下一个RDD有多少分区)
override def numPartitions: Int = sbs.length // 根据传入的key计算分区标号
// Key是一个无组(String, String)
override def getPartition(key: Any): Int ={
// 获取学科名称
val subject = key.asInstanceOf[(String, String)]._1
// 根据规则计算分区编号
rules(subject)
}
} }

Spark- 计算每个学科最受欢迎的老师的更多相关文章

  1. 大数据学习day22------spark05------1. 学科最受欢迎老师解法补充 2. 自定义排序 3. spark任务执行过程 4. SparkTask的分类 5. Task的序列化 6. Task的多线程问题

    1. 学科最受欢迎老师解法补充 day21中该案例的解法四还有一个问题,就是当各个老师受欢迎度是一样的时候,其排序规则就处理不了,以下是对其优化的解法 实现方式五 FavoriteTeacher5 p ...

  2. 大数据学习day21-----spark04------1. 广播变量 2. RDD中的cache 3.RDD的checkpoint方法 4. 计算学科最受欢迎老师TopN

    1. 广播变量  1.1 补充知识(来源:https://blog.csdn.net/huashetianzu/article/details/7821674) 之所以存在reduce side jo ...

  3. Spark计算模型

    [TOC] Spark计算模型 Spark程序模型 一个经典的示例模型 SparkContext中的textFile函数从HDFS读取日志文件,输出变量file var file = sc.textF ...

  4. spark计算两个DataFrame的差集、交集、合集

    spark 计算两个dataframe 的差集.交集.合集,只选择某一列来对比比较好.新建两个 dataframe : import org.apache.spark.{SparkConf, Spar ...

  5. 【原创 Hadoop&Spark 动手实践 7】Spark 计算引擎剖析与动手实践

    [原创 Hadoop&Spark 动手实践 7]Spark计算引擎剖析与动手实践 目标: 1. 理解Spark计算引擎的理论知识 2. 动手实践更深入的理解Spark计算引擎的细节 3. 通过 ...

  6. 【Spark深入学习 -13】Spark计算引擎剖析

    ----本节内容------- 1.遗留问题解答 2.Spark核心概念 2.1 RDD及RDD操作 2.2 Transformation和Action 2.3 Spark程序架构 2.4 Spark ...

  7. Java进行spark计算

    首先在Linux环境安装spark: 可以从如下地址下载最新版本的spark: https://spark.apache.org/downloads.html 这个下载下来后是个tgz的压缩包,解压后 ...

  8. 使用spark 计算netflow数据初探

    spark是一个高性能的并发的计算平台,而netflow是一种一般来说数量级很大的数据.本文记录初步使用spark 计算netflow数据的大致过程. 本文包括以下过程: 1. spark环境的搭建 ...

  9. Spark计算均值

    作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 用spark来快速计算分组的平均值,写法很便捷,话不多说上代码 object ColumnVal ...

随机推荐

  1. java中已经排序的列表中插入新值

    static List<Integer> insertSortedList(){ List<Integer> nums = new ArrayList<Integer&g ...

  2. 解决 三星Note3 桌面小部件不实时更新/不刷新 的问题

    机型及问题描述:我的是三星note3 (国行 SM-N9008V),已ROOT,安装了LBE安全大师.在桌面小部件中,有些不会实时更新.比如有 滴答清单(办过的事项无法勾选),百度云音乐(歌曲播放更新 ...

  3. mysql导出数据库提示警告在GTID模式下面

    [root@db02 tmp]# mysqldump -S /tmp/mysql.sock -A -R --triggers --master-data=2 --single-transaction ...

  4. jquery简洁遮罩插件

    /************************** *Desc:提交操作时遮罩 *Argument:type=0 全屏遮 1局部遮 *Author:Zery-Zhang *Date:2014-09 ...

  5. org.hibernate.type.SerializationException: could not deserialize 反序列化失败

    1.查看实体类有没有实现Serializable接口 例:public class Student implements Serializable { ***** } 2.看表中的字段有没有在实体中进 ...

  6. zookeeper 客户端

    http://blog.csdn.net/lzy_lizhiyang/article/details/48518731 http://blueyan.iteye.com/blog/2298276 ht ...

  7. angular选择器功能

    1.$event对象    $event对象其实就是潜在的jQuery事件对象,通过$event.currentTarget获取当前元素,通过$event.target获取当前元素的子元素. 例如: ...

  8. Python 推导式、迭代器、生成器、模块和包

    一.推导式 (一).列表推导式(集合推导式也同理于此) 利用列表推导式,取出1-20内所有偶数 li = [i for i in range(1, 21) if i % 2 == 0] # 如果只有一 ...

  9. 5.设计模式----prototype原型模式

    原型模式:做到是原型,那肯定是自己本身才是原型,原型模式属于对象的创建模式. 关于原型模式的实现方式分2种: (1)简单形式.(2)登记形式,这两种表现形式仅仅是原型模式的不同实现. package ...

  10. Python菜鸟之路:sqlalchemy/paramiko进阶

    前言:ORM中的两种创建方式 数据库优先:指的是先创建数据库,包括表和字段的建立,然后根据数据库生成ORM的代码,它是先创建数据库,再创建相关程序代码 代码优先:就是先写代码,然后根据代码去生成数据库 ...