0. 说明 在 Spark Shell 实现 Word Count RDD (Resilient Distributed dataset), 弹性分布式数据集. 示意图 1. 实现 1.1 分步实现 # step 加载文档 val rdd1 = sc.textFile("file:///home/centos/wc1.txt") # step 压扁 val rdd2 = rdd1.flatMap(line=>{line.split(" ")}) # step…

第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD.DataFrame 与 DataSet0.3.2 DataSet 与 RDD 互操作0.3.3 RDD.DataFrame 与 DataSet 之间的转换0.3.4 用户自定义聚合函数(UDAF)0.3.5 开窗函数0.4 Spark Streaming0.4.1 Dst…

方案一:使用reduceByKey 数据word.txt 张三 李四 王五 李四 王五 李四 王五 李四 王五 王五 李四 李四 李四 李四 李四 代码: import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.…

0. 说明 聚合气温数据,聚合出 MAX . MIN . AVG 1. Spark Shell 实现 1.1 MAX 分步实现 # 加载文档 val rdd1 = sc.textFile("file:///home/centos/temp3.dat") # 压扁 val rdd2 = rdd1.map(line=>{).toInt , arr().toInt)}) # 得到最大值 val rdd3 = rdd2.reduceByKey((a,b)=>if(a > b)…

0. 说明  官方文档  Job Scheduling Spark 调度核心组件: DagScheduler TaskScheduler BackendScheduler 1. DagScheduler direct acycle graph , 有向无环图调度器 高级调度器,面向的是 stage ,为每个 job 计算 stage 的 DAG 图,跟踪 RDD 和 stage 的输出,找出最小的调度策略来执行 job. 该调度器提交 stage 给下层的 Task 调度器,以 taskSet…

0. 说明 [Spark 核心组件示意图] 1. RDD resilient distributed dataset , 弹性数据集 轻量级的数据集合,逻辑上的集合.等价于 list 没有携带数据. 2. 依赖 RDD 的依赖是 子 RDD 上的每个分区和父 RDD 分区数量上的对应关系 Dependency |----ShuffleDependency (宽依赖) |----NarrowDependency (窄依赖:子 RDD 的每个分区依赖少量的父 RDD 分区) |-----One2On…

0. 说明 Spark 下运行job,使用第三方 Jar 包的 3 种方式. 1. 方式一 将第三方 Jar 包分发到所有的 spark/jars 目录下 2. 方式二 将第三方 Jar 打散,和我们自己的 Jar 包打到一起 类似的例子可以参考  在 Spark 集群上运行程序  中的打包部分 3. 方式三 在 spark-submit 命令中,通过 --jars 指定使用的第三方 Jar 包 [案例:使用 spark-shell 执行 taggen] 1. 启动 spark-shell,指定…

0. 说明 在 IDEA 中编写 Spark 代码实现将 JSON 数据转换成标签,分别用 Scala & Java 两种代码实现. 1. 准备 1.1 pom.xml  <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.0<…

0. 说明 Spark 在 IDEA 下使用 Scala  & Spark 在 IDEA 下使用 Java 编写 WordCount 程序 1. 准备 在项目中新建模块,为模块添加 Maven 和 Scala 支持 pom.xml 中添加的内容如下 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</…

awk '{arr[$2]+=$1}END{for (i in arr) print i,arr[i]}' sort_all.txt | sort -k2nr -g…