分布式数据集创建之textFile


        文本文件的RDDs能够通过SparkContext的textFile方法创建,该方法接受文件的URI地址(或者机器上的文件本地路径,或者一个hdfs://, sdn://,kfs://,其他URI).这里是一个调用样例:



scala> val distFile = sc.textFile(“data.txt”)



distFile: spark.RDD[String] = spark.HadoopRDD@1d4cee08



分布式数据集操作之转换和动作


分布式数据集支持两种操作:

  1. 转换(transformations):依据现有的数据集创建一个新的数据集
  2. 动作(actions):在数据集上执行计算后,返回一个值给驱动程序



数据集操作之map和reduce


       一旦被创建,distFile能够进行数据集操作。比如,我们能够使用例如以下的map和reduce操作将全部行数的长度相加:



distFile.map(_.size).reduce(_ + _ )



        方法也接受可选的第二參数,来控制文件的分片数目。默认来说,Spark为每一块文件创建一个分片(HDFS默认的块大小为64MB),可是你能够通过传入一个更大的值来指定很多其它的分片。注意,你不能指定一个比块个数更少的片值(和hadoop中,Map数不能小于Block数一样)

  1. Map是一个转换,将数据集的每个元素,都经过一个函数进行计算后,返回一个新的分布式数据集作为结果。
  2. Reduce是一个动作,将数据集的全部元素,用某个函数进行聚合,然后将终于结果返回驱动程序,而并行的reduceByKey还是返回一个分布式数据集

转换是惰性的


        全部Spark中的转换都是惰性的,也就是说,并不会立即发生计算。相反的,它仅仅是记住应用到基础数据集上的这些转换(Transformation)。

       而这些转换(Transformation),仅仅会在有一个动作(Action)发生,要求返回结果给驱动应用时,才真正进行计算。这个设计让Spark更加有效率的执行。比如,我们能够实现,通过map创建一个数据集,然后再用reduce,而仅仅返回reduce的结果给driver,而不是整个大的数据集。



重要转换操作之caching(缓存)


        spark提供的一个重要转换操作是Caching。当你cache一个分布式数据集时,每一个节点会存储该数据集的全部片,并在内存中计算,并在其他操作中重用。这将会使得兴许的计算更加的高速(一般是10倍),缓存是spark中一个构造迭代算法的关键工具,也能够在解释器中交互使用。

        调用RDD的cache()方法,能够让它在第一次计算后,将结果保持存储在内存。数据集的不同部分,将会被存储在计算它的不同的集群节点上,让兴许的数据集使用更快。缓存是有容错功能的,假设任一分区的RDD数据丢失了,它会被使用原来创建它的转换,再计算一次(不须要所有又一次计算,仅仅计算丢失的分区)。



眼下支持的转换(transformation


Transformation

Meaning

map(func)

返回一个新的分布式数据集,由每一个原元素经过func函数转换后组成

filter(func)

返回一个新的数据集,由经过func函数后返回值为true的原元素组成

flatMap(func)

到多个输出元素(因此,func函数的返回值是一个Seq,而不是单一元素)

sample(withReplacement, frac, seed)

依据给定的随机种子seed,随机抽样出数量为frac的数据

union(otherDataset)

返回一个新的数据集,由原数据集和參数联合而成

groupByKey([numTasks])

个并行任务进行分组,你能够传入numTask可选參数,依据数据量设置不同数目的Task

(groupByKey和filter结合,能够实现类似Hadoop中的Reduce功能)

reduceByKey(func, [numTasks])

在一个(K,V)对的数据集上使用,返回一个(K,V)对的数据集,key同样的值,都被使用指定的reduce函数聚合到一起。和groupbykey类似,任务的个数是能够通过第二个可选參数来配置的。

join(otherDataset, [numTasks])

在类型为(K,V)和(K,W)类型的数据集上调用,返回一个(K,(V,W))对,每一个key中的全部元素都在一起的数据集

groupWith(otherDataset, [numTasks])

在类型为(K,V)和(K,W)类型的数据集上调用,返回一个数据集,组成元素为(K, Seq[V], Seq[W]) Tuples。这个操作在其他框架,称为CoGroup

cartesian(otherDataset)

笛卡尔积。但在数据集T和U上调用时,返回一个(T,U)对的数据集,全部元素交互进行笛卡尔积。

sortByKey([ascendingOrder])

在类型为( K, V )的数据集上调用,返回以K为键进行排序的(K,V)对数据集。升序或者降序由boolean型的ascendingOrder參数决定

(类似于Hadoop的Map-Reduce中间阶段的Sort,按Key进行排序)

眼下支持的动作(actions


Action

Meaning

reduce(func)

个參数,返回一个值。这个函数必须是关联性的,确保能够被正确的并发运行

collect()

在Driver的程序中,以数组的形式,返回数据集的全部元素。这一般会在使用filter或者其他操作后,返回一个足够小的数据子集再使用,直接将整个RDD集Collect返回,非常可能会让Driver程序OOM

count()

返回数据集的元素个数

take(n)

返回一个数组,由数据集的前n个元素组成。注意,这个操作眼下并不是在多个节点上,并行运行,而是Driver程序所在机器,单机计算全部的元素

(Gateway的内存压力会增大,须要慎重使用)

first()

))

saveAsTextFile(path)

将数据集的元素,以textfile的形式,保存到本地文件系统,hdfs或者不论什么其他hadoop支持的文件系统。Spark将会调用每一个元素的toString方法,并将它转换为文件里的一行文本

saveAsSequenceFile(path)

将数据集的元素,以sequencefile的格式,保存到指定的文件夹下,本地系统,hdfs或者不论什么其他hadoop支持的文件系统。RDD的元素必须由key-value对组成,并都实现了Hadoop的Writable接口,或隐式能够转换为Writable(Spark包含了基本类型的转换,比如Int,Double,String等等)

foreach(func)

在数据集的每个元素上,执行函数func。这通经常使用于更新一个累加器变量,或者和外部存储系统做交互




两种共享变量之广播变量和累加器


        一般来说,当一个函数被传递给Spark操作(比如map和reduce),一般是在集群结点上执行,在函数中使用到的全部变量,都做分别拷贝,供函数操作,而不会互相影响。这些变量会被复制到每一台机器,而在远程机器上,在对变量的全部更新,都不会被传播回Driver程序。然而,Spark提供两种有限的共享变量,供两种公用的使用模式:广播变量和累加器。



广播变量


        广播变量同意程序猿保留一个仅仅读的变量,缓存在每一台机器上,而非每一个任务保存一份拷贝。他们能够使用,比如,给每一个结点一个大的输入数据集,以一种高效的方式。Spark也会尝试,使用一种高效的广播算法,来降低沟通的损耗。

        广播变量是从变量V创建的,通过调用SparkContext.broadcast(v)方法。这个广播变量是一个v的分装器,它的仅仅能够通过调用value方法获得。例如以下的解释器模块展示了怎样应用:
scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))



broadcastVar: spark.Broadcast[Array[Int]] = spark.Broadcast(b5c40191-a864-4c7d-b9bf-d87e1a4e787c)



scala> broadcastVar.value



res0: Array[Int] = Array(1, 2, 3)

        在广播变量被创建后,它能在集群执行的不论什么函数上,被代替v值进行调用,从而v值不须要被再次传递到这些结点上。另外,对象v不能在被广播后改动,是仅仅读的,从而保证全部结点的变量,收到的都是一模一样的。



累加器


累加器是仅仅能通过组合操作“加”起来的变量,能够高效的被并行支持。他们能够用来实现计数器(如同MapReduce中)和求和。Spark原生就支持Int和Double类型的计数器,程序猿能够加入新的类型。



        一个计数器,能够通过调用SparkContext.accumulator(V)方法来创建。执行在集群上的任务,能够使用+=来加值。然而,它们不能读取计数器的值。当Driver程序须要读取值的时候,它能够使用.value方法。



        例如以下的解释器,展示了怎样利用累加器,将一个数组里面的全部元素相加



scala> val accum = sc.accumulator(0)



accum: spark.Accumulator[Int] = 0



scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)







10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s



scala> accum.value



res2: Int = 10




spark的例子程序


        在Spark的站点上,你能够看到Spark例子程序

        另外,Spark包含了一些例子,在examples/src/main/scala上,有些既有Spark版本号,又有本地非并行版本号,同意你看到假设要让程序以集群化的方式跑起来的话,须要做什么改变。你能够执行它们,通过将类名传递给spark中的run脚本 — 比如./run spark.examples.SparkPi. 每个例子程序,都会打印使用帮助,当执行时没不论什么參数时。



參考资料

1.spark随谈——开发指南(译)http://www.linuxidc.com/Linux/2013-08/88595p2.htm

/*

注:

本文全部内容来自參考资料1。

转载请注明来源:http://blog.csdn.net/ksearch/article/details/24145757

*/

【spark系列3】spark开发简单指南的更多相关文章

  1. Spark系列—01 Spark集群的安装

    一.概述 关于Spark是什么.为什么学习Spark等等,在这就不说了,直接看这个:http://spark.apache.org, 我就直接说一下Spark的一些优势: 1.快 与Hadoop的Ma ...

  2. Spark系列—02 Spark程序牛刀小试

    一.执行第一个Spark程序 1.执行程序 我们执行一下Spark自带的一个例子,利用蒙特·卡罗算法求PI: 启动Spark集群后,可以在集群的任何一台机器上执行一下命令: /home/spark/s ...

  3. Spark 系列(二)—— Spark开发环境搭建

    一.安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压 ...

  4. Spark 系列(八)—— Spark SQL 之 DataFrame 和 Dataset

    一.Spark SQL简介 Spark SQL 是 Spark 中的一个子模块,主要用于操作结构化数据.它具有以下特点: 能够将 SQL 查询与 Spark 程序无缝混合,允许您使用 SQL 或 Da ...

  5. Spark入门实战系列--1.Spark及其生态圈简介

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .简介 1.1 Spark简介 年6月进入Apache成为孵化项目,8个月后成为Apache ...

  6. Spark入门实战系列--4.Spark运行架构

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 1. Spark运行架构 1.1 术语定义 lApplication:Spark Appli ...

  7. Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .Spark Streaming简介 1.1 概述 Spark Streaming 是Spa ...

  8. Spark入门实战系列--8.Spark MLlib(上)--机器学习及SparkMLlib简介

    [注]该系列文章以及使用到安装包/测试数据 可以在<倾情大奉送--Spark入门实战系列>获取 .机器学习概念 1.1 机器学习的定义 在维基百科上对机器学习提出以下几种定义: l“机器学 ...

  9. Spark 系列(十三)—— Spark Streaming 与流处理

    一.流处理 1.1 静态数据处理 在流处理之前,数据通常存储在数据库,文件系统或其他形式的存储系统中.应用程序根据需要查询数据或计算数据.这就是传统的静态数据处理架构.Hadoop 采用 HDFS 进 ...

随机推荐

  1. vue项目中,Iview打包到生产环境时, woff 字体引用问题

    出现这问题的原因是文件路径不对,与webpack有关,解决的办法为: 一.修改webpack.prod.conf.js module: { rules: utils.styleLoaders({ so ...

  2. Icon.png pngcrush caught libpng error:Read

    [问题处理]Icon.png pngcrush caught libpng error:Read Error 遇到问题 在项目Archive时,遇到 Icon.png pngcrush caught ...

  3. (最大矩阵链乘)Matrix-chain product

    Matrix-chain product. The following are some instances. a)       <3, 5, 2, 1,10> b)       < ...

  4. scrapy中对于item的把控

    其实很简单,就是想要存储的位置发生改变.直接看例子,然后触类旁通. 以大众点评 评论的内容为例 ,位置:http://www.dianping.com/shop/77489519/review_mor ...

  5. 解决ASP.NET MVC(post数据)Json请求太大,无法反序列化(The JSON request was too large to be deserialized)

    这个问题出现的场景并不是很多,当你向服务端异步(ajax)post数据非常大的情况下(比如做权限管理的时候给某个角色分配权限那么就可能会出现,我所遇到的就是该角色大概200个模块每个模块平均2个功能- ...

  6. springboot之使用@ConfigurationProperties注解

    springboot之使用@ConfigurationProperties注解 代码已经上传至github https://github.com/gittorlight/springboot-exam ...

  7. 【POJ】1286.Necklace of Beads

    题解 群论,我们只要找出所有的置换群的所有循环节 具体可参照算法艺术与信息学竞赛 旋转的置换有n个,每一个的循环节个数是gcd(N,i),i的范围是0到N - 1 翻转,对于奇数来说固定一个点,然后剩 ...

  8. 《Android源码设计模式》--Builder模式

    No1: 将一个复杂对象的构建与它的表示分离,使得同样的构建过程可以创建不同的表示 No2: 在Android源码中,最常用到的Builder模式就是AlertDialog.Builder No3: ...

  9. printf的定义

    1. printf的宏定义 #define XXX_ERROR 0#define XXX_WARNING 1#define XXX_INFO 2#define XXX_DEBUG 3#define X ...

  10. 模板优化 运用 function 及 外部模板

    我们都知道模板是泛型的,但是,它一旦被实例化就会产生一个实例化的副本. 好了,大家应该能够猜到,低效模板和高效模板的差异了 一般的低效模板: 1.泛型实参表达形式多样导致的低效模板 2.多文件引用同一 ...