声明:本文基于spark的programming guide,并融合自己的相关理解整理而成      Spark应用程序总是包括着一个driver program(驱动程序),它运行着用户的main方法,而且运行大量的并行操作(parallel operations)在集群上. 概述     Spark最基本的抽象就是RDD(resilient distributed dataset) 弹性分布式数据集,RDD  就是切割元素的集合,他被分发在集群的各个节点上,而且可以进行并行操作.     R…

Spark学习之RDD编程(2) 1. Spark中的RDD是一个不可变的分布式对象集合. 2. 在Spark中数据的操作不外乎创建RDD.转化已有的RDD以及调用RDD操作进行求值. 3. 创建RDD:1)读取一个外部数据集2)在驱动器程序里分发驱动器程序中的对象集合. 4. RDD支持的操作: 1)转换操作,由一个RDD生成一个新的RDD. 2)行动操作,对RDD进行计算结果,并把结果返回到驱动器程序中,或者把结果存储到外部存储系统(如HDFS). 5. Spark程序或者shell会话都会…

Spark 对数据的核心抽象——弹性分布式数据集(Resilient Distributed Dataset,简称 RDD).RDD 其实就是分布式的元素集合.在 Spark 中,对数据的所有操作不外乎创建 RDD.转化已有 RDD 以及调用 RDD 操作进行求值.而在这一切背后,Spark 会自动将RDD 中的数据分发到集群上,并将操作并行化执行. 一.RDD基础 Spark 中的 RDD 就是一个不可变的分布式对象集合.每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上.RDD…

RDD概述 什么是RDD RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合.在 Spark 中,对数据的所有操作不外乎创建 RDD.转化已有RDD 以及调用 RDD 操作进行求值.每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上.RDD 可以包含 Python.Java.Scala 中任意类型的对象, 甚至可以包含用户自定义的对象.RDD具有数据流模型的特…

1.RDD——弹性分布式数据集(Resilient Distributed Dataset) RDD是一个分布式的元素集合,在Spark中,对数据的操作就是创建RDD.转换已有的RDD和调用RDD操作进行求值. Spark 中的 RDD 就是一个不可变的分布式对象集合.每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上. object WordCount { def main(args: Array[String]) { val inputFile = "file:///home/…

捣鼓了一下,先来个手动挡吧.自动挡要设置ssh无密码登陆啥的,后面开搞. 一.手动多台机链接master 手动链接master其实上篇已经用过. 这里有两台机器: 10.60.215.41 启动master.worker1.application(spark shell) 10.0.2.15 启动worker2 具体步骤如下: 1.在10.60.215.41 上 $SPARK_HOME $ ./sbin/start-master.sh $SPARK_HOME $./bin/spark-class…

RDD(弹性分布式数据集,里面并不存储真正要计算的数据,你对RDD的操作,他会在Driver端转换成Task,下发到Executor计算分散在多台集群上的数据) RDD是一个代理,你对代理进行操作,他会生成Task,帮你计算你操作这个代理,就像操作本地集合一样,不用关心任务调度,容错等 val r1 = sc.textFile("hdfs://hdp-02:9000/wc") r1.count //这样就统计出有多少行 创建RDD的方式生成一个RDD sc.textFile("…

转自:http://www.infoq.com/cn/articles/spark-core-rdd/ 感谢张逸老师的无私分享 RDD,全称为Resilient Distributed Datasets,是一个容错的.并行的数据结构,可以让用户显式地将数据存储到磁盘和内存中,并能控制数据的分区.同时,RDD还提供了一组丰富的操作来操作这些数据.在这些操作中,诸如map.flatMap.filter等转换操作实现了monad模式,很好地契合了Scala的集合操作.除此之外,RDD还提供了诸如joi…

练习0(并行化创建RDD) 先启动spark-shell 通过并行化生成rdd scala> val rdd1 = sc.parallelize(List(63,45,89,23,144,777,888)) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:15 查看该RDD的分区数量 scala> rdd1.partitions.length res…

继续学习spark 认真查看了一下${SPARK_HOME}/bin/pyspark 的脚本,原来开启spark 的python 交互挺简单的. 主要操作 export PYTHONPATH=${SPARK_HOME}/python/:${SPARK_HOME}/python/lib/py4j--src.zip; export PYTHONSTARTUP=${SPARK_HOME}/python/pyspark/shell.py; python; 变量 PYTHONPATH,是指定它的lib 库…