【spark 深入学习 03】Spark RDD的蛮荒世界
RDD真的是一个很晦涩的词汇,他就是伯克利大学的博士们在论文中提出的一个概念,很抽象,很难懂;但是这是spark的核心概念,因此有必要spark rdd的知识点,用最简单、浅显易懂的词汇描述。不想用学术话的语言来阐述RDD是什么,用简单、容易理解的方式来描述。
一、什么是RDD,RDD出现的背景
Mapreduce计算模型的出现解决了分布式计算的诸多难题,但是由于MR对数据共享的解决方案比较低效,导致MR编程模型效率不高,将数据写到一个稳定的外部存储系统,如HDFS,这个会引起数据复写、磁盘IO、磁盘序列化和反序列化等操作。RDD可以指定策略,能不写入的到磁盘的就不写入。总结起来,MR经常和磁盘交互,中间结果不复用,导致中途做很多无用功。
二、RDD概念
RDD,residenta distributed dataset,弹性分布式数据集
1)数据集
如果你熟悉数据库,那么RDD从表现形式上讲最类似于数据库的视图(View)去除这个RDD在物理结构上的特色,单从逻辑上的表现来说,他就是一个数据集合。什么是数据集合?可以理解为Java中的一个list,或者是数据库里的一张表(或者视图)等等。既然是一张表,我们可以理解Spark对RDD的操作,其实类似于SQL里面对表的一些操作。每个RDD有5个主要的属性:
·一组分片(partition),即数据集的基本组成单位
·一个计算每个分片的函数
·对parent RDD的依赖,这个依赖描述了RDD之间的lineage
·对于key-value的RDD,一个Partitioner
·一个列表,存储存取每个partition的preferred位置。对于一个HDFS文件来说,存储每个partition所在的块的位置。
2)弹性
最开始的时候我说RDD最类似数据库的视图,那为什么是视图而不是表呢?这就要说说RDD里面的这个R(弹性),什么叫弹性呢,就是一个RDD的数据并不一定是物理上真是存在的,注意是不一定,就像数据库里的视图(view),只有你在query的时候他才会真正计算出这些数据。RDD里的数据也一样,比如一张全是大写地名的表-- {S: SHANGHAI, BEIJING, ...},可能在RDD里是这样一种形式 {S = S1:{Shanghai, BEIJing, ...}. toUPPERcase }. 前面提到的两个数集合在物理上的内容其实是不一样的,但是你能看到的两个集合是一样的。在Spark里面,类似于toUPPERcase 这样的操作我们叫算子。好了,这样你就理解了这个R,也是RDD最难懂的一个地方。
3)分布式
再说说中间的那个D(分布式),这个很好理解,就是一个数据集分别放在几个机器上,而RDD只要存储这些数据的元信息(如那一片在哪个机器上)即可。这样也就不难理解之前“仲晟”的回答:“RDD,包含一组分区列表(实际上是分区到block的映射,具体数据可以是分布式的存储在HDFS各个节点上)以及一组transformation或action算子等。”
4)容错
不过这样解释似乎缺了些什么,就是为什么RDD要如此麻烦呢?这里我说最明显的两个亮点。1,容错:比如你有一个表,里面是一个公司12个月的平均销售额,存储在12个机器上,突然存储8月数据的机器坏了,那么你通常选择的做法是把整一年的销售资料拿出来,再以月份分组,再把8月的算出来,存在一个好的机器里。而RDD存储8月的数据可能就是(select avg(sales)from t where month = 8) ,在你需要的时侯,如果发现8月数据不在了,可以自动从原数据里把这个数据恢复出来。(这个例子并不是特别真实,只不过很简单的帮你理解容错这个特性)。
5)执行效率优化
一个优点是执行效率优化。假设有这么一个情况,有一个数据表,先把里面的数据都+1,再-1,再+1,再-1.这样显然数据应该都是不变的。如果你每次都把这个数据表都算出来,这样就要执行4次O(n)效率的查找。然而用RDD的思路,{S'} = {S}+1-1+1-1 => {S'} = {s} + 0, 这样就大大提高了效率。(同样这个例子很弱智,但是能帮助你理解RDD为什么要用数据+算子的形式去描述一个数据集).
在所有解释中我忽略了Spark平台,HDFS等因为穿在一起真的很难讲的通俗易懂。只是尽可能的用大白话来讲。若要深入了解还需要结合Spark的运行机制,Hadoop的HDFS,Scala的语法共同来理解RDD这样东西。
【spark 深入学习 03】Spark RDD的蛮荒世界的更多相关文章
- Spark菜鸟学习营Day3 RDD编程进阶
Spark菜鸟学习营Day3 RDD编程进阶 RDD代码简化 对于昨天练习的代码,我们可以从几个方面来简化: 使用fluent风格写法,可以减少对于中间变量的定义. 使用lambda表示式来替换对象写 ...
- 【Spark 深入学习 07】RDD编程之旅基础篇03-键值对RDD
--------------------- 本节内容: · 键值对RDD出现背景 · 键值对RDD转化操作实例 · 键值对RDD行动操作实例 · 键值对RDD数据分区 · 参考资料 --------- ...
- spark SQL学习(spark连接 mysql)
spark连接mysql(打jar包方式) package wujiadong_sparkSQL import java.util.Properties import org.apache.spark ...
- 【spark 深入学习 05】RDD编程之旅基础篇-01
---------------- 本节内容 1.RDD的工作流程 2.WordCount解说 · shell版本WordCount · java版本WordCount -------------- ...
- 【spark 深入学习 06】RDD编程之旅基础篇02-Spaek shell
--------------------- 本节内容: · Spark转换 RDD操作实例 · Spark行动 RDD操作实例 · 参考资料 --------------------- 关于学习编程方 ...
- spark SQL学习(spark连接hive)
spark 读取hive中的数据 scala> import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql. ...
- 【原】Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令
<Learning Spark>这本书算是Spark入门的必读书了,中文版是<Spark快速大数据分析>,不过豆瓣书评很有意思的是,英文原版评分7.4,评论都说入门而已深入不足 ...
- Spark菜鸟学习营Day1 从Java到RDD编程
Spark菜鸟学习营Day1 从Java到RDD编程 菜鸟训练营主要的目标是帮助大家从零开始,初步掌握Spark程序的开发. Spark的编程模型是一步一步发展过来的,今天主要带大家走一下这段路,让我 ...
- Spark学习笔记3——RDD(下)
目录 Spark学习笔记3--RDD(下) 向Spark传递函数 通过匿名内部类 通过具名类传递 通过带参数的 Java 函数类传递 通过 lambda 表达式传递(仅限于 Java 8 及以上) 常 ...
随机推荐
- python界面Tkinter编程(tkMessageBox对话框使用)
python界面Tkinter编程(tkMessageBox对话框使用) 转载 https://blog.csdn.net/m_buddy/article/details/80105154 1 ...
- python tkinter-按钮.标签.文本框、输入框
按钮 无功能按钮 Button的text属性显示按钮上的文本 tkinter.Button(form, text='hello button').pack() 无论怎么变幻窗体大小,永远都在窗体的最上 ...
- IPV4闪退
如果出现这种状况,在安全模式下重注册dll 运行->输入cmd->输入 for %1 in (%windir%\system32\*.dll) do regsvr32.exe /s %1 ...
- Linux使用tcpdump命令抓包并使用wireshark分析
Linux使用tcpdump命令抓包并使用wireshark分析 介绍 有时分析客户端和服务器网络交互的问题时,为了查找问题,需要分别在客户端和服务器上抓包,我们的客户端一般是windows上的,抓包 ...
- python数据分析之pandas数据选取:df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
1 引言 Pandas是作为Python数据分析著名的工具包,提供了多种数据选取的方法,方便实用.本文主要介绍Pandas的几种数据选取的方法. Pandas中,数据主要保存为Dataframe和Se ...
- SQL Server中查找包含某个文本的存储过程
SELECT name,text from sysobjects o,syscomments s where o.id=s.id and text LIKE '%text%' and o.xtype= ...
- POJ.1830.开关问题(高斯消元 异或方程组)
题目链接 显然我们需要使每个i满足\[( ∑_{j} X[j]*A[i][j] ) mod\ 2 = B[i]\] 求这个方程自由元Xi的个数ans,那么方案数便是\(2^{ans}\) %2可以用^ ...
- C++ 指针悬挂和赋值操作符的重载,拷贝构造函数实现
指针悬挂: 问题:使用new申请的内存内存空间无法访问,也无法释放. 原因:直接对指向new申请的存储空间的指针变量进行赋值修改 后果:失去了原来的地址,原来的空间无法访问也无法释放,造成内存泄漏 还 ...
- AppleScript脚本学习记录《二》
关于AppleScript 说到AppleScript,可能涉及到三个含义: 1.AppleScript语言:就是苹果脚本的语言,用来编写运行于Mac系统的脚本. 2.AppleScript脚本:就是 ...
- nginx image_filter 配置记录
nginx_image_filter http_image_filter_module 配置 ---------------------------------- 第一种: //官方配置 locati ...