Learning Spark中文版--第五章--加载保存数据（2）

【Learning Spark中文版--第五章--加载保存数据（2）】的更多相关文章

Learning Spark中文版--第五章--加载保存数据（2）

SequenceFiles(序列文件) SequenceFile是Hadoop的一种由键值对小文件组成的流行的格式.SequenceFIle有同步标记,Spark可以寻找标记点,然后与记录边界重新同步.Spark还可以从多个节点并行高效地读取SequenceFile.SequenceFile也是Hadoop MapReduce中job的常用输入输出格式,如果你正使用着Hadoop系统,数据很有可能就是SequenceFile格式的. SequenceFile是由实现HadoopWrita…

Learning Spark中文版--第五章--加载保存数据（1）

开发工程师和数据科学家都会受益于本章的部分内容.工程师可能希望探索更多的输出格式,看看有没有一些适合他们下游用户的格式.数据科学家可能会更关注他们已经使用的数据格式. Motivation 我们已经介绍了大量分布式程序使用的Spark操作.目前为止,我们的例子都是从一个本地集合和规整文件中加载数据,但是有可能你的数据不是规整的或者不在一台机器上,那么就跟着我一起探索加载和保存数据的操作用法. Spark支持广泛的输出输入源,部分原因是因为Spark构建在Haddoop生态环境之上.S…

Learning Spark中文版--第四章--使用键值对（2）

Actions Available on Pair RDDs (键值对RDD可用的action) 和transformation(转换)一样,键值对RDD也可以使用基础RDD上的action(开工),并且键值对RDD有一些利用键值对数据特性的的action,如下表: 表4-3 键值对RDD上的action 函数名描述例子结果 countByKey() 计算每个键元素的总数 rdd.countByKey() {(1,1),(3,2)} collectAsMap() 结果收集成一个map便…

《Entity Framework 6 Recipes》中文翻译系列 (22) -----第五章加载实体和导航属性之延迟加载

翻译的初衷以及为什么选择<Entity Framework 6 Recipes>来学习,请看本系列开篇第五章加载实体和导航属性实体框架提供了非常棒的建模环境,它允许开发人员可视化地使用映射到数据库中的表.视图.存储过程以及关系中的实体类型.本节将向你展示如何控制查询操作中的关联实体的加载. 实体框架的默认行为是只加载应用程序直接需要的实体.通常情况下,这正是你需要的.如果实体框架通过一个或多个关联积极地加载关联实体,最终,你很有可能得到超过你需求的实体.这不但增加了内存占用,而且还影响了…

Learning Spark中文版--第三章--RDD编程（1）

本章介绍了Spark用于数据处理的核心抽象概念,具有弹性的分布式数据集(RDD).一个RDD仅仅是一个分布式的元素集合.在Spark中,所有工作都表示为创建新的RDDs.转换现有的RDD,或者调用RDD上的操作来计算结果.在底层,Spark自动将数据中包含的数据分发到你的集群中,并将你对它们执行的操作进行并行化.数据科学家和工程师都应该阅读这一章,因为RDD是Spark的核心概念.我们强烈建议你在这些例子中尝试一些交互式shell(参见"Spark的Python和Scala shell的…

Learning Spark中文版--第四章--使用键值对（1）

本章介绍了如何使用键值对RDD,Spark中很多操作都基于此数据类型.键值对RDD通常在聚合操作中使用,而且我们经常做一些初始的ETL(extract(提取),transform(转换)和load(加载))来把数据转化成键值对格式.键值对中有很多新操作(如,计算每个产品的评价,对相同键的数据进行分组,将两个不同的RDD组合在一起). 我们还将讨论一种高级特性,可以让用户控制节点间的RDD的布局:partitioning(分区).通过使用可控的分区,应用程序可以确保访问单个节点上的数据从而…

Learning Spark中文版--第六章--Spark高级编程（1）

Introduction(介绍) 本章介绍了之前章节没有涵盖的高级Spark编程特性.我们介绍两种类型的共享变量:用来聚合信息的累加器和能有效分配较大值的广播变量.基于对RDD现有的transformation(转换),我们针对构建成本高的任务引入批量操作,如查询数据库.为了扩展我们可使用工具的范围,我们介绍Spark与外部程序交互的方法,例如用R编写的脚本. 在本章中,我们将以无线电台的通话记录作为输入构造一个示例.这些日志至少包括联系电台的呼号.呼号由国家分配,并且每个国家有自己的呼号范围,…