Spark支持两种RDD操作:transformation和action.transformation操作会针对已有的RDD创建一个新的RDD: 而action则主要是对RDD进行最后的操作,比如遍历.reduce.保存到文件等,并可以返回结果给Driver程序. 例如,map就是一种transformation操作,它用于将已有RDD的每个元素传入一个自定义的函数,并获取一个新的元素,然后将所有的新元素组成一个新的RDD. 而reduce就是一种action操作,它用于对RDD中的所有元素进行…

新发布1.7.0版本的hanlp自然语言处理工具包差不多已经有半年时间了,最近也是一直在整理这个新版本hanlp分词工具的相关内容.不过按照当前的整理进度,还需要一段时间再给大家详细分享整理的内容.昨天正好看到的这篇关于关于1.7.0版本hanlp分词在spark中的使用介绍的文章,顺便分享给大家一起学习一下! 以下为分享的文章内容: HanLP分词,如README中所说,如果没有特殊需求,可以通过maven配置,如果要添加自定义词典,需要下载“依赖jar包和用户字典". 直接"jav…

<深入理解Spark:核心思想与源码分析>一书前言的内容请看链接<深入理解SPARK:核心思想与源码分析>一书正式出版上市 <深入理解Spark:核心思想与源码分析>一书第一章的内容请看链接<第1章 环境准备> <深入理解Spark:核心思想与源码分析>一书第二章的内容请看链接<第2章 SPARK设计理念与基本架构> <深入理解Spark:核心思想与源码分析>一书第三章第一部分的内容请看链接<深入理解Spark:核心…

<深入理解Spark:核心思想与源代码分析>一书前言的内容请看链接<深入理解SPARK:核心思想与源代码分析>一书正式出版上市 <深入理解Spark:核心思想与源代码分析>一书第一章的内容请看链接<第1章 环境准备> <深入理解Spark:核心思想与源代码分析>一书第二章的内容请看链接<第2章 SPARK设计理念与基本架构> <深入理解Spark:核心思想与源代码分析>一书第三章第一部分的内容请看链接<深入理解Spa…

1. Spark中的基本概念 Application:基于Spark的用户程序,包含了一个driver program和集群中多个executor. Driver Program:运行Application的main()函数并创建SparkContext.通常SparkContext代表driver program. Executor:为某Application运行在worker node上的一个进程.该进程负责运行Task,并负责将数据存在内存或者磁盘 上.每个Application都有自己独…

眼下,SPARK在大数据处理领域十分流行.尤其是对于大规模数据集上的机器学习算法.SPARK更具有优势.一下初步介绍SPARK在linux中的部署与使用,以及当中聚类算法的实现. 在官网http://spark.apache.org/上直接下载编译好的tar安装包能够加快部署速度. spark的执行依赖于scala2.10.4,注意此版本号一定要正确,否则spark不能正确执行. 1.scala的安装非常easy.在官网http://www.scala-lang.org上下载安装包,解压到随意路…

原文链接:在Spark中自定义Kryo序列化输入输出API 在Spark中内置支持两种系列化格式:(1).Java serialization:(2).Kryo serialization.在默认情况下,Spark使用的是Java的ObjectOutputStream系列化框架,它支持所有继承java.io.Serializable的类系列化,虽然Java系列化非常灵活,但是它的性能不佳.然而我们可以使用Kryo 库来系列化,它相比Java serialization系列化高效,速度很快(通常比…

本文是从 IPython Notebook 转化而来,效果没有本来那么好. 主要为体验 IPython Notebook.至于题目,改成<在 IPython Notebook 中使用 Spark>也可以,没什么差别.为什么是 Spark?因为这两天在看<Spark 机器学习>这本书第 3 章,所以就顺便做个笔记. 简单介绍下,IPython notebook 对数据科学家来说是个交互地呈现科学和理论工作的必备工具,它集成了文本和 Python 代码.Spark 是个通用的集群计算框…

Spark中的对象 Spark的Conf,极简化的场景,可以设置一个空conf给sparkContext,在执行spark-submit的时候,系统会默认给sparkContext赋一个SparkConf: Application是顶级的,每个spark-submit就是一个application:官网说明:User program built on Spark. Consists of a driver program and executors on the cluster. 每个actio…

本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是spark专题第二篇文章,我们来看spark非常重要的一个概念--RDD. 在上一讲当中我们在本地安装好了spark,虽然我们只有local一个集群,但是仍然不妨碍我们进行实验.spark最大的特点就是无论集群的资源如何,进行计算的代码都是一样的,spark会自动为我们做分布式调度工作. RDD概念 介绍spark离不开RDD,RDD是其中很重要的一个部分.但是很多初学者往往都不清楚RDD究竟是什么,我自己也是一样,我在系统学习s…