本文主要内容来自于<Hadoop权威指南>英文版中的Spark章节,能够说是个人的翻译版本号,涵盖了基本的Spark概念.假设想获得更好地阅读体验,能够訪问这里. 安装Spark 首先从spark官网下载稳定的二进制分发版本号,注意与你安装的Hadoop版本号相匹配: wget http://archive.apache.org/dist/spark/spark-1.6.0/spark-1.6.0-bin-hadoop2.6.tgz 解压: tar xzf spark-x.y.z-bin-di…

卷积神经网络 (Convolutional Neural Networks,简称CNN),是一种经典的神经网络算法.由于在图像识别领域取得的良好效果,随着人工智能的火热,它也受到越来越多的关注.CNN的核心概念卷积.池化听起来好像很神秘,了解之后会发现其实也并不复杂.本文试图用通俗的语言,简明扼要地介绍这些关键的概念,给读者带来一个直观的理解.作者在文章最后给出了一些参考资料,以便读者进一步参考. 一.为什么要提出CNN? 我们知道CNN是一种基于神经网络的算法.而传统的神经网络,多层感知机(M…

RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets),它是一种分布式的内存抽象,表示一个只读的记录分区的集合,它只能通过其他RDD转换而创建,为此,RDD支持丰富的转换操作(如map, join, filter, groupBy等),通过这种转换操作,新的RDD则包含了如何从其他RDDs衍生所必需的信息,所以说RDDs之间是有依赖关系的.基于RDDs之间的依赖,RDDs会形成一个有向无环图DAG,该DAG描述了整个流式计算的流程,实际执行的时候,RDD是…

1.Application     基于spark的用户程序,包含了一个Driver Program以及集群上中多个executor:     spark中只要有一个sparkcontext就是一个application:     启动一个spark-shell也是一个application,因为在启动shark-shell时就内置了一个sc(SparkContext的实例):   2.Driver Program     运行Application的main()函数并且创建SparkConte…

RDD: Resilient Distributed Dataset RDD的特点: 1.A list of partitions       一系列的分片:比如说64M一片:类似于Hadoop中的split:   2.A function for computing each split     在每个分片上都有一个函数去迭代/执行/计算它   3.A list of dependencies on other RDDs     一系列的依赖:RDDa转换为RDDb,RDDb转换为RDDc,那…

RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets),它是一种分布式的内存抽象,表示一个只读的记录分区的集合,它只能通过其他RDD转换而创建,为此,RDD支持丰富的转换操作(如map, join, filter, groupBy等),通过这种转换操作,新的RDD则包含了如何从其他RDDs衍生所必需的信息,所以说RDDs之间是有依赖关系的.基于RDDs之间的依赖,RDDs会形成一个有向无环图DAG,该DAG描述了整个流式计算的流程,实际执行的时候,RDD是…

Kubernetes 是一个具有自动控制 .自动纠错功能的资源管理系统 可以把 Node , Pod , Replication Controller , Service 等都看做是一种 "资源对象" 通过Kubernetes提供的 kubectl 工具  or API编程调用 对这些资源对象进行 增.删.改.查 等操作 并将其在 etcd 中持久化存储. Kubernetes 其实是一个高度自动化的资源控制系统,它通过跟踪对比etcd库里保存的“资源期望状态” 与 当前环境中的“实际…

文章正文 RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets),它是一种分布式的内存抽象,表示一个只读的记录分区的集合,它只能通过其他RDD转换而创建,为此,RDD支持丰富的转换操作(如map, join, filter, groupBy等),通过这种转换操作,新的RDD则包含了如何从其他RDDs衍生所必需的信息,所以说RDDs之间是有依赖关系的.基于RDDs之间的依赖,RDDs会形成一个有向无环图DAG,该DAG描述了整个流式计算的流程,实际执行的时候…

说到Spark就不得不提MapReduce/Hadoop, 当前越来越多的公司已经把大数据计算引擎从MapReduce升级到了Spark. 至于原因当然是MapReduce的一些局限性了, 我们一起先来看下Mapreduce的局限性和Spark如何做的改进. Spark概述 MapReduce局限性 1 仅支持Map和Reduce两种操作 2 处理效率极低 Map中间结果写磁盘,Reduce写HDFS,多个MR之间通过HDFS交换数据; 任务调度和启动开销大 无法充分利用内存 Map端和Redu…

Spark系列-初体验(数据准备篇) Spark系列-核心概念 一. Spark核心概念 Master,也就是架构图中的Cluster Manager.Spark的Master和Workder节点分别Hadoop的NameNode和DataNode相似,是一种主从结构.Master是集群的领导者,负责协调和管理集群内的所有资源(接收调度和向WorkerNode发送指令).从大类上来分Master分为local和cluster两大类 local:也就是本地模式,所有计算都在一台服务器上完成,通常用…