前面几天元旦过high了，博客也停了一两天，哈哈，今天我们重新开始，今天我们介绍的是spark的原理

　　首先先说一个小贴士:

　　　　spark中，对于var count = 0,如果想使count自增，我们不能使用count++，而是我们要使用count = count + 1

　　接下来开始我们的正经事了，介绍spark的工作原理，先放上一张原理图

　　

　　　　　　从这个图我们可以看出，当一个任务提交的时候，我们就可以调用调用Master，然后Master在找资源充沛的Worker,对于我们而言，如果我们写了一Spark的的程序，肯定里面有main方法，此时这个spark的程序就是一个spark-submit，而里面的main方法，我们就可以认为是一个SparkSubmit里面的Driver,一旦遇到Action，因为我们这里面分为Transformer以及Action，在前面的章节中已经介绍过这二者的区别了一旦遇到Action(此时我们可以简单的理解为这在执行collect),就把我们的任务提交到Master,然后Master申请资源，并决定在资源可用的机器上(Worker)启动一个Executor进程，则此后当Master接受到一个任务，并分配给资源可用的worker,其实是worker底下的Executor正在计算

　　　　　　在spark当中，一个任务叫做application，但是在hadoop中，一个任务叫做job

　　　　　　其中,我们可以这样理解，加入hdfs里面有200M缓存的规则，如果分为2个切片，则此时我们也是需要两个Excutor

　　　　　　来保存这两个block里面的内容，但是这个是不完整的，我们就会使用Driver会把这两个Excutor获取的数据进行汇总，

　　　　　　然后在经过Driver在对这个里面所有的Excutor进行广播，此时这个里面的Excutor的缓存了所有的数据

　　　　　　

　　　　　　SPARK中的各个名词
　　　　　　　　spark程序:App
　　　　　　　　用于提交应用程序的:Driver
　　　　　　　　资源管理:Master
　　　　　　　　节点管理:Worker
　　　　　　　　执行真正的业务逻辑:spark-submit

　　　　

spark提交运算原理的更多相关文章

  1. Spark生态以及原理

    spark 生态及运行原理 Spark 特点 运行速度快 => Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算.官方提供的数据表明,如果数据由磁盘读取,速度是Hadoop MapR ...

  2. Spark 以及 spark streaming 核心原理及实践

    收录待用,修改转载已取得腾讯云授权 作者 | 蒋专 蒋专,现CDG事业群社交与效果广告部微信广告中心业务逻辑组员工,负责广告系统后台开发,2012年上海同济大学软件学院本科毕业,曾在百度凤巢工作三年, ...

  3. Spark Scheduler内部原理剖析

    文章正文 通过文章“Spark 核心概念RDD”我们知道,Spark的核心是根据RDD来实现的,Spark Scheduler则为Spark核心实现的重要一环,其作用就是任务调度.Spark的任务调度 ...

  4. Spark分布式执行原理

    Spark分布式执行原理 让代码分布式运行是所有分布式计算框架需要解决的最基本的问题. Spark是大数据领域中相当火热的计算框架,在大数据分析领域有一统江湖的趋势,网上对于Spark源码分析的文章有 ...

  5. 46、Spark SQL工作原理剖析以及性能优化

    一.工作原理剖析 1.图解 二.性能优化 1.设置Shuffle过程中的并行度:spark.sql.shuffle.partitions(SQLContext.setConf()) 2.在Hive数据 ...

  6. Spark Streaming的原理

    Spark Streaming应用也是Spark应用,Spark Streaming生成的DStream最终也是会转化成RDD,然后进行RDD的计算,所以Spark Streaming最终的计算是RD ...

  7. IOS-CGAffineTransformMake 矩阵变换 的运算原理

    1.矩阵的基本知识: struct CGAffineTransform {   CGFloat a, b, c, d;   CGFloat tx, ty; }; CGAffineTransform C ...

  8. spark提交任务的流程

    1.spark提交流程 sparkContext其实是与一个集群建立一个链接,当你停掉它之后 就会和集群断开链接,则属于这个资源的Excutor就会释放掉了,Driver 向Master申请资源,Ma ...

  9. 4.Apache Spark的工作原理

    Apache Spark的工作原理 1 Why Apache Spark 2 关于Apache Spark 3 如何安装Apache Spark 4 Apache Spark的工作原理 5 spark ...

随机推荐

  1. ASP.NET MVC 音乐商店 - 5. 通过支架创建编辑表单

    在上一章,我们已经从数据库获取数据,然后显示出来,这一章,我们将允许编辑数据. 创建 StoreManagerController 控制器 我们将要创建称为 StoreManager 的控制器,对于这 ...

  2. Ienumerable和Ienumerator的使用

    using UnityEngine; using System.Collections; public class TestCoroutine : MonoBehaviour { void Start ...

  3. Spring实践系列-入门篇（一）

    本文主要介绍了在本地搭建并运行一个Spring应用,演示了Spring依赖注入的特性 1 环境搭建 1.1 Maven依赖 目前只用到依赖注入的功能,故以下三个包已满足使用. <properti ...

  4. hibernate_HelloWorld

    环境准备 1.下载 hibernate 3.3.2: 2.下载 hibernate 3.4.0: 3.注意阅读 hibernate compatibility matrix(hibernate 网站, ...

  5. 获取当前事件对象及this的用法

    js <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta h ...

  6. python3基础13（format的使用）

    #!/usr/bin/env python# -*- coding:utf-8 -*- from string import Templatedict={'name':'python','age':2 ...

  7. ASP.NET 上传图片到FTP

    目录: 2.代码 3.参考资料 4.IIS环境FTP配置 5.使用虚拟目录注意Server.MapPath() 1. 项目介绍 建立FTP文件服务器与应用程序分开. 下面方法中的参数为Stream因为 ...

  8. C语言中的特殊变量

    auto: 函数中的局部变量,动态地分配存储空间,数据存储在动态存储区中,在调用该函数时系统会给它们分配存储空间,在函数调用结束时就自动释放这些存储空间. register: 为了提高效率,C语言允许 ...

  9. caffe RandomBrightness和RandomContrast

    1. void RandomBrightness(const cv::Mat& in_img, cv::Mat* out_img, const float brightness_prob, c ...

  10. redis list类型