新手刚开始学习比较迷茫,参考下面,然后找相关资料学习

1 Spark基础篇  
    1.1 Spark生态和安装部署  
        在安装过程中,理解其基本操作步骤。  
        安装部署  
          Spark安装简介  
          Spark的源码编译  
          Spark Standalone安装  
          Spark Standalone HA安装  
          Spark应用程序部署工具spark-submit  
        Spark生态  
          Spark(内存计算框架)  
          SparkSteaming(流式计算框架)  
          Spark SQL(ad-hoc)  
          Mllib(Machine Learning)  
          GraphX(bagel将被取代)  
    1.2 Spark运行架构和解析  
        Spark的运行架构  
          基本术语  
          运行架构  
          Spark on Standalone运行过程  
          Spark on YARN 运行过程  
        Spark运行实例解析  
          Spark on Standalone实例解析  
          Spark on YARN实例解析

1.3 Spark的监控和调优  
        Spark的监控  
          Spark UI监控,默认端口是4040  
          Ganglia 监控,大数据监控开源框架  
        Spark调优  
          基础性调优方式  
    1.4 Spark编程模型       
        Spark的编程模型  
          Spark编程模型解析  
          RDD的特点、操作、依赖关系  
          Spark应用程序的配置  
        Spark编程实例解析  
          日志的处理  
    1.5 Spark Streaming原理       
          Spark流式处理架构  
          DStream的特点  
          Dstream的操作和RDD的区别  
          Spark Streaming的优化  
        Spark Streaming实例分析  
          常用的实例程序:  
                  文本实例  
                  Window操作  
                  网络数据处理  
    1.6 Spark SQL原理  
          Spark SQL的Catalyst优化器  
          Spark SQL内核  
          Spark SQL和Hive      
        Spark SQL的实例  
          Spark SQL的实例操作demo  
          Spark SQL的编程,需要网络上查找一些资源

2 中级篇  
    2.1 Spark的多语言编程   
        Spark的scala编程  
        Spark的Python编程(Java一定熟悉啦,不用多说了)  
           对应的应用程序实例,理解基本的处理模式。

2.2 Spark 机器学习入门  
        机器学习的原理  
        Mllib简介,实例分析  
    2.3 GraphX 入门  
        图论基础  
        GraphX的简介  
        GraphX例程分析  
    2.4 理解Spark与其它项目的区别和联系  
        Spark和MapReduce、Tez  
        Spark的衍生项目BlinkDB,RSpark  
    2.5 关注Spark的作者的blog和权威网站的文档

3 高级篇  
   3.1 深入理解Spark的架构和处理模式

3.2 Spark源码剖析与研读  
        Spark Core核心模块,  
        掌握下面核心功能的处理逻辑:  
            SparkContext   
            Executor  
            Deploy  
            RDD和Storage  
            Scheduler和Task  
        Spark Examples  
    3.3 思考如何优化和提升,掌握其优缺点,  
        深入思考能不能衍生出有意思的课题。

Spark学习体系整理(基础篇、中级篇、高级篇所涉及内容)的更多相关文章

  1. Spark学习体系

    底理解Spark,能够分为以下几个层次. 1 Spark基础篇 1.1 Spark生态和安装部署 在安装过程中,理解其基本操作步骤. 安装部署 Spark安装简单介绍 Spark的源代码编译 Spar ...

  2. #Java学习之路——基础阶段二(第二篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  3. #Java学习之路——基础阶段(第三篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  4. #Java学习之路——基础阶段二(第九篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  5. #Java学习之路——基础阶段二(第一篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  6. #Java学习之路——基础阶段(第十一篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  7. #Java学习之路——基础阶段(第十篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  8. #Java学习之路——基础阶段(第八篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

  9. #Java学习之路——基础阶段(第七篇)

    我的学习阶段是跟着CZBK黑马的双源课程,学习目标以及博客是为了审查自己的学习情况,毕竟看一遍,敲一遍,和自己归纳总结一遍有着很大的区别,在此期间我会参杂Java疯狂讲义(第四版)里面的内容. 前言: ...

随机推荐

  1. java23种设计模式之三: 适配器模式

    一.适配器模式  就是个通过一个中间件转化,可以将不匹配的两件事整合到一起,把不匹配变的匹配. 二.适配器分类 1.类适配器  2.对象适配器 三. 适配器的3种组成 1.类适配器组成 1.2个接口 ...

  2. js的一些编码问题

    1 eval()的使用; 未声明变量的使用: 遗漏的分号; 不恰当的换行; 错误的逗号使用; 语句周围遗漏的括号; switch分支语名中遗漏的break; 重复声明的变量; with的使用; 错误使 ...

  3. Calendar时间获取天,周,月,季度,年度时间段

    Date类 Date类的大多数构造函数和方法都已经抛弃,只留下和毫秒有关的操作,目前常用的构造函数 常用方法 设置毫秒数 读取毫秒数 toString()打印结果 //创建日期对象,把当前的毫秒值转成 ...

  4. day31 堡垒机尾声 + Python与金融量化分析(一)

    堡垒机尾声: 代码案例:https://github.com/liyongsan/git_class/tree/master/day31 课堂笔记:file send: 1.选择本地文件 2.远程路径 ...

  5. QuerySetAPI笔记

    学习Django时做的笔记MarkDown文件点这里 # 模型.objects:这个对象是`django.db.models.manager.Manager`的对象,这个类是一个空壳类,他上面的所有方 ...

  6. h1标签

    h1标签一.每个网页只能拥有一个<H1>标签 H2,H3,H4可以有多个...但多个H1造成的后果是搜索引擎不知道你这个页面哪个标题内容最重要,会淡化这个页面的标题和关键词.H1用得好的话 ...

  7. 初次学习AngularJS

    一.指令1.AngularJS 指令是扩展的 HTML 属性,带有前缀 ng-. ng-app 指令初始化一个 AngularJS 应用程序. ng-app 指令定义了 AngularJS 应用程序的 ...

  8. 多进程回声服务器/客户端【linux】

    并发服务器端 #include <unistd.h> #include <stdio.h> #include <sys/wait.h> #include <c ...

  9. hdu2426

    题解: KM模板题 如果n>m,输出-1 如果a[match[i]][i]==-1输出-1 负的边不用考虑 初始都赋值为-1 代码: #include<cstdio> #includ ...

  10. vue.js 源代码学习笔记 ----- 工具方法 share

    /* @flow */ /** * Convert a value to a string that is actually rendered. { .. } [ .. ] 2 => '' */ ...