底理解Spark,能够分为以下几个层次。

1 Spark基础篇
1.1 Spark生态和安装部署
在安装过程中,理解其基本操作步骤。
安装部署
Spark安装简单介绍
Spark的源代码编译
Spark Standalone安装
Spark Standalone HA安装
Spark应用程序部署工具spark-submit
Spark生态
Spark(内存计算框架)
SparkSteaming(流式计算框架)
Spark SQL(ad-hoc)
Mllib(Machine Learning)
GraphX(bagel将被代替)
1.2 Spark执行架构和解析
Spark的执行架构
基本术语
执行架构
Spark on Standalone执行过程
Spark on YARN 执行过程
Spark执行实例解析
Spark on Standalone实例解析
Spark on YARN实例解析 1.3 Spark的监控和调优
Spark的监控
Spark UI监控,默认port是4040
Ganglia 监控,大数据监控开源框架
Spark调优
基础性调优方式
1.4 Spark编程模型
Spark的编程模型
Spark编程模型解析
RDD的特点、操作、依赖关系
Spark应用程序的配置
Spark编程实例解析
日志的处理
1.5 Spark Streaming原理
Spark流式处理架构
DStream的特点
Dstream的操作和RDD的差别
Spark Streaming的优化
Spark Streaming实例分析
经常使用的实例程序:
文本实例
Window操作
网络数据处理
1.6 Spark SQL原理
Spark SQL的Catalyst优化器
Spark SQL内核
Spark SQL和Hive
Spark SQL的实例
Spark SQL的实例操作demo
Spark SQL的编程,须要网络上查找一些资源 2 中级篇
2.1 Spark的多语言编程
Spark的scala编程
Spark的Python编程(Java一定熟悉啦,不用多说了)
相应的应用程序实例,理解主要的处理模式。 2.2 Spark 机器学习入门
机器学习的原理
Mllib简单介绍,实例分析
2.3 GraphX 入门
图论基础
GraphX的简单介绍
GraphX例程分析
2.4 理解Spark与其他项目的差别和联系
Spark和MapReduce、Tez
Spark的衍生项目BlinkDB,RSpark
2.5 关注Spark的作者的blog和权威站点的文档 3 高级篇
3.1 深入理解Spark的架构和处理模式 3.2 Spark源代码剖析与研读
Spark Core核心模块,
掌握以下核心功能的处理逻辑:
SparkContext
Executor
Deploy
RDD和Storage
Scheduler和Task
Spark Examples
3.3 思考怎样优化和提升,掌握其优缺点,
深入思考能不能衍生出有意思的课题。

以上就是学习Spark的有关内容和步骤,详细怎样学习,仁者见仁智者见智。

Spark学习体系的更多相关文章

  1. Spark学习体系整理(基础篇、中级篇、高级篇所涉及内容)

    新手刚开始学习比较迷茫,参考下面,然后找相关资料学习 1 Spark基础篇      1.1 Spark生态和安装部署          在安装过程中,理解其基本操作步骤.          安装部署 ...

  2. spark学习及环境配置

    http://dblab.xmu.edu.cn/blog/spark/ 厦大数据库实验室博客 总结.分享.收获 实验室主页 首页 大数据 数据库 数据挖掘 其他 子雨大数据之Spark入门教程  林子 ...

  3. Spark学习入门(让人看了想吐的话题)

    这是个老生常谈的话题,大家是不是看到这个文章标题就快吐了,本来想着手写一些有技术深度的东西,但是看到太多童鞋卡在入门的门槛上,所以还是打算总结一下入门经验.这种标题真的真的在哪里都可以看得到,度娘一搜 ...

  4. Spark学习(一) -- Spark安装及简介

    标签(空格分隔): Spark 学习中的知识点:函数式编程.泛型编程.面向对象.并行编程. 任何工具的产生都会涉及这几个问题: 现实问题是什么? 理论模型的提出. 工程实现. 思考: 数据规模达到一台 ...

  5. Spark学习笔记之SparkRDD

    Spark学习笔记之SparkRDD 一.   基本概念 RDD(resilient distributed datasets)弹性分布式数据集. 来自于两方面 ①   内存集合和外部存储系统 ②   ...

  6. spark学习笔记总结-spark入门资料精化

    Spark学习笔记 Spark简介 spark 可以很容易和yarn结合,直接调用HDFS.Hbase上面的数据,和hadoop结合.配置很容易. spark发展迅猛,框架比hadoop更加灵活实用. ...

  7. 用Spark学习FP Tree算法和PrefixSpan算法

    在FP Tree算法原理总结和PrefixSpan算法原理总结中,我们对FP Tree和PrefixSpan这两种关联算法的原理做了总结,这里就从实践的角度介绍如何使用这两个算法.由于scikit-l ...

  8. 用Spark学习矩阵分解推荐算法

    在矩阵分解在协同过滤推荐算法中的应用中,我们对矩阵分解在推荐算法中的应用原理做了总结,这里我们就从实践的角度来用Spark学习矩阵分解推荐算法. 1. Spark推荐算法概述 在Spark MLlib ...

  9. Spark学习笔记2(spark所需环境配置

    Spark学习笔记2 配置spark所需环境 1.首先先把本地的maven的压缩包解压到本地文件夹中,安装好本地的maven客户端程序,版本没有什么要求 不需要最新版的maven客户端. 解压完成之后 ...

随机推荐

  1. 循环-21. 求交错序列前N项和

    /* * Main.c * C21-循环-21. 求交错序列前N项和 * Created on: 2014年8月18日 * Author: Boomkeeper ***********测试通过**** ...

  2. 帝国cms中上一篇与下一篇个性化灵动标签调出

    这里的上下篇是用灵动标签制作,可以更为个性化 下一篇 <a href="<?phpecho $bqsr[titleurl];$next='true';?>"> ...

  3. Mac 键盘快捷键

    标签页和窗口快捷键 ⌘-N 打开新窗口. ⌘-T 打开新标签页. ⌘-Shift-N 在隐身模式下打开新窗口. 按 ⌘-O,然后选择文件. 在 Google Chrome 浏览器中打开计算机中的文件. ...

  4. Socket编程指南及示例程序

    例子代码就在我的博客中,包括六个UDP和TCP发送接受的cpp文件,一个基于MFC的局域网聊天小工具工程,和此小工具的所有运行时库.资源和执行程序.代码的压缩包位置是http://www.blogja ...

  5. ASP.NET快速开发框架、这才是高大上档次后台管理UI界面

    另外献上在<线体验Demo地址>希望大家也能从中得到一些启发.地址:http://121.40.148.178:8080/ . 用户名:guest,密码:123456QQ技术交流群:239 ...

  6. iOS面试题05-父子控制器、内存管理

    内存管理.父子控制器面试题 1.建立父子关系控制器有什么用 回答:1>监听屏幕选中 2>如果想拿到你当前的很小的一个控制器所在的导航控制器必须要跟外面比较大的控制器建立父子关系,才能一层一 ...

  7. hibernate通过配置文件生成数据库信息

    hibernate可以通过配置文件在数据库生成相应的数据库信息.也可以把数据库的信息生成相应的代码(实体类操作类和映射文件) 下面是通过代码默认对hibernate.cfg.xml信息在数据库生成信息 ...

  8. 一些ASP.NET的小知识点

    DataFormatString="{0:格式字符串}" 我们知道在DataFormatString 中的 {0}表示数据本身,而在冒号后面的格式字符串代表所们希望数据显示的格式; ...

  9. 【Web】十步教你搭建完整免费的个人网站(花生壳+XAMPP+WordPress)

    1.从花生壳官网(http://www.oray.com/peanuthull/download.php)下载最新版本的客户端. 下载完成后安装,注册护照(需手机验证码验证),注册完成后获取免费域名并 ...

  10. memset 还可以这样用

    我们经常将memset用在初始化中,其实还可以这样方便的使用它: 给数组中的一部分初始化: 看例子: #include<iostream> #include<string.h> ...