Spark1.0.0 学习路线指导

转自：http://www.aboutyun.com/thread-8421-1-1.html

问题导读
1.什么是spark？
2.spark编程模型是什么？
3.spark运维需要具有什么知识？
4.spark如何监控？
5.如何搭建开发spark?

2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布，虽然还有不少bug，还是很令人振奋。作为一个骨灰级的老IT，经过很成一段时间的消沉，再次被点燃激情，决定近几年内投入Spark的队伍，去见证Spark的不断强大。在最初的阶段，将作为Spark的布道者，宣传和介绍Spark，最终将选择某一个方向，深入研究和编写代码。
      随着国家对软件安全的重视，，看看这几天股市中软件股的表现，可以预见，在今后很长一段时间内，开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark，由于其一体化的解决方案、高效的代码编写速度、高速的计算能力，将不断在大数据阵营中脱颖而出。
      在本文中，所使用的软件有：
Spark 1.0.0

• 官方下载地址：http://spark.apache.org/downloads.html
  • 其中Spark1.0.0 for hadoop2的直接下载地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz
  • 源代码的直接下载地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz
• 自编译的部署包：百度盘 （pan.baidu.com） /s/1dDmqK4h#dir/path=%2Fdeploy
  • spark-1.0.0-bin-2.2.0.tgz是基于hadoop2.2.0的安装部署包
  • spark-1.0.0-techyon-bin-2.2.0.tgz是基于hadoop2.2.0和techyon0.41的安装部署包
  • spark-assembly-1.0.0-hadoop2.2.0.jar是基于hadoop2.2.0的Spark1.0.0应用程序开发包

Hadoop 2.20
Java 7UP21
Maven 3.05
Scala 2.10.4

本线路分成6个部分Spark内存计算框架，逐步完善整体。文中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。
<ignore_js_op>

1：预览篇
为什么要学习Spark？

Spark1.0.0 的新特性

Spark1.0.0 生态圈一览

2：原理篇
Spark1.0.0 运行架构基本概念

• RDD 细解
  • Spark RDD
  • Spark Streaming RDD
  • Spark SQL RDD
  • MLLib RDD
  • GraphX RDD
• DAG Scheduler 细解
• Task Scheduler 细解
• Spark1.0.0 Standalone 运行架构实例解析
• Spark1.0.0 on YARN 运行架构实例解析
• Spark1.0.0 on Mesos 运行原理解析

Spark1.0.0 编程模型

• Spark1.0.0 编程模型解析

Spark Streaming运行架构基本概念

3：运维篇
部署篇

• Spark1.0.0 源码编译和部署包生成
• Spark1.0.0 on YARN 模式部署
• Spark1.0.0 on Mesos 模式部署
• Spark1.0.0 Standalone模式部署
• Spark1.0.0 Standalone HA实现

配置篇

• Spark1.0.0属性配置
• Spark1.0.0环境变量配置
• Spark1.0.0日志配置
• Spark1.0.0 history server 配置
• Spark1.0.0 job server配置

运行篇

• Spark1.0.0应用提交工具spark-submit
• Spark1.0.0交互工具spark-shell

监控篇

• Spark1.0.0 UI监控解读
• 用ganglia监控Spark1.0.0

优化篇

• Spark1.0.0 的一些小经验
• Spark1.0.0 性能调优

4：Spark生态环境
Spark1.0.0 生态环境

Spark SQL 简介

Spark MLlib 简介

Spark GraphX 简介

BlinkDB 简介

SparkR 简介

相关系统比较
Apache Hadoop MapReduce
Apache Tez
Storm

5：开发篇
Spark1.0.0 开发环境快速搭建

Spark1.0.0 多语言编程

Spark1.0.0 多语言编程之Scala实现

Spark1.0.0 多语言编程之Python实现

Spark1.0.0 应用

Spark1.0.0 和 Hbase

Spark1.0.0 和 RDBMS

SparkStreaming 和 flume

Spark SQL和hive

Spark1.0.0 案例

历史数据和实时数据分析

欺诈检测

推荐系统

6：源码篇
Spark1.0.0 源码研读环境搭建
一张图看懂Spark源码
Spark1.0.0内核解读

spark-submit 源码分析

RDD 解读

DAG Schedule 解读

Task Scheduler 解读

Spark AKKA 解读

Spark log4j 解读