转自:http://www.aboutyun.com/thread-8421-1-1.html

问题导读
1.什么是spark?
2.spark编程模型是什么?
3.spark运维需要具有什么知识?
4.spark如何监控?
5.如何搭建开发spark?

2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。
      随着国家对软件安全的重视,,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark,由于其一体化的解决方案、高效的代码编写速度、高速的计算能力,将不断在大数据阵营中脱颖而出。
      在本文中,所使用的软件有:
Spark 1.0.0

Hadoop 2.20
Java 7UP21
Maven 3.05
Scala 2.10.4

本线路分成6个部分Spark内存计算框架,逐步完善整体。文中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。
<ignore_js_op>

1:预览篇
为什么要学习Spark?

Spark1.0.0 的新特性

Spark1.0.0 生态圈一览

2:原理篇
Spark1.0.0 运行架构基本概念

  • RDD 细解

    • Spark RDD
    • Spark Streaming RDD
    • Spark SQL RDD
    • MLLib RDD
    • GraphX RDD
  • DAG Scheduler 细解
  • Task Scheduler 细解
  • Spark1.0.0 Standalone 运行架构实例解析
  • Spark1.0.0 on YARN 运行架构实例解析
  • Spark1.0.0 on Mesos 运行原理解析

Spark1.0.0 编程模型

  • Spark1.0.0 编程模型解析

Spark Streaming运行架构基本概念

3:运维篇
部署篇

配置篇

  • Spark1.0.0属性配置
  • Spark1.0.0环境变量配置
  • Spark1.0.0日志配置
  • Spark1.0.0 history server 配置
  • Spark1.0.0 job server配置

运行篇

  • Spark1.0.0应用提交工具spark-submit
  • Spark1.0.0交互工具spark-shell

监控篇

  • Spark1.0.0 UI监控解读
  • 用ganglia监控Spark1.0.0

优化篇

4:Spark生态环境
Spark1.0.0 生态环境

Spark SQL 简介

Spark MLlib 简介

Spark GraphX 简介

BlinkDB 简介

SparkR 简介

相关系统比较
Apache Hadoop MapReduce
Apache Tez
Storm

5:开发篇
Spark1.0.0 开发环境快速搭建

Spark1.0.0 多语言编程

Spark1.0.0 多语言编程之Scala实现

Spark1.0.0 多语言编程之Python实现

Spark1.0.0 应用

Spark1.0.0 和 Hbase

Spark1.0.0 和 RDBMS

SparkStreaming 和 flume

Spark SQL和hive

Spark1.0.0 案例

历史数据和实时数据分析

欺诈检测

推荐系统

6:源码篇
Spark1.0.0 源码研读环境搭建
一张图看懂Spark源码
Spark1.0.0内核解读

spark-submit 源码分析

RDD 解读

DAG Schedule 解读

Task Scheduler 解读

Spark AKKA 解读

Spark log4j 解读

Spark1.0.0 学习路线指导的更多相关文章

  1. VueJs2.0建议学习路线

    最近VueJs确实火了一把,自从Vue2.0发布后,Vue就成了前端领域的热门话题,github也突破了三万的star,那么对于新手来说,如何高效快速的学习Vue2.0呢. 既然大家会看这篇文章,那么 ...

  2. Vue2.5学习路线及基础知识总结。

    在接触新技术不了解时,我喜欢去慕课网上看新手教程,在学习vue时,在慕课网上看了几个老师的视频,发现这挺好,讲到挺详细的,适合新手,有兴趣的可以先看一下,vue2.5入门教程. 然后在学习路上看见了一 ...

  3. spark1.1.0学习路线

          经过一段时间授课,积累下不少的spark知识.想逐步汇总成资料,分享给小伙伴们.对于想视频学习的小伙伴,能够訪问炼数成金站点的<spark大数据平台>课程.每周的课程是原理加实 ...

  4. Spark1.0.0 学习路径

          2014-05-30 Spark1.0.0 Relaease 经过11次RC后最终公布.尽管还有不少bug,还是非常令人振奋. 作为一个骨灰级的老IT,经过非常成一段时间的消沉,再次被点燃 ...

  5. Lucene6.6.0 案例与学习路线

    之前在学习Lucene这个全文检索工具,为项目搜索引擎的开发打下基础.在这里先分享一下关于Lucene的学习心得. 核心的学习流程是:索引文件格式--索引创建过程--检索流程. 1.首先建议参看这篇精 ...

  6. 比培训机构还详细的 Python 学习路线,你信吗 0^0

    前言 这其实是将自己写的文章进行一个总结分类,并不代表最佳学习路线 会不断更新这篇文章...没链接的文章正在编写ing...会不会哪天我的这个目录就出现在培训机构的目录上了... 目前实战比较少(要是 ...

  7. Apache Spark1.1.0部署与开发环境搭建

    Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce ...

  8. IdentityServer4 ASP.NET Core的OpenID Connect OAuth 2.0框架学习保护API

    IdentityServer4 ASP.NET Core的OpenID Connect OAuth 2.0框架学习之保护API. 使用IdentityServer4 来实现使用客户端凭据保护ASP.N ...

  9. 20145208 《Java程序设计》第0周学习总结

    20145208 <Java程序设计>第0周学习总结 阅读心得 读了老师推荐的几个文章,虽然第四个文章"为什么一定要自学"报告资源不存在而无法阅读,其他的三篇文章都言之 ...

随机推荐

  1. 安装完SqlServer2008,wamp服务器无法启动的问题

    "开始"->"程序"->Microsoft SQL Server 2008->配置工具->SQL Server配置管理器->SQL ...

  2. Linux常见的进程调度算法

    进程调度:在操作系统中调度是指一种资源分配. 调度算法是指: 根据系统的资源分配策略所规定的资源分配算法. 操作系统管理了系统的有限资源,当有多个进程(或多个进程发出的请求)要使用这些资源时,因为资源 ...

  3. redis 基本类型

    1 hashes 类型及操作 redis hash 是一个string 类型的 field 和 value 的映射表.他的添加.删除操作时间复杂度都是 O(1) 2 hset,设置 hash fiel ...

  4. jsp指令和重定向

    1 声明指令 格式:<%!声明变量或函数 %> 作用:会生成一个成员变量或成员方法,也可以使用访问修饰符修饰,public,private,protected 2 注释指令 格式:< ...

  5. Correlation and Regression

    Correlation and Regression Sample Covariance The covariance between two random variables is a statis ...

  6. Is "UNION ALL" Always Better Than "UNION"? Watch Out!

    无论是教科书还是平常的实践都告诉我们 - “尽量避免用UNION,尽可能用UNION ALL替代”. 原因很简单,UNION会对结果集进行排序去重操作,这是一个很消耗资源的操作. 但是,今天碰到了一个 ...

  7. NGUI UIPanel绘制原理学习

    NGUI底层绘制都是调用UIDrawCall来完成的,它会动态实例化出材质球,改变UV偏移和缩放(图集显示).并且全部是面片 UIPanel也是面片,但是内部物体遮罩比较特殊,经过查找发现,影响UIP ...

  8. [na]非对称加密方式&带加密的数字签名交互流程

    1,对称加密 2,混合加密 3.数字签名 4,带加密的数字签名

  9. [sh]. 点的含义

    . 的含义 当前目录 隐藏文件 任意一个字符 生效配置文件

  10. mogoose的bug之不能根据类型为number的字段查找数据

    Users.find({paw:6868}).exec() //返回的结果为空 Users.find({paw:"6868"}).exec() //返回的结果也为空 Users.f ...