2014-05-30 Spark1.0.0 Relaease 经过11次RC后最终公布。尽管还有不少bug，还是非常令人振奋。

作为一个骨灰级的老IT，经过非常成一段时间的消沉，再次被点燃激情，决定近几年内投入Spark的队伍。去见证Spark的不断强大。在最初的阶段，将作为Spark的布道者，宣传和介绍Spark，最终将选择某一个方向，深入研究和编写代码。

      随着国家对软件安全的重视。，看看这几天股市中软件股的表现。能够预见，在今后非常长一段时间内，开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark，因为其一体化的解决方式、高效的代码编写速度、快速的计算能力，将不断在大数据阵营中脱颖而出。为了方便很多其它新手投入Spark队伍，笔者将自己的学习经验整理了一下，陆陆续续地以博客形式公布出来，计划60篇左右。尽量在8月底完毕，同一时候也是自己对所学的内容加以沉淀。

      在本系列博客中，所使用的软件有：
Spark 1.0.0

      本系列博客将分成6个部分进行勾划Spark内存计算框架，每周会更新或添加，逐步完好总体。

每周周末会更新下图。做了标记的是已经完毕的，没作标记的是计划写的或是要准备更新当中内容的，要更新的是曾经写的基于Spark1.0.0-SNAPSHOT的博客；同一时候也会更新以下的博客链接。博客中涉及的实验和代码都是基于Spark1.0.0开发环境高速搭建一文中实验环境。



1：预览篇

2：原理篇
  • Spark1.0.0 编程模型解析

Spark Streaming执行架构基本概念


3：运维篇
部署篇
配置篇
  • Spark1.0.0属性配置
  • Spark1.0.0环境变量配置
  • Spark1.0.0日志配置
  • Spark1.0.0 history server 配置
  • Spark1.0.0 job server配置
执行篇
  • Spark1.0.0应用提交工具spark-submit
  • Spark1.0.0交互工具spark-shell
监控篇
  • Spark1.0.0 UI监控解读
  • 用ganglia监控Spark1.0.0
优化篇

4：Spark生态环境
Spark1.0.0 生态环境
Spark SQL 简单介绍
Spark MLlib 简单介绍
Spark GraphX 简单介绍
BlinkDB 简单介绍
SparkR 简单介绍
相关系统比較

Apache Hadoop MapReduce

Apache Tez

Storm

5：开发篇
Spark1.0.0 开发环境高速搭建
Spark1.0.0 应用
Spark1.0.0 和 Hbase
Spark1.0.0 和 RDBMS
SparkStreaming 和 flume
Spark SQL和hive
Spark1.0.0 案例
历史数据和实时数据分析
欺诈检測
推荐系统

6：源代码篇
Spark1.0.0 源代码研读环境搭建
一张图看懂Spark源代码
Spark1.0.0内核解读
spark-submit 源代码分析
RDD 解读
DAG Schedule 解读 
Task Scheduler 解读
Spark AKKA 解读
Spark log4j 解读



版权声明：本文博主原创文章，博客，未经同意不得转载。

Spark1.0.0 学习路径的更多相关文章

  1. spark1.1.0学习路线

          经过一段时间授课,积累下不少的spark知识.想逐步汇总成资料,分享给小伙伴们.对于想视频学习的小伙伴,能够訪问炼数成金站点的<spark大数据平台>课程.每周的课程是原理加实 ...

  2. Spark1.0.0 学习路线指导

    转自:http://www.aboutyun.com/thread-8421-1-1.html 问题导读1.什么是spark?2.spark编程模型是什么?3.spark运维需要具有什么知识?4.sp ...

  3. Apache Spark1.1.0部署与开发环境搭建

    Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce ...

  4. Spark-1.0.0 standalone分布式安装教程

    Spark目前支持多种分布式部署方式:一.Standalone Deploy Mode:二Amazon EC2.:三.Apache Mesos:四.Hadoop YARN.第一种方式是单独部署,不需要 ...

  5. Spark1.0.0 开发环境高速搭建

          在本系列博客中.为了解析一些概念.解析一些架构.代码測试.搭建了一个实验平台.例如以下图所看到的:       本实验平台是在一台物理机上搭建的.物理机的配置是16G内存,4核8线程CPU ...

  6. 【nodejs学习】0.nodejs学习第一天

    1.模块 大一点的程序都需要模块化,nodejs也不例外,代码放到不同的文件中,每一个文件就可以是一个模块,文件路径名就是一个模块名.每个模块中包含三个预先定义的变量: 1.require:用于在当前 ...

  7. Spark1.0.0 分布式环境搭建

    软件版本号例如以下: Hostname IP Hadoop版本号 Hadoop 功能 系统 master 192.168.119.128 1.1.2 namenode jdk1.6+hadoop+sc ...

  8. Spark1.0.0 属性配置

    1:Spark1.0.0属性配置方式       Spark属性提供了大部分应用程序的控制项,而且能够单独为每一个应用程序进行配置.       在Spark1.0.0提供了3种方式的属性配置: Sp ...

  9. Spark1.0.0属性配置

    1:Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置. 在Spark1.0.0提供了3种方式的属性配置: SparkConf方式 Spa ...

随机推荐

  1. 搭建solr单机版

    solr单机版的搭建 一.solr单机版的搭建 1.运行环境 solr 需要运行在一个Servlet容器中,Solr4.10.3要求jdk使用1.7以上,Solr默认提供Jetty(ja),本教va写 ...

  2. ACM：回溯，八皇后问题，素数环

    (一)八皇后问题 (1)回溯 #include <iostream> #include <string> #define MAXN 100 using namespace st ...

  3. java打印各种菱形

    /** * 类说明 * * @author 曾修建 * @version 创建时间:2014-7-23 上午09:50:46 */ public class Diamond { public stat ...

  4. spring html5 拖拽上传多文件

    注:这仅仅是一个粗略笔记.有些代码可能没用.兴许会再更新一个能够使用的版本号.不足之处,敬请见谅. 1.spring环境搭建,这里使用的是spring3的jar,须要同一时候引入common-IO 和 ...

  5. Google Protocol Buffers和java字符串处理控制

    大多数的操作码被从夜晚复制.懒得敲. 直接在源代码和测试结果如下. serabuffer.proto档.使用下面的命令来生成java代码. protoc -I=./ --java_out=./ ser ...

  6. [转载] C++11新特性

    C++11标准发布已有一段时间了, 维基百科上有对C++11新标准的变化和C++11新特性介绍的文章. 我是一名C++程序员,非常想了解一下C++11. 英文版的维基百科看起来非常费劲,而中文版维基百 ...

  7. 使用邮件发送执行时间久的SQL语句

    ALTER proc [dbo].[usp_EmailLongRunningSQL] as begin declare@LongRunningQueries AS TABLE ( lrqId int ...

  8. 【Android进阶】关于PagerAdapter的使用方法的总结

    PagerAdapter简介 PagerAdapter是android.support.v4包中的类,它的子类有FragmentPagerAdapter, FragmentStatePagerAdap ...

  9. 升级iOS8系统后，保险箱Pro、私人保险箱、私密相冊打开就闪退的官方解决方式

    升级iOS8系统后,保险箱Pro.私人保险箱.私密相冊打开就闪退的官方解决方式   写在前面的话: 1.   本文适用条件    适用于:您的保险箱Pro.私人保险箱.私密相冊在iPhone或iPad ...

  10. RH033读书笔记(8)-Lab 9 Using vim

    Lab 9 Using vim Sequence 1: Navigating with vim 1. Log in as user student 2. [student@stationX ~]$ c ...