Spark1.0.0 学习路线指导
转自:http://www.aboutyun.com/thread-8421-1-1.html
问题导读
1.什么是spark?
2.spark编程模型是什么?
3.spark运维需要具有什么知识?
4.spark如何监控?
5.如何搭建开发spark?
2014-05-30 Spark1.0.0 Relaease 经过11次RC后终于发布,虽然还有不少bug,还是很令人振奋。作为一个骨灰级的老IT,经过很成一段时间的消沉,再次被点燃激情,决定近几年内投入Spark的队伍,去见证Spark的不断强大。在最初的阶段,将作为Spark的布道者,宣传和介绍Spark,最终将选择某一个方向,深入研究和编写代码。
随着国家对软件安全的重视,,看看这几天股市中软件股的表现,可以预见,在今后很长一段时间内,开源软件将越来越受到重视。作为大数据处理平台的开源软件Spark,由于其一体化的解决方案、高效的代码编写速度、高速的计算能力,将不断在大数据阵营中脱颖而出。
在本文中,所使用的软件有:
Spark 1.0.0
- 官方下载地址:http://spark.apache.org/downloads.html
- 其中Spark1.0.0 for hadoop2的直接下载地址:http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop2.tgz
- 源代码的直接下载地址:http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz
- 自编译的部署包:百度盘 (pan.baidu.com) /s/1dDmqK4h#dir/path=%2Fdeploy
- spark-1.0.0-bin-2.2.0.tgz是基于hadoop2.2.0的安装部署包
- spark-1.0.0-techyon-bin-2.2.0.tgz是基于hadoop2.2.0和techyon0.41的安装部署包
- spark-assembly-1.0.0-hadoop2.2.0.jar是基于hadoop2.2.0的Spark1.0.0应用程序开发包
Hadoop 2.20
Java 7UP21
Maven 3.05
Scala 2.10.4
本线路分成6个部分Spark内存计算框架,逐步完善整体。文中涉及的实验和代码都是基于Spark1.0.0开发环境快速搭建一文中实验环境。
<ignore_js_op>
1:预览篇
为什么要学习Spark?
2:原理篇
Spark1.0.0 运行架构基本概念
- RDD 细解
- Spark RDD
- Spark Streaming RDD
- Spark SQL RDD
- MLLib RDD
- GraphX RDD
- DAG Scheduler 细解
- Task Scheduler 细解
- Spark1.0.0 Standalone 运行架构实例解析
- Spark1.0.0 on YARN 运行架构实例解析
- Spark1.0.0 on Mesos 运行原理解析
- Spark1.0.0 编程模型解析
Spark Streaming运行架构基本概念
3:运维篇
部署篇
- Spark1.0.0 源码编译和部署包生成
- Spark1.0.0 on YARN 模式部署
- Spark1.0.0 on Mesos 模式部署
- Spark1.0.0 Standalone模式部署
- Spark1.0.0 Standalone HA实现
配置篇
- Spark1.0.0属性配置
- Spark1.0.0环境变量配置
- Spark1.0.0日志配置
- Spark1.0.0 history server 配置
- Spark1.0.0 job server配置
运行篇
- Spark1.0.0应用提交工具spark-submit
- Spark1.0.0交互工具spark-shell
监控篇
- Spark1.0.0 UI监控解读
- 用ganglia监控Spark1.0.0
优化篇
- Spark1.0.0 的一些小经验
- Spark1.0.0 性能调优
4:Spark生态环境
Spark1.0.0 生态环境
Spark SQL 简介
Spark MLlib 简介
Spark GraphX 简介
BlinkDB 简介
SparkR 简介
相关系统比较
Apache Hadoop MapReduce
Apache Tez
Storm
5:开发篇
Spark1.0.0 开发环境快速搭建
Spark1.0.0 应用
Spark1.0.0 和 Hbase
Spark1.0.0 和 RDBMS
SparkStreaming 和 flume
Spark SQL和hive
Spark1.0.0 案例
历史数据和实时数据分析
欺诈检测
推荐系统
6:源码篇
Spark1.0.0 源码研读环境搭建
一张图看懂Spark源码
Spark1.0.0内核解读
spark-submit 源码分析
RDD 解读
DAG Schedule 解读
Task Scheduler 解读
Spark AKKA 解读
Spark log4j 解读
Spark1.0.0 学习路线指导的更多相关文章
- VueJs2.0建议学习路线
最近VueJs确实火了一把,自从Vue2.0发布后,Vue就成了前端领域的热门话题,github也突破了三万的star,那么对于新手来说,如何高效快速的学习Vue2.0呢. 既然大家会看这篇文章,那么 ...
- Vue2.5学习路线及基础知识总结。
在接触新技术不了解时,我喜欢去慕课网上看新手教程,在学习vue时,在慕课网上看了几个老师的视频,发现这挺好,讲到挺详细的,适合新手,有兴趣的可以先看一下,vue2.5入门教程. 然后在学习路上看见了一 ...
- spark1.1.0学习路线
经过一段时间授课,积累下不少的spark知识.想逐步汇总成资料,分享给小伙伴们.对于想视频学习的小伙伴,能够訪问炼数成金站点的<spark大数据平台>课程.每周的课程是原理加实 ...
- Spark1.0.0 学习路径
2014-05-30 Spark1.0.0 Relaease 经过11次RC后最终公布.尽管还有不少bug,还是非常令人振奋. 作为一个骨灰级的老IT,经过非常成一段时间的消沉,再次被点燃 ...
- Lucene6.6.0 案例与学习路线
之前在学习Lucene这个全文检索工具,为项目搜索引擎的开发打下基础.在这里先分享一下关于Lucene的学习心得. 核心的学习流程是:索引文件格式--索引创建过程--检索流程. 1.首先建议参看这篇精 ...
- 比培训机构还详细的 Python 学习路线,你信吗 0^0
前言 这其实是将自己写的文章进行一个总结分类,并不代表最佳学习路线 会不断更新这篇文章...没链接的文章正在编写ing...会不会哪天我的这个目录就出现在培训机构的目录上了... 目前实战比较少(要是 ...
- Apache Spark1.1.0部署与开发环境搭建
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构.与MapReduce不同,Spark并不局限于编写map和reduce ...
- IdentityServer4 ASP.NET Core的OpenID Connect OAuth 2.0框架学习保护API
IdentityServer4 ASP.NET Core的OpenID Connect OAuth 2.0框架学习之保护API. 使用IdentityServer4 来实现使用客户端凭据保护ASP.N ...
- 20145208 《Java程序设计》第0周学习总结
20145208 <Java程序设计>第0周学习总结 阅读心得 读了老师推荐的几个文章,虽然第四个文章"为什么一定要自学"报告资源不存在而无法阅读,其他的三篇文章都言之 ...
随机推荐
- 安装完SqlServer2008,wamp服务器无法启动的问题
"开始"->"程序"->Microsoft SQL Server 2008->配置工具->SQL Server配置管理器->SQL ...
- Linux常见的进程调度算法
进程调度:在操作系统中调度是指一种资源分配. 调度算法是指: 根据系统的资源分配策略所规定的资源分配算法. 操作系统管理了系统的有限资源,当有多个进程(或多个进程发出的请求)要使用这些资源时,因为资源 ...
- redis 基本类型
1 hashes 类型及操作 redis hash 是一个string 类型的 field 和 value 的映射表.他的添加.删除操作时间复杂度都是 O(1) 2 hset,设置 hash fiel ...
- jsp指令和重定向
1 声明指令 格式:<%!声明变量或函数 %> 作用:会生成一个成员变量或成员方法,也可以使用访问修饰符修饰,public,private,protected 2 注释指令 格式:< ...
- Correlation and Regression
Correlation and Regression Sample Covariance The covariance between two random variables is a statis ...
- Is "UNION ALL" Always Better Than "UNION"? Watch Out!
无论是教科书还是平常的实践都告诉我们 - “尽量避免用UNION,尽可能用UNION ALL替代”. 原因很简单,UNION会对结果集进行排序去重操作,这是一个很消耗资源的操作. 但是,今天碰到了一个 ...
- NGUI UIPanel绘制原理学习
NGUI底层绘制都是调用UIDrawCall来完成的,它会动态实例化出材质球,改变UV偏移和缩放(图集显示).并且全部是面片 UIPanel也是面片,但是内部物体遮罩比较特殊,经过查找发现,影响UIP ...
- [na]非对称加密方式&带加密的数字签名交互流程
1,对称加密 2,混合加密 3.数字签名 4,带加密的数字签名
- [sh]. 点的含义
. 的含义 当前目录 隐藏文件 任意一个字符 生效配置文件
- mogoose的bug之不能根据类型为number的字段查找数据
Users.find({paw:6868}).exec() //返回的结果为空 Users.find({paw:"6868"}).exec() //返回的结果也为空 Users.f ...