spark（一）

一、spark 学习

1、 spark学习的三种地方：

（1）Spark.apache.org    官方文档

（2）spark的源代码的官方网站 https://github.com/apache/spark

（3）spark的官方的博客 https://databricks.com/blog

大数据改变了世界，spark改变了大数据

2、 Apache Spark™ is a fast and general engine for large-scale data processing.

处理速度快，相比mapreduce（比mapreduce快10倍左右）

3、spark四大 特性：

速度快

使用简单:可以使用Java、scala、Python、R开发，spark提供了80多个算子

通用性：Spark 提供了大数据一栈式解决方案。包含了流计算、图计算、机器学习、SQL等。

运行在任何地方： Spark可以运行在Hadoop的YARN、Mesos, standalone,或者运行在云上。  Spark 处理的数据，可以存储在HDFS, Cassandra, HBase,和S3等等。

4、spark四种模式：(前两种国内用的比较多)

(1)spark alone

client 、cluster

(2)spark on yarn

client 、cluster

(3)spark on Mesos（类似于yarn的一个资源调度器）

(4)Spark on EC2

5、什么是RDD（可分区的分布式数据集）

6、spark架构需要了解的几个基本概念

Appliction \ Appliction jar\ ....等等

补充：工作当中用的比较多的是spark 1.6.0