Spark学习笔记1（初始spark

1.什么是spark？

spark是一个基于内存的，分布式的，大数据的计算框架，可以解决各种大数据领域的计算问题，提供了一站式的服务

Spark2009年诞生于伯克利大学的AMPLab实验室

2010年正式开源了Spark项目

2013年Spark成为Apache下的项目

2014年飞速发展，成为Apache的顶级项目

2015年在国内兴起，代替mr,hive,storm等

2.SparkCore ：spark是用来取代Hadoop的？

这种说法是不对的，spark由于只能做计算，所以取代掉MapReduce是没有问题的，但是基于spark无法存储数据，所以其数据的存储还是要依赖于hdfs，资源调度可以依赖于yarn，亦可以依赖于其他。

3.spark的功能？

①sparkCore 离线计算

②sparkSQL 交互式查询

③sparkStreaming 实时的流式计算

④sparkGraphx 图形计算

⑤spark mllib 机器学习 人工智能 其核心是算法

4.spark的特点及解释？

spark的特点有：

①一站式：就是说spark可以用一个技术堆栈就可以解决大数据领域的所有的计算问题

②基于内存：这个特点也是spark的运行速度比Mr的速度快的原因，因为spark是基于内存的，内存的

读写的速度要大大的超过磁盘，但是，有一些操作也是无法避免的，spark也有shuffle，所以说最后的

结果也要落地，落地就i需要走磁盘。另一方面的原因就是spark是迭代式的计算框架，内部又有很多的

优化手段，DAG，切分STAGE，这一套机制可以最大限度的优化计算的性能

5.sparkSQL和hive的关系？

hive 首先来说是一个数据仓库，里面放了很多的数据，其次hive还可以通过sql做一些数据的离线批处理，

运行的是MapReduce。

spark SQL 肯定不可以用来做数据仓库，但spark SQL也是通过写sql的方式，做数据的离线计算，底层用的

是RDD。可以直接操作hive

6.sparkStreaming和strom的关系？

strom有很多的有点，比较老了，如果说是纯粹的实时（全部都是实时的业务），现在有一个更加优秀的解决方案

：flink，在一些绝大部分的场景下，sparkStreaming是可以取代掉strom的

实时性，容错都比sparkstreamming优秀

和sparkstreaming相比之下不足的地方：

吞吐量不如sparkstreaming，后者可以方便的和spark SQL ，sparkCore，sparkMLlib无缝的结合

7.spark开发语言的选择？

现如今关于spark的主流语言是scala，如果说是单纯的大数据项目，scala较其他语言相比更为合适一些，但是也有不足的地方：会scala 的人太少，第二点就是由于Scala和第三方的架构整合起来困难。

Java：如今最最主流的编程语言，整合第三方架构的时候也比较简单，如果用java来写spark的话，更为适合写一些比较复杂的大数据项目。

两者的相同之处在于：java可以把代码实现，scala也可以把代码实现

现在比较火的编程语言python，也可以用来开发spark，不过略有不同于其他两种语言的是，python更倾向于机器学习，即（sparkMLlib），因为python的库特别多，而机器学习的算法库也有很多，所以python更多的时间用于机器学习。

转载本文请和本文作者联系，本文来自博客园一袭白衣一