Spark Shell & Spark submit

Spark 的 shell 是一个强大的交互式数据分析工具。

1. 搭建Spark

2. 两个目录下面有可执行文件：

bin  包含spark-shell 和 spark-submit

sbin 包含

• sbin/start-master.sh：在机器上启动一个master实例
• sbin/start-slaves.sh：在每台机器上启动一个slave实例
• sbin/start-all.sh：同时启动一个master实例和所有slave实例
• sbin/stop-master.sh：停止master实例
• sbin/stop-slaves.sh：停止所有slave实例
• sbin/stop-all.sh：停止master实例和所有slave实例

注意，这些脚本必须在你的Spark master运行的机器上执行，而不是在你的本地机器上面。

3.在 Spark 目录里运行spark-shell 和 spark-submit：

./bin/spark-shell 

./bin/spark-submit   可以在集群上启动应用程序。

3. Spark SQL的入口是  SQLContext类或者它的子类：

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

HiveContext:

从SQLContext继承而来，它增加了在MetaStore中发现表以及利用HiveSql写查询的功能.

4. Graphx 的打印输出 output

graph.vertices.collect.foreach(println(_))

graph.edges.collect.foreach(println(_))

5. Spark 配置

Spark提供三个位置用来配置系统：

• Spark properties控制大部分的应用程序参数，可以用SparkConf对象或者java系统属性设置
• Environment variables可以通过每个节点的conf/spark-env.sh脚本设置每台机器的设置。例如IP地址
• Logging可以通过log4j.properties配置