Spark官方文档——独立集群模式（Standalone Mode）

除了部署在Mesos之上, Spark也支持独立部署模式,包括一个Spark master进程和多个 Spark worker进程.独立部署模式可以运行在单机上作为测试之用，也可以部署在集群上.如果你打算部署在集群上,可以使用我们提供的部署脚本启动一个集群。

现在开始吧

使用sbt package对进行编译，可以参考开始指南。如果打算部署单独模式，就不需要安装Mesos.

手动方式启动集群

通过如下命令启动单独模式的master服务:

./runspark.deploy.master.Master

一旦启动，master就会输出spark://IP:PORT以提示连接 workers 的方式。也可以通过参数“master”给SparkContext来连接集群的作业.你可以在master的web管理界面上看到这样的地址，默认是http://localhost:8080。

同样,你可以启动一个或者多个worker，通过下面的语句使之和master建立连接。:

./runspark.deploy.worker.Worker spark://IP:PORT

启动一个worker后,查看 master的 web管理界面 (默认http://localhost:8080)，上面列出了新近加入的节点的CPU和内存的信息。（不包括给操作系统预留的内存空间）。

Finally, the following configuration options can be passed to the masterand worker:

参数	含义
-i IP, --ip IP	要监听的IP地址或者 DNS 机器名
-p PORT, --port PORT	要监听的端口 (默认: master 7077 ；worker随机)
--webui-port PORT	web UI端口 (默认: master 8080, worker 8081)
-c CORES, --cores CORES	作业可用的CPU内核数量(默认: 所有可用); 只在worker上。
-m MEM, --memory MEM	作业可使用的内存容量，默认格式1000M或者 2G (默认:  所有RAM去掉给操作系统用的1 GB); 只在worker上。
-d DIR, --work-dir DIR	伸缩空间和日志输入的目录路径 (默认: SPARK_HOME/work); 只在worker上。

集群启动脚本

启动单独模式的集群时，首先在Spark的目录内建立一个配置文件conf/slaves，列出所有worker机器的机器名，每一个占一行。Master必须能够实现无密码的ssh登录worker机器，可以使用ssh locakhost来测试。

然后，就可以在SPARK_HOME/bin路径下执行shell脚本，以启动或者停止集群。

l        bin/start-master.sh - Starts amaster instance on the machine the script is executed on.

l        bin/start-slaves.sh - Starts aslave instance on each machine specified in the conf/slaves file.

l        bin/start-all.sh - Starts botha master and a number of slaves as described above.

l        bin/stop-master.sh - Stops themaster that was started via the bin/start-master.sh script.

l        bin/stop-slaves.sh - Stops theslave instances that were started via bin/start-slaves.sh.

l        bin/stop-all.sh - Stops boththe master and the slaves as described above.

注意：只能在运行Spark的master主机上执行上述脚本，而不是你的本地机器。

你可以通过conf/spark-env.sh进一步配置整个集群的环境变量。这个文件可以用conf/spark-env.sh.template当模版复制生成。然后，复制到所有的worker机器上才奏效。下面给出一些可选的参数以及含义：

环境变量	含义
SPARK_MASTER_IP	绑定一个外部IP给master
SPARK_MASTER_PORT	从另外一个端口启动master(默认: 7077)
SPARK_MASTER_WEBUI_PORT	Master的web UI端口 (默认: 8080)
SPARK_WORKER_PORT	启动Spark worker 的专用端口(默认：随机)
SPARK_WORKER_DIR	伸缩空间和日志输入的目录路径 (默认: SPARK_HOME/work);
SPARK_WORKER_CORES	作业可用的CPU内核数量(默认: 所有可用的);
SPARK_WORKER_MEMORY	作业可使用的内存容量，默认格式1000M或者 2G (默认:  所有RAM去掉给操作系统用的1 GB);注意：每个作业自己的内存空间由SPARK_MEM决定。
SPARK_WORKER_WEBUI_PORT	worker 的web UI 启动端口(默认: 8081)
SPARK_DAEMON_MEMORY	分配给Spark master和 worker 守护进程的内存空间 (默认: 512m)
SPARK_DAEMON_JAVA_OPTS	Spark master 和 worker守护进程的JVM 选项(默认: none)

提交作业到集群

运行一个作业在Spark集群上，只需要发送连接master的spark://IP:PORT到SparkContext构造器.

执行下列命令可以在集群上运行一个交互式的Spark shell：

MASTER=spark://IP:PORT./spark-shell

作业调度

单独部署模式目前只支持FIFO作业调度策略。不过，为了允许作业的并发执行，可以控制每一个作业可获得资源的最大值。默认情况下，如果系统中只有一个作业，它就会获得所有资源。使用类似System.setProperty("spark.cores.max","10")的语句可以获得内核的数量。这个数值在初始化SparkContext之前必须设置好。

监控和日志

Spark单独部署模式提供了一个基于WEB的集群监视器。master和每一个worker都会有一个WEB UI来显示集群的统计信息。默认情况下，可以通过8080端口访问master的WEB UI。当然也可以通过配置文件或者命令来修改这个端口值。

In addition, detailed log output for each job is also written to the workdirectory of each slave node (SPARK_HOME/work by default). You will see two files for each job, with all output itwrote to its console.

另外，每个slave节点上作业运行的日志也会详细的记录到默认的SPARK_HOME/work目录下。每个作业会对应两个文件，stdout和stderr,包含了控制台上的所有的历史输出。

和Hadoop同时运行

作为一个独立的服务，可以和现有的Hadoop集群同时运行。

通过hdfs:// URL，Spark可以访问hadoop集群的HDFS上的数据。(比如地址可以写成hdfs://<namenode>:9000/path,从Namenode的web UI可以获得更确切的URL).或者,专门为Spark搭建一个集群,通过网络访问其他HDFS上的数据，这样肯定不如访问本地数据速度快,除非是都在同一个局域网内。(比如几台Spark机器和Hadoop集群在同一机架上)。