安装spark ha集群

安装spark ha集群 

1.默认安装好hadoop+zookeeper
2.安装scala
	1.解压安装包
		tar zxvf scala-2.11.7.tgz
	2.配置环境变量
		vim /etc/profile

		#scala
		export SCALA_HOME=/opt/scala-2.11.7

		#CLASSPATH
		export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib

		#PATH
		export PATH=$PATH:$SCALA_HOME/bin

		保存退出

		source /etc/profile
	3.验证
		scala -version

3.安装spark
	1.解压安装包
		tar zxvf spark-1.6.0-bin-hadoop2.4.tgz
	2.配置环境变量
		vim /etc/profile

		#spark
		export SPARK_HOME=/opt/spark-1.6.0

		#CLASSPATH
		export CLASSPATH=$CLASSPATH:$SPARK_HOME/lib

		#PATH
		export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

		保存退出

		source /etc/profile

	3.修改配置文件
		1.根据模板复制相关配置文件
			cp spark-env.sh.template spark-env.sh
			cp slaves.template slaves
			cp log4j.properties.template log4j.properties
			cp spark-defaults.conf.template spark-defaults.conf
		2.创建相关目录
			mkdir /opt/spark-1.6.0/logs
			mkdir /opt/spark-1.6.0/tmp
			hadoop fs -mkdir /spark //在hdfs上创建存储spark的任务日志文件
		3.修改配置文件参数
			####spark-env.sh#### 最后加入 其中hadoop.master为主节点 hadoop.slaver1为备份主节点
			export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop.master:2181,hadoop.slaver1:2181 -Dspark.deploy.zookeeper.dir=/spark"
			export JAVA_HOME=/usr/java/jdk1.8.0_65
			export SPARK_WORKER_CORES=1
			export SPARK_WORKER_INSTANCES=1
			export SPARK_WORKER_MEMORY=1g

			####slaves####将所有的从节点主机名加入
			hadoop.slaver1
			hadoop.slaver2
			hadoop.slaver3

			####log4j.properties####
			无需修改

			####spark-defaults.conf####
			spark.eventLog.enabled  true
			spark.eventLog.dir      hdfs://ns1:8020/spark
			spark.history.fs.logDirectory      hdfs://ns1:8020/spark
			spark.eventLog.compress true

	4.分发到各个节点
		scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver1:/opt
		scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver2:/opt
		scp -r /opt/spark-1.6.0 hadoop@hadoop.slaver3:/opt
	5.启动
		//先启动zookeeper 和 hdfs
		sbin/start-all.sh   //注意切换目录  不然跟hadoop的start-all 冲突

		spark-shell --master spark://hadoop.master:7077  //集群模式启动客户端
		spark-shell     //单机模式启动客户端
	6.验证
		1.jps
		2.web
			节点主机名:8080  //如果采用默认端口的話则是8080  主节点web
			节点主机名:18080  //主节点 历史任务web
			节点主机名:4040   //子节点正在进行任务web
		3.HA
			在备份主机节点执行 start-master.sh命令
			然后在主机节点把master进程kill掉，此时会自行切换至备份节点(需要几秒钟的缓冲时间)
	7.常用命令
		1.启动
			start-all.sh  //注意切换目录
			start-master.sh
			stop-master.sh
			start-slave.sh 主节点:7077  //默认端口  如果不修改的話
			start-history-server.sh   //启动任务历史服务
		2.使用
			1.本机模式
				运行 spark-shell
			2.yarn
				打包运行jar包
				spark-submit
				--master spark://spark113:7077
				--class org.apache.spark.examples.SparkPi
				--name Spark-Pi --executor-memory 400M
				--driver-memory 512M
				/opt/spark-1.6.0/lib/spark-examples-1.6.0-hadoop2.4.0.jar
			3.wordcount
				val file=sc.textFile("hdfs://ns1:8020/huangzhijian/test.dat")
				val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
				count.saveAsTextFile("hdfs://ns1:8020/output")  //需保证hdfs上该目录不存在