spark的安装步骤

官网：http://spark.apache.org/downloads.html

安装：
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
#配置环境变量(vim ~/.bashrc)：
export SPARK_HOME="/opt/spark-2.4.3-bin-hadoop2.7"
export PATH="$PATH:$SPARK_HOME"

#修改配置
cd spark-2.4.3-bin-hadoop2.7
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh
(spark-env.sh中最主要的是指定ip地址，如果运行的是master，就需要指定SPARK_MASTER_IP，如果准备运行driver或worker就需要指定SPARK_LOCAL_IP，要和本机的IP地址一致，否则启动不了。
有了hadoop的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据。)
配置举例如下：
export SPARK_DIST_CLASSPATH=/opt/hadoop-2.7.2/bin/hadoop
export SPARK_MASTER_IP=192.168.189.129
export SPARK_LOCAL_IP=192.168.189.129

(.conf/slaves文件为从机配置，默认为localhost)
#测试：
#命令：./bin/spark-shell，看是否图案
#命令：./bin/pythonspark，看是否图案
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
（结果：Pi is roughly 3.1392956964784826）

-------启动（一键启动所有：start-all.sh）
第一步：启动master
$SPARK_HOME/sbin/start-master.sh
第二步：启动worker
$SPARK_HOME/bin/spark-class org.apache.spark.deploy.worker.Worker spark://master:7077
访问：http://xxx.xxx.xxx:8081/