Spark笔记

Spark基础

第一节：什么是Spark？Spark的特点和结构
1、什么是Spark？
Spark是一个针对大规模数据处理的快速通用引擎。
类似MapReduce，都进行数据的处理

2、Spark的特点：
（1）基于Scala语言、Spark基于内存的计算
（2）快：基于内存
（3）易用：支持Scala、Java、Python
（4）通用：Spark Core、Spark SQL、Spark Streaming
MLlib、Graphx
（5）兼容性：完全兼容Hadoop

3、Spark体系结构：主从结构
（1）主节点：Master
（2）从节点：Worker

第二节：搭建Spark的伪分布模式环境
1、解压：tar -zxvf spark-2.1.0-bin-hadoop2.4.tgz -C ~/training/
2、配置参数文件: conf/spark-env.sh

# --------------------------------系统准备
#修改hosts和主机名
# 修改/etc/hosts 以及/etc/sysconfig/network 文件, 分别设置不同的HOSTNAME
vim /etc/hosts
192.168.112.10 node-
192.168.112.11 node-
192.168.112.12 node-

vim /etc/sysconfig/network
HOSTNAME=node-

hostname node- # 修改当前系统进程主机名

### 每台都要 关闭下列防火墙
service iptables stop
setenforce
chkconfig iptables off  # chkconfig iptables --list 查看

ssh-keygen  #创建.ssh目录
ssh-copy-id -i ~/.ssh/id_rsa.pub node- #复制公钥到每台目标主机
ssh-copy-id -i ~/.ssh/id_rsa.pub node- #复制公钥到每台目标主机
ssh root@node- ##或者 ssh root@node- 都能成功,不用密码,则互信成功.

############################ 基于yarn的集群上, 搭一个spark 分布式环境。

# 前提: JDK, Hadoop安装并启动. 下载scala-2.12..tgz并解压
# 下载spark  https://www.apache.org/dyn/closer.lua/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz
# 解压 重命名目录 进入conf目录
cp spark-env.sh.template spark-env.sh
vim spark-env.sh #添加如下内容:
export SCALA_HOME=/usr/local/src/scala-2.12.
export JAVA_HOME=/usr/local/src/jdk1..0_161
export HADOOP_HOME=/usr/local/src/hadoop-2.7.
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/usr/local/src/spark-2.2.
SPARK_DRIVER_MEMORY=1G
#正常生产环境，应该将内存调大

vim slaves
node-
node-

# 分发到各个从节点上
scp -r scala-2.12. node-:/usr/local/src/
scp -r scala-2.12. node-:/usr/local/src/
scp -r spark-2.2. node-:/usr/local/src/
scp -r spark-2.2. node-:/usr/local/src/

############################ standalone 模式。
# 安装JDK

# conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh #添加如下内容:
export JAVA_HOME=/usr/local/src/jdk1..0_161
SPARK_MASTER_HOST=node-
SPARK_MASTER_PORT=

vim slaves # 指定从节点
node-
node-
# --------------------- 忘记sudo vim时，:w !sudo tee %

# 远程拷贝
# for i in {..}; do echo $i; done # 测试循环
for i in {..); do scp -r /bigdata/spark-2.2./ node-$i/bigdata/; done # 依次复制到别的节点

#-----------------------------------------------------------------------------#
#-------------------------------HA 配置:---------------------------------------#
# spark-env.sh 中如下修改:
# SPARK_MASTER_HOST=node- 注释掉
# SPARK_MASTER_PORT= 注释掉
# 指定spark进程关联的zookeeper.
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node-1:2181,node-2:2181,node-3:2181 -Dspark.deploy.zookeeper.dir=/spark"
# 还可以指定硬件资源
export SPARK_WORKER_CORES=
export SPARK_WORKER_MEMORY=1g
# 保存退出 并将配置文件复制到其它节点。
#
# 先启动好zookeeper
# 启动Master及Worker 。最后手动启动备份的Master节点 sbin/start-master.sh
# 检验备份节点jps进程，以及状态 http://node-3:8080
#-----------------------------------------------------------------------------#
#-----------------------------------------------------------------------------#

启动后的验证及简单示例：

############################## 启动后:  通过jps 看到一个master, 两个worker
cd spark-2.2./sbin
./start-all.sh 

# web UI 监控页面
http://node-4:8080

##### 验证：本地2个进程模拟
./bin/run-example SparkPi  --master local[] 

###### 验证：spark standalone  可以在http://node-4:8080监控    #参数100是这个示例的执行轮数
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node-4:7077 examples/jars/spark-examples_2.11-2.2.1.jar 100
#       提交        指定类 Main()方法 通过反射来执行 官方示例   指定Master在哪              指定jar包位置                             采样次数
# 参数需要在jar包之前指定
# spark执行过程中，Master产生进程：SparkSubmit   Worker产生进程：CoarseGrainedExecutorBackend 

bin/spark-submit \
--master spark://node-4:7077 \
--class org.apache.spark.examples.SparkPi \
--executor-memory 512mb \
--total-executor-cores  \
examples/jars/spark-examples_2.-2.2..jar
# 指定每个executor内存大小, 以及一共用多少核
# --master spark://node-4:7077,node-5:7077  如果是HA可以指定多个Master

####### 验证：spark on yarn 需要在yarn上监控 http://node-4:8088    # --master yarn-cluster 是固定写法
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.-2.2..jar  

# 计算结果不在终端显示，显示在yarn上, 打开http://node-4:8088  点击Tracking UI下的ApplicationMaster, 再点击Tracking URL:  History   再点击 Logs ， stdout可以看到结果. 

#####------------------------------------------- client方式
spark-2.2./bin/pyspark # 以python shell的方式开发spark , 进入>>> 后,直接使用python交互
# Using Python version 2.7. (default, Apr    ::)
# SparkSession available as 'spark'.

#####------------------------------------------- spark shell
spark-2.2./bin/spark-shell # 以本地模式启动shell的方式, 进入 scala> 后使用scala语言
bin/spark-shell --master spark://master:7077 # 指定了Master地址就会提交到集群。开始时sparksubmit（客户端）要连接Master，
# 并申请计算资源（内存和核数），Master进行资源调度（让那些Worker启动Executor），在准备工作时，这些进程都已经创建好了

# 用spark Shell完成WordCount计算
# 启动HDFS(上传数据到hdfs)，sc是spark core（RDD）的执行入口

sc.textFile("/home/test/1.txt").flatMap(_.split(" ")).map((_,)).reduceByKey(_+_).collect # 本地文件
# 如果报错文件找不到，可以将文件放在Master所在机器上。
sc.textFile("/home/test/2.txt").flatMap(_.split(" ")).map((_,)).reduceByKey(_+_).sortBy(_._2,false).collect # 加上了以数量降序

sc.textFile("hdfs://node-4:9000/data/input/1.txt").flatMap(_.split(" ")).map((_,)).reduceByKey(_+_).collect # hdfs文件
# 如果连接HDFS的nameservice则需要复制配置文件到spark中

Spark最好的开发语言是Scala 点此下载：Scala语言规范