spark笔记 环境配置

spark笔记

spark简介

saprk 有六个核心组件：

SparkCore、SparkSQL、SparkStreaming、StructedStreaming、MLlib，Graphx

SparkCore

相当于Hadoop中的MapReduce，用于大规模离线批处理计算

SparkSQL

相当于Hive(稍微类似)，用于交互式计算

注意：
1.交互式计算：用户界面中的查询条件进行过滤查询，然后交给SparkSQL进行处理，产生输出数据。速度比较快
2.交互式计算框架：Presto、Impala、Kylin、Druid等

SparkStreaming

相当于storm，用于实时流式计算。（准实时）

实时流式计算
1.实时：处理速度快，秒级别或毫秒级别
2.流式：处理数据比较少，但是是持续不断的，作业job不能停止。

StructedStreaming

类似SparkStreaming，不同点在于StructedStreaming基于SparkSQL，而SparkStreaming基于SpringCore。

Mllib

类似scikit-learning，Hadoop中的Mahout，用于分布式的机器学习算法

Graphx

用于图计算，主要适用于神经网络，图遍历之类的场景。

spark基本概念

application

应用程序，可以有多个job

job

一个作业，可以有多个stage阶段

stage

一个阶段，可以有多个task任务

task

一个任务，执行逻辑计算

clustermanager

集群管理器，譬如yarn、mesos、k8s、standalone等。

1.master
    主节点，比如Yarn中的ResourceManager(RM)
2.worker
    从节点，比如Yarn中的NodeManager(NM)

executor

1.执行器，一个运行某个stage中的各个task的进程。类似Yarn中的Container。

2.Yarn中的Container运行的一个task，task运行后就杀死进程。executor运行一个stage钟的所有taskset，整个stage阶段完成后就杀死进程。executor中有个线程池，每个线程运行一个task

driver

1.驱动器，有一部分功能类似于Yarn中的ApplicationMaster。

2.Driver功能：

a)将一个job中的各个 RDD串联起来，成为一个DAG(有向无环图)调度图
b)将DAG图拆分成各个Stage阶段(DAGScheduler)
c)类似于ApplicationMaster，任务申请与调度。（TaskScheduler）

spark分布式环境

配置

修改conf目录下的slaves、spark-default.conf、spark-env.sh

slaves:
    slave1、slave2
spark-default.conf
    spark.master spark://master:7077 (没有Ip映射写主机ip地址)
spark-env.sh
    JAVA_HOME=xxxx （本机jdk目录）

启动

sbin/start-all.sh

访问

<master主机名/ip>：8080

说明

端口号：
7077：master rpc端口号
8080：master http端口号

注：rpc(remote process call)远程过程调用

启动流程

【start-all.sh】-> 加载【spark-config.sh】->调用
【start-master.sh】及【start-slaves.sh】->加载【spark-config.sh】及【load-spark-env.sh】->调用【spark-daemon.sh】->调用【spark-class.sh】或(【spark-submit.sh】->【spark-class.sh】)

运行模式

local、local-cluster、standalone、yarn、mesos

注：https://www.iteblog.com/archives/1223.html （yarn-client与yarn-cluster区别）

入门实例

单词统计

sc.textFile("/home/hduser/app/spark/README.md").flatMap(line=>line.split(" ")).map(word => (word,1)).reduceByKey((x,y) => x+y).collect()

RDD 概念

RDD：弹性分布式数据集，spark的第一个数据结构。只读的。

RDD特性

a)RDD是各个分区的集合，包含多个分区Partition

b)RDD的分区使用多种算子操作进行计算

c)RDD之间存在依赖关系
根据是否经过shuffle流程拆分成窄依赖和宽依赖

d)<k,v>形式的RDD需要重新分区，可指定分区器Partitioner，默认是HashPartitioner
单值形式的RDD中的分区数，依赖于父RDD中的分区数

e)数据本地性(RDD中的分区优先加载本地的数据)

创建RDD

集合并行化

val list = List(1,2,3,4,5)
val rdd = sc.parallelize(list)
rdd.collect

读取外部数据源

val rdd = sc.textFile(README.md)
rdd.collect

算子操作

rdd算子根据生成的数据类型分成transformation(转换)和action(动作)

tarnsformation

从RDD转换为另一个RDD

ation

将RDD中的数据进行输出

简单案例

开发工具

IDEA + maven

Manven简介

功能

maven:自动化构建工具

1.依赖包管理
2.自动构建(编译->测试->打包->安装->发布->运行)

安装配置

配置conf/setttings.xml

    <!—本地仓库位置-->
    <localRepository>D:/repository</localRepository>
    <!—配置中央仓库与远程仓库的镜像，主要原因是仓库访问比较慢，使用镜像快  mirrorOf如果是*，这个镜像是所有中央仓库和远程仓库的镜像；
    mirrorOf如果是central，只是中央仓库的镜像
    -->
    <mirror>
            <id>nexus-aliyun</id>
            <mirrorOf>*</mirrorOf>
            <name>Nexus aliyun</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>

配置环境变量

【计算机】->【高级系统设置】->【高级】->【环境变量】

MAVEN_HOME=D:\apache-maven

path=xxx;%MAVEN_HOME%\bin

测试

命令行中执行 mvn –v

正确显示

Apache Maven 3.6.0 (97c98ec64a1fdfee7767ce5ffb20918da4f719f3; 2018-10-25T02:41:47+08:00)
Maven home: C:\Program Files\apache-maven-3.6.0\bin\..
Java version: 12, vendor: Oracle Corporation, runtime: C:\Program Files\Java\jdk-12
Default locale: zh_CN, platform encoding: GBK
OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"