Spark2.0编译

Spark2.0编译

1 前言

Spark2.0正式版于今天正式发布，本文基于CDH5.0.2的Spark编译。

2 编译步骤

#2.1 下载源码
wget https://github.com/apache/spark/archive/v2.0.0.tar.gz
#2.2 解压配置
基于CDH5.0.2配置pom文件，添加
<profile>
  <id>cdh5.0.2</id>
  <properties>
	<hadoop.version>2.3.0-cdh5.0.2</hadoop.version>
	<hbase.version>0.96.1.1-cdh5.0.2</hbase.version>
	<zookeeper.version>3.4.5-cdh5.0.2</zookeeper.version>
  </properties>
</profile>
编译：
build/mvn -Pyarn -Pcdh5.0.2 -Phive -Phive-thriftserver -Pnative -DskipTests package
报错1：
上述命令，由于国外maven.twttr.com被墙，添加hosts，199.16.156.89 maven.twttr.com,再次执行
报错2：找不到2.3.0-cdh5.0.2,查找pom文件，有关cloudrea源被移除，添加上：
<repository>
  <id>cloudera-repo</id>
  <name>Cloudera Repository</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
  <releases>
    <enabled>true</enabled>
  </releases>
  <snapshots>
    <enabled>false</enabled>
  </snapshots>
</repository>
报错3：超时报错，重新执行
#2.3 成功如下：