hadoop-3.0.0-cdh6.3.2源码编译实践

1.编译过程

参考：https://blog.mygallop.cn/2020/10/centos/hadoop-cdh6-compile/

2.问题记录

1. CDH6.3.2 Hadoop源码位置发生变化，新地址为https://github.com/cloudera/hadoop-commo.old/archive/cdh6.3.2-release.tar.gz

wget https://github.com/cloudera/hadoop-common.old/archive/cdh6.3.2-release.tar.gz -O hadoop-common-cdh6.3.2-release.tar.gz

1. 修改源码根目录下的pom.xml，pluginRepositories中添加cdh的repo：

<pluginRepositories>
  <pluginRepository>
    <id>huaweicloud-plugin</id>
    <url>http://mirrors.huaweicloud.com/repository/maven</url>
    <snapshots>
      <enabled>true</enabled>
    </snapshots>
  </pluginRepository>
        <pluginRepository>
            <id>cdh.repo.plugin</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
            <name>Cloudera Repositories</name>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </pluginRepository>
</pluginRepositories>

1. 编译过程中会下载大量的jar包，可能由于网络问题编译失败，多编译几次即可。

3.编译后可部署包

个人目前有两个版本的CDH版hadoop：

1. hadoop-2.6.0-cdh5.16.2.tar.gz（src和dist）
2. hadoop-3.0.0-cdh6.3.2.tar.gz（src和dist）

如果自己不想编译，需要二进制包，请联系我。