flink 1.10.0源码编译

1.安装git

yum -y install git

2.安装maven

安装了3.3以下低版本的maven会有提示升级，这里安装3.6.3

wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

tar zxvf apache-maven-3.6.3-bin.tar.gz

cd apache-maven-3.6.3/

vi conf/settings.xml

增加以下mirror，下载依赖会快很多

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>
    <name>nexus aliyun</name>
    <url>https://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
<mirror>
    <id>mapr-aliyun</id>
    <mirrorOf>mapr-releases</mirrorOf>
    <name>mapr-releases</name>
    <url>https://maven.aliyun.com/repository/content/mapr-public</url>
</mirror>

3.拉代码

git clone https://github.com/apache/flink.git

进入到 flink目录后，切换到需要打包的分支

git checkout release-1.10.0

mvn clean install -DskipTests -Dhadoop.version=2.6.5 -Dmaven.javadoc.skip=true -DCheckStyle.skip=true -Drat.skip=true -Dscala.version=2.11.8

然后就开始编译了

第一次编译，如果运气好，半个小时左右能完成，但是通常会遇到各种各样的问题，在解决问题后编译成功花费了17多分钟

问题解决

1.报错缺少kafka-schema-registry-client-3.3.1.jar 包

[ERROR] Failed to execute goal on project flink-avro-confluent-registry: Could not resolve dependencies for project org.apache.flink:flink-avro-confluent-registry:jar:1.6.2: Could not find artifact io.confluent:kafka-schema-registry-client:jar:3.3.1 in nexus-osc (http://maven.aliyun.com/nexus/content/repositories/central) -> [Help 1]

手动下载kafka-schema-registry-client-3.3.1.jar包，下载地址如下：

http://packages.confluent.io/maven/io/confluent/kafka-schema-registry-client/3.3.1/kafka-schema-registry-client-3.3.1.jar

将下载的kafka-schema-registry-client-3.3.1.jar上传至主节点的目录下/home/tmp/

手动安装缺少的kafka-schema-registry-client-3.3.1.jar包

mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=3.3.1 -Dpackaging=jar -Dfile=/home/tmp/kafka-schema-registry-client-3.3.1.jar

1.安装git

yum -y install git

2.安装maven

安装了3.3以下低版本的maven会有提示升级，这里安装3.6.3

wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

tar zxvf apache-maven-3.6.3-bin.tar.gz

cd apache-maven-3.6.3/

vi conf/settings.xml

增加以下mirror，下载依赖会快很多

<mirror>

    <id>nexus-aliyun</id>

    <mirrorOf>*,!jeecg,!jeecg-snapshots,!mapr-releases</mirrorOf>

    <name>nexus aliyun</name>

    <url>https://maven.aliyun.com/nexus/content/groups/public</url>

</mirror>

<mirror>

    <id>mapr-aliyun</id>

    <mirrorOf>mapr-releases</mirrorOf>

    <name>mapr-releases</name>

    <url>https://maven.aliyun.com/repository/content/mapr-public</url>

</mirror>

3.拉代码

git clone http://gitlab.xxx.com/dataplatform/flink-1.10.git

输入用户名和密码

切换到需要打包的分支

git checkout dev

mvn clean install -DskipTests -Dhadoop.version=2.6.5 -Dmaven.javadoc.skip=true -DCheckStyle.skip=true -Drat.skip=true -Dscala.version=2.11.8

然后就开始编译了

第一次编译，如果运气好，半个小时左右能完成，但是通常会遇到各种各样的问题，在解决问题后编译成功花费了17多分钟