Hive源码上手及问题解决

一、编译准备

1.下载源码包

https://github.com/apache/hive/archive/refs/tags/rel/release-2.3.7.zip

或使用git直接拉取

无法解决科学问题请点

2.环境

JDK 1.8.0_202

Apache Maven 3.6.3

git 2.32.0 （编译过程需要执行bash,cmd会报错）

二、执行操作与主要问题

1.操作

在已经解压过的Hive源码包下启动git bash 运行一下代码

mvn clean package -Phadoop-2,dist 这是官网给出的编译语句，根据基于的hadoop版本填入数字

mvn clean package -Phadoop-2 -DskipTests 跳过测试

mvn -Phadoop-2 -Pdist -DskipTests -Dmaven.javadoc.skip=true clean package 在上面的基础上跳过文档生成

如果显示Hadoop依赖问题报错可以去掉hadoop项 mvn clean package -Pdist -DskipTests

2.主要问题

(1).pentaho-aggdesigner-algorithm:jar缺失

这个问题基本编译Hive的都会遇到，根本原因是阿里云镜像jar包索引不明，按照其它方法提供的更改POM文件中spring镜像仓库依然无法下载jar包，最终手动下载安装成功

mvn install:install-file -DgroupId=org.pentaho -DartifactId=pentaho-aggdesigner-algorithm -Dversion=5.1.5-jhyde -Dpackaging=jar -Dfile=pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar(jar绝对路径)

(2).Java环境问题

经过几次测试结合其他总结经验发现，JDK验证（java -version，javac，java）都正常的情况依然会有类似报错

可以在执行编译语句前设置JDK路径（很多时候mvn默认是JRE）set JAVA_HOME=你的JDK绝对路径

解决上述问题基本就编译成功

在同等的环境下使用linux（ubuntu和CentOS）编译均不会出现win下的各种环境问题

直接使用IDE编译可能会出现更多JAR包问题，如果仅仅只是Hive的框架依赖如Hadoop_HOME和Druid_HOME，则不影响测试

如果不需要对整个Hive测试，可以仅编译单个组件。例如：ql[hive-exec]、llap-common