关于 CDH 环境中部署 Dolphinscheduler 出现 hive-jdbc 包冲突的解决办法

目前社区小伙伴经常反映在 cdh 环境中部署 Dolphinscheduler 出现 hive 包冲突的问题，报错日志信息如下:

[WARN] 2020-04-29 09:55:30.815 org.eclipse.jetty.server.HttpChannel:[590] - /dolphinscheduler/datasources/connect
org.springframework.web.util.NestedServletException: Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
        at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:1053)
        at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:942)
        at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:1005)
Caused by: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/thrift/TFilterTransport
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.thrift.TFilterTransport
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)

这是由于官方包中的 hive-jdbc 与 cdh 环境中的版本不一致导致的，下列两种方式可以解决该问题。

1. 通过源码编译部署

如果您通过源码编译进行部署，则可以通过修改 pom 文件的方式替换 hive-jdbc 包为cdh 版本。

• 修改 pom.xml 文件

• • 配置 cloudera 仓库信息

    <repositories>
      <repository>
       <id>cloudera</id>
       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
      </repository>
    </repositories>
    

  • 修改 hive.jdbc.version

    <!-- 这⾥以cdh5.15.1和cdh6.3.1为例, 可按实际情况修改为对应版本。 -->
    <!-- cdh5.15.1 -->
    <hive.jdbc.version>1.1.0-cdh5.15.1</hive.jdbc.version>
    <!-- cdh6.3.1 -->
    <hive.jdbc.version>2.1.1-cdh6.3.1</hive.jdbc.version>
    

  • 增加 hive-shims

    <!-- 具体版本按实际情况指定 -->
    <hive.shims.version>1.1.0-cdh5.15.1</hive.shims.version>
    
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-shims</artifactId>
      <version>${hive.shims.version}</version>
    </dependency>
    

修改后重新打包编译:

mvn -U clean package -Prelease -Dmaven.test.skip=true

打包完成后可以在lib中看到如下 hive-jdbc 相关 jar 包，说明打包完成， 可以进行部署。

hive-classification-1.1.0-cdh5.15.1.jar
hive-common-1.1.0-cdh5.15.1.jar
hive-jdbc-1.1.0-cdh5.15.1.jar
hive-metastore-1.1.0-cdh5.15.1.jar
hive-serde-1.1.0-cdh5.15.1.jar
hive-service-1.1.0-cdh5.15.1.jar
hive-shims-0.23-1.1.0-cdh5.16.1.jar
hive-shims-1.1.0-cdh5.16.1.jar
hive-shims-common-1.1.0-cdh5.16.1.jar
hive-shims-scheduler-1.1.0-cdh5.16.1.jar

由于 cloudera 仓库对网络有一定要求， 如果打包时下载jar包报错，可以先将官网的包直接部署，并参照已使用官方包部署进行处理。

2. 已使用官方包部署

如果您先前已使用官方包进行部署，那么可在 cdh 集群的任意节点中， 找到 cdh 版本的 hive包。

以我的环境为例，hive包在下列路径中:

/opt/cloudera/parcels/CDH/jars

同样的，只需要在这个路径中找到hive-jdbc相关的包， 然后替换掉Dolphinscheduler lib 中的 hive 包即可(需要移除原先的 hive-jdbc 相关包)。

以下为cdh6所需要的包:

hive-common-2.1.1-cdh6.3.1.jar
hive-jdbc-2.1.1-cdh6.3.1.jar
hive-metastore-2.1.1-cdh6.3.1.jar
hive-serde-2.1.1-cdh6.3.1.jar
hive-service-2.1.1-cdh6.3.1.jar
hive-service-rpc-2.1.1-cdh6.3.1.jar
hive-shims-0.23-2.1.1-cdh6.3.1.jar
hive-shims-2.1.1-cdh6.3.1.jar
hive-shims-common-2.1.1-cdh6.3.1.jar
hive-shims-scheduler-2.1.1-cdh6.3.1.jar

替换完成后，重启 Dolphinscheduler 即可。