hive遇到的问题以及解决办法
hive java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | Error: java.lang.RuntimeException: Error in configuring object
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:79)
hadoop | at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137)
hadoop | at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)
hadoop | at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
hadoop | at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:177)
hadoop | at java.security.AccessController.doPrivileged(Native Method)
hadoop | at javax.security.auth.Subject.doAs(Subject.java:422)
hadoop | at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1886)
hadoop | at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:171)
hadoop | Caused by: java.lang.reflect.InvocationTargetException
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
hadoop | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
hadoop | at java.lang.reflect.Method.invoke(Method.java:498)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:110)
hadoop | ... 9 more
hadoop | Caused by: java.lang.RuntimeException: Error in configuring object
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:79)
hadoop | at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137)
hadoop | at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38)
hadoop | ... 14 more
hadoop | Caused by: java.lang.reflect.InvocationTargetException
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
hadoop | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
hadoop | at java.lang.reflect.Method.invoke(Method.java:498)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:110)
hadoop | ... 17 more
hadoop | Caused by: java.lang.RuntimeException: Map operator initialization failed
hadoop | at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:137)
hadoop | ... 22 more
hadoop | Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:328)
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:420)
hadoop | at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:106)
hadoop | ... 22 more
hadoop | Caused by: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2299)
hadoop | at org.apache.hadoop.hive.ql.plan.PartitionDesc.getDeserializer(PartitionDesc.java:177)
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:295)
hadoop | ... 24 more
hadoop |
hadoop |
hadoop | FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hadoop | MapReduce Jobs Launched:
hadoop | Stage-Stage-1: Map: 1 Reduce: 1 HDFS Read: 0 HDFS Write: 0 FAIL
hadoop | Total MapReduce CPU Time Spent: 0 msec
解决办法：
方法一：添加add hive-hcatalog-core包
ADD JAR /usr/local/hive/lib/hive-hcatalog-core-2.3.2.jar;
方法二：Jar放入${HIVE_HOME}/auxlib目录（这个方法解决了我的问题）
在${HIVE_HOME}建立一个auxlib目录，把hive-hcatalog-core.xxx.jar放到auxlib目录，重启hiverserver2，成功显示OK
hive遇到的问题以及解决办法的更多相关文章
- HADOOP在处理HIVE时权限错误的解决办法
今天,小乔操作时发现问题: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acces ...
- hive数据倾斜原因以及解决办法
何谓数据倾斜?数据倾斜指的是,并行处理的数据集 中,某一部分(如Spark的一个Partition)的数据显著多于其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈. 表现为整体任务基本完成, ...
- Hive字段中文注释乱码解决办法
Hive字段中文乱码,如执行 show create table xxx 时,表级别注释.字段级别注释发现有乱码现象, 一般都是由hive 元数据库的配置不当造成的. 此时可按如下步骤进行配置调整: ...
- kylin加载hive表错误：ERROR [http-bio-7070-exec-10] controller.TableController:189 : org/apache/hadoop/hive/conf/HiveConf java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 解决办法
一.问题背景 在kylin中加载hive表时,弹出提示框,内容是“oops!org/apache/hadoop/hive/conf/HiveConf”,无法加载hive表,查找kylin的日志时发现, ...
- Hive的Shell里hive> 执行操作时，出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask错误的解决办法（图文详解）
不多说,直接上干货! 这个问题,得非 你的hive和hbase是不是同样都是CDH版本,还是一个是apache版本,一个是CDH版本. 问题详情 [kfk@bigdata-pro01 apache-h ...
- 执行Hive时出现org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.NumberFormatException: For input string: "1s"错误的解决办法（图文详解）
不多说,直接上干货 问题详情 [kfk@bigdata-pro01 apache-hive--bin]$ bin/hive Logging initialized -bin/conf/hive-log ...
- kylin_异常_02_java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 解决办法
一.异常现象 在kylin的web管理界面,设置hive数据源时,报错: 查找kylin的日志时发现,弹出提示框的原因是因为出现错误: ERROR [http-bio-7070-exec-10] co ...
- hive数据倾斜的解决办法
数据倾斜是进行大数据计算时常见的问题.主要分为map端倾斜和reduce端倾斜,map端倾斜主要是因为输入文件大小不均匀导致,reduce端主要是partition不均匀导致. 在hive中遇到数据倾 ...
- Hive中将文件加载到数据库表失败解决办法
Hive中将文件加载到数据库表失败解决办法(hive创建表失败) 遇到的问题: FAILED: Execution Error, return code 1 from org.apache.hadoo ...
随机推荐
- python之线程queue
线程queue介绍 Queue的种类: FIFO: Queue.Queue(maxsize=0) FIFO即First in First Out,先进先出.Queue提供了一个基本的FIFO容器,使 ...
- WCF服务使用（IIS+Http）和（Winform宿主+Tcp）两种方式进行发布
1.写在前面 刚接触WCF不久,有很多地方知其然不知其所以然.当我在[创建服务->发布服务->使用服务]这一过程出现过许多问题.如客户端找不到服务引用:客户端只在本机环境中才能访问服务,移 ...
- arcgis10.3下载，arcgis pro的下载地址
链接:http://pan.baidu.com/s/1eQ2BkCM 密码:fmkh
- javascript的继承实现
javascript虽然是一门面向对象的语言,但是它的继承机制从一开始设计的时候就不同于传统的其他面向对象语言,是基于原型的继承机制,但是在这种机制下,继承依然有一些不同的实现方式. 方法一:类式继承 ...
- 612.1.003 ALGS4 | Stacks and Queues
Algorithm | Coursera - by Robert Sedgewick Type the code one by one! 不要拜读--只写最有感触的!而不是仅仅做一个笔记摘录员,那样毫 ...
- requirejs中Shims使用说明
RequireJS中如果使用AMD规范,在使用的过程中没有太多的问题,如果加载非AMD规范的JS文件,就需要使用Require中的shim. require.config({ paths:{ jque ...
- 10 tensorflow在循环体中用tf.print输出节点内容
代码 i=tf.constant(0,dtype=tf.int32) batch_len=tf.constant(10,dtype=tf.int32) loop_cond = lambda a,b: ...
- windows下php使用zerophp
官网地址:http://zeromq.org/ 下载windows版本安装(不过php可以不用安装,直接使用扩展包就可以了) 然后下载php的zmq扩展包:https://pecl.php.net/p ...
- Windows自带强大的入侵检测工具——Netstat 命令 查询是否中木马
Netstat命令可以帮助我们了解网络的整体使用情况.根据Netstat后面参数的不同,它可以显示不同的网络连接信息.Netstat的参数如图,下面对其中一些参数进行说明.如何检测本机是否有被中木马, ...
- python已写内容中可能的报错及解决办法
理论上我发的每个短文,直接复制放到py里面,python xx.py是可以执行的,不过因为版本,编码什么的问题会有报错,详见这里 报错: SyntaxError: Non-ASCII characte ...