hive遇到的问题以及解决办法
hive java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | Error: java.lang.RuntimeException: Error in configuring object
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:79)
hadoop | at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137)
hadoop | at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)
hadoop | at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
hadoop | at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:177)
hadoop | at java.security.AccessController.doPrivileged(Native Method)
hadoop | at javax.security.auth.Subject.doAs(Subject.java:422)
hadoop | at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1886)
hadoop | at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:171)
hadoop | Caused by: java.lang.reflect.InvocationTargetException
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
hadoop | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
hadoop | at java.lang.reflect.Method.invoke(Method.java:498)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:110)
hadoop | ... 9 more
hadoop | Caused by: java.lang.RuntimeException: Error in configuring object
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:113)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:79)
hadoop | at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137)
hadoop | at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:38)
hadoop | ... 14 more
hadoop | Caused by: java.lang.reflect.InvocationTargetException
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop | at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
hadoop | at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
hadoop | at java.lang.reflect.Method.invoke(Method.java:498)
hadoop | at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:110)
hadoop | ... 17 more
hadoop | Caused by: java.lang.RuntimeException: Map operator initialization failed
hadoop | at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:137)
hadoop | ... 22 more
hadoop | Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:328)
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.setChildren(MapOperator.java:420)
hadoop | at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.configure(ExecMapper.java:106)
hadoop | ... 22 more
hadoop | Caused by: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
hadoop | at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2299)
hadoop | at org.apache.hadoop.hive.ql.plan.PartitionDesc.getDeserializer(PartitionDesc.java:177)
hadoop | at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:295)
hadoop | ... 24 more
hadoop |
hadoop |
hadoop | FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hadoop | MapReduce Jobs Launched:
hadoop | Stage-Stage-1: Map: 1 Reduce: 1 HDFS Read: 0 HDFS Write: 0 FAIL
hadoop | Total MapReduce CPU Time Spent: 0 msec
解决办法：
方法一：添加add hive-hcatalog-core包
ADD JAR /usr/local/hive/lib/hive-hcatalog-core-2.3.2.jar;
方法二：Jar放入${HIVE_HOME}/auxlib目录（这个方法解决了我的问题）
在${HIVE_HOME}建立一个auxlib目录，把hive-hcatalog-core.xxx.jar放到auxlib目录，重启hiverserver2，成功显示OK
hive遇到的问题以及解决办法的更多相关文章
- HADOOP在处理HIVE时权限错误的解决办法
今天,小乔操作时发现问题: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, acces ...
- hive数据倾斜原因以及解决办法
何谓数据倾斜?数据倾斜指的是,并行处理的数据集 中,某一部分(如Spark的一个Partition)的数据显著多于其它部分,从而使得该部分的处理速度成为整个数据集处理的瓶颈. 表现为整体任务基本完成, ...
- Hive字段中文注释乱码解决办法
Hive字段中文乱码,如执行 show create table xxx 时,表级别注释.字段级别注释发现有乱码现象, 一般都是由hive 元数据库的配置不当造成的. 此时可按如下步骤进行配置调整: ...
- kylin加载hive表错误：ERROR [http-bio-7070-exec-10] controller.TableController:189 : org/apache/hadoop/hive/conf/HiveConf java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 解决办法
一.问题背景 在kylin中加载hive表时,弹出提示框,内容是“oops!org/apache/hadoop/hive/conf/HiveConf”,无法加载hive表,查找kylin的日志时发现, ...
- Hive的Shell里hive> 执行操作时，出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask错误的解决办法（图文详解）
不多说,直接上干货! 这个问题,得非 你的hive和hbase是不是同样都是CDH版本,还是一个是apache版本,一个是CDH版本. 问题详情 [kfk@bigdata-pro01 apache-h ...
- 执行Hive时出现org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.NumberFormatException: For input string: "1s"错误的解决办法（图文详解）
不多说,直接上干货 问题详情 [kfk@bigdata-pro01 apache-hive--bin]$ bin/hive Logging initialized -bin/conf/hive-log ...
- kylin_异常_02_java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 解决办法
一.异常现象 在kylin的web管理界面,设置hive数据源时,报错: 查找kylin的日志时发现,弹出提示框的原因是因为出现错误: ERROR [http-bio-7070-exec-10] co ...
- hive数据倾斜的解决办法
数据倾斜是进行大数据计算时常见的问题.主要分为map端倾斜和reduce端倾斜,map端倾斜主要是因为输入文件大小不均匀导致,reduce端主要是partition不均匀导致. 在hive中遇到数据倾 ...
- Hive中将文件加载到数据库表失败解决办法
Hive中将文件加载到数据库表失败解决办法(hive创建表失败) 遇到的问题: FAILED: Execution Error, return code 1 from org.apache.hadoo ...
随机推荐
- 让AutoMapper在你的项目里飞一会儿
先说说DTO DTO是个什么东东? DTO(Data Transfer Object)就是数据传输对象,说白了就是一个对象,只不过里边全是数据而已. 为什么要用DTO? 1.DTO更注重数据,对领域对 ...
- win8.1 pro-64位下安装配置MinGW—64位
1.下载MinGW-w64位:http://mingw-w64.org/doku.php 点击Downloads 说明:这边使用的是在线安装方式: 在网站里可以看到他安装后的文件夹: 2.安装 运行m ...
- POJ2251(KB1-B 三维BFS）
Dungeon Master Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 40872 Accepted: 19936 Desc ...
- 【学习笔记】--- 老男孩学Python，day15 python内置函数大全,递归,二分法
1. lamda匿匿名函数2. sorted()3. filter()4. map()5. 递归函数 一. lamda 匿名函数 为了了解决一些简单的需求⽽设计的⼀句话函数 语法: 函数名 = lam ...
- drupal7 带表达式条件的update
原本的mysql语句是这样的: ; 转化成drupal的api是这样的 $total_amount=1; $rows= db_update('my_payment_card') ->expres ...
- linux 文件操作命令 touch、cat、more、less、head、tail
touch /bin/touch 创建空文件 linux 创建文件可以使用特殊符号,/除外 touch test test1 创建了两个文件touch "test test1" 创 ...
- Webservice和EJB
WebService Web Service也叫XML Web Service WebService是一种可以接收从Internet或者Intranet上的其它系统中传递过来的请求,轻量级的独立的通讯 ...
- Oracle EBS 数据访问权限集
SELECT frv.responsibility_name, fpo.profile_option_name, fpo.user_profile_option_name, fpv.profile_o ...
- linux/OSX中“DD”命令制作ISO镜像操作系统安装U盘
linux或者OS X系统中,使用“dd”命令可以直接在终端命令行模式下,制作ISO镜像的系统安装盘. 一.linux系统以centOS7为例. sudo dd if=镜像路径 of=USB设备路径 ...
- sql面试
1.用一条SQL语句 查询出每门课都大于80分的学生姓名 name kecheng fenshu 张三 语文 81张三 数学 75李四 语文 ...