oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143
使用oozie来调度操作,用shell的action执行命令,其中shell里包含着hive -e 操作执行时,oozie窗口报
WARN ShellActionExecutor: - SERVER[host1] USER[root] GROUP[-] TOKEN[] APP[shellwf] JOB[--oozie-root-W] ACTION[--oozie-root-W@shellnode] LauncherMapper died, check Hadoop LOG for job [host1::job_1533108188813_12125]
这个异常,对应的在yarn的history里找到上面给出的job_id ===> job_1533108188813_12125 对应的日志,如下图

图中给出launch时候内存不足,这里是oozie在提交自身的这个shell-action的时候使用的内存不足,那么就要设置增大map与reduce的内存,对于oozie配置覆盖yarn上的配置参数,可以在workflow.xml的configuration中配置将要覆盖的对应的相关的yarn的参数,
<property>
<name>oozie.launcher.mapreduce.map.memory.mb</name>
value>4096</value>
</property>
<property>
<name>oozie.launcher.mapreduce.reduce.memory.mb</name>
<value>4096</value>
</property>
对应的值可以视情况调整大点,不要用1024,这个是默认值,用了也是白用,如果不加这个就可以运行,说明使用没有超过1024M,加了这个参数覆盖就要大于1024M,建议超过2048M
注意!!! 在参数属性前都要加上oozie.launcher,这样在oozie中的配置参数才能在yarn中生效

提交workflow.xml再重新提交job,应该问题不大了,这个问题亲测了,如果遇到类似的解决不了,可以在评论区评论,一起讨论.....
oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143的更多相关文章
- shell脚本中判断上一个命令是否执行成功
		
shell脚本中判断上一个命令是否执行成功 shell中使用符号“$?”来显示上一条命令执行的返回值,如果为0则代表执行成功,其他表示失败.结合if-else语句实现判断上一个命令是否执行成功. 示例 ...
 - [shell]上一个命令执行完成,才执行下一个操作 | shell脚本中判断上一个命令是否执行成功
		
shell脚本中判断上一个命令是否执行成功 shell中使用符号“$?”来显示上一条命令执行的返回值,如果为0则代表执行成功,其他表示失败.结合if-else语句实现判断上一个命令是否执行成功. 场 ...
 - 浅析busybox-1.12.0中ash的脚本命令局限性
		
浅析busybox-1.12.0中ash的脚本命令局限性 LUTHER= 表示将LUTHER清空,将其变为null echo ${LUTHER:-111}如果执行该句之前LUTHER变量不存在,那么显 ...
 - shell 中如何判断前一个命令是否执行成功
		
shell 中如何判断前一个命令是否执行成功 通过判断返回值来解决: if [ $? -eq 0 ];then 命令正确的分支 else 命令失败的分支 fi
 - 解决命令行执行shell脚本成功,但crontab执行失败
		
实际生产案例 生产机房自建PPTP客户端通过拨号连接到生产机房,但是一旦客户端网络是意外断线再重新拨号 会产生IP冲突,于是写了一个脚本监控PPTP的IP是否有多个(一般冲突以后会生成2个IP) #! ...
 - [Shell]Bash基本功能:多命令顺序执行与管道符
		
/*----------------------------------------------------------------------------------------------- @黑 ...
 - python中模拟进行ssh命令的执行
		
在进行socket编程的时候,可以实现远程执行命令,然后返回相关的结果,但是这种...很容易就把服务器搞挂了. 在这里需要用到commands模块,commands模块中有一个方法为getstatus ...
 - Linux中使用crontab命令定时执行shell脚本或其他Linux命令
		
使用crontab你可以在指定的时间执行一个shell脚本或者一系列Linux命令.例如系统管理员安排一个备份任务使其每天都运行 如何往 cron 中添加一个作业? # crontab –e0 5 * ...
 - gitlab webhook php exec 调用 shell 脚本。shell 脚本中调用 git pull 命令无法执行。
		
情况如下: 我在ubuntu server 14.04 上面安装了gitlab,来托管项目代码.然后想通过gitlab的web hook 功能来做测试服务器代码自动化更新代码功能.现在遇到一个问题:就 ...
 
随机推荐
- Centos 下 mysql 安装过程
			
1. 检查系统自带的Mysql,并卸载自带的版本 [root@iZ2366ycl7sZ config]# yum list installed |grep mysql mysql.x86_64 5.1 ...
 - swiper一组图片,点击图片出现中间,看效果
			
好兄弟先看看效果是这样的么 点击哪个头像,头像移动到中间,然后放大,demo上写了五条数据 废话不多说 直接上代码 1.引入swiper.css, swiper.js 2.HTML(小弟做的是移动端的 ...
 - Redis报(error) NOAUTH Authentication required.问题解决
			
启动后 输入auth+空格+密码 ok
 - jquery ajax 滚动加载数据
			
jquery php 滚动加载数据(文件包 rollingpage) 效果如下: 页面加载时候($function(){ 自动加载第一页数据 }) 设置: var winH = $(window).h ...
 - redis应用场景:实现简单计数器-防止刷单
			
redis应用场景:实现计数器-防止刷单 最近由于双11要来临,公司需要在接口请求上,做一下并发限制的处理,或者做一个防止刷单的安全拦截:比如:一个接口请求,限制每秒请求总数为200次,超过200次就 ...
 - windows7平台 nginx+python 环境搭建
			
参考了这篇文章,感谢原文作者:https://blog.csdn.net/foxgod/article/details/78929201 最近正在学习Python,发现除了写一点py脚本在idlex上 ...
 - Docker集群部署SpringCloud应用
			
整体架构 docker环境准备 # linux下的安装,自行百度 # windows docker toolbox下载地址 https://download.docker.com/win/stable ...
 - python3配置文件的增删改查,记录一下
			
#!/usr/bin/env python3 import json #json模块,用于将像字典的字符串转换为字典 import re #re模块,查找替换 import shutil #copy文 ...
 - 笔记本电脑、VM虚拟机、开发板三者网线连接互ping
			
笔者在做NFS挂接练习时,发现网上的资料大部分是笔记本电脑(以下简称PC)和虚拟机PING.PC和开发板PING,这样的方式不是我想要的.笔者需要使用无线网卡上网,使用有线网卡进行三者互PING.在开 ...
 - 114. Unique Paths   [by Java]
			
Description A robot is located at the top-left corner of a m x n grid. The robot can only move eithe ...