问题1：Cannot run program "/bin/ls": error=11, Resource temporarily unavailable

 1 15/04/22 14:46:46 INFO mapred.JobClient: Task Id : attempt_201504221017_0006_r_000077_0, Status : FAILED

 2 java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "/bin/ls": error=11, Resource temporarily unavailable

 3         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1047)

 4         at org.apache.hadoop.util.Shell.runCommand(Shell.java:200)

 5         at org.apache.hadoop.util.Shell.run(Shell.java:182)

 6         at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)

 7         at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)

 8         at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)

 9         at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:712)

10         at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:448)

11         at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:431)

12 at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:267)

13         at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)

14         at org.apache.hadoop.mapred.Child$4.run(Child.java:260)

15         at java.security.AccessController.doPrivileged(Native Method)

16         at javax.security.auth.Subject.doAs(Subject.java:415)

17         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)

18         at org.apache.hadoop.mapred.Child.main(Child.java:249)

19 Caused by: java.io.IOException: error=11, Resource temporarily unavailable

20         at java.lang.UNIXProcess.forkAndExec(Native Method)

21         at java.lang.UNIXProcess.<init>(UNIXProcess.java:186)

22         at java.lang.ProcessImpl.start(ProcessImpl.java:130)

23         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1028)

24         ... 15 more

　　该问题很可能是因为当前提交Hadoop作业的用户能够打开的文件个数限制(主要是slave结点)，可以使用ulimit -n查看当前用户能够打开的文件个数。

　　参考：http://mail-archives.apache.org/mod_mbox/nutch-user/201312.mbox/%3C1386546180.6104.5.camel@senf.fritz.box%3E

问题2：java.lang.OutOfMemoryError: unable to create new native thread

1 15/04/22 11:08:16 WARN hdfs.DFSClient: DataStreamer Exception: java.lang.OutOfMemoryError: unable to create new native thread

2         at java.lang.Thread.start0(Native Method)

3         at java.lang.Thread.start(Thread.java:714)

4         at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3030)

　　该问题并不一定是内存不够了，很可能是当前提交Hadoop作业的用户能够创建的进程个数限制(主要是slave结点)，可以使用ulimit -u查看当前用户能够创建的文件个数。

　　参考：http://www.nosql.se/2011/10/hadoop-tasktracker-java-lang-outofmemoryerror/

　　如何修改当前用户能够创建的进程个数：

　　在CentOS中，在vim /etc/security/limits.d/90-nproc.conf文件末尾添加如下语句：

1 *    soft    nproc     102400

2 *    hard    nproc     102400

　　修改完成后需要使用该用户重新登录。(如果使用Xshell这种远程软件，需要关闭该主机远程连接的标签卡，然后重新登录即可)

error=11, Resource temporarily unavailable的更多相关文章

  1. TNS-12518,TNS-12536,TNS-00506,Linux Error: 11: Resource temporarily unavailable

    TNS-12518: TNS:listener could not hand off client connection TNS-12536: TNS:operation would block  T ...

  2. 转connect() to unix:/var/run/php-fpm.sock failed (11: Resource temporarily unavailable)

    网站常出现502 bad gateway,程序没有问题. 根据nginx日志:connect() to unix:/var/run/php-fpm.sock failed (11: Resource ...

  3. E: 无法获取锁 /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)解决方法

    /*********************************************************************  * Author  : Samson  * Date   ...

  4. Ubuntu中针对问题 E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)的解决方案

    一.问题描述: 在ubuntu中有时因为错误的操作,而导致在执行 sudo apt-get install xxxx出现如下错误: E: Could not get lock /var/lib/dpk ...

  5. Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration di

    alexander@alexander-virtual-machine:~$ sudo apt-get install -y httpdE: Could not get lock /var/lib/d ...

  6. E:Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)

    出现这个问题的原因可能是有另外一个程序正在运行,导致资源被锁不可用.而导致资源被锁的原因,可能是上次安装时没正常完成,而导致出现此状况. 解决方法:输入以下命令 sudo rm /var/cache/ ...

  7. sudo安装软件的时候出现Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

    最近在安装软件的时候经常出现下面提示: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavai ...

  8. 解决E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

    是不是在使用ubuntu的时候特别是安装或更新的时候会出现下面的情况:  E: Could not get lock /var/lib/dpkg/lock - open (11: Resource t ...

  9. VMwareWorkstations中安装ubuntu，apt install报E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

    ubuntu中apt安装软件python时报: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily un ...

随机推荐

  1. mybatis结合redis实战二级缓存（六）

    之前的文章中我们意见分析了一级缓存.二级缓存的相关源码和基本原理,今天我们来分享下了mybatis二级缓存和redis的结合,当然mybatis二级缓存也可以和ehcache.memcache.OSC ...

  2. VBS常用使用技巧

    (一)VBS常用函数使用笔记: 1.Msgbox语法:msgbox "对话框内容", , "对话框的标题" 2.inputbox是VBS内建的函数,可以接受输入 ...

  3. leetcode24，交换链表相邻的节点

    Given a linked list, swap every two adjacent nodes and return its head. For example, Given 1->2-& ...

  4. 【读书笔记】C Primer Plus ch.15位运算 示例程序15.1 整数转换成二进制字符串

    正文: https://www.zybuluo.com/RayChen/note/595213

  5. docker镜像与容器概念

    本文用图文并茂的方式介绍了容器.镜像的区别和Docker每个命令后面的技术细节,能够很好的帮助读者深入理解Docker. 这篇文章希望能够帮助读者深入理解Docker的命令,还有容器(containe ...

  6. MVC动态生成表单

    1*书写方式 一.using语句可以不写结束标记,自动加上 服务端 客户端 默认提交当前控制器和操作方法 二.开始与结束代码都写 服务端 客户端 三.一些常用的重载方法 (1)要提交的控制器,和操作方 ...

  7. Update Case的用法与execute执行字符串

    摘自于网路:http://www.cnblogs.com/joinger/articles/1297160.html update h_crm_SafetyAccessUser set         ...

  8. 上海赛区-org.apache.ibatis.type.TypeException: JDBC requires that the JdbcType must be specified for all nullable parameters.

    执行此函数的时候报错 解决方法:关闭窗口之后刷新主页面 提示: 传入到xml sql语句中的参数为null时就会出现此错误,需要仔细检查

  9. oracle数据库的一次异常起停处理。

    在重启数据库的时候,忘记把一个应用关停了,想起来的时候,就ctrl+c,把数据库shutdown immediate 给强制停下了,把该应用再停止,然后shutdown immdiate,这时候数据报 ...

  10. POJ 3468<线段树，区间add>

    题目连接 //位运算 k<<1 相当于 k*2 k<<1|1 相当于 k*2+1 /* 修改区间内的值,并且维护区间和. 详见代码 */ #include<cstdio& ...