问题1：Cannot run program "/bin/ls": error=11, Resource temporarily unavailable

 1 15/04/22 14:46:46 INFO mapred.JobClient: Task Id : attempt_201504221017_0006_r_000077_0, Status : FAILED

 2 java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "/bin/ls": error=11, Resource temporarily unavailable

 3         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1047)

 4         at org.apache.hadoop.util.Shell.runCommand(Shell.java:200)

 5         at org.apache.hadoop.util.Shell.run(Shell.java:182)

 6         at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)

 7         at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)

 8         at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)

 9         at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:712)

10         at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:448)

11         at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:431)

12 at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:267)

13         at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)

14         at org.apache.hadoop.mapred.Child$4.run(Child.java:260)

15         at java.security.AccessController.doPrivileged(Native Method)

16         at javax.security.auth.Subject.doAs(Subject.java:415)

17         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)

18         at org.apache.hadoop.mapred.Child.main(Child.java:249)

19 Caused by: java.io.IOException: error=11, Resource temporarily unavailable

20         at java.lang.UNIXProcess.forkAndExec(Native Method)

21         at java.lang.UNIXProcess.<init>(UNIXProcess.java:186)

22         at java.lang.ProcessImpl.start(ProcessImpl.java:130)

23         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1028)

24         ... 15 more

　　该问题很可能是因为当前提交Hadoop作业的用户能够打开的文件个数限制(主要是slave结点)，可以使用ulimit -n查看当前用户能够打开的文件个数。

　　参考：http://mail-archives.apache.org/mod_mbox/nutch-user/201312.mbox/%3C1386546180.6104.5.camel@senf.fritz.box%3E

问题2：java.lang.OutOfMemoryError: unable to create new native thread

1 15/04/22 11:08:16 WARN hdfs.DFSClient: DataStreamer Exception: java.lang.OutOfMemoryError: unable to create new native thread

2         at java.lang.Thread.start0(Native Method)

3         at java.lang.Thread.start(Thread.java:714)

4         at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3030)

　　该问题并不一定是内存不够了，很可能是当前提交Hadoop作业的用户能够创建的进程个数限制(主要是slave结点)，可以使用ulimit -u查看当前用户能够创建的文件个数。

　　参考：http://www.nosql.se/2011/10/hadoop-tasktracker-java-lang-outofmemoryerror/

　　如何修改当前用户能够创建的进程个数：

　　在CentOS中，在vim /etc/security/limits.d/90-nproc.conf文件末尾添加如下语句：

1 *    soft    nproc     102400

2 *    hard    nproc     102400

　　修改完成后需要使用该用户重新登录。(如果使用Xshell这种远程软件，需要关闭该主机远程连接的标签卡，然后重新登录即可)

error=11, Resource temporarily unavailable的更多相关文章

  1. TNS-12518,TNS-12536,TNS-00506,Linux Error: 11: Resource temporarily unavailable

    TNS-12518: TNS:listener could not hand off client connection TNS-12536: TNS:operation would block  T ...

  2. 转connect() to unix:/var/run/php-fpm.sock failed (11: Resource temporarily unavailable)

    网站常出现502 bad gateway,程序没有问题. 根据nginx日志:connect() to unix:/var/run/php-fpm.sock failed (11: Resource ...

  3. E: 无法获取锁 /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)解决方法

    /*********************************************************************  * Author  : Samson  * Date   ...

  4. Ubuntu中针对问题 E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)的解决方案

    一.问题描述: 在ubuntu中有时因为错误的操作,而导致在执行 sudo apt-get install xxxx出现如下错误: E: Could not get lock /var/lib/dpk ...

  5. Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration di

    alexander@alexander-virtual-machine:~$ sudo apt-get install -y httpdE: Could not get lock /var/lib/d ...

  6. E:Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)

    出现这个问题的原因可能是有另外一个程序正在运行,导致资源被锁不可用.而导致资源被锁的原因,可能是上次安装时没正常完成,而导致出现此状况. 解决方法:输入以下命令 sudo rm /var/cache/ ...

  7. sudo安装软件的时候出现Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

    最近在安装软件的时候经常出现下面提示: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavai ...

  8. 解决E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

    是不是在使用ubuntu的时候特别是安装或更新的时候会出现下面的情况:  E: Could not get lock /var/lib/dpkg/lock - open (11: Resource t ...

  9. VMwareWorkstations中安装ubuntu，apt install报E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

    ubuntu中apt安装软件python时报: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily un ...

随机推荐

  1. leetcode387

    Given a string, find the first non-repeating character in it and return it's index. If it doesn't ex ...

  2. git基本命令--tag, alias,

    git tag: 列出标签 在 Git 中列出已有的标签是非常简单直观的. 只需要输入 git tag: $ git tag v0. v1. 这个命令以字母顺序列出标签:但是它们出现的顺序并不重要. ...

  3. Debian安装autoconf

    ###安装autoconf wget http://mirrors.kernel.org/gnu/autoconf/autoconf-2.65.tar.gz \ && tar -xzv ...

  4. 轻松创建nodejs服务器（1）：一个简单nodejs服务器例子

    这篇文章主要介绍了一个简单nodejs服务器例子,本文实现了一个简单的hello world例子,并展示如何运行这个服务器,需要的朋友可以参考下   我们先来实现一个简单的例子,hello world ...

  5. Windows中安装jdk，出现javac不是内部或外部命令 也不是可运行的程序

    在经过多次实验,终于解决了在dos窗口验证jdk是否安装成功的错误提示-----javac不是内部或外部命令 也不是可运行的程序 首先要明确的是 在新建 JAVA_HOME , CLASSPATH文件 ...

  6. linq any() all() 返回true 或者false

    一.any()只要有一个符合条件就返回true static void Main(string[] args) { //any 有符合条件的就返回true ,,,,,,,,,}; ); Console ...

  7. MySQL 异常错误码使用 及 对照表

    DECLARE CONTINUE HANDLER FOR SQLWARNING, SQLEXCEPTION, NOT FOUND BEGIN GET DIAGNOSTICS CONDITION cod ...

  8. 关于RuntimException

    对于实现接口的类如果要抛出异常的话,那么接口也要抛出异常 所以RuntimeException只要对于实现接口的类就可以了 对于继承的类也可以这样运用 毕竟在实际开发中接口不一定是自己写的,而且团队可 ...

  9. 响应式web设计的优化

    在响应式网页的设计过程中,其中也会涉及到一些用户体验方面的问题和弊端,需要进一步的优化. (1)减轻Javascript库负载 对于移动端来说,jQuery表现的太过厚重,而现在针对移动端的状态来说, ...

  10. iOS label换行 自适应

    //自动折行设置 addressDetailLab.lineBreakMode = NSLineBreakByWordWrapping; addressDetailLab.numberOfLines ...