问题1：Cannot run program "/bin/ls": error=11, Resource temporarily unavailable

 1 15/04/22 14:46:46 INFO mapred.JobClient: Task Id : attempt_201504221017_0006_r_000077_0, Status : FAILED

 2 java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "/bin/ls": error=11, Resource temporarily unavailable

 3         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1047)

 4         at org.apache.hadoop.util.Shell.runCommand(Shell.java:200)

 5         at org.apache.hadoop.util.Shell.run(Shell.java:182)

 6         at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)

 7         at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)

 8         at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)

 9         at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:712)

10         at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:448)

11         at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:431)

12 at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:267)

13         at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)

14         at org.apache.hadoop.mapred.Child$4.run(Child.java:260)

15         at java.security.AccessController.doPrivileged(Native Method)

16         at javax.security.auth.Subject.doAs(Subject.java:415)

17         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)

18         at org.apache.hadoop.mapred.Child.main(Child.java:249)

19 Caused by: java.io.IOException: error=11, Resource temporarily unavailable

20         at java.lang.UNIXProcess.forkAndExec(Native Method)

21         at java.lang.UNIXProcess.<init>(UNIXProcess.java:186)

22         at java.lang.ProcessImpl.start(ProcessImpl.java:130)

23         at java.lang.ProcessBuilder.start(ProcessBuilder.java:1028)

24         ... 15 more

　　该问题很可能是因为当前提交Hadoop作业的用户能够打开的文件个数限制(主要是slave结点)，可以使用ulimit -n查看当前用户能够打开的文件个数。

　　参考：http://mail-archives.apache.org/mod_mbox/nutch-user/201312.mbox/%3C1386546180.6104.5.camel@senf.fritz.box%3E

问题2：java.lang.OutOfMemoryError: unable to create new native thread

1 15/04/22 11:08:16 WARN hdfs.DFSClient: DataStreamer Exception: java.lang.OutOfMemoryError: unable to create new native thread

2         at java.lang.Thread.start0(Native Method)

3         at java.lang.Thread.start(Thread.java:714)

4         at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3030)

　　该问题并不一定是内存不够了，很可能是当前提交Hadoop作业的用户能够创建的进程个数限制(主要是slave结点)，可以使用ulimit -u查看当前用户能够创建的文件个数。

　　参考：http://www.nosql.se/2011/10/hadoop-tasktracker-java-lang-outofmemoryerror/

　　如何修改当前用户能够创建的进程个数：

　　在CentOS中，在vim /etc/security/limits.d/90-nproc.conf文件末尾添加如下语句：

1 *    soft    nproc     102400

2 *    hard    nproc     102400

　　修改完成后需要使用该用户重新登录。(如果使用Xshell这种远程软件，需要关闭该主机远程连接的标签卡，然后重新登录即可)

error=11, Resource temporarily unavailable的更多相关文章

  1. TNS-12518,TNS-12536,TNS-00506,Linux Error: 11: Resource temporarily unavailable

    TNS-12518: TNS:listener could not hand off client connection TNS-12536: TNS:operation would block  T ...

  2. 转connect() to unix:/var/run/php-fpm.sock failed (11: Resource temporarily unavailable)

    网站常出现502 bad gateway,程序没有问题. 根据nginx日志:connect() to unix:/var/run/php-fpm.sock failed (11: Resource ...

  3. E: 无法获取锁 /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)解决方法

    /*********************************************************************  * Author  : Samson  * Date   ...

  4. Ubuntu中针对问题 E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)的解决方案

    一.问题描述: 在ubuntu中有时因为错误的操作,而导致在执行 sudo apt-get install xxxx出现如下错误: E: Could not get lock /var/lib/dpk ...

  5. Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration di

    alexander@alexander-virtual-machine:~$ sudo apt-get install -y httpdE: Could not get lock /var/lib/d ...

  6. E:Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)

    出现这个问题的原因可能是有另外一个程序正在运行,导致资源被锁不可用.而导致资源被锁的原因,可能是上次安装时没正常完成,而导致出现此状况. 解决方法:输入以下命令 sudo rm /var/cache/ ...

  7. sudo安装软件的时候出现Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

    最近在安装软件的时候经常出现下面提示: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavai ...

  8. 解决E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?

    是不是在使用ubuntu的时候特别是安装或更新的时候会出现下面的情况:  E: Could not get lock /var/lib/dpkg/lock - open (11: Resource t ...

  9. VMwareWorkstations中安装ubuntu，apt install报E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)

    ubuntu中apt安装软件python时报: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily un ...

随机推荐

  1. Handling Captcha | Webdriver

    http://seleniumworks.blogspot.kr/2013/09/handling-captcha-webdriver.html Make use of the 'input' tag ...

  2. 规划（纪念我在ACM道路上的一年）

    现在已经是晚上一点了,我早早的躺在床上,不能入睡,因为睡觉前看了一下我们学校今年区域赛的成绩总结,派出八次队伍,七个铜-- 再加上这两天ACM迎新杯的筹备过程的问题,让我产生了深深的思考-- 去年司老 ...

  3. Ubuntu 网管服务器配置

    1.设置Linux内核支持ip数据包的转发 echo "1" > /proc/sys/net/ipv4/ip_forward or vi /etc/sysctl.conf   ...

  4. 缩放系列（三）：一个可以手势缩放、拖拽、旋转的layout

    弄了一个下午,终于搞出来了,PowerfulLayout 下面是一个功能强大的改造的例子: 可以实现以下需求: 1.两个手指进行缩放布局 2.所有子控件也随着缩放, 3.子控件该有的功能不能丢失(像b ...

  5. linux expr命令参数及用法详解

    expr用法 expr命令一般用于整数值,但也可用于字符串.一般格式为: #expr argument operator argument expr也是一个手工命令行计数器. #$expr 10 + ...

  6. Qt 5入门指南之Qt Quick编程示例

    编程示例 使用Qt创建应用程序是十分简单的.考虑到你的使用习惯,我们编写了两套教程来实现两个相似的应用程序,但是使用了 不同的方法.在开始之前,请确保你已经下载了QtSDK的商业版本或者开源版本,并且 ...

  7. 相对路径json无法获取

    在获取json文件内容时,有时会出现相对路径上的json文件无法获取的情况,Chrome上的解决方案如下: 1.右击桌面上的Chrome浏览器图标,点击属性; 2.在目标输入框的内容后头加上--arg ...

  8. spring @Component

    使用 @Component <context:component-scan base-package="dao" />   虽 然我们可以通过@Autowired或@R ...

  9. hdu5269 ZYB loves Xor I

    分治法和字典树都可以,都是递归,但字典树耗内存 从第一bit开始,若相同则xor为0,分到同一部分,不相同则统计,且此时lowbit为这一bit,最后结果要乘以2 /*分治法*/ #include&l ...

  10. iOS label换行 自适应

    //自动折行设置 addressDetailLab.lineBreakMode = NSLineBreakByWordWrapping; addressDetailLab.numberOfLines ...