error=11, Resource temporarily unavailable
问题1：Cannot run program "/bin/ls": error=11, Resource temporarily unavailable
1 15/04/22 14:46:46 INFO mapred.JobClient: Task Id : attempt_201504221017_0006_r_000077_0, Status : FAILED
2 java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run program "/bin/ls": error=11, Resource temporarily unavailable
3 at java.lang.ProcessBuilder.start(ProcessBuilder.java:1047)
4 at org.apache.hadoop.util.Shell.runCommand(Shell.java:200)
5 at org.apache.hadoop.util.Shell.run(Shell.java:182)
6 at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:375)
7 at org.apache.hadoop.util.Shell.execCommand(Shell.java:461)
8 at org.apache.hadoop.util.Shell.execCommand(Shell.java:444)
9 at org.apache.hadoop.fs.FileUtil.execCommand(FileUtil.java:712)
10 at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.loadPermissionInfo(RawLocalFileSystem.java:448)
11 at org.apache.hadoop.fs.RawLocalFileSystem$RawLocalFileStatus.getOwner(RawLocalFileSystem.java:431)
12 at org.apache.hadoop.mapred.TaskLog.obtainLogDirOwner(TaskLog.java:267)
13 at org.apache.hadoop.mapred.TaskLogsTruncater.truncateLogs(TaskLogsTruncater.java:124)
14 at org.apache.hadoop.mapred.Child$4.run(Child.java:260)
15 at java.security.AccessController.doPrivileged(Native Method)
16 at javax.security.auth.Subject.doAs(Subject.java:415)
17 at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
18 at org.apache.hadoop.mapred.Child.main(Child.java:249)
19 Caused by: java.io.IOException: error=11, Resource temporarily unavailable
20 at java.lang.UNIXProcess.forkAndExec(Native Method)
21 at java.lang.UNIXProcess.<init>(UNIXProcess.java:186)
22 at java.lang.ProcessImpl.start(ProcessImpl.java:130)
23 at java.lang.ProcessBuilder.start(ProcessBuilder.java:1028)
24 ... 15 more
该问题很可能是因为当前提交Hadoop作业的用户能够打开的文件个数限制(主要是slave结点)，可以使用ulimit -n查看当前用户能够打开的文件个数。
参考：http://mail-archives.apache.org/mod_mbox/nutch-user/201312.mbox/%3C1386546180.6104.5.camel@senf.fritz.box%3E
问题2：java.lang.OutOfMemoryError: unable to create new native thread
1 15/04/22 11:08:16 WARN hdfs.DFSClient: DataStreamer Exception: java.lang.OutOfMemoryError: unable to create new native thread
2 at java.lang.Thread.start0(Native Method)
3 at java.lang.Thread.start(Thread.java:714)
4 at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3030)
该问题并不一定是内存不够了，很可能是当前提交Hadoop作业的用户能够创建的进程个数限制(主要是slave结点)，可以使用ulimit -u查看当前用户能够创建的文件个数。
参考：http://www.nosql.se/2011/10/hadoop-tasktracker-java-lang-outofmemoryerror/
如何修改当前用户能够创建的进程个数：
在CentOS中，在vim /etc/security/limits.d/90-nproc.conf文件末尾添加如下语句：
1 * soft nproc 102400
2 * hard nproc 102400
修改完成后需要使用该用户重新登录。(如果使用Xshell这种远程软件，需要关闭该主机远程连接的标签卡，然后重新登录即可)
error=11, Resource temporarily unavailable的更多相关文章
- TNS-12518,TNS-12536,TNS-00506,Linux Error: 11: Resource temporarily unavailable
TNS-12518: TNS:listener could not hand off client connection TNS-12536: TNS:operation would block T ...
- 转connect() to unix:/var/run/php-fpm.sock failed (11: Resource temporarily unavailable)
网站常出现502 bad gateway,程序没有问题. 根据nginx日志:connect() to unix:/var/run/php-fpm.sock failed (11: Resource ...
- E: 无法获取锁 /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)解决方法
/********************************************************************* * Author : Samson * Date ...
- Ubuntu中针对问题 E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)的解决方案
一.问题描述: 在ubuntu中有时因为错误的操作,而导致在执行 sudo apt-get install xxxx出现如下错误: E: Could not get lock /var/lib/dpk ...
- Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration di
alexander@alexander-virtual-machine:~$ sudo apt-get install -y httpdE: Could not get lock /var/lib/d ...
- E:Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable)
出现这个问题的原因可能是有另外一个程序正在运行,导致资源被锁不可用.而导致资源被锁的原因,可能是上次安装时没正常完成,而导致出现此状况. 解决方法:输入以下命令 sudo rm /var/cache/ ...
- sudo安装软件的时候出现Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)
最近在安装软件的时候经常出现下面提示: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavai ...
- 解决E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable) E: Unable to lock the administration directory (/var/lib/dpkg/), is another process using it?
是不是在使用ubuntu的时候特别是安装或更新的时候会出现下面的情况: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource t ...
- VMwareWorkstations中安装ubuntu，apt install报E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily unavailable)
ubuntu中apt安装软件python时报: E: Could not get lock /var/lib/dpkg/lock - open (11: Resource temporarily un ...
随机推荐
- prestashop 基本设置
不跳转 要先改这个UPDATE`ps_shop_url`SET`domain_ssl`= replace(`domain_ssl` ,'us2.try.net','www.gelchaussures. ...
- sql 在将 nvarchar 值 转换成数据类型 int 时失败。
假设有存储过程:proc_test2 create proc proc_test2 @Id int begin as declare @sql varchar(max) @sql = 'select ...
- 第二十节，基本数据类型,集合set、综合应用新数据更新老数据
基本数据类型,集合set.综合应用新数据更新老数据 创建两个字典新数据,更新原始数据,a为原始数据,b为新数据 1,分别获取到a字典和b字典的key(键),将两个字典的键分别转换成两个集合 2,找出a ...
- 关于C++中虚函数表存放位置的思考
其实这是我前一段时间思考过的一个问题,是在看<深入探索C++对象模型>这本书的时候我产生的一个疑问,最近在网上又看到类似的帖子,贴出来看看: 我看到了很多有意思的答案,都回答的比较好,下面 ...
- 使用express创建web服务器
使用express创建web服务器 laiqun@msn.cn Contents 1. 简单的express服务器 2. 静态文件服务 3. 路由 4. 中间件 1. 简单的express服务器 安装 ...
- 使用SQL Server 2000索引视图提高性能
什么是索引视图? 许多年来,Microsoft? SQL Server? 一直都提供创建虚拟表(称为视图)的功能.在过去,这些视图主要有两种用途: 提供安全机制,将用户限制在一个或多个基表中的数据的某 ...
- 【kmp】 字符串最大周期
大侠住店 TimeLimit: 1 Second MemoryLimit: 32 Megabyte Totalsubmit: 116 Accepted: 64 Description 有一天晚上,一位 ...
- 常用的opengl函数（三）
glBlendFunc 定义像素算法. void WINAPI glBlendFunc(GLenum sfactor,GLenum dfactor); 参数编辑 sfactor 指定红绿蓝和 al ...
- PHP商品倒计时 php实现当前用户在线人数
//PHP商品倒计时 date_default_timezone_set("Asia/shanghai");//地区 //配置每天的活动时间段 $starttimestr = &q ...
- 大并发大数量中的MYSQL瓶颈与NOSQL介绍
NoSQL在2010年风生水起,大大小小的Web站点在追求高性能高可靠性方面,不由自主都选择了NoSQL技术作为优先考虑的方面.今年伊始,InfoQ中文站有幸邀请到凤凰网的孙立先生,为大家分享他之于N ...