这几天一直在尝试一个mapreduce的例子，但是一直都是卡在mapreduce.Job: Running job: job_1553100392548_0001，查看日志也不报错，查看每个配置文件没有问题，很纳闷。今晚决定把整个流程梳理一下，试图找出问题原因，果然功夫不负有心人。

首先来说一下现象

运行的时候一直卡在这个界面

也没有报错。很奇怪。

然后访问Applications查看情况（http://192.168.23.130:8088）

看到这个页面，有点奇怪，这个任务是未定义的，而且进度条也不动。然后再继续点进去看

发现yarn并没有分配处理节点。那么这是为什么呢？

哦，突然想起来自己是只起了一个datanode和一个nodemanager【因为自己电脑内存不够，搭建集群的时候弄了4个虚拟机，后来每次只起两个机器来用，一个作为NameNode/ResourceManager，另外一台作为DataNode/NodeManager；由此节省一些内存。】而恰好问题就出现在了这里。

因为你只有一个datanode节点，而副本的数量为2，这时候就很难办了。所以当你向hdfs上传文件的时候，只有一个地方存放，而后来在统计的时候，yarn分配资源又无法找到这些文件在哪里，不知道应该用哪个NodeManager来处理。这样就没有办法处理，所以导致程序一直卡住，但是也不会报错。

解决办法：

把当前NameNode节点也作为一个DataNode节点和NodeManager即可。也就是修改slaves配置文件即可

原来只有一台mini2

现在把mini1也加入进去作为一个从节点

然后重启hdfs集群和yarn集群，再次执行

发现果然成功了

再看看管理页面上，也不一样了

至此，已经把这个问题解决了。纳闷了好几天，终于可以松口气了。

mapreduce.Job: Running job: job_1553100392548_0001的更多相关文章

  1. hadoop2.7.x运行wordcount程序卡住在INFO mapreduce.Job: Running job:job _1469603958907_0002

    一.抛出问题 Hadoop集群(全分布式)配置好后,运行wordcount程序测试,发现每次运行都会卡住在Running job处,然后程序就呈现出卡死的状态. wordcount运行命令:[hado ...

  2. Hadoop 学习笔记3 Develping MapReduce

    小笔记: Mavon是一种项目管理工具,通过xml配置来设置项目信息. Mavon POM(project of model). Steps: 1. set up and configure the ...

  3. Wordcount on YARN 一个MapReduce示例

    Hadoop YARN版本:2.2.0 关于hadoop yarn的环境搭建可以参考这篇博文:Hadoop 2.0安装以及不停集群加datanode hadoop hdfs yarn伪分布式运行,有如 ...

  4. python 运行 hadoop 2.0 mapreduce 程序

    要点:#!/usr/bin/python 因为要发送到各个节点,所以py文件必须是可执行的. 1) 统计(所有日志)独立ip数目,即不同ip的总数 ####################本地测试## ...

  5. Hadoop学习历程（四、运行一个真正的MapReduce程序）

    上次的程序只是操作文件系统,本次运行一个真正的MapReduce程序. 运行的是官方提供的例子程序wordcount,这个例子类似其他程序的hello world. 1. 首先确认启动的正常:运行 s ...

  6. 对于Hadoop的MapReduce编程makefile

    根据近期需要hadoop的MapReduce程序集成到一个大的应用C/C++书面框架.在需求make当自己主动MapReduce编译和打包的应用. 在这里,一个简单的WordCount1一个例子详细的 ...

  7. 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行

    [TOC] 简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行 程序源码 import java.io.IOException; import java.util. ...

  8. python版mapreduce题目实现寻找共同好友

    看到一篇不知道是好好玩还是好玩玩童鞋的博客,发现一道好玩的mapreduce题目,地址http://www.cnblogs.com/songhaowan/p/7239578.html 如图 由于自己太 ...

  9. MapReduce ----倒排索引

    分别建立三个文件: file1txt file2.txt file3.txt 文件内容分别是: MapReduce is simple 和 MapReduce is powerful is simpl ...

随机推荐

  1. Altera: set pin locations using tcl

    1, compile the project; 2, store current tcl settings: Project –> Generate Tcl File from Project- ...

  2. js对象 事件

     对象  创建  var   myObject = {};/* 声明对象字面变量*/ 添加值myObject.name="Jener";myObject.age=25; 代码格式 ...

  3. docker中国区镜像加速

    [root@syzyy ~]# vim /etc/docker/daemon.json { "registry-mirros":[ "https://registry.d ...

  4. js 当前时间和对比时间的比较

    <!DOCTYPE><html> <head> <meta charset="utf-8" /> <title>功能:当 ...

  5. SpringBoot-application：application.yml/配置文件详解

    ylbtech-SpringBoot-application:application.yml/配置文件详解 springboot采纳了建立生产就绪spring应用程序的观点. Spring Boot优 ...

  6. .NETFramework：Exception

    ylbtech-System.Exception.cs 1.返回顶部 1. #region 程序集 mscorlib, Version=4.0.0.0, Culture=neutral, Public ...

  7. (37)C#Linq

    https://docs.microsoft.com/zh-cn/dotnet/csharp/language-reference/keywords/let-clause 一.定义 Linq(Lang ...

  8. getResourceAsStream的几种路径配置（properties文件的路径问题）

    文章目录 getResourceAsStream有以下几种: getResourceAsStream有以下几种: Class.getResourceAsStream(String path) : pa ...

  9. POJ 2318 /// 判断点与直线的位置关系

    题目大意: n块玩具箱隔板 m个玩具落地点 给定玩具箱的左上和右下两个端点 接下来给定n块隔板的上点的x和下点的x(因为y就是玩具箱的上下边缘) 接下来给定m个玩具落地点 输出n+1个区域各有的玩具数 ...

  10. wpf datepicker 样式

    在项目中用到的 <Style TargetType="{x:Type DatePicker}"> <Setter Property="Foregroun ...