14/04/04 17:15:12 INFO mapreduce.Job:  map 0% reduce 0%
14/04/04 17:19:42 INFO mapreduce.Job:  map 41% reduce 0%
14/04/04 17:19:53 INFO mapreduce.Job:  map 64% reduce 0%
14/04/04 17:19:55 INFO mapreduce.Job:  map 52% reduce 0%
14/04/04 17:19:57 INFO mapreduce.Job:  map 25% reduce 0%
14/04/04 17:20:00 INFO mapreduce.Job:  map 36% reduce 0%
14/04/04 17:20:00 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000011_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000012_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000014_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000015_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000008_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000005_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000004_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000007_0, Status : FAILED
14/04/04 17:20:05 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000006_0, Status : FAILED
14/04/04 17:20:06 INFO mapreduce.Job:  map 47% reduce 0%
14/04/04 17:20:16 INFO mapreduce.Job:  map 48% reduce 0%
14/04/04 17:20:46 INFO mapreduce.Job:  map 50% reduce 0%
14/04/04 17:20:47 INFO mapreduce.Job:  map 52% reduce 0%
14/04/04 17:20:49 INFO mapreduce.Job:  map 53% reduce 0%
14/04/04 17:21:21 INFO mapreduce.Job:  map 55% reduce 0%
14/04/04 17:21:25 INFO mapreduce.Job:  map 56% reduce 0%
14/04/04 17:21:26 INFO mapreduce.Job:  map 59% reduce 0%
14/04/04 17:26:20 INFO mapreduce.Job:  map 62% reduce 0%
14/04/04 17:26:32 INFO mapreduce.Job:  map 67% reduce 0%
14/04/04 17:26:44 INFO mapreduce.Job:  map 68% reduce 0%
14/04/04 17:27:10 INFO mapreduce.Job:  map 70% reduce 0%
14/04/04 17:27:30 INFO mapreduce.Job:  map 71% reduce 0%
14/04/04 17:27:52 INFO mapreduce.Job:  map 74% reduce 2%
14/04/04 17:27:57 INFO mapreduce.Job:  map 75% reduce 2%
14/04/04 17:27:59 INFO mapreduce.Job:  map 79% reduce 2%
14/04/04 17:28:01 INFO mapreduce.Job:  map 80% reduce 2%
14/04/04 17:28:02 INFO mapreduce.Job:  map 81% reduce 2%
14/04/04 17:28:05 INFO mapreduce.Job:  map 83% reduce 2%
14/04/04 17:28:17 INFO mapreduce.Job:  map 84% reduce 2%
14/04/04 17:28:26 INFO mapreduce.Job:  map 84% reduce 3%
14/04/04 17:28:29 INFO mapreduce.Job:  map 85% reduce 3%
14/04/04 17:28:38 INFO mapreduce.Job:  map 85% reduce 5%
14/04/04 17:28:52 INFO mapreduce.Job:  map 86% reduce 5%
14/04/04 17:29:00 INFO mapreduce.Job:  map 88% reduce 5%
14/04/04 17:29:12 INFO mapreduce.Job:  map 89% reduce 5%
14/04/04 17:29:22 INFO mapreduce.Job:  map 90% reduce 5%
14/04/04 17:29:29 INFO mapreduce.Job:  map 91% reduce 5%
14/04/04 17:29:37 INFO mapreduce.Job:  map 92% reduce 5%
14/04/04 17:29:45 INFO mapreduce.Job:  map 93% reduce 5%
14/04/04 17:29:56 INFO mapreduce.Job:  map 94% reduce 6%
14/04/04 17:30:00 INFO mapreduce.Job:  map 95% reduce 6%
14/04/04 17:30:01 INFO mapreduce.Job:  map 95% reduce 8%
14/04/04 17:30:10 INFO mapreduce.Job:  map 97% reduce 8%
14/04/04 17:30:16 INFO mapreduce.Job:  map 97% reduce 11%
14/04/04 17:30:23 INFO mapreduce.Job:  map 98% reduce 11%
14/04/04 17:30:37 INFO mapreduce.Job:  map 98% reduce 12%
14/04/04 17:30:55 INFO mapreduce.Job:  map 98% reduce 17%
14/04/04 17:30:58 INFO mapreduce.Job:  map 98% reduce 20%
14/04/04 17:31:04 INFO mapreduce.Job:  map 98% reduce 21%
14/04/04 17:31:07 INFO mapreduce.Job:  map 98% reduce 26%
14/04/04 17:31:10 INFO mapreduce.Job:  map 98% reduce 32%
14/04/04 17:31:13 INFO mapreduce.Job:  map 100% reduce 32%
14/04/04 17:31:19 INFO mapreduce.Job:  map 100% reduce 38%
14/04/04 17:31:22 INFO mapreduce.Job:  map 100% reduce 49%
14/04/04 17:31:25 INFO mapreduce.Job:  map 100% reduce 67%
14/04/04 17:31:31 INFO mapreduce.Job:  map 100% reduce 68%
14/04/04 17:31:34 INFO mapreduce.Job:  map 100% reduce 70%
14/04/04 17:31:37 INFO mapreduce.Job:  map 100% reduce 71%
14/04/04 17:31:40 INFO mapreduce.Job:  map 100% reduce 73%
14/04/04 17:31:44 INFO mapreduce.Job:  map 100% reduce 75%
14/04/04 17:31:47 INFO mapreduce.Job:  map 100% reduce 77%
14/04/04 17:31:50 INFO mapreduce.Job:  map 100% reduce 78%
14/04/04 17:31:53 INFO mapreduce.Job:  map 100% reduce 80%
14/04/04 17:31:56 INFO mapreduce.Job:  map 100% reduce 82%
14/04/04 17:31:58 INFO mapreduce.Job:  map 100% reduce 84%
14/04/04 17:32:01 INFO mapreduce.Job:  map 100% reduce 85%
14/04/04 17:32:04 INFO mapreduce.Job:  map 100% reduce 87%
14/04/04 17:32:07 INFO mapreduce.Job:  map 100% reduce 89%
14/04/04 17:32:10 INFO mapreduce.Job:  map 100% reduce 91%
14/04/04 17:32:13 INFO mapreduce.Job:  map 100% reduce 93%
14/04/04 17:32:16 INFO mapreduce.Job:  map 100% reduce 95%
14/04/04 17:32:19 INFO mapreduce.Job:  map 100% reduce 96%
14/04/04 17:32:22 INFO mapreduce.Job:  map 100% reduce 98%
14/04/04 17:32:25 INFO mapreduce.Job:  map 100% reduce 100%
14/04/04 17:32:34 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
14/04/04 17:32:35 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:36 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:37 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:38 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:39 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:40 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:41 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:42 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:43 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:44 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:44 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
14/04/04 17:32:45 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:46 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:47 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:48 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:49 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:50 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:51 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:52 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:53 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:54 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:54 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
14/04/04 17:32:55 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:56 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:57 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:58 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:32:59 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:33:00 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:33:01 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 6 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:33:02 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 7 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:33:03 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04/04 17:33:04 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/04 /04 17:33:05 ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:java.io.IOException: java.net.ConnectException: Call From sjfx /192.168.52.170 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒 绝连接; For more details see:  http://wiki.apache.org/hadoop /ConnectionRefused
Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From sjfx/192.168.52.170 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒 绝连接; For more details see:  http://wiki.apache.org/hadoop /ConnectionRefused
    at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:331)
    at org.apache.hadoop.mapred.ClientServiceDelegate.getTaskCompletionEvents(ClientServiceDelegate.java:383)
    at org.apache.hadoop.mapred.YARNRunner.getTaskCompletionEvents(YARNRunner.java:529)
    at org.apache.hadoop.mapreduce.Job$5.run(Job.java:668)
    at org.apache.hadoop.mapreduce.Job$5.run(Job.java:665)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
    at org.apache.hadoop.mapreduce.Job.getTaskCompletionEvents(Job.java:665)
    at org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1349)
    at org.apache.hadoop.mapred.JobClient$NetworkedJob.monitorAndPrintJob(JobClient.java:407)
    at org.apache.hadoop.mapred.JobClient.monitorAndPrintJob(JobClient.java:855)
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:835)
    at com.fiveone.game.GameLoginLog.main(GameLoginLog.java:38)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.net.ConnectException: Call From sjfx/192.168.52.170 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒 绝连接; For more details see:  http://wiki.apache.org/hadoop /ConnectionRefused
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
    at org.apache.hadoop.ipc.Client.call(Client.java:1351)
    at org.apache.hadoop.ipc.Client.call(Client.java:1300)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
    at com.sun.proxy.$Proxy12.getTaskAttemptCompletionEvents(Unknown Source)
    at org.apache.hadoop.mapreduce.v2.api.impl.pb.client.MRClientProtocolPBClientImpl.getTaskAttemptCompletionEvents(MRClientProtocolPBClientImpl.java:177)
    at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:317)
    ... 18 more
Caused by: java.net.ConnectException: 拒绝连接
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:735)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:493)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:547)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:642)
    at org.apache.hadoop.ipc.Client$Connection.access$2600(Client.java:314)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1399)
    at org.apache.hadoop.ipc.Client.call(Client.java:1318)
    ... 26 more
 
1、14/04/04 17:32:35 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
这个问题是由于没有启动historyserver引起的，解决办法：
在mapred-site.xml配置文件中添加：
<property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>sjfx:10020</value>  
</property>
 
在namenode上执行命令：mr-jobhistory-daemon.sh start historyserver 
这样在，namenode上会启动JobHistoryServer服务，可以在historyserver的日志中查看运行情况
 
2、14/04/04 17:20:00 INFO mapreduce.Job: Task Id : attempt_1396530865591_0003_m_000011_0, Status : FAILED
出现这个问题可能是由于集群性能瓶颈造成的（IO或网络问题等等）
之前在台式机上虚拟出三个slave的集群，数据量稍微大点就会出现这个问题，后来换了台服务器虚拟出两个slave的集群，没有出现这个问题。
 
3、mapreduce历史作业管理器相关知识（出自：董成西《Hadoop技术内幕 深入解析yarn架构设计与实现原理》）：
为了方便用户查看MapReduce历史作业信息，MRAppMaster提供了一个JobHistoryServer服务，该服务主要由四个子服务组成，具体如下：
a、HistoryClientService.为Web界面展示历史作业信息提供后端实现，它通过调用JobHistory中的相关API获取作业信息，比如提交时间、提交用户、Counter值等，并将这些信息发送到前端。
b、HSAdminServer。管理员可使用“bin/mapred hsadmin” 命令动态更新JobHistoryServer访问和管理权限信息。用户输入该命令后，后端的HSAdminService服务将执行该命令，当前该命令可动态更新以下几种信息：
    ①管理员列表。历史作业查看器的管理员列表（具有启动和停止JobHistoryServer服务、更新权限信息等权限）是通过core-site.xml中的mapreduce.jobhistory.admin.acl属性（默认是“*”,表示任何人都是管理员）设置的。
    ②超级用户组列表。超级用户组信息是通过core-site.xml中的hadoop.proxyuser.groups和hadoop.proxyuser.hosts属性设置的，超级用户组是hadoop引入Kerberos安全机制后，为方便上层应用（比如HBase、Oozie等）访问Hadoop内核服务而新增加的配置项。
    ④用户与用户组映射关系。用户与用户组映射关系是通过core-site.xml中的hadoop.security.group.mapping属性设置的，它需要是一个实现了GroupMappingServiceProvider接口的类，默认实现是ShellBasedUnixGroupsMapping，即采用Linux操作系统的用户和用户组映射关系。
c、AggregatedLogDeletionService。该服务周期性扫描所有历史作业日志目录，如果一个日志目录存放时间超过yarn.nodemanager.log.retain-seconds（单位是秒，默认为3*60*60，即三个小时），则直接将其从HDFS上删除。
d、JobHistory。该服务从HDFS上读取MapReduce历史作业日志，并将其解析成格式化信息，供前端查看。MRAppMaster将执行完成的作业信息保存到mapreduce.jobhistory.intermediate-done-dir指定的目录中，如果用户未设置该属性，则保存到${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate目录中，其中每个作业保存作业配置文件（后缀为.xml）和作业执行日志（后缀为.jhist）两个文件，通过解析作业执行日志，JobHistory能获取作业执行时的所有信息，包括作业提交时间、作业Counter、每个任务提交时间和运行时间、每个任务的Counter等。

[转]hadoop运行mapreduce作业无法连接0.0.0.0/0.0.0.0:10020的更多相关文章

  1. 使用IDEA远程向伪分布式搭建的Hadoop提交MapReduce作业

    环境 VirtualBox 6.1 IntelliJ IDEA 2020.1.1 Ubuntu-18.04.4-live-server-amd64 jdk-8u251-linux-x64 hadoop ...

  2. 在window下远程虚拟机（centos）hadoop运行mapreduce程序

    (注:虽然连接成功但是还是执行不了.以后有时间再解决吧 看到的人别参考仅作个人笔记)先mark下 1.首先在window下载好一个eclipse.和拷贝好linux里面hadoop版本对应的插件(我是 ...

  3. Hadoop中MapReduce作业流程图

    MapReduce的流程分为11个步骤,4个实体 1.客户端:编写MapReduce的代码,配置作业,提交作业 2.JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作 ...

  4. 剖析MapReduce 作业运行机制

    包含四个独立的实体: ·  Client Node 客户端:编写 MapReduce代码,配置作业,提交MapReduce作业. ·  JobTracker :初始化作业,分配作业,与 TaskTra ...

  5. 经典MapReduce作业和Yarn上MapReduce作业运行机制

    一.经典MapReduce的作业运行机制 如下图是经典MapReduce作业的工作原理: 1.1 经典MapReduce作业的实体 经典MapReduce作业运行过程包含的实体: 客户端,提交MapR ...

  6. YARN(MapReduce 2)运行MapReduce的过程-源码分析

    这是我的分析,当然查阅书籍和网络.如有什么不对的,请各位批评指正.以下的类有的并不完全,只列出重要的方法. 如要转载,请注上作者以及出处. 一.源码阅读环境 需要安装jdk1.7.0版本及其以上版本, ...

  7. Hadoop基础-MapReduce的工作原理第一弹

    Hadoop基础-MapReduce的工作原理第一弹 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在本篇博客中,我们将深入学习Hadoop中的MapReduce工作机制,这些知识 ...

  8. hadoop之mapreduce详解（进阶篇）

    上篇文章hadoop之mapreduce详解(基础篇)我们了解了mapreduce的执行过程和shuffle过程,本篇文章主要从mapreduce的组件和输入输出方面进行阐述. 一.mapreduce ...

  9. MapReduce作业的工作原理

    在Hadoop中,我们可以通过Job对象的submit()方法来运行MapReduce作业,也可以调用waitForCompletion()用于提交以前没有提交过的作业,并等待它的完成.其中,subm ...

随机推荐

  1. Java多线程系列 JUC线程池06 线程池原理解析(五)

    ScheduledThreadPoolExecutor解析 ScheduledThreadPoolExecutor适用于延时执行,或者周期性执行的任务调度,ScheduledThreadPoolExe ...

  2. 第三章 python中的字符串

    一.字符串的基本操作 所有标准的序列操作对字符串同样适用,如索引.分片.乘法.判断成员是否存在.求长度.最大值和最小值等.记住一点,字符串是不可变的. 二.字符串中重要的方法 1.find(subst ...

  3. java语法糖---枚举

    java语法糖---枚举   在JDK5.0中提供了大量的语法糖,例如:自动装箱拆箱.增强for循环.枚举.泛型等.所谓“语法糖”就是指提供更便利的语法供程序员使用,只是在编译器上做了手脚,却没有提供 ...

  4. 大话设计模式--工厂方法模式 Factory Method -- C++实现

    1. 工厂方法模式 定义一个用于创建对象的接口, 让子类决定实例化哪一个类,工厂方法使一个类的实例化延迟到其子类. 和简单工厂模式相比: A: 简单工厂模式最大的优点在于工厂类中包含有必要的逻辑判断, ...

  5. Codeforces 876C Classroom Watch：枚举

    题目链接:http://codeforces.com/contest/876/problem/C 题意: 定义函数:f(x) = x + 十进制下x各位上的数字之和 给你f(x)的值(f(x) < ...

  6. webserver的编写中出现的问题

    在webserver编写过程中,出现过问题.就是标签<input>编写过程中少了name属性,导致程序无法读到<form>提交的数据.

  7. shingling算法——提取特征，m个hash函数做指纹计算，针对特征hash后变成m维向量，最后利用union-find算法计算相似性

    shingling算法用于计算两个文档的相似度,例如,用于网页去重.维基百科对w-shingling的定义如下: In natural language processing a w-shinglin ...

  8. Appium-关于appium的原生控件的 xpath 定位问题及常用方法

    最近遇到的项目,发现很多元素,都没有标明id.text.content-desc,classname中又有很多是相同,导致无法定位 第一,appium1.5及之后的版本废弃了name属性(如name= ...

  9. Python-获取前一条用例的执行结果

    import unittest,HTMLTestRunner from nose_parameterized import parameterized def login(username,passw ...

  10. Javascript-- jQuery动画篇(1)

    jQuery中隐藏元素的hide方法 让页面上的元素不可见,一般可以通过设置css的display为none属性.但是通过css直接修改是静态的布局,如果在代码执行的时候,一般是通过js控制元素的st ...