当我们安装好并正常运行hdfs后输入http://xxxxxxxxx:50070会进入下图所示的页面。 其中Browse the filesystem 是查看文件系统的入口。

但是在发现这个链接一直无效。通过Chrome的开发工具可以看这个链接访问地址是：nn_browsedfscontent.jsp

下面是nn_browsedfscontent.jsp的代码

 <%@ page

   contentType="text/html; charset=UTF-8"

   import="java.io.*"

   import="java.security.PrivilegedExceptionAction"

   import="java.util.*"

   import="javax.servlet.*"

   import="javax.servlet.http.*"

   import="org.apache.hadoop.conf.Configuration"

   import="org.apache.hadoop.hdfs.*"

   import="org.apache.hadoop.hdfs.server.namenode.*"

   import="org.apache.hadoop.hdfs.server.datanode.*"

   import="org.apache.hadoop.hdfs.protocol.*"

   import="org.apache.hadoop.hdfs.security.token.delegation.*"

   import="org.apache.hadoop.io.Text"

   import="org.apache.hadoop.security.UserGroupInformation"

   import="org.apache.hadoop.security.token.Token"

   import="org.apache.hadoop.util.*"

   import="java.text.DateFormat"

   import="java.net.InetAddress"

   import="java.net.URLEncoder"

 %>

 <%!

   static String getDelegationToken(final NameNode nn,

                                    HttpServletRequest request, Configuration conf)

                                    throws IOException, InterruptedException {

     final UserGroupInformation ugi = JspHelper.getUGI(request, conf);

     Token<DelegationTokenIdentifier> token =

       ugi.doAs(

               new PrivilegedExceptionAction<Token<DelegationTokenIdentifier>>()

           {

             public Token<DelegationTokenIdentifier> run() throws IOException {

               return nn.getDelegationToken(new Text(ugi.getUserName()));

             }

           });

     return token.encodeToUrlString();

   }

   public void redirectToRandomDataNode(

                             NameNode nn,

                             HttpServletRequest request,

                             HttpServletResponse resp,

                             Configuration conf

                            ) throws IOException, InterruptedException {

     String tokenString = null;

     if (UserGroupInformation.isSecurityEnabled()) {

       tokenString = getDelegationToken(nn, request, conf);

     }

     FSNamesystem fsn = nn.getNamesystem();

     String datanode = fsn.randomDataNode();

     String redirectLocation;

     String nodeToRedirect;

     int redirectPort;

     if (datanode != null) {

       redirectPort = Integer.parseInt(datanode.substring(datanode.indexOf(':')

                      + 1));

       nodeToRedirect = datanode.substring(0, datanode.indexOf(':'));

     }

     else {

       nodeToRedirect = nn.getHttpAddress().getHostName();

       redirectPort = nn.getHttpAddress().getPort();

     }

     String fqdn = InetAddress.getByName(nodeToRedirect).getCanonicalHostName();

     redirectLocation = "http://" + fqdn + ":" + redirectPort +

                        "/browseDirectory.jsp?namenodeInfoPort=" +

                        nn.getHttpAddress().getPort() +

                        "&dir=/" +

                        (tokenString == null ? "" :

                         JspHelper.getDelegationTokenUrlParam(tokenString));

     resp.sendRedirect(redirectLocation);

   }

 %>

 <html>

 <title></title>

 <body>

 <%

   NameNode nn = (NameNode)application.getAttribute("name.node");

   Configuration conf = (Configuration) application.getAttribute(JspHelper.CURRENT_CONF);

   redirectToRandomDataNode(nn, request, response, conf);

 %>

 <hr>

 <h2>Local logs</h2>

 <a href="/logs/">Log</a> directory

 <%

 out.println(ServletUtil.htmlFooter());

 %>

从代码中可以看出实际是跳转到一台datanode的browseDirectory.jsp，如：

http://xxxxxxx:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/

而xxxxxxx是集群中一台datanode的主机名。

那么就可以从以下两个点出发去看为什么无效：

1.50075端口是否正常

2.使用的机器是否能通过主机面访问datanode

检查之后发现自己这两个都没有配置......

最后通过在hdfs-site.xml中添加如下配置

<property>
<name>dfs.datanode.http.address</name>
<value>10.0.0.234:50075</value>
</property>

在hosts中添加datanode的主机命和ip修复了这个问题

记录、共勉。

Hadoop Browse the filesystem 无效处理的更多相关文章

  1. 查看hadoop管理页面，修改本地hosts，Browse the filesystem

    问题: hadoop管理界面,ip:50070,中点击Browse the filesystem会出现网页无法访问,看地址栏,是集群中的主机名::50075/browseDirectory.jsp?n ...

  2. java使用FileSystem上传文件到hadoop文件系统

    import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; import org.ap ...

  3. Hadoop入门学习笔记---part4

    紧接着<Hadoop入门学习笔记---part3>中的继续了解如何用java在程序中操作HDFS. 众所周知,对文件的操作无非是创建,查看,下载,删除.下面我们就开始应用java程序进行操 ...

  4. hadoop中常见的问题

    一.在root下进行格式化 这样很糟糕 这样的话,若是第一次装的话,我的建议是将生成的文件都删掉,恢复到最开始的状态, 1. 首先你需要删除 vi conf/hdfs-site.xml   配置文件的 ...

  5. VMware虚拟机中Hadoop服务的端口无法访问的问题

    今天安装了一个hadoop集群,因为已经在单个虚拟机上安装成功,所以初期安装相对顺利. 初始环境如下:       通过Vmware Esxi服务器虚拟机出来四台机器,每台机器的网络配置如下:     ...

  6. hadoop伪分布安装

    解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...

  7. hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录 ...

  8. Hadoop的简单使用

    Hadoop的简单使用 使用Hadoop提供的命令行,向文件系统中创建一个文件. ./hadoop fs -put temp.txt hdfs://localhost:8888/ 说明: ./hado ...

  9. centos安装hadoop(伪分布式)

    在本机上装的CentOS 5.5 虚拟机, 软件准备:jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gz ssh检查配置 [root@localhost ~]# ssh ...

随机推荐

  1. 译：c#生成条码的web控件

    译文:http://www.codeproject.com/Tips/846860/Csharp-Barcode-Generator-Web-Control 在asp.net的web页用c#的web控 ...

  2. HTML5标准简介

    最近前端的群都蛮热闹的,但我发现多数讨论的是javascript和css相关的问题,仿佛大家在努力创建各种交互.样式的时候,忘却了这一切的基础 – HTML. 其实我很喜欢HTML,觉得这个语言远比X ...

  3. C# 之屏幕找图

    引言 最近,由于工作上的某些原因,又要写类似于外挂的程序,又要用到一个屏幕找图功能,很多程序(eg:按键精灵)都提供了类似的功能,其实在这之前,我也查找过很多类似的C#方法,因为之前有一个试过没有用得 ...

  4. C#的Raw Socket实现网络封包监视

    同Winsock1相比,Winsock2最明显的就是支持了Raw Socket套接字类型,使用Raw Socket,可把网卡设置成混杂模式,在这种模式下,我们可以收到网络上的IP包,当然包括目的不是本 ...

  5. Orchard 异常

    在Orchard项目中碰的各种错误整理 1 打开网站出现404 . 查看日志 日志位置Orchard.Web\App_Data\Logs\orchard-error-2016.03.23.log 错误 ...

  6. MSIL指令集

    名称 说明 Add 将两个值相加并将结果推送到计算堆栈上. Add.Ovf 将两个整数相加,执行溢出检查,并且将结果推送到计算堆栈上. Add.Ovf.Un 将两个无符号整数值相加,执行溢出检查,并且 ...

  7. knockout的依赖属性dependentObservable和observable的监控的使用

    1.Knockout是在下面三个核心功能是建立起来的:监控属性(Observables)和依赖跟踪(Dependency tracking) 声明式绑定(Declarative bindings) 模 ...

  8. gene框架文档 - 路由类 gene_router

    路由类 Gene\Router 介绍 Gene\Router 是gene框架的核心类之一,本框架区别于其他常见框架的最大地方就是独特.强大.简单的路由定义等.路由强大灵活,支持回调.类方法:支持res ...

  9. 关于SQL2008 “不允许保存更改。您所做的更改要求删除并重新创建以下表。您对无法重新创建的标进行了更改或者启用了‘阻止保存要求重新创建表的更改’” 解决方案

    不允许保存更改.您所做的更改要求删除并重新创建以下表.您对无法重新创建的标进行了更改或者启用了“阻止保存要求重新创建表的更改” 解决方法:  打开SQL SERVER 2008 工具-->选项- ...

  10. jdk1.8 J.U.C之FutureTask实现机制分析

    我画了一张关于FutureTask的类图,主要包括FutureTask的几个重要的函数和字段,还有它和父类的关系. 根据上面图我们可以清晰的看出FutureTask的继承关系.FutureTask继承 ...