Hadoop 格式化namenode时报错警告:WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration
格式化namenode时报错警告:WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration
一、问题分析
在执行hadoop namenode格式化命令:bin/hadoop namenode -format时出现警告:
WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration
这是问啥呢?
在hdfs-site.xml的配置如下:
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/data/dfs/name</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/data/dfs/data</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
配置文件中指定了namenode的存储路径的呀,为啥出警告呢?
二、问题解决
原来是dfs.namenode.name.dir的路径不规范,即:不合规范的URI格式
我们修改配置文件为:
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:///data/dfs/name</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:///data/dfs/data</value>
                <final>true</final>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>
再次执行namenode格式化命令,发现警告消失了,至此问题解决。
但是反过来我们思考,这个警告真的有必要解决吗?答案:不是的。
you can ignore the warning but if you want namenode location to be in HDFS then value should be: hdfs://p:ath/
转载自:https://my.oschina.net/wangbaofeng/blog/893509?utm_medium=referral
Hadoop 格式化namenode时报错警告:WARN common.Util: Path /data/dfs/name should be specified as a URI in configuration的更多相关文章
- Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.localdomain
		
异常描述: 在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示: [shirdrn@localhost bin]$ hadoop n ...
 - Hadoop格式化HDFS报错java.net.UnknownHostException: centos64
		
异常描述 在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示: [shirdrn@localhost bin]$ hadoop na ...
 - hadoop 关闭进程时报错no 进程 to stop
		
前两天和朋友李天王吃饭的时候,聊到了一个hadoop的运维的很简单问题,感觉很有意思,以前也没有注意过,现在加以重现和整理. 感谢李天王的分享.... 翻看了yarn-deamon.sh st ...
 - eclipse链接Hadoop集群时报错Error:Call From xxx/xxx.xxx.xxx.xxx to hostname1:9000 failed on connection exception
		
今天用eclipse连接Hadoop集群的时候突然给我报了这样一个错误:Error:Call From xxx/xxx.xxx.xxx.xxx to hostname1:9000 failed on ...
 - Hadoop执行作业时报错:java.lang.OutOfMemoryError: Java heap space
		
常常被一些用户问到,说“为什么我的mapreduce作业总是运行到某个阶段就报出如下错误,然后失败呢?以前同一个作业没出现过的呀?” 10/01/10 12:48:01 INFO mapred.Job ...
 - Hadoop格式化namenode 出错  Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/security/authorize/Refr
		
一般是修改配置文件:etc/hadoop/hadoop-env.sh的时候出现的错误 export JAVA_HOME=/usr/jdk export HADOOP_COMMON_HOME=~/had ...
 - EF6添加mysql的edmx实体时报错:无法生成模型:“System.Data.StrongTypingException: 表“TableDetails”中列“IsPrimaryKey”的值为 DBNull
		
EF6.1.3 ,使用mysql5.7的实体数据模型时,提示: 由于出现以下异常,无法生成模型:“System.Data.StrongTypingException: 表“TableDetails”中 ...
 - 格式化namenode时 报错 No Route to Host from  node1/192.168.1.111 to node3:8485 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host
		
// :: FATAL namenode.NameNode: Failed to start namenode. org.apache.hadoop.hdfs.qjournal.client.Quor ...
 - 启动MySQL5.7时报错:initialize specified but the data directory has files in it. Aborting.
		
启动MySQL5.7时报错:initialize specified but the data directory has files in it. Aborting 解决方法: vim /etc/m ...
 
随机推荐
- Linux 环境安装 Node、nginx、docker、vsftpd、gitlab
			
Linux 环境安装 centos7 # 更新yum yum update -y 0. 防火墙 firewalld 新入的JD云服务器,发现防火墙默认是关闭的. # 查看防火墙状态 systemctl ...
 - go 读取BMP文件头二进制读取
			
BMP文件头定义: WORD 两个字节 16bit DWORD 四个字节 32bit package main import ( "encoding/binary" "f ...
 - (转)WEB服务器_IIS配置优化指南
			
原文地址:https://www.cnblogs.com/heyuquan/p/deploy-iis-set-performance-guide.html 通常把站点发布到IIS上运行正常后,很少会去 ...
 - Oracle数据库连接超时
			
关于Oracle数据库的连接失败问题,有N种情况都会导致,这次遇到的是一般开发或者运维人员难以发现的 场景: 有一台机A能够正常连接数据库并正常运行,机器B连接失败 32位WebService程序基于 ...
 - Android 设置横屏
			
以下介绍两种方式 1.1 设置清单文件 <activity android:name=".MainActivity" android:screenOrientation=&q ...
 - 通过标签名获得td和tr
			
<tr node="123445"> <td> <input type=button name="dak"> </td ...
 - 自动网页截图并指定元素位置裁剪图片并保存到excel表格
			
# coding=utf-8 import os import time from selenium import webdriver from selenium.webdriver.chrome.o ...
 - 【转】三个重复的ACK意味着发生拥塞?
			
三次重复的ACK,可能是丢包引起的,丢包可能是网络拥塞造成的,也可能是信号失真造成的. 三次重复的ACK,也有可能是乱序引起的,而乱序和网络拥塞没有直接关系. 如果就写这两行,感觉什么都没写,接下来的 ...
 - mysql学习之基础篇03
			
我们今天来进行建表的基本操作: 首先要建表就要了解列类型,因为建表就是声明列的过程,列声明完成了,表也就建好了. mysql中列分为三大类: 一.数值型 数值型又分为整型和浮点型两种. 先来看整型: ...
 - USB Accessory 模式
			
USB Accessory 模式USB附件模式允许用户连接专为Android设备设计的USB主机硬件.配件必须遵守Android配件开发套件文档中概述的Android附件协议.这使得无法充当USB主机 ...