HDFS命令行操作
启动后可通过命令行使用hadoop。
(1)所有命令 (先将$HADOOP_HOME/bin加入到.bashrc的$PATH变量中)
- [hadoop@node14 hadoop-0.21.0]$ ll $HADOOP_HOME/bin
- total 88
- -rwxr-xr-x 1 hadoop hadoop 4131 Aug 17 2010 hadoop
- -rwxr-xr-x 1 hadoop hadoop 8658 Aug 17 2010 hadoop-config.sh
- -rwxr-xr-x 1 hadoop hadoop 3841 Aug 17 2010 hadoop-daemon.sh
- -rwxr-xr-x 1 hadoop hadoop 1242 Aug 17 2010 hadoop-daemons.sh
- -rwxr-xr-x 1 hadoop hadoop 4130 Aug 17 2010 hdfs
- -rwxr-xr-x 1 hadoop hadoop 1201 Aug 17 2010 hdfs-config.sh
- -rwxr-xr-x 1 hadoop hadoop 3387 Aug 17 2010 mapred
- -rwxr-xr-x 1 hadoop hadoop 1207 Aug 17 2010 mapred-config.sh
- -rwxr-xr-x 1 hadoop hadoop 2720 Aug 17 2010 rcc
- -rwxr-xr-x 1 hadoop hadoop 2058 Aug 17 2010 slaves.sh
- -rwxr-xr-x 1 hadoop hadoop 1367 Aug 17 2010 start-all.sh
- -rwxr-xr-x 1 hadoop hadoop 1018 Aug 17 2010 start-balancer.sh
- -rwxr-xr-x 1 hadoop hadoop 1778 Aug 17 2010 start-dfs.sh
- -rwxr-xr-x 1 hadoop hadoop 1255 Aug 17 2010 start-mapred.sh
- -rwxr-xr-x 1 hadoop hadoop 1359 Aug 17 2010 stop-all.sh
- -rwxr-xr-x 1 hadoop hadoop 1069 Aug 17 2010 stop-balancer.sh
- -rwxr-xr-x 1 hadoop hadoop 1277 Aug 17 2010 stop-dfs.sh
- -rwxr-xr-x 1 hadoop hadoop 1163 Aug 17 2010 stop-mapred.sh
(2) hadoop命令
- [hadoop@node14 hadoop-0.21.0]$ hadoop
- Usage: hadoop [--config confdir] COMMAND
- where COMMAND is one of:
- fs run a generic filesystem user client
- version print the version
- jar <jar> run a jar file
- distcp <srcurl> <desturl> copy file or directories recursively
- archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
- classpath prints the class path needed to get the
- Hadoop jar and the required libraries
- daemonlog get/set the log level for each daemon
- or
- CLASSNAME run the class named CLASSNAME
- Most commands print help when invoked w/o parameters.
(3) hadoop fs
- [hadoop@node14 hadoop-0.21.0]$ hadoop fs
- Usage: java FsShell
- [-ls <path>]
- [-lsr <path>]
- [-df [<path>]]
- [-du [-s] [-h] <path>]
- [-dus <path>]
- [-count[-q] <path>]
- [-mv <src> <dst>]
- [-cp <src> <dst>]
- [-rm [-skipTrash] <path>]
- [-rmr [-skipTrash] <path>]
- [-expunge]
- [-put <localsrc> ... <dst>]
- [-copyFromLocal <localsrc> ... <dst>]
- [-moveFromLocal <localsrc> ... <dst>]
- [-get [-ignoreCrc] [-crc] <src> <localdst>]
- [-getmerge <src> <localdst> [addnl]]
- [-cat <src>]
- [-text <src>]
- [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
- [-moveToLocal [-crc] <src> <localdst>]
- [-mkdir <path>]
- [-setrep [-R] [-w] <rep> <path/file>]
- [-touchz <path>]
- [-test -[ezd] <path>]
- [-stat [format] <path>]
- [-tail [-f] <file>]
- [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
- [-chown [-R] [OWNER][:[GROUP]] PATH...]
- [-chgrp [-R] GROUP PATH...]
- [-help [cmd]]
- Generic options supported are
- -conf <configuration file> specify an application configuration file
- -D <propertyproperty=value> use value for given property
- -fs <local|namenode:port> specify a namenode
- -jt <local|jobtracker:port> specify a job tracker
- -files <comma separated list of files> specify comma separated files to be co pied to the map reduce cluster
- -libjars <comma separated list of jars> specify comma separated jar files to include in the classpath.
- -archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines.
- The general command line syntax is
- bin/hadoop command [genericOptions] [commandOptions]
(4)HDFS操作
- hadoop fs
- hadoop fs -ls
- hadoop fs -mkdir firstdir<span style="white-space:pre"> </span>//HDFS创建目录
- hadoop fs -rmr firstdir<span style="white-space:pre"> </span>//HDFS删除目录
- hadoop fs -put test.txt first.txt<span style="white-space:pre"> </span>//从本地目录中将文件放入HDFS
- hadoop fs -cat first.txt
- hadoop fs -df
- hadoop fs -get first.txt FirstTXTfromHDFS.txt //从HDFS取文件到本地
若文件写入遇到异常
(0)检查和机器名是否正确
node14配置了外部IP和内部IP,在/etc/hosts中加入两条IP与机器名的对应表,如果外部IP放在内部IP的前面,
则通过netstat -npl查看时,发现9000和9001是外部IP占据,故应在/etc/hosts中内部IP放在外部的IP的前面。
或者在conf中配置文件中,全部用IP,而不要用机器名。
(1)关闭防火墙
sudo /etc/init.d/iptables stop
(2)查看磁盘空间是否正常
df -hl
(3)检查目录是否正常
hadoop.tmp.dir默认:/tmp/hadoop-${user.name}
删除/tmp下面的文件,重新hadoop namenode -format,重启所有进程。
(4)单独启动各个进程
在namenode和datanode上分别启动节点
$hadoop-daemon.sh start namenode
$hadoop-daemon.sh start datanode
HDFS命令行操作的更多相关文章
- 小记---------有关hadoop的HDFS命令行操作
HDFS命令操作 首先需要在xshell启动hadoop start-all.sh or start-hdfs.sh hadoop fs -ls / (显示当前目录下所有文件) h ...
- Docker 安装Hadoop HDFS命令行操作
网上拉取Docker模板,使用singlarities/hadoop镜像 [root@localhost /]# docker pull singularities/hadoop 查看: [root@ ...
- HDFS分布式文件系统的常用命令行操作
一.HDFS的客户端种类 1.网页形式 =>用于测试 网址为你的namenode节点的ip+50070的端口号,如: 192.168.50.128:50070 2.命令行形式 =>用于测 ...
- HDFS命令行及JAVA API操作
查看进程 jps 访问hdfs: hadoop-root:50070 hdfs bash命令: hdfs dfs <1> -help: 显示命令的帮助的信息 <2> - ...
- Hadoop系列006-HDFS概念及命令行操作
本人微信公众号,欢迎扫码关注! HDFS概念及命令行操作 一.HDFS概念 1.1 概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其 ...
- kafka工作流程| 命令行操作
1. 概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数 ...
- HDFS基本命令行操作及上传文件的简单API
一.HDFS基本命令行操作: 1.HDFS集群修改SecondaryNameNode位置到hd09-2 (1)修改hdfs-site.xml <configuration> //配置元数据 ...
- 命令行操作svn和git和git
前几天在写代码的时候电脑突然坏掉,老大交代的任务没完成,非常痛恨自己用svn或者git保存代码,相信很多程序员遇到过,硬盘坏掉,存在硬盘中的代码丢失,无法找回的问题,svn和git可谓程序员界的福音, ...
- mysql 命令行操作入门(详细讲解版)
之前分享过多次Mysql主题,今天继续分享mysql命令行入门 1. 那么多mysql客户端工具,为何要分享命令行操作? -快捷.简单.方便 -在没有客户端的情况下怎么办 -如果是mysql未开启 ...
随机推荐
- HTML 5 History API的”前生今世”
History是有趣的,不是吗?在之前的HTML版本中,我们对浏览历史记录的操作非常有限.我们可以来回使用可以使用的方法,但这就是一切我们能做的了. 但是,利用HTML 5的History API,我 ...
- jQuery图片提示和文字提示
图片提示: 效果如下: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http:/ ...
- SQL跨服务器操作语句
--简单的跨服务器查询语句 select * from opendatasource('SQLOLEDB', 'Data Source=192.168.0.1;User ID=sa;Password= ...
- SharePoint 2010 "客户端不支持使用windows资源管理器打开此列表" 解决方法
SharePoint 2010 在“库”--“库工具”,有一个“使用资源管理器打开”的按钮,点上去报“客户端不支持使用windows资源管理器打开此列表”.如图: 解决方案:在“开始”--“管理工具” ...
- Bootstrap 基本用法(续)
在bootstrap中有很多的组件,这些组件可以帮组我们更快的写出一些好看的样式,下面就是一些样式: 导航框: <ul class="nav nav-tabs"> &l ...
- js 实现angylar.js view层和model层双绑定(改变view刷新 model,改变model自动刷新view)
近段时间研究了下angular.js 觉得它内部实现的view和model层之间存在很微妙的关系,如下图 如上图说的,view的改变会update 数据层model, 数据层会update视图层vie ...
- DDL、DML和DCL的理解
一.DDL 1.DDL的概述 DDL(Data Definition Language 数据定义语言)用于操作对象和对象的属性,这种对象包括数据库本身,以及数据库对象,像:表.视图等等, ...
- OSPF路由汇总和默认路由设置
目标 掌握OSPF路由汇总的配置 掌握OSPF默认路由的配置 一.——区域间汇总 配置IP,R2四个环回口 R1(config)#inter s1/0 R1(config-if)#ip add 200 ...
- PHP使用COM 获取RTF内容
1. 需要在APP服务器上安装Office 2. 可能需要创建文件夹:Desktop C:\Windows\SysWOW64\config\systemprofile\Desktop 3. 可能需要设 ...
- java开发命名规范(转载)
java开发命名规范 使用前注意事项: 1. 由于Java面向对象编程的特性, 在命名时应尽量选择名词 2. 驼峰命名法(Camel-Case): 当变量名或函式名是由一个或多个单字连结在一起,而 ...