启动后可通过命令行使用hadoop。

(1)所有命令 (先将$HADOOP_HOME/bin加入到.bashrc的$PATH变量中)

[html] view
plain
copy

  1. [hadoop@node14 hadoop-0.21.0]$ ll $HADOOP_HOME/bin
  2. total 88
  3. -rwxr-xr-x 1 hadoop hadoop 4131 Aug 17  2010 hadoop
  4. -rwxr-xr-x 1 hadoop hadoop 8658 Aug 17  2010 hadoop-config.sh
  5. -rwxr-xr-x 1 hadoop hadoop 3841 Aug 17  2010 hadoop-daemon.sh
  6. -rwxr-xr-x 1 hadoop hadoop 1242 Aug 17  2010 hadoop-daemons.sh
  7. -rwxr-xr-x 1 hadoop hadoop 4130 Aug 17  2010 hdfs
  8. -rwxr-xr-x 1 hadoop hadoop 1201 Aug 17  2010 hdfs-config.sh
  9. -rwxr-xr-x 1 hadoop hadoop 3387 Aug 17  2010 mapred
  10. -rwxr-xr-x 1 hadoop hadoop 1207 Aug 17  2010 mapred-config.sh
  11. -rwxr-xr-x 1 hadoop hadoop 2720 Aug 17  2010 rcc
  12. -rwxr-xr-x 1 hadoop hadoop 2058 Aug 17  2010 slaves.sh
  13. -rwxr-xr-x 1 hadoop hadoop 1367 Aug 17  2010 start-all.sh
  14. -rwxr-xr-x 1 hadoop hadoop 1018 Aug 17  2010 start-balancer.sh
  15. -rwxr-xr-x 1 hadoop hadoop 1778 Aug 17  2010 start-dfs.sh
  16. -rwxr-xr-x 1 hadoop hadoop 1255 Aug 17  2010 start-mapred.sh
  17. -rwxr-xr-x 1 hadoop hadoop 1359 Aug 17  2010 stop-all.sh
  18. -rwxr-xr-x 1 hadoop hadoop 1069 Aug 17  2010 stop-balancer.sh
  19. -rwxr-xr-x 1 hadoop hadoop 1277 Aug 17  2010 stop-dfs.sh
  20. -rwxr-xr-x 1 hadoop hadoop 1163 Aug 17  2010 stop-mapred.sh

(2) hadoop命令

[html] view
plain
copy

  1. [hadoop@node14 hadoop-0.21.0]$ hadoop
  2. Usage: hadoop [--config confdir] COMMAND
  3. where COMMAND is one of:
  4. fs                   run a generic filesystem user client
  5. version              print the version
  6. jar <jar>            run a jar file
  7. distcp <srcurl> <desturl> copy file or directories recursively
  8. archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
  9. classpath            prints the class path needed to get the
  10. Hadoop jar and the required libraries
  11. daemonlog            get/set the log level for each daemon
  12. or
  13. CLASSNAME            run the class named CLASSNAME
  14. Most commands print help when invoked w/o parameters.

(3) hadoop fs

[html] view
plain
copy

  1. [hadoop@node14 hadoop-0.21.0]$ hadoop fs
  2. Usage: java FsShell
  3. [-ls <path>]
  4. [-lsr <path>]
  5. [-df [<path>]]
  6. [-du [-s] [-h] <path>]
  7. [-dus <path>]
  8. [-count[-q] <path>]
  9. [-mv <src> <dst>]
  10. [-cp <src> <dst>]
  11. [-rm [-skipTrash] <path>]
  12. [-rmr [-skipTrash] <path>]
  13. [-expunge]
  14. [-put <localsrc> ... <dst>]
  15. [-copyFromLocal <localsrc> ... <dst>]
  16. [-moveFromLocal <localsrc> ... <dst>]
  17. [-get [-ignoreCrc] [-crc] <src> <localdst>]
  18. [-getmerge <src> <localdst> [addnl]]
  19. [-cat <src>]
  20. [-text <src>]
  21. [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
  22. [-moveToLocal [-crc] <src> <localdst>]
  23. [-mkdir <path>]
  24. [-setrep [-R] [-w] <rep> <path/file>]
  25. [-touchz <path>]
  26. [-test -[ezd] <path>]
  27. [-stat [format] <path>]
  28. [-tail [-f] <file>]
  29. [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
  30. [-chown [-R] [OWNER][:[GROUP]] PATH...]
  31. [-chgrp [-R] GROUP PATH...]
  32. [-help [cmd]]
  33. Generic options supported are
  34. -conf <configuration file>     specify an application configuration file
  35. -D <propertyproperty=value>            use value for given property
  36. -fs <local|namenode:port>      specify a namenode
  37. -jt <local|jobtracker:port>    specify a job tracker
  38. -files <comma separated list of files>    specify comma separated files to be co                                                                                                                     pied to the map reduce cluster
  39. -libjars <comma separated list of jars>    specify comma separated jar files to                                                                                                                      include in the classpath.
  40. -archives <comma separated list of archives>    specify comma separated archives                                                                                                                      to be unarchived on the compute machines.
  41. The general command line syntax is
  42. bin/hadoop command [genericOptions] [commandOptions]

(4)HDFS操作

[html] view
plain
copy

  1. hadoop fs
  2. hadoop fs -ls
  3. hadoop fs -mkdir firstdir<span style="white-space:pre">         </span>//HDFS创建目录
  4. hadoop fs -rmr firstdir<span style="white-space:pre">               </span>//HDFS删除目录
  5. hadoop fs -put test.txt first.txt<span style="white-space:pre">     </span>//从本地目录中将文件放入HDFS
  6. hadoop fs  -cat first.txt
  7. hadoop fs  -df
  8. hadoop fs -get first.txt FirstTXTfromHDFS.txt    //从HDFS取文件到本地

若文件写入遇到异常

(0)检查和机器名是否正确

node14配置了外部IP和内部IP,在/etc/hosts中加入两条IP与机器名的对应表,如果外部IP放在内部IP的前面,

则通过netstat -npl查看时,发现9000和9001是外部IP占据,故应在/etc/hosts中内部IP放在外部的IP的前面。

或者在conf中配置文件中,全部用IP,而不要用机器名。





(1)关闭防火墙

sudo /etc/init.d/iptables stop





(2)查看磁盘空间是否正常

df -hl





(3)检查目录是否正常

hadoop.tmp.dir默认:/tmp/hadoop-${user.name}

删除/tmp下面的文件,重新hadoop namenode -format,重启所有进程。





(4)单独启动各个进程

在namenode和datanode上分别启动节点

$hadoop-daemon.sh start namenode

$hadoop-daemon.sh start datanode

HDFS命令行操作的更多相关文章

  1. 小记---------有关hadoop的HDFS命令行操作

      HDFS命令操作 首先需要在xshell启动hadoop start-all.sh  or start-hdfs.sh hadoop fs -ls /        (显示当前目录下所有文件) h ...

  2. Docker 安装Hadoop HDFS命令行操作

    网上拉取Docker模板,使用singlarities/hadoop镜像 [root@localhost /]# docker pull singularities/hadoop 查看: [root@ ...

  3. HDFS分布式文件系统的常用命令行操作

    一.HDFS的客户端种类 1.网页形式  =>用于测试 网址为你的namenode节点的ip+50070的端口号,如: 192.168.50.128:50070 2.命令行形式 =>用于测 ...

  4. HDFS命令行及JAVA API操作

    查看进程 jps 访问hdfs: hadoop-root:50070 hdfs bash命令: hdfs dfs <1>   -help:  显示命令的帮助的信息 <2>  - ...

  5. Hadoop系列006-HDFS概念及命令行操作

    本人微信公众号,欢迎扫码关注! HDFS概念及命令行操作 一.HDFS概念 1.1 概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其 ...

  6. kafka工作流程| 命令行操作

    1.  概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数 ...

  7. HDFS基本命令行操作及上传文件的简单API

    一.HDFS基本命令行操作: 1.HDFS集群修改SecondaryNameNode位置到hd09-2 (1)修改hdfs-site.xml <configuration> //配置元数据 ...

  8. 命令行操作svn和git和git

    前几天在写代码的时候电脑突然坏掉,老大交代的任务没完成,非常痛恨自己用svn或者git保存代码,相信很多程序员遇到过,硬盘坏掉,存在硬盘中的代码丢失,无法找回的问题,svn和git可谓程序员界的福音, ...

  9. mysql 命令行操作入门(详细讲解版)

    之前分享过多次Mysql主题,今天继续分享mysql命令行入门   1. 那么多mysql客户端工具,为何要分享命令行操作? -快捷.简单.方便 -在没有客户端的情况下怎么办 -如果是mysql未开启 ...

随机推荐

  1. HTML 5 History API的”前生今世”

    History是有趣的,不是吗?在之前的HTML版本中,我们对浏览历史记录的操作非常有限.我们可以来回使用可以使用的方法,但这就是一切我们能做的了. 但是,利用HTML 5的History API,我 ...

  2. jQuery图片提示和文字提示

    图片提示: 效果如下: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http:/ ...

  3. SQL跨服务器操作语句

    --简单的跨服务器查询语句 select * from opendatasource('SQLOLEDB', 'Data Source=192.168.0.1;User ID=sa;Password= ...

  4. SharePoint 2010 "客户端不支持使用windows资源管理器打开此列表" 解决方法

    SharePoint 2010 在“库”--“库工具”,有一个“使用资源管理器打开”的按钮,点上去报“客户端不支持使用windows资源管理器打开此列表”.如图: 解决方案:在“开始”--“管理工具” ...

  5. Bootstrap 基本用法(续)

    在bootstrap中有很多的组件,这些组件可以帮组我们更快的写出一些好看的样式,下面就是一些样式: 导航框: <ul class="nav nav-tabs"> &l ...

  6. js 实现angylar.js view层和model层双绑定(改变view刷新 model,改变model自动刷新view)

    近段时间研究了下angular.js 觉得它内部实现的view和model层之间存在很微妙的关系,如下图 如上图说的,view的改变会update 数据层model, 数据层会update视图层vie ...

  7. DDL、DML和DCL的理解

    一.DDL  1.DDL的概述       DDL(Data Definition Language 数据定义语言)用于操作对象和对象的属性,这种对象包括数据库本身,以及数据库对象,像:表.视图等等, ...

  8. OSPF路由汇总和默认路由设置

    目标 掌握OSPF路由汇总的配置 掌握OSPF默认路由的配置 一.——区域间汇总 配置IP,R2四个环回口 R1(config)#inter s1/0 R1(config-if)#ip add 200 ...

  9. PHP使用COM 获取RTF内容

    1. 需要在APP服务器上安装Office 2. 可能需要创建文件夹:Desktop C:\Windows\SysWOW64\config\systemprofile\Desktop 3. 可能需要设 ...

  10. java开发命名规范(转载)

    java开发命名规范 使用前注意事项: 1.  由于Java面向对象编程的特性, 在命名时应尽量选择名词 2.  驼峰命名法(Camel-Case): 当变量名或函式名是由一个或多个单字连结在一起,而 ...