hadoop常用命令详细解释
hadoop命令分为2级,在linux命令行中输入hadoop,会提示输入规则
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format format the DFS filesystem
#这个命令用于格式化DFS系统:hadoop namenode -formate
secondarynamenode run the DFS secondary namenode
#运行第二个namenode
namenode run the DFS namenode
#运行DFS的namenode
datanode run a DFS datanode
#运行DFS的datanode
dfsadmin run a DFS admin client
#运行一个DFS的admin客户端
mradmin run a Map-Reduce admin client
#运行一个map-reduce文件系统的检查工具
fsck run a DFS filesystem checking utility
#运行一个DFS文件系统的检查工具
fs run a generic filesystem user client
#这个是daoop文件的系统的一级命令,这个非常常见!!!稍后详细讲解这个命令:例如hadoop fs -ls /
balancer run a cluster balancing utility
#作用于让各个datanode之间的数据平衡,例如:sh $HADOOP_HOME/bin/start-balancer.sh –t 15% oiv apply the offline fsimage viewer to an fsimage
#将fsimage文件的内容转储到指定文件中以便于阅读,oiv支持三种输出处理器,分别为Ls、XML和FileDistribution,通过选项-p指定
fetchdt fetch a delegation token from the NameNode
#运行一个代理的namenode
jobtracker run the MapReduce job Tracker node
#运行一个MapReduce的taskTracker节点
pipes run a Pipes job
#运行一个pipes作业
tasktracker run a MapReduce task Tracker node
#运行一个MapReduce的taskTracker节点
historyserver run job history servers as a standalone daemon
#运行历史服务作为一个单独的线程
job manipulate MapReduce jobs
#处理mapReduce作业,这个命令可以查看提交的mapreduce状态,杀掉不需要的job
queue get information regarding JobQueues
#队列管理,在后续版本中这个命名取消了
version print the version
#打印haoop版本
jar <jar> run a jar file
#运行一个jar包,比如mapreduce可以通过hadoop-streaming-1.2.1.jar进行开发
distcp <srcurl> <desturl> copy file or directories recursively
#distcp一般用于在两个HDFS集群中传输数据。如果集群在Hadoop的同一版本上运行,就适合使用hdfs方案:
hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
distcp2 <srcurl> <desturl> DistCp version
archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
classpath prints the class path needed to get the
Hadoop jar and the required libraries
daemonlog get/set the log level for each daemon
or
CLASSNAME run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
2.随时更新,用到一个更新一个:
格式化集群命令,这个命令一般在第一次启动集群时使用,注意,再次启动时候不能使用
hadoop namenode -formate
hdfs文件系统常见的命令:这些命令与linux系统命令非常类似:
[root@master /root]$ hadoop fs
Usage: java FsShell
[-ls <path>]#显示某个目录下的所有文件夹或者文件,与linux的ls命令类似
hadoop fs -ls /
[-lsr <path>]#以全路径的方式展示当前目录下及当前目录下所有子目录的全部文件,与linux系统下tree命令类似
hadoop fs -lsr /
[-du <path>]#显示目录下所有子目录或者文件所占空间(逻辑空间),与linux命令du类似(注意子目录)
hadoop fs -du /
[-dus <path>]#显示该目录所占空间(逻辑空间),与linux的du命令类似(输入目录,)
Hadoop fs -dus /
[-count[-q] <path>]#显示某目录占用的实际空间,其输出结果对应含义如下:
hadoop fs -count -q /
2147483647 2147483623 none inf 16 8 811543 hdfs://192.168.121.10:9000/
[-mv <src> <dst>]#与linux命令mv类似,重命名一个目录或者文件
hadoop fs -mv /mapreduce/out /mapreduce/Out2
[-cp <src> <dst>]#与linux命令cp复制,复制一个文件或者目录
hadoop fs -cp /mapreduce/out /
[-rm [-skipTrash] <path>]#删除某个文件 -skipTrash避免进入回收站而直接删除,在core-site.xml中可以配置启动防止误删机制
hadoop fs -rm /lalalala/_logs/history/job_201804021019_0008_1522767221715_root_streamjob9109570129325496092.jar
[-rmr [-skipTrash] <path>]递归删除文件夹及其内部所有文件,-skipTrash避免进入回收站而直接删除,在core-site.xml中可以配置启动防止误删机制
hadoop fs -rmr /lalalala
[-expunge]#清空回收站
hadoop fs -expunge
[-put <localsrc> ... <dst>]#将文件上传至HDFS的某个目录中,
hadoop fs -put a.txt /mapreduce
[-copyFromLocal <localsrc> ... <dst>]#
[-moveFromLocal <localsrc> ... <dst>]
[-get [-ignoreCrc] [-crc] <src> <localdst>]
[-getmerge <src> <localdst> [addnl]]
[-cat <src>]
[-text <src>]
[-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
[-moveToLocal [-crc] <src> <localdst>]
[-mkdir <path>]
[-setrep [-R] [-w] <rep> <path/file>]
[-touchz <path>]
[-test -[ezd] <path>]
[-stat [format] <path>]
[-tail [-f] <file>]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]
]
hadoop常用命令详细解释的更多相关文章
- Linux学习笔记15——GDB 命令详细解释【转】
GDB 命令详细解释 Linux中包含有一个很有用的调试工具--gdb(GNU Debuger),它可以用来调试C和C++程序,功能不亚于Windows下的许多图形界面的调试工具. 和所有常用的调试工 ...
- Hadoop常用命令及基本概念
HADOOP 是什么? 分布式计算开源框架,其核心组件为:HDFS.MAPREDUCE.YARN Hadoop各个功能模块的理解 1. HDFS模块 HDFS负责大数据的存储,通过将大文件分块后进行分 ...
- 【Hadoop篇】--Hadoop常用命令总结
一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yar ...
- Hadoop常用命令总结
一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yar ...
- 大数据之路week06--day07(Hadoop常用命令)
一.前述 分享一篇hadoop的常用命令的总结,将常用的Hadoop命令总结如下. 二.具体 1.启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yar ...
- Mysql常用命令 详细整理版
Mysql常用命令 show databases; 显示数据库 create database name; 创建数据库 use databasename; 选择数据库 drop database na ...
- Linux 操作系统下 VI 编辑器常用命令详细介绍
一.Vi 简介 vi是unix世界中最通用的全屏编辑器,linux中是用的是vi的加强版vim,vim同vi完全兼容,vi就是"visual interface"的缩写.它可以执行 ...
- Hadoop常用命令及范例
hadoop中的zookeeper,hdfs,以及hive,hbase都是hadoop的组件,要学会熟练掌握相关的命令及其使用规则,下面就是一些常用命令及对hbase和hive的操作语句,同时也列出了 ...
- Hadoop常用命令介绍
本文主要介绍 Hadoop 常用的命令. test命令 用于检测文件或目录是否存在,判断文件或目录大小. -test -[defsz] <path> : Answer various qu ...
随机推荐
- 10 Tips for Writing Better Code (阅读理解)
出发点 http://www.tuicool.com/articles/A7VrE33 阅读中文版本<编写质优代码的十个技巧>,对于我编码十年的经验,也有相同感受, 太多的坑趟过,太多的经 ...
- IDApython教程(一)
IDAPython是IDA的一个功能强大的扩展特性,对外提供了大量的IDA API调用.另外,还能在使用python 脚本语言的过程中获得能力提升,所以我强烈推荐所有的逆向工程师使用它. 然而不幸的是 ...
- Spring 快速开始 配置Spring Framework
[配置Spring Framework] 1.XML配置依赖关系 bean是由Springframework管理,我们自己编写bean,Spring也内建了bean,比如ApplicationCont ...
- EL 快速开始
技术选型上,推荐使用EL表达式,少用不用taglib. 大趋势 前后端分离 mvc+mvvm ,使用[thymeleaf]和前端更好结合,也是springboot官方推荐的做法. [viewTicke ...
- 【省时的 IDEA 配置 】 JRebel Mybatis Problems Spring Auto-Scan
在 Java Web 开发中, 一般更新了 Java 文件后要手动重启 Tomcat 服务器, 才能生效, 浪费不少生命啊, 自从有了 JRebel 这神器的出现, 不论是更新 class 类还是更新 ...
- Windows打开文件
cmd中, windows 打开文件命令:start: Linux 打开文件命令:open
- Shiro入门 - 通过自定义Realm连数数据库进行授权
shiro-realm.ini [main] #自定义Realm myRealm=test.shiro.MyRealm #将myRealm设置到securityManager,相当于Spring中的注 ...
- Django学习手册 - ORM数据类型
DOM 字段/参数 配置格式: Module.字段(参数) 常用的字段归纳: 数字 models.AutoField() 自增列(int),必须设置为主键 models.IntegerField() ...
- 判断GPS是否开启&转到设置GPS界面
/** * 判断GPS是否开启,GPS或者AGPS开启一个就认为是开启的 * @param context * @return true 表示开启 */ public static final boo ...
- Content-disposition中Attachment和inline的区别
1.Content-disposition中Attachment和inline的区别java web中下载文件时,我们一般设置Content-Disposition告诉浏览器下载文件的名称,是否在浏览 ...