阅读目录

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

  上一篇,我们对Hadoop命令进行了简略的列举,但是Hadoop命令特多,还有一部分没有列举完,官网基本都是英文的,所以只能拙略的翻译下,妄大家见谅。

  下面,我们就开始对Hadoop命令中进行讲解。

HDFS Commands

一:介绍

  所有的HDFS命令通过bin/ HDFS脚本调用。指定参数运行HDFS脚本会打印所有命令的描述。

  用法: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]

  Hadoop有一个选项解析框架用于解析一般的选项和运行类。

COMMAND_OPTIONS Description
--config
--loglevel
The common set of shell options. These are documented on the Commands Manual page.
GENERIC_OPTIONS The common set of options supported by multiple commands. See the Hadoop Commands Manual for more information.
COMMAND COMMAND_OPTIONS Various commands with their options are described in the following sections. The commands have been grouped into User Commands and Administration Commands.

User Commands

一:介绍

  用于Hadoop集群用户命令。

二:classPath

  打印Hadoop jar和需要的库类路径。

  用法: hdfs classpath

三:dfs

  运行在支持Hadoop文件系统文件系统的命令.The various COMMAND_OPTIONS can be found at File System Shell Guide.

  用法: hdfs dfs [COMMAND [COMMAND_OPTIONS]]

四:fetchdt

  从NameNode获取授权令牌.See fetchdt for more info. 

  用法: hdfs fetchdt [--webservice <namenode_http_addr>] <path>

五:fsck

  在HDFS文件系统检查工具.See fsck for more info.

  用法:hdfs fsck <path>
              [-list-corruptfileblocks |
              [-move | -delete | -openforwrite]
              [-files [-blocks [-locations | -racks]]]
              [-includeSnapshots]

六:getconf

  从配置目录中获取配置信息然后处理。

  用法:hdfs getconf -namenodes
       hdfs getconf -secondaryNameNodes
       hdfs getconf -backupNodes
       hdfs getconf -includeFile
       hdfs getconf -excludeFile
       hdfs getconf -nnRpcAddresses
       hdfs getconf -confKey [key]

七:groups

  返回给定的一个或多个用户组信息。

  用法: hdfs groups [username ...]

八:lsSnapshottableDir

  获得snapshottable目录列表。当是超级用户运行时,它返回所有的snapshottable目录。否则它返回当前用户所拥有的目录。

  用法: hdfs lsSnapshottableDir [-help]

九:jmxget

  把一个服务的JMX信息丢弃

  用法: hdfs jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]

十:oev

  Hadoop离线编辑查看器。

  用法: hdfs oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

十一:oiv

  用于查看较新的镜像文件的Hadoop离线镜像查看器

  用法: hdfs oiv [OPTIONS] -i INPUT_FILE

十二:oiv_legacy

  老版本的Hadoop Hadoop离线镜像查看器。

  用法: hdfs oiv_legacy [OPTIONS] -i INPUT_FILE -o OUTPUT_FILE

十三:snapshotDiff

  确定HDFS的快照之间的差异。See the HDFS Snapshot Documentation for more information.

  用法: hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

十四:version

  打印版本。  

  用法: hdfs version

Administration Commands

一:介绍

  用于Hadoop集群用户命令。

二:balancer

  运行群集平衡实用程序。管理员可以按Ctrl-C停止再平衡过程。See Balancer for more details.

  用法:hdfs balancer
              [-threshold <threshold>]
              [-policy <policy>]
              [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
              [-include [-f <hosts-file> | <comma-separated list of hosts>]]
              [-idleiterations <idleiterations>]

三:crypto

  See the HDFS Transparent Encryption Documentation for more information.

  用法:hdfs crypto -createZone -keyName <keyName> -path <path>
       hdfs crypto -help <command-name>
       hdfs crypto -listZones

四:datanode

  运行一个HDFS datanode

  用法: hdfs datanode [-regular | -rollback | -rollingupgrace rollback]

五:dfsadmin

  运行一个HDFS dfsadmin客户端

用法:hdfs dfsadmin [GENERIC_OPTIONS]
          [-report [-live] [-dead] [-decommissioning]]
          [-safemode enter | leave | get | wait]
          [-saveNamespace]
          [-rollEdits]
          [-restoreFailedStorage true |false |check]
          [-refreshNodes]
          [-setQuota <quota> <dirname>...<dirname>]
          [-clrQuota <dirname>...<dirname>]
          [-setSpaceQuota <quota> <dirname>...<dirname>]
          [-clrSpaceQuota <dirname>...<dirname>]
          [-setStoragePolicy <path> <policyName>]
          [-getStoragePolicy <path>]
          [-finalizeUpgrade]
          [-rollingUpgrade [<query> |<prepare> |<finalize>]]
          [-metasave filename]
          [-refreshServiceAcl]
          [-refreshUserToGroupsMappings]
          [-refreshSuperUserGroupsConfiguration]
          [-refreshCallQueue]
          [-refresh <host:ipc_port> <key> [arg1..argn]]
          [-reconfig <datanode |...> <host:ipc_port> <start |status>]
          [-printTopology]
          [-refreshNamenodes datanodehost:port]
          [-deleteBlockPool datanode-host:port blockpoolId [force]]
          [-setBalancerBandwidth <bandwidth in bytes per second>]
          [-allowSnapshot <snapshotDir>]
          [-disallowSnapshot <snapshotDir>]
          [-fetchImage <local directory>]
          [-shutdownDatanode <datanode_host:ipc_port> [upgrade]]
          [-getDatanodeInfo <datanode_host:ipc_port>]
          [-triggerBlockReport [-incremental] <datanode_host:ipc_port>]
          [-help [cmd]]

六:haadmin

  See HDFS HA with NFS or HDFS HA with QJM for more information on this command.

用法:hdfs haadmin -checkHealth <serviceId>
    hdfs haadmin -failover [--forcefence] [--forceactive] <serviceId> <serviceId>
    hdfs haadmin -getServiceState <serviceId>
    hdfs haadmin -help <command>
    hdfs haadmin -transitionToActive <serviceId> [--forceactive]
    hdfs haadmin -transitionToStandby <serviceId>

七:journalnode

  This comamnd starts a journalnode for use with HDFS HA with QJM.

  用法: hdfs journalnode

八:mover

  运行数据迁移实用程序. See Mover for more details.

  用法: hdfs mover [-p <files/dirs> | -f <local file name>]

九:namenode

  运行namenode. More info about the upgrade, rollback and finalize is at Upgrade Rollback.

  用法:hdfs namenode [-backup] |
          [-checkpoint] |
          [-format [-clusterid cid ] [-force] [-nonInteractive] ] |
          [-upgrade [-clusterid cid] [-renameReserved<k-v pairs>] ] |
          [-upgradeOnly [-clusterid cid] [-renameReserved<k-v pairs>] ] |
          [-rollback] |
          [-rollingUpgrade <downgrade |rollback> ] |
          [-finalize] |
          [-importCheckpoint] |
          [-initializeSharedEdits] |
          [-bootstrapStandby] |
          [-recover [-force] ] |
          [-metadataVersion ]

十:nfs3

  该指令从HDFS nfs3服务使用nfs3网关。

  用法: hdfs nfs3

十一:portmap

  该指令从HDFS nfs3服务使用RPC portmap。

  用法:Usage: hdfs portmap

十二:secondarynamenode

  运行 second namenode.See Secondary Namenode for more info.

  用法: hdfs secondarynamenode [-checkpoint [force]] | [-format] | [-geteditsize]

十三:storagepolicies

  列出所有存储策。See the HDFS Storage Policy Documentation for more information.

十四:zkfc

  这个指令开始一个管理员切换控制器的过程使用HDFS HA QJM。

  用法: hdfs zkfc [-formatZK [-force] [-nonInteractive]]

Debug Commands

一:介绍

  为了帮助管理员调试HDFS问题有用的命令,如验证块文件和调用recoverlease。

二:verify

  HDFS的元数据和文件块的验证。如果一个块指定文件,我们将验证在元数据文件的校验和匹配块文件。

  用法: hdfs debug verify [-meta <metadata-file>] [-block <block-file>]

三:recoverLease

  恢复指定路径上的租约。路径必须驻留在一个HDFS文件系统。重试的默认号码是1。

  用法: hdfs debug recoverLease [-path <path>] [-retries <num-retries>]

--------------------------------------------------------------------

  到此,本章节的内容讲述完毕。

引用

Apache hadoop commands:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html

Apache 1.04 中文:http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html

系列索引

  【源】从零自学Hadoop系列索引

 

本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

文章是哥(mephisto)写的,SourceLink

从零自学Hadoop(12):Hadoop命令中的更多相关文章

  1. 从零自学Hadoop(11):Hadoop命令上

    阅读目录 序 概述 Hadoop Common Commands User Commands Administration Commands File System Shell 引用 系列索引 本文版 ...

  2. 从零自学Hadoop(13):Hadoop命令下

    阅读目录 序 MapReduce Commands User Commands Administration Commands YARN Commands User Commands Administ ...

  3. 从零自学Hadoop系列索引

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 从零自学Hadoop(01):认识Hadoop ...

  4. 从零自学Hadoop(03):Linux准备上

    阅读目录 序 检查列表 常用Linux命令 搭建环境 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sou ...

  5. 从零自学Hadoop(22):HBase协处理器

    阅读目录 序 介绍 Observer操作 示例下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,Sour ...

  6. 从零自学Hadoop(20):HBase数据模型相关操作上

    阅读目录 序 介绍 命名空间 表 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  7. 从零自学Hadoop(21):HBase数据模型相关操作下

    阅读目录 序 变量 数据模型操作 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 ...

  8. 从零自学Hadoop(19):HBase介绍及安装

    阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一篇, ...

  9. 从零自学Hadoop(18):Hive的CLI和JDBC

    阅读目录 序 Hive CLI(old CLI) Beeline CLI(new CLI) JDBC Demo下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出 ...

随机推荐

  1. Oracle配置和使用闪回

    环境:RHEL 6.4 + Oracle 11.2.0.4 目录: 一.闪回查询 1.1 闪回查询举例 1.2 闪回版本查询举例 二.闪回事物 2.1 闪回事物查询的先决条件 2.2 闪回事物查询 三 ...

  2. Cesium原理篇:6 Renderer模块(2: Texture)

    Texture也是WebGL中重要的概念,使用起来也很简单.但有句话叫大道至简,如果真的想要用好纹理,里面的水其实也是很深的.下面我们来一探究竟. 下面是WebGL中创建一个纹理的最简过程: var ...

  3. C语言实现控制台中光标随意移动

    开始准备学习下C,新手哦~~ 今天弄了个控制台程序,光标可以随意在DOS下移动~~ 先放一张效果图,不过很丑,大家能不能看懂,哈哈,就是 I Love You. 代码注释都有,其实好多东西我都是从其他 ...

  4. Delphi TListView刷新闪烁问题

    应用场景 TListView可以动态选择列并显示而且列宽度也要保存,加载数据ListView会出现N次闪烁 步骤一: 选择要显示列: 点击"确定"按钮,显示下图 步骤二: 界面会出 ...

  5. MVC学习系列9--控制器接收从视图传递过来的参数

    前面学习了,从控制器向视图传递数据,现在学习怎么从视图向控制器传递数据. 通常,我们有两种方式,来处理浏览器的请求,一个是GET方式,一个是POST方式.一般来说,直接通过在浏览器中输入URL话,请求 ...

  6. 设置WPF输入框焦点

    在WPF中设置控件键盘焦点 Keyboard.Focus(/*控件名称*/);

  7. C#开发微信门户及应用(41)--基于微信开放平台的扫码登录处理

    在现今很多网站里面,都使用了微信开放平台的扫码登录认证处理,这样做相当于把身份认证交给较为权威的第三方进行认证,在应用网站里面可以不需要存储用户的密码了.本篇介绍如何基于微信开放平台的扫码进行网站的登 ...

  8. C#基础-技术还债2-枚举

    定一个枚举如下: using System; using System.Collections.Generic; using System.Linq; using System.Reflection; ...

  9. Andriod小项目——在线音乐播放器

    转载自: http://blog.csdn.net/sunkes/article/details/51189189 Andriod小项目——在线音乐播放器 Android在线音乐播放器 从大一开始就已 ...

  10. java web学习总结(八) -------------------HttpServletResponse对象(二)

    一.HttpServletResponse常见应用--生成验证码 1.1.生成随机图片用作验证码 生成图片主要用到了一个BufferedImage类,