hadoop入门:hadoop使用shell命令总结
第一部分:Hadoop Bin
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 启动slaves.sh和hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
后面根据项目的实际需要Hadoop Bin 包括:
Hadoop hadoop的Shell
hadoop-config.sh 它的作用是对一些变量进行赋值
HADOOP_HOME(hadoop的安装目录)。
HADOOP_CONF_DIR(hadoop的配置文件目录)。
HADOOP_SLAVES(--hosts指定的文件的地址)
hadoop-daemon.sh 单节点启动
hadoop-daemons.sh 在所有slaves上运行相同的脚本hadoop-daemon.sh
start-all.sh 启动HDFS与MapReduce
start-balancer.sh 启动Hadoop的负载均衡
start-dfs.sh 启动HDFS
start-jobhistoryserver.sh
start-mapred.sh 启动MapReduce
来进行调整。
stop-all.sh 停止HDFS与MapReduce
stop-balancer.sh 停止做负载均衡
stop-dfs.sh 停止HDFS
stop-jobhistoryserver.sh 停止Job追踪
stop-mapred.sh 停止MapReduce
task-controller
第二部分:Hadoop Shell 基本操作
nHadoop shell
包括:
- namenode -format format the DFS filesystem
- secondarynamenode run the DFS secondary namenode
- namenode run the DFS namenode
- datanode run a DFS datanode
- dfsadmin run a DFS admin client
- mradmin run a Map-Reduce admin client
- fsck run a DFS filesystem checking utility
- fs run a generic filesystem user client
- balancer run a cluster balancing utility
- fetchdt fetch delegation token from the NameNode
- jobtracker run the MapReduce job Tracker node
- pipes run a Pipes job
- tasktracker run a MapReduce task Tracker node
- historyserver run job history servers as a standalone daemon
- job manipulate MapReduce jobs
- queue get information regarding JobQueues
- version print the version
- jar <jar> run a jar file
- distcp <srcurl> <desturl> copy file or directories recursively
- archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive
- classpath prints the class path needed to get the
- Hadoop jar and the required libraries
- daemonlog get/set the log level for each daemon
- or
- CLASSNAME run the class named CLASSNAME
复制代码
文章转自:http://www.aboutyun.com/thread-6742-1-1.html
hadoop入门:hadoop使用shell命令总结的更多相关文章
- Hadoop之HDFS(一)HDFS入门及基本Shell命令操作
1 . HDFS 基本概念 1.1 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之 ...
- Unix/Linux环境C编程入门教程(39) shell命令之系统管理
df命令 用于检测文件系统的磁盘空间占用和空余情况,可以显示所有文件系统对节点和磁盘块的使用情况.命令的使用格式如下: df [选项] 常用参数及含义如下表所示. df -a:显示所有文件系统的磁盘 ...
- Unix/Linux环境C编程入门教程(38) shell命令进阶演示
1.w命令 该命令也可以查看登录当前系统的用户信息.与who命令相比,w命令的功能更强大,它不但可以显示当前有哪些用户登录到系统,还可以显示这些用户正在进行的操作,并给出更加详细和科学的统计数据 ...
- Hadoop常见shell命令
Hadoop中常见的shell命令 1.如何将Linux本地的数据上传到HDFS中? hadoop fs -put 本地的文件 HDFS中的目录hdfs dfs -put 本地的文件 HDFS中的目录 ...
- Hadoop Shell命令字典(可收藏)
可以带着下面问题来阅读: 1.chmod与chown的区别是什麽?2.cat将路径指定文件的内容输出到哪里?3.cp能否是不同之间复制?4.hdfs如何查看文件大小?5.hdfs如何合并文件?6.如何 ...
- hadoop入门手册5:Hadoop【2.7.1】初级入门之命令:文件系统shell2
问题导读 1.改变hdfs文件的权限,需要修改哪个配置文件?2.获取一个文件的或则目录的权限,哪个命令可以实现?3.哪个命令可以实现设置访问控制列表(ACL)的文件和目录? 接上篇:Hadoop[2. ...
- hadoop入门手册4:Hadoop【2.7.1】初级入门之命令:文件系统shell1
问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处?2.如何改变文件所属组?3.如何改变hdfs的文件权限?4.如何查找hdfs文件,并且不区分大小写? 概述文件系统 ( ...
- hadoop入门手册3:Hadoop【2.7.1】初级入门之命令指南
问题导读1.hadoop daemonlog管理员命令的作用是什么?2.hadoop如何运行一个类,如何运行一个jar包?3.hadoop archive的作用是什么? 概述 hadoop命令被bin ...
- Hadoop Shell命令字典
转载自:https://www.aboutyun.com//forum.php/?mod=viewthread&tid=6983&extra=page%3D1&page=1&a ...
随机推荐
- 在一个未知的CentOS服务器中如何加上PHP的openssl扩展
1. 服务器是定制过的,不知对应的centos版本: 2. PHP是自己编译的,而且服务器上没有保留对应版本的源代码,通过/pathto/php -v 找出php版本号,然后wget去下载对应的php ...
- 媒体对象 - Media Objects(摘录)
原文链接:http://www.jianshu.com/p/6443be21efbd 一个媒体对象由以下及部分组成 父容器 .media 媒体部分 .media-left 或者 .media-righ ...
- oop典型应用:实体类
1.什么是实体类 简单地说就是描述一个业务实体的“类”,业务实体直观一点理解就是整个就是整个软件系统业务所涉及的对象. eg:MySchool系统中的班级,学生,年级等都是业务实体,“雷电”游戏中的飞 ...
- Metronic 使用到的开源插件汇总
Metronic 是一套完整的 UI 模板,但不仅仅是模板,更应该说是一个 UI 框架.它除了提供了大量网页模板,也提供了非常多的 UI 组件,并且应用了众多 jQuery 插件.通过这些资源的整合, ...
- spring boot学习笔记
spring boot 是什么 Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程. spring boot采用了“约定优于配置” ...
- swift学习笔记之-枚举
//枚举定义 import UIKit //枚举定义 (枚举.结构体.类的名字首字母必须大写,表示为定义了新的类型) /*枚举为一组相关的值定义了一个共同的类型,使你可以在你的代码中以类型安全的方式来 ...
- ES6的Class
类的基本写法: constructor构造函数其实就相当于ES5中的构造函数,用于定义类的实例属性: 而在类中定义的其他方法像这里的toString方法就相当于ES5中定义在原型prototype上的 ...
- 自定义SharePoint 2013 元数据选择控件
元数据在Sharepoint中是一个很常用的功能,他提供一个方法来管理企业中常用的关键词,可以更加统一的使用和更新.默认情况下,绑定在列表或库中的元数据字段可以设置是否允许为多个值.但是无法控制在弹出 ...
- IOS单例
单例就是只有一个实例. 两种常见的创建方法: 1. : static A *a = nil; + (A *)shareInstance { if (!a) a = [[self alloc] init ...
- 协议(Protocol)---实例
协议:声明一些必须实现的方法和选择实现的方法,用来声明一些方法,即一个Protocol是由一系列的方法声明组成的. 建立协议文件步骤:将鼠标放到文件列表处,利用快捷键 command +N 健,得到如 ...