HDFS伪分布式环境搭建
(一)、HDFS shell操作
以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:
HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html
1.1 首先我们在/data下创建一个测试文件:
[root@web02 data]# vim hello.txt
18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
如果遇到以上报错修改
[root@web02 hadoop]# pwd
/usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
[root@web02 hadoop]# vim log4j.properties
添加:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
1.2查看文件系统的根目录
[root@web02 data]# hdfs dfs -ls /
1.3.将刚刚创建的文件拷贝到文件系统的根目录下:
[root@web02 data]# hdfs dfs -ls /
Found 1 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
[root@web02 data]#
1.4.查看文件内容:
[root@web02 data]# hdfs dfs -cat /hello.txt
hello You 66 O
Hadoop HDFS mpareduce
1.5创建目录
[root@web02 data]# hdfs dfs -mkdir /test
[root@web02 data]# hdfs dfs -ls /
Found 2 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:20 /test
[root@web02 data]#
1.6递归创建目录
[root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c
1.7查看递归目录
[root@web02 data]# hdfs dfs -ls -R /

1.8复制文件
[root@web02 data]# hdfs dfs -copyFromLocal
./hello.txt /test/a/b
[root@web02 data]# hdfs dfs -ls -R /
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a
drwxr-xr-x - root supergroup 0 2018-04-07 12:28 /test/a/b
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a/b/c
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:28 /test/a/b/hello.txt
[root@web02 data]#
1.9从系统中拿出文件
[root@web02 data]# hdfs dfs -get /test/a/b/hello.txt
2.0删除文件
[root@web02 data]# hdfs dfs -rm /hello.txt
Deleted /hello.txt
[root@web02 data]#
2.1删除目录
[root@web02 data]# hdfs dfs -rm -R /test
Deleted /test
[root@web02 data]#
以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。
接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息


HDFS伪分布式环境搭建的更多相关文章
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...
- Hadoop学习笔记1:伪分布式环境搭建
在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...
- Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...
- CentOS7下Hadoop伪分布式环境搭建
CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...
- Hadoop 2.7 伪分布式环境搭建
1.安装环境 ①.一台Linux CentOS6.7 系统 hostname ipaddress subnet mask ...
- hive-2.2.0 伪分布式环境搭建
一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...
随机推荐
- 总结的MR中连接操作
1 reduce side join在map端加上标记, 在reduce容器保存,然后作笛卡尔积缺点: 有可能oom 2 map side join 2.1 利用内存和分布式缓存,也有oom风险 2 ...
- vue进阶语法及生命周期函数
1.calss和style绑定 操作元素的 class 列表和内联样式style是数据绑定的一个常见需求,它两都是属性,所以可以通过v-bind来绑定 1.1绑定HTML class 可以给v-bin ...
- LinkedList---链表各种方法的实现
public class ListExer2 { public static void main(String[] args) { LinkList list = new LinkList(); li ...
- ECMAScript面向对象术语
面向对象术语1.对象ECMA-262 把对象(object)定义为“属性的无序集合,每个属性存放一个原始值.对象或函数”.严格来说,这意味着对象是无特定顺序的值的数组.尽管 ECMAScript 如此 ...
- ETO的公开赛T4《对抗水滴》 题解(BY 萌萌哒123456 )
题意: 给你一个\(n*n\)的矩阵A,其中有\(T\)个元素不为零.定义矩阵内元素\((x,y)\)的能量值 \(E[x][y]=\sum_{i=1}^{x}\sum_{j=1}^{y}[A[i][ ...
- Java中抽象类与接口的比较
一.基本概念 抽象类:表示这个对象是什么:比如 男人.女人这两个类,他们的抽象类是人,说明男人.女人是人: 接口:表示这个对象能做什么:比如人可以吃东西,狗也可以吃东西,将“吃东西”定义为一个接口,让 ...
- httpd的prefork、worker、event
Apache(httpd) 有3种核心MPM(Multi-Processing Module,多进程处理模块)工作模式,分别是prefork,worker和event,其中httpd-2.2的even ...
- python的列表数据类型及常用操作
列表是最常用的Python数据类型,它可以作为一个方括号内的逗号分隔值出现. 列表中的每个元素都分配一个数字 - 它的位置,或索引,第一个索引是0,第二个索引是1,依此类推. 列表可以进行的操作包括索 ...
- 五、RegExp(正则表达式)篇
正则表达式,只用记住: 0./pattern/igm i--不区分大小写 g--找到所有相匹配的 m--多行匹配 可以只写其中一个 ps:/pattern/i (无视大小写) 1." ...
- (转载)jsp的内部方法jspInit(),_jspService(),jspDestroy()
jspInit(){}:jsp Page被初始化的时候调用该方法,并且该方法仅在初始化时执行一次,所以可以在这里进行一些初始化的参数配置等一次性工作,由作者创建jspDestroy(){}:jsp P ...