HDFS伪分布式
(一)、HDFS shell操作
以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:
HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html
1.1 首先我们在/data下创建一个测试文件:
[root@web02 data]# vim hello.txt
18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
如果遇到以上报错修改
[root@web02 hadoop]# pwd
/usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
[root@web02 hadoop]# vim log4j.properties
添加:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
1.2查看文件系统的根目录
[root@web02 data]# hdfs dfs -ls /
1.3.将刚刚创建的文件拷贝到文件系统的根目录下:
[root@web02 data]# hdfs dfs -ls /
Found 1 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
[root@web02 data]#
1.4.查看文件内容:
[root@web02 data]# hdfs dfs -cat /hello.txt
hello You 66 O
Hadoop HDFS mpareduce
1.5创建目录
[root@web02 data]# hdfs dfs -mkdir /test
[root@web02 data]# hdfs dfs -ls /
Found 2 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:20 /test
[root@web02 data]#
1.6递归创建目录
[root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c
1.7查看递归目录
[root@web02 data]# hdfs dfs -ls -R /

1.8复制文件
[root@web02 data]# hdfs dfs -copyFromLocal
./hello.txt /test/a/b
[root@web02 data]# hdfs dfs -ls -R /
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a
drwxr-xr-x - root supergroup 0 2018-04-07 12:28 /test/a/b
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a/b/c
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:28 /test/a/b/hello.txt
[root@web02 data]#
1.9从系统中拿出文件
[root@web02 data]# hdfs dfs -get /test/a/b/hello.txt
2.0删除文件
[root@web02 data]# hdfs dfs -rm /hello.txt
Deleted /hello.txt
[root@web02 data]#
2.1删除目录
[root@web02 data]# hdfs dfs -rm -R /test
Deleted /test
[root@web02 data]#
以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。
接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息


HDFS伪分布式的更多相关文章
- Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0
公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...
- HDFS伪分布式环境搭建
(一).HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们 ...
- Hadoop 2.7 伪分布式环境搭建
1.安装环境 ①.一台Linux CentOS6.7 系统 hostname ipaddress subnet mask ...
- Hadoop伪分布式集群
一.HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时, ...
- Hadoop-HDFS的伪分布式和完全分布式集群搭建
Hadoop-HDFSHDFS伪分布式集群搭建步骤一.配置免密登录 ssh-keygen -t rsa1一句话回车到底 ssh-copy-id -i ~/.ssh/id_rsa.pub root@no ...
- [BigData]关于HDFS的伪分布式安装和虚拟机网络的配置
[BigData]关于Hadoop学习笔记第一天(段海涛老师)(三) 视频2: hadoop的应用在电商,"浏览了该商品的人还看了","浏览了该商品的人最终购买的&quo ...
- Hadoop的HDFS和MapReduce的安装(三台伪分布式集群)
一.创建虚拟机 1.从网上下载一个Centos6.X的镜像(http://vault.centos.org/) 2.安装一台虚拟机配置如下:cpu1个.内存1G.磁盘分配20G(看个人配置和需求,本人 ...
随机推荐
- Hive中使用LZO
hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apac ...
- bootstrap-table表格导出
在bootstrap-table官网->拓展模块中有导出模块的详细介绍.网址:http://bootstrap-table.wenzhixin.net.cn/zh-cn/extensions/ ...
- Page 由于代码已经过优化或者本机框架位于调用堆栈之上
Page.Response.Clear(); Page.Response.Write("<script type=\"text/javascript\& ...
- 重写equals方法(未完)
equals方法是我们日常编程中很常见的方法,Object中对这个方法的解释如下: boolean equals(Object obj) 指示其他某个对象是否与此对象“相等”. 查看该方法的底层代码如 ...
- c#最近博文结尾
总结一下最近的内容.最近休息一段时间,学习了很多内容,研究了一些新的东西.也不说了.前面的博文主要内容. (1)分布式部署(etcd) (2) 分布式注意事项 (3)c#序列化(messagepack ...
- 构建vue零散笔记
# vue项目(用webpack构建)的前提是已安装了node.js,vue,vue-cli,webpack # 主要命令构建:vue init webpack 项目名(纯英文,且不可驼峰)运行:np ...
- 关于 'list' object has no attribute 'select'
我是在写爬虫是遇到了这个问题: c = chapter.select('href')AttributeError: 'list' object has no attribute 'select' 这是 ...
- Failed to introspect bean class [org.springframework.orm.hibernate5.LocalSessionFactoryBean] for lookup method metadata: could not find class that it depends on; nested exception is java.lang.NoClass
依赖引入 错误可能版本 不对 Failed to introspect bean class [org.springframework.orm.hibernate5.LocalSessionFact ...
- MySQL备份恢复之Xtrabackup
Preface Today,I'm gonna use the Xtrabackup tool to demonstrate the procedure of backing up MyS ...
- php判断某个数是素数的3种方法
什么是素数? 质数又称素数.一个大于1的自然数,除了1和它自身外,不能被其他自然数整除的数叫做质数:否则称为合数.(注:1不是素数.) 方法一: 基本方法,——计数方法. $num = 7; $n = ...