HDFS伪分布式
(一)、HDFS shell操作
以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:
HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html
1.1 首先我们在/data下创建一个测试文件:
[root@web02 data]# vim hello.txt
18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
如果遇到以上报错修改
[root@web02 hadoop]# pwd
/usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
[root@web02 hadoop]# vim log4j.properties
添加:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
1.2查看文件系统的根目录
[root@web02 data]# hdfs dfs -ls /
1.3.将刚刚创建的文件拷贝到文件系统的根目录下:
[root@web02 data]# hdfs dfs -ls /
Found 1 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
[root@web02 data]#
1.4.查看文件内容:
[root@web02 data]# hdfs dfs -cat /hello.txt
hello You 66 O
Hadoop HDFS mpareduce
1.5创建目录
[root@web02 data]# hdfs dfs -mkdir /test
[root@web02 data]# hdfs dfs -ls /
Found 2 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:20 /test
[root@web02 data]#
1.6递归创建目录
[root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c
1.7查看递归目录
[root@web02 data]# hdfs dfs -ls -R /

1.8复制文件
[root@web02 data]# hdfs dfs -copyFromLocal
./hello.txt /test/a/b
[root@web02 data]# hdfs dfs -ls -R /
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a
drwxr-xr-x - root supergroup 0 2018-04-07 12:28 /test/a/b
drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a/b/c
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:28 /test/a/b/hello.txt
[root@web02 data]#
1.9从系统中拿出文件
[root@web02 data]# hdfs dfs -get /test/a/b/hello.txt
2.0删除文件
[root@web02 data]# hdfs dfs -rm /hello.txt
Deleted /hello.txt
[root@web02 data]#
2.1删除目录
[root@web02 data]# hdfs dfs -rm -R /test
Deleted /test
[root@web02 data]#
以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。
接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息


HDFS伪分布式的更多相关文章
- Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0
公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...
- HDFS伪分布式环境搭建
(一).HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们 ...
- Hadoop 2.7 伪分布式环境搭建
1.安装环境 ①.一台Linux CentOS6.7 系统 hostname ipaddress subnet mask ...
- Hadoop伪分布式集群
一.HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时, ...
- Hadoop-HDFS的伪分布式和完全分布式集群搭建
Hadoop-HDFSHDFS伪分布式集群搭建步骤一.配置免密登录 ssh-keygen -t rsa1一句话回车到底 ssh-copy-id -i ~/.ssh/id_rsa.pub root@no ...
- [BigData]关于HDFS的伪分布式安装和虚拟机网络的配置
[BigData]关于Hadoop学习笔记第一天(段海涛老师)(三) 视频2: hadoop的应用在电商,"浏览了该商品的人还看了","浏览了该商品的人最终购买的&quo ...
- Hadoop的HDFS和MapReduce的安装(三台伪分布式集群)
一.创建虚拟机 1.从网上下载一个Centos6.X的镜像(http://vault.centos.org/) 2.安装一台虚拟机配置如下:cpu1个.内存1G.磁盘分配20G(看个人配置和需求,本人 ...
随机推荐
- PAT (Basic Level) Practise (中文)-1040. 有几个PAT(25)
1040. 有几个PAT(25) http://www.patest.cn/contests/pat-b-practise/1040 字符串APPAPT中包含了两个单词“PAT”,其中第一个P ...
- Kinect骨架数据
- 复制功能 js
示例: <input class="herf" type="text" v-model="herfUrl" readonly=&quo ...
- 《深入理解Spring Cloud与微服务构建》书籍目录
转载请标明出处: https://blog.csdn.net/forezp/article/details/79735542 本文出自方志朋的博客 作者简介 方志朋,毕业于武汉理工大学,CSDN博客专 ...
- 优雅的QSignleton (二) MonoSingleton单例实现
MonoSingleton.cs namespace QFramework.Example { using System.Collections; using UnityEngine; class C ...
- maven settings 设置
首页 新随笔 联系 管理 国内阿里Maven仓库镜像Maven配置文件Maven仓库速度快 国内连接maven官方的仓库更新依赖库,网速一般很慢,收集一些国内快速的maven仓库镜像以备用. 最新 ...
- oracle优化-leading提示和ordered提示以及materialize提示
以下内容适用于oracle 10.2.0.5及其以上版本 一个查询很慢,原始SQL如下: select a.* from (select ssi.ID, 'small_station_info' TB ...
- SI - 系统 - 操作系统简述 (Operating System)
Unix 操作系统:System V.BSD Microsoft Windows Apple Mac OS Linux FreeBSD 安装 https://jingyan.baidu.com/art ...
- [BZOJ1076][SCOI2008]奖励关(概率DP)
Code #include <cstdio> #include <algorithm> #include <cstring> #define N 110 #defi ...
- loj136 (最小瓶颈路,多次询问)
题目描述 给定一个包含 n nn 个节点和 m mm 条边的图,每条边有一个权值.你的任务是回答 k kk 个询问,每个询问包含两个正整数 s ss 和 t tt 表示起点和终点,要求寻找从 s ss ...