(一)、HDFS shell操作

                 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:

                  HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:

                   http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html

     1.1  首先我们在/data下创建一个测试文件:

             [root@web02 data]# vim hello.txt

          18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
            如果遇到以上报错修改
            [root@web02 hadoop]# pwd
           /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
            [root@web02 hadoop]# vim log4j.properties
           添加:
           log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

1.2查看文件系统的根目录

                            [root@web02 data]# hdfs dfs -ls /

1.3.将刚刚创建的文件拷贝到文件系统的根目录下:

                            [root@web02 data]# hdfs dfs -ls /
                            Found 1 items
                            -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                            [root@web02 data]#

1.4.查看文件内容:

                           [root@web02 data]# hdfs dfs -cat /hello.txt
                           hello You 66 O
                           Hadoop HDFS mpareduce

1.5创建目录

                         [root@web02 data]# hdfs dfs -mkdir /test
                         [root@web02 data]# hdfs dfs -ls /
                         Found 2 items
                         -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                         drwxr-xr-x   - root supergroup          0 2018-04-07 12:20 /test
                         [root@web02 data]#

1.6递归创建目录

                          [root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c

1.7查看递归目录

                           [root@web02 data]# hdfs dfs -ls -R /

1.8复制文件

                   [root@web02 data]# hdfs dfs -copyFromLocal
                   ./hello.txt /test/a/b

                    [root@web02 data]# hdfs dfs -ls -R /
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:28 /test/a/b
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a/b/c
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:28 /test/a/b/hello.txt
                    [root@web02 data]#

1.9从系统中拿出文件

                  [root@web02 data]# hdfs dfs -get /test/a/b/hello.txt

2.0删除文件

                  [root@web02 data]# hdfs dfs -rm /hello.txt
                  Deleted /hello.txt
                  [root@web02 data]#

2.1删除目录

               [root@web02 data]# hdfs dfs -rm -R /test
               Deleted /test
               [root@web02 data]#

以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。

接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息

HDFS伪分布式的更多相关文章

  1. Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0

    公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...

  2. 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)

    所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...

  3. HDFS 伪分布式环境搭建

    HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...

  4. HDFS伪分布式环境搭建

    (一).HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们 ...

  5. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  6. Hadoop伪分布式集群

    一.HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时, ...

  7. Hadoop-HDFS的伪分布式和完全分布式集群搭建

    Hadoop-HDFSHDFS伪分布式集群搭建步骤一.配置免密登录 ssh-keygen -t rsa1一句话回车到底 ssh-copy-id -i ~/.ssh/id_rsa.pub root@no ...

  8. [BigData]关于HDFS的伪分布式安装和虚拟机网络的配置

    [BigData]关于Hadoop学习笔记第一天(段海涛老师)(三) 视频2: hadoop的应用在电商,"浏览了该商品的人还看了","浏览了该商品的人最终购买的&quo ...

  9. Hadoop的HDFS和MapReduce的安装(三台伪分布式集群)

    一.创建虚拟机 1.从网上下载一个Centos6.X的镜像(http://vault.centos.org/) 2.安装一台虚拟机配置如下:cpu1个.内存1G.磁盘分配20G(看个人配置和需求,本人 ...

随机推荐

  1. PAT (Basic Level) Practise (中文)-1040. 有几个PAT(25)

    1040. 有几个PAT(25)     http://www.patest.cn/contests/pat-b-practise/1040 字符串APPAPT中包含了两个单词“PAT”,其中第一个P ...

  2. Python条件判断

    计算机之所以能做很多自动化的任务,因为它可以自己做条件判断. 比如,输入用户年龄,根据年龄打印不同的内容,在Python程序中,用if语句实现: age = 20 if age >= 18: p ...

  3. java交换两个值的三种方法 经典

    1.中间变量(在开发中常用) int c=a; a=b; b=c; System.out.println("a的值: "+a+" b的值: "+b); 2.按位 ...

  4. iOS 获取APP的CPU、内存等信息

    目标是开发一个SDK,嵌入到APP里面,用来统计当前APP的实时CPU.内存等信息 2015.11.17 http://stackoverflow.com/questions/12889422/ios ...

  5. 配置隐私协议 - iOS

    根据苹果隐私协议新规的推出,要求所有应用包含隐私保护协议,故为此在 App 中添加了如下隐私协议模块. 首次安装 App 的情况下默认调用隐私协议模块展示相关信息一次,当用户点击同意按钮后,从此不再执 ...

  6. jzoj5196. 【NOIP2017提高组模拟7.3】B (数论,巧妙的暴力)

    Description

  7. 使用jQuery实现数字逆时针旋转

    要实现数字逆转,最主要是分析我们页面的元素结果,结合选择器充分利用起来! 例如:以下lable中每一个id和值的安排具有一定结构的意义需要用心分析: jQuery代码:

  8. Hello,移动WEB—px,dp,dpr像素基础

    问题点1:iphone5分辨率:640 * 1136 dp,为什么chrome浏览器F12中显示的320 *568??         iPhone5 分辨率640 * 1136指的是物理像素,而实际 ...

  9. JZOJ 5934. 列队

    Description         Sylvia是一个热爱学习的女孩子.        在平时的练习中,他总是能考到std以上的成绩,前段时间,他参加了一场练习赛,众所周知,机房是一个 的方阵.这 ...

  10. IO复用——epoll系列系统调用

    1.内核事件表 epoll是Linux特有的I/O复用函数.epoll把用户关心的文件描述上的事件放在内核里的一个事件表中,并用一个额外的文件描述符来标识该内核事件表.这个额外文件描述符使用函数epo ...