(一)、HDFS shell操作

                 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:

                  HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:

                   http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html

     1.1  首先我们在/data下创建一个测试文件:

             [root@web02 data]# vim hello.txt

          18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
            如果遇到以上报错修改
            [root@web02 hadoop]# pwd
           /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
            [root@web02 hadoop]# vim log4j.properties
           添加:
           log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

1.2查看文件系统的根目录

                            [root@web02 data]# hdfs dfs -ls /

1.3.将刚刚创建的文件拷贝到文件系统的根目录下:

                            [root@web02 data]# hdfs dfs -ls /
                            Found 1 items
                            -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                            [root@web02 data]#

1.4.查看文件内容:

                           [root@web02 data]# hdfs dfs -cat /hello.txt
                           hello You 66 O
                           Hadoop HDFS mpareduce

1.5创建目录

                         [root@web02 data]# hdfs dfs -mkdir /test
                         [root@web02 data]# hdfs dfs -ls /
                         Found 2 items
                         -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                         drwxr-xr-x   - root supergroup          0 2018-04-07 12:20 /test
                         [root@web02 data]#

1.6递归创建目录

                          [root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c

1.7查看递归目录

                           [root@web02 data]# hdfs dfs -ls -R /

1.8复制文件

                   [root@web02 data]# hdfs dfs -copyFromLocal
                   ./hello.txt /test/a/b

                    [root@web02 data]# hdfs dfs -ls -R /
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:28 /test/a/b
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a/b/c
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:28 /test/a/b/hello.txt
                    [root@web02 data]#

1.9从系统中拿出文件

                  [root@web02 data]# hdfs dfs -get /test/a/b/hello.txt

2.0删除文件

                  [root@web02 data]# hdfs dfs -rm /hello.txt
                  Deleted /hello.txt
                  [root@web02 data]#

2.1删除目录

               [root@web02 data]# hdfs dfs -rm -R /test
               Deleted /test
               [root@web02 data]#

以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。

接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息

HDFS伪分布式的更多相关文章

  1. Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0

    公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...

  2. 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)

    所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...

  3. HDFS 伪分布式环境搭建

    HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...

  4. HDFS伪分布式环境搭建

    (一).HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们 ...

  5. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  6. Hadoop伪分布式集群

    一.HDFS伪分布式环境搭建 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点.但同时, ...

  7. Hadoop-HDFS的伪分布式和完全分布式集群搭建

    Hadoop-HDFSHDFS伪分布式集群搭建步骤一.配置免密登录 ssh-keygen -t rsa1一句话回车到底 ssh-copy-id -i ~/.ssh/id_rsa.pub root@no ...

  8. [BigData]关于HDFS的伪分布式安装和虚拟机网络的配置

    [BigData]关于Hadoop学习笔记第一天(段海涛老师)(三) 视频2: hadoop的应用在电商,"浏览了该商品的人还看了","浏览了该商品的人最终购买的&quo ...

  9. Hadoop的HDFS和MapReduce的安装(三台伪分布式集群)

    一.创建虚拟机 1.从网上下载一个Centos6.X的镜像(http://vault.centos.org/) 2.安装一台虚拟机配置如下:cpu1个.内存1G.磁盘分配20G(看个人配置和需求,本人 ...

随机推荐

  1. java的引用总结

    四种引用:强弱软虚 强引用:使用强引用,在内存不足的时候垃圾处理器也不会回收他,哪怕导致程序崩溃 例如: A a=new A() 软引用:内存不足的时候会被回收(软引用可以和一个引用队列(Refere ...

  2. MVVM及框架的双向绑定

    MVVM由以下三个内容组成 View:视图模板 Model:数据模型 ViewModel:作为桥梁负责沟通View和Model,自动渲染模板 在JQuery时期,如果需要刷新UI时,需要先取到对应的D ...

  3. wubiuefi-支持新版本ubuntu的wubi

    由于某些原因,ubuntu官方不再提供新版的wubi 这就使得部分想快速且安全尝试新版ubuntu的用户望而却步 最近在外文网站找到了wubi的新版本wubiuefi,支持最新版的ubuntu 目前支 ...

  4. SpringCloud微服务实战:一、Eureka注册中心服务端

    1.项目启动类application.java类名上增加@EnableEurekaServer注解,声明是注册中心 1 import org.springframework.boot.SpringAp ...

  5. java面向对象编程思想的理解

    1.我们总说java是一门面向对象编程的语言,那什么是面向对象呢? 我是这样理解的,对象是事物存在的实体,如,猪.狗,花早等都是对象,对象由两部分组成.面向对象编程的三大特点:继承,多态,类是封装对象 ...

  6. c# Hash一致算法负载均衡(KetamaHash)项目升级

    其实就是我最近写的一个项目,采用Hash一致满足负载均衡.Hash一致环带虚拟节点. 在前面的博文中说明了我采用的方法,MurmurHash+红黑树(底层其实是sortedlist).经过多次测试结合 ...

  7. Java常用的正则校验

    1.非负整数: (^[1-9]+[0-9]*$)|(^[0]{1}$) 或 (^[1-9]+[0-9]*$)|0 2.非正整数: (^-[1-9]+[0-9]*$)|(^[0]{1}$) 或 (^-[ ...

  8. JavaScript--动态添加元素

    在网页中,使用JavaScript动态创建元素的方式有三种: 1.document.write() 2.Element.innerHTML 3.document.createElement() 在上述 ...

  9. 【cisco下针对冗余链路故障备份的处理措施】

    对于中小型的网络中,为了流量的分担,可制定负载均衡方案,但往往带来的是链路的冗余.导致多条物理线路不能够最大的发挥其作用:冗余链路随可避免环路,但在实际的网络中还是存在一些需要完善的地方: 假设有一组 ...

  10. 微信小程序 - 生命周期 - 参数传递

    ​ 现在WEB开发门槛越来越高,不想java 会了就可以有工作,前端不行 ,不仅JavaScript要求不低,基础的HTML+CSS还要扎实,jquery也是必须要会,现在的前端框架 Vue Ng R ...