(一)、HDFS shell操作

                 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容:

                  HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下:

                   http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapredCommands.html

     1.1  首先我们在/data下创建一个测试文件:

             [root@web02 data]# vim hello.txt

          18/04/07 12:03:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
            如果遇到以上报错修改
            [root@web02 hadoop]# pwd
           /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop
            [root@web02 hadoop]# vim log4j.properties
           添加:
           log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

1.2查看文件系统的根目录

                            [root@web02 data]# hdfs dfs -ls /

1.3.将刚刚创建的文件拷贝到文件系统的根目录下:

                            [root@web02 data]# hdfs dfs -ls /
                            Found 1 items
                            -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                            [root@web02 data]#

1.4.查看文件内容:

                           [root@web02 data]# hdfs dfs -cat /hello.txt
                           hello You 66 O
                           Hadoop HDFS mpareduce

1.5创建目录

                         [root@web02 data]# hdfs dfs -mkdir /test
                         [root@web02 data]# hdfs dfs -ls /
                         Found 2 items
                         -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                         drwxr-xr-x   - root supergroup          0 2018-04-07 12:20 /test
                         [root@web02 data]#

1.6递归创建目录

                          [root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c

1.7查看递归目录

                           [root@web02 data]# hdfs dfs -ls -R /

1.8复制文件

                   [root@web02 data]# hdfs dfs -copyFromLocal
                   ./hello.txt /test/a/b

                    [root@web02 data]# hdfs dfs -ls -R /
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:04 /hello.txt
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:28 /test/a/b
                   drwxr-xr-x   - root supergroup          0 2018-04-07 12:22 /test/a/b/c
                    -rw-r--r--   1 root supergroup         37 2018-04-07 12:28 /test/a/b/hello.txt
                    [root@web02 data]#

1.9从系统中拿出文件

                  [root@web02 data]# hdfs dfs -get /test/a/b/hello.txt

2.0删除文件

                  [root@web02 data]# hdfs dfs -rm /hello.txt
                  Deleted /hello.txt
                  [root@web02 data]#

2.1删除目录

               [root@web02 data]# hdfs dfs -rm -R /test
               Deleted /test
               [root@web02 data]#

以上就是最为常用的一些操作命令了,如果需要使用其他命令,直接执行hdfs dfs就可以查看到所支持的所有命令。

接下来我们在浏览器里查看文件系统,首先将刚刚删除的文件put回去:

2.2查看文件信息

HDFS伪分布式环境搭建的更多相关文章

  1. 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)

    所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...

  2. HDFS 伪分布式环境搭建

    HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...

  3. Hadoop学习笔记1:伪分布式环境搭建

    在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yule ...

  4. Hadoop2.5.0伪分布式环境搭建

    本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...

  5. 【Hadoop】伪分布式环境搭建、验证

    Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...

  6. 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建

    CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...

  7. CentOS7下Hadoop伪分布式环境搭建

    CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...

  8. Hadoop 2.7 伪分布式环境搭建

    1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask             ...

  9. hive-2.2.0 伪分布式环境搭建

    一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...

随机推荐

  1. HDU1069 Monkey and Banana

    HDU1069 Monkey and Banana 题目大意 给定 n 种盒子, 每种盒子无限多个, 需要叠起来, 在上面的盒子的长和宽必须严格小于下面盒子的长和宽, 求最高的高度. 思路 对于每个方 ...

  2. .length()与.length与.size()

    .length  .length()属于数组的一个属性和string的一个方法,可以获得该数组或者字符串的长度,返回一个整型数据 .size()属于List泛型对象的一个方法,返回一个list对象中存 ...

  3. mysql substring_index()查询某个字符中以某个分割符分割后的值

    substring_index(某个字段,以其分割,第几个分割点之前的值); +---------------------------------------------------------+ | ...

  4. 复制功能 js

    示例: <input class="herf" type="text" v-model="herfUrl" readonly=&quo ...

  5. Docker官方文档翻译2

    转载请标明出处: https://blog.csdn.net/forezp/article/details/80158062 本文出自方志朋的博客 容器 准备工作 安装Docker,版本为1.13或者 ...

  6. chromium之ThreadLocalStorage

    看看头文件怎么用 // Wrapper for thread local storage. This class doesn't do much except provide // an API fo ...

  7. Java反射的两种使用方法

    1.创建User.java package com.tao.test; public class User { private String name; private int id; public ...

  8. bean工具类

    package com.zq.utils; import java.lang.reflect.Method;import java.util.Arrays;import java.util.Colle ...

  9. xml的schema约束(Java)

    1.schema约束 *dtd语法:<!ELEMENT 元素名称 约束> schema符合xml的语法,是xml语句. 一个xml文件中可以有多个schema,多个schema使用名称空间 ...

  10. spring-运行时值注入

    在项目中经常使用连接数据库的配置,如下所示 <bean id="dataSource" class="org.apache.commons.dbcp.BasicDa ...