HDFS简介

HDFS即Hadoop Distributed File System，是一个分布式文件系统，用于存储海量数据。一个HDFS集群由一个NameNode和多个DataNode组成。

HDFS特性

  1. 主从架构
  2. 分块存储
  3. 副本机制
  4. 元数据记录
  5. 抽象目录树

HDFS shell命令行

  1. Hadoop内置提供了shell命令行，格式为hadoop fs 参数。前面hadoop fs为固定搭配，表示操作的是文件系统，具体操作的文件系统则看参数中文件路径url的前缀协议。

    示例如下：
[root@node1 ~]# hadoop fs -ls file:///

Found 21 items

-rw-r--r--   1 root root          0 2021-10-26 14:27 file:///.autorelabel

dr-xr-xr-x   - root root      28672 2021-10-26 15:12 file:///bin

dr-xr-xr-x   - root root       4096 2020-09-11 14:44 file:///boot

drwxr-xr-x   - root root       3260 2022-10-25 19:23 file:///dev

drwxr-xr-x   - root root       8192 2022-10-25 19:23 file:///etc

drwxr-xr-x   - root root         48 2021-10-26 15:15 file:///export

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///home

dr-xr-xr-x   - root root       4096 2020-09-11 14:40 file:///lib

dr-xr-xr-x   - root root      24576 2020-09-11 14:40 file:///lib64

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///media

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///mnt

drwxr-xr-x   - root root         16 2020-09-11 14:40 file:///opt

dr-xr-xr-x   - root root          0 2022-10-25 19:23 file:///proc

dr-xr-x---   - root root       4096 2022-10-24 21:15 file:///root

drwxr-xr-x   - root root        840 2022-10-25 19:23 file:///run

dr-xr-xr-x   - root root      16384 2021-10-26 15:13 file:///sbin

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///srv

dr-xr-xr-x   - root root          0 2022-10-25 19:23 file:///sys

drwxrwxrwt   - root root       4096 2022-10-25 19:34 file:///tmp

drwxr-xr-x   - root root        155 2020-09-11 14:39 file:///usr

drwxr-xr-x   - root root       4096 2020-09-11 14:46 file:///var

[root@node1 ~]# hadoop fs -ls hdfs://node1:8020/

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 hdfs://node1:8020/itcast

drwx------   - root supergroup          0 2021-10-26 15:20 hdfs://node1:8020/tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 hdfs://node1:8020/user

[root@node1 ~]# hadoop fs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

[root@node1 ~]# hdfs dfs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

  1. shell命令行常用操作

    HDFS shell命令行的常用操作基本与Linux相同。具体如下：

  2. 创建文件夹：hadoop fs -mkdir -p

[root@node1 ~]# hadoop fs -mkdir -p /study/hdfs

[root@node1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwxr-xr-x   - root supergroup          0 2022-10-25 20:11 /study

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user
  1. 显示文件：hadoop fs -ls -h
[root@node1 ~]# hadoop fs -mkdir -p /study/hdfs

[root@node1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwxr-xr-x   - root supergroup          0 2022-10-25 20:11 /study

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

[root@node1 ~]# hadoop fs -put anaconda-ks.cfg /study/hdfs

[root@node1 ~]# hadoop fs -ls /study/hdfs

Found 1 items

-rw-r--r--   3 root supergroup       1340 2022-10-25 20:14 /study/hdfs/anaconda-ks.cfg

[root@node1 ~]# hadoop fs -ls -h /study/hdfs

Found 1 items

-rw-r--r--   3 root supergroup      1.3 K 2022-10-25 20:14 /study/hdfs/anaconda-ks.cfg
  1. 上传文件：hadoop fs -put
[root@node1 ~]# echo 2222 > 2.txt

[root@node1 ~]# hadoop fs -put file:///root/2.txt hdfs://node1:8020/study/hdfs

  1. 查看文件：hadoop fs -cat
# hadoop fs -cat /itcast/anaconda-ks.cfg
  1. 下载文件：hadoop fs -get
[root@node1 ~]# ll

总用量 32

-rw-r--r--  1 root root     2 10月 24 21:15 1.txt

-rw-------. 1 root root  1340 9月  11 2020 anaconda-ks.cfg

drwxr-xr-x  2 root root    55 10月  5 00:08 hivedata

-rw-------  1 root root 23341 10月  5 00:11 nohup.out

[root@node1 ~]# hadoop fs -get hdfs://node1:8020/itcast/2.txt file:///root/

[root@node1 ~]# ll

总用量 36

-rw-r--r--  1 root root     2 10月 24 21:15 1.txt

-rw-r--r--  1 root root     5 10月 25 21:08 2.txt

-rw-------. 1 root root  1340 9月  11 2020 anaconda-ks.cfg

drwxr-xr-x  2 root root    55 10月  5 00:08 hivedata

-rw-------  1 root root 23341 10月  5 00:11 nohup.out

[root@node1 ~]# hadoop fs -get /itcast/2.txt ./666.txt

  1. 拷贝文件：hadoop fs -cd

  2. 追加数据到HDFS文件中：hadoop fs -appendToFile 注意！这个命令需要把集群全部打开，因为它涉及到了datanode节点，具体想了解的话可以看我上一篇博客

[root@node1 ~]# hadoop fs -appendToFile 1.txt 3.txt /2.txt

[root@node1 ~]# hadoop fs -cat /2.txt

2222

1

3
  1. 数据移动（重命名）：hadoop fs -mv

HDFS基础学习的更多相关文章

  1. 零基础学习hadoop到上手工作线路指导（编程篇）

    问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如 ...

  2. 零基础学习hadoop到上手工作线路指导（中级篇）

    此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结. 五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为h ...

  3. 零基础学习openstack【完整中级篇】及openstack资源汇总

    1.你是如何学习openstack的?2.你对openstack的组件了解多少?3.你认为openstack该如何学习? 一直想写关于openstack的方面的内容,今天终于整理完成.算是完成一桩心事 ...

  4. 零基础学习hadoop到上手工作线路指导初级篇：hive及mapreduce

      此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结.五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:hadoop分为h ...

  5. Spark基础学习精髓——第一篇

    Spark基础学习精髓 1 Spark与大数据 1.1 大数据基础 1.1.1 大数据特点 存储空间大 数据量大 计算量大 1.1.2 大数据开发通用步骤及其对应的技术 大数据采集->大数据预处 ...

  6. salesforce 零基础学习（五十二）Trigger使用篇（二）

    第十七篇的Trigger用法为通过Handler方式实现Trigger的封装,此种好处是一个Handler对应一个sObject,使本该在Trigger中写的代码分到Handler中,代码更加清晰. ...

  7. 如何从零基础学习VR

    转载请声明转载地址:http://www.cnblogs.com/Rodolfo/,违者必究. 近期很多搞技术的朋友问我,如何步入VR的圈子?如何从零基础系统性的学习VR技术? 本人将于2017年1月 ...

  8. IOS基础学习-2: UIButton

    IOS基础学习-2: UIButton   UIButton是一个标准的UIControl控件,UIKit提供了一组控件:UISwitch开关.UIButton按钮.UISegmentedContro ...

  9. HTML5零基础学习Web前端需要知道哪些？

    HTML零基础学习Web前端网页制作,首先是要掌握一些常用标签的使用和他们的各个属性,常用的标签我总结了一下有以下这些: html:页面的根元素. head:页面的头部标签,是所有头部元素的容器. b ...

随机推荐

  1. LuoguP3047 [USACO12FEB]附近的牛Nearby Cows（树形DP，容斥）

    \[f[u][step] = \begin{cases} C[u] & step = 0 \\ (\sum{f[v][step - 1]}) - f[u][step - 2] \cdot (d ...

  2. Excel 查找函数（二）：VLOOKUP

    函数讲解 [语法]VLOOKUP(lookup_value, table_array, col_index_num, [range_lookup]) [参数]函数一个有四个参数,其中有三个必填参数:一 ...

  3. Android 自动取色并设置沉浸式状态栏

    Android 自动取色并设置沉浸式状态栏 - Stars-One的杂货小窝 最近在进行产品的优化,也是研究了下沉浸式状态栏的实现方法及自动取色,记录一下笔记 设置沉浸式状态栏 1.添加依赖 这里,是 ...

  4. CF-1675D. Vertical Paths

    题意:每次可以选择一条路径,要求这条路径中每个点都是上一个点的子节点,求最少需要几条路径将所有点走完 思路:将每个点有没有子节点判断出来,因为只有没有子节点的点需要新增一条路,所以需要路径的最小数目就 ...

  5. 02_Django-路由配置-HTTP协议的请求和响应

    02_Django-路由配置-HTTP协议的请求和响应 视频:https://www.bilibili.com/video/BV1vK4y1o7jH 博客:https://blog.csdn.net/ ...

  6. .Net下的Http请求调用(Post与Get)

    http请求调用是开发中经常会用到的功能.在内,调用自有项目的Web Api等形式接口时会用到:在外,调用一些第三方功能接口时,也会用到,因为,这些第三方功能往往是通过http地址的形式提供的,比如: ...

  7. 如何使用Postman调试HMS Core推送接口？

    HMS Core推送服务支持开发者使用HTTPS协议接入Push服务端.Postman是一款接口测试工具,它可以模拟用户发起的各类HTTP请求,将请求数据发送至服务端,获取对应的响应结果.Postma ...

  8. docker-compose概述--翻译

    Overview of Docker Compose 译文 Docker Compose 是一个用来定义和执行多Docker容器程序的工具,如果使用Compose,你将可以使用一个YAML文件来配置你 ...

  9. OpenDataV低代码平台新增组件流程

    OpenDataV计划采用子库的方式添加子组件,即每一个组件都当做一个子库,子库有自己的依赖,而项目本身的依赖只针对框架,因此每一个组件我们都当做一个子库来开发.下面我带着大家一步步详细的开发一个数字 ...

  10. 学习ASP.NET Core Blazor编程系列二——第一个Blazor应用程序（完）

    学习ASP.NET Core Blazor编程系列一--综述 学习ASP.NET Core Blazor编程系列二--第一个Blazor应用程序(上) 学习ASP.NET Core Blazor编程系 ...