HDFS简介

HDFS即Hadoop Distributed File System，是一个分布式文件系统，用于存储海量数据。一个HDFS集群由一个NameNode和多个DataNode组成。

HDFS特性

  1. 主从架构
  2. 分块存储
  3. 副本机制
  4. 元数据记录
  5. 抽象目录树

HDFS shell命令行

  1. Hadoop内置提供了shell命令行，格式为hadoop fs 参数。前面hadoop fs为固定搭配，表示操作的是文件系统，具体操作的文件系统则看参数中文件路径url的前缀协议。

    示例如下：
[root@node1 ~]# hadoop fs -ls file:///

Found 21 items

-rw-r--r--   1 root root          0 2021-10-26 14:27 file:///.autorelabel

dr-xr-xr-x   - root root      28672 2021-10-26 15:12 file:///bin

dr-xr-xr-x   - root root       4096 2020-09-11 14:44 file:///boot

drwxr-xr-x   - root root       3260 2022-10-25 19:23 file:///dev

drwxr-xr-x   - root root       8192 2022-10-25 19:23 file:///etc

drwxr-xr-x   - root root         48 2021-10-26 15:15 file:///export

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///home

dr-xr-xr-x   - root root       4096 2020-09-11 14:40 file:///lib

dr-xr-xr-x   - root root      24576 2020-09-11 14:40 file:///lib64

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///media

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///mnt

drwxr-xr-x   - root root         16 2020-09-11 14:40 file:///opt

dr-xr-xr-x   - root root          0 2022-10-25 19:23 file:///proc

dr-xr-x---   - root root       4096 2022-10-24 21:15 file:///root

drwxr-xr-x   - root root        840 2022-10-25 19:23 file:///run

dr-xr-xr-x   - root root      16384 2021-10-26 15:13 file:///sbin

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///srv

dr-xr-xr-x   - root root          0 2022-10-25 19:23 file:///sys

drwxrwxrwt   - root root       4096 2022-10-25 19:34 file:///tmp

drwxr-xr-x   - root root        155 2020-09-11 14:39 file:///usr

drwxr-xr-x   - root root       4096 2020-09-11 14:46 file:///var

[root@node1 ~]# hadoop fs -ls hdfs://node1:8020/

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 hdfs://node1:8020/itcast

drwx------   - root supergroup          0 2021-10-26 15:20 hdfs://node1:8020/tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 hdfs://node1:8020/user

[root@node1 ~]# hadoop fs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

[root@node1 ~]# hdfs dfs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

  1. shell命令行常用操作

    HDFS shell命令行的常用操作基本与Linux相同。具体如下：

  2. 创建文件夹：hadoop fs -mkdir -p

[root@node1 ~]# hadoop fs -mkdir -p /study/hdfs

[root@node1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwxr-xr-x   - root supergroup          0 2022-10-25 20:11 /study

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user
  1. 显示文件：hadoop fs -ls -h
[root@node1 ~]# hadoop fs -mkdir -p /study/hdfs

[root@node1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwxr-xr-x   - root supergroup          0 2022-10-25 20:11 /study

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

[root@node1 ~]# hadoop fs -put anaconda-ks.cfg /study/hdfs

[root@node1 ~]# hadoop fs -ls /study/hdfs

Found 1 items

-rw-r--r--   3 root supergroup       1340 2022-10-25 20:14 /study/hdfs/anaconda-ks.cfg

[root@node1 ~]# hadoop fs -ls -h /study/hdfs

Found 1 items

-rw-r--r--   3 root supergroup      1.3 K 2022-10-25 20:14 /study/hdfs/anaconda-ks.cfg
  1. 上传文件：hadoop fs -put
[root@node1 ~]# echo 2222 > 2.txt

[root@node1 ~]# hadoop fs -put file:///root/2.txt hdfs://node1:8020/study/hdfs

  1. 查看文件：hadoop fs -cat
# hadoop fs -cat /itcast/anaconda-ks.cfg
  1. 下载文件：hadoop fs -get
[root@node1 ~]# ll

总用量 32

-rw-r--r--  1 root root     2 10月 24 21:15 1.txt

-rw-------. 1 root root  1340 9月  11 2020 anaconda-ks.cfg

drwxr-xr-x  2 root root    55 10月  5 00:08 hivedata

-rw-------  1 root root 23341 10月  5 00:11 nohup.out

[root@node1 ~]# hadoop fs -get hdfs://node1:8020/itcast/2.txt file:///root/

[root@node1 ~]# ll

总用量 36

-rw-r--r--  1 root root     2 10月 24 21:15 1.txt

-rw-r--r--  1 root root     5 10月 25 21:08 2.txt

-rw-------. 1 root root  1340 9月  11 2020 anaconda-ks.cfg

drwxr-xr-x  2 root root    55 10月  5 00:08 hivedata

-rw-------  1 root root 23341 10月  5 00:11 nohup.out

[root@node1 ~]# hadoop fs -get /itcast/2.txt ./666.txt

  1. 拷贝文件：hadoop fs -cd

  2. 追加数据到HDFS文件中：hadoop fs -appendToFile 注意！这个命令需要把集群全部打开，因为它涉及到了datanode节点，具体想了解的话可以看我上一篇博客

[root@node1 ~]# hadoop fs -appendToFile 1.txt 3.txt /2.txt

[root@node1 ~]# hadoop fs -cat /2.txt

2222

1

3
  1. 数据移动（重命名）：hadoop fs -mv

HDFS基础学习的更多相关文章

  1. 零基础学习hadoop到上手工作线路指导（编程篇）

    问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如 ...

  2. 零基础学习hadoop到上手工作线路指导（中级篇）

    此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结. 五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为h ...

  3. 零基础学习openstack【完整中级篇】及openstack资源汇总

    1.你是如何学习openstack的?2.你对openstack的组件了解多少?3.你认为openstack该如何学习? 一直想写关于openstack的方面的内容,今天终于整理完成.算是完成一桩心事 ...

  4. 零基础学习hadoop到上手工作线路指导初级篇：hive及mapreduce

      此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结.五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:hadoop分为h ...

  5. Spark基础学习精髓——第一篇

    Spark基础学习精髓 1 Spark与大数据 1.1 大数据基础 1.1.1 大数据特点 存储空间大 数据量大 计算量大 1.1.2 大数据开发通用步骤及其对应的技术 大数据采集->大数据预处 ...

  6. salesforce 零基础学习（五十二）Trigger使用篇（二）

    第十七篇的Trigger用法为通过Handler方式实现Trigger的封装,此种好处是一个Handler对应一个sObject,使本该在Trigger中写的代码分到Handler中,代码更加清晰. ...

  7. 如何从零基础学习VR

    转载请声明转载地址:http://www.cnblogs.com/Rodolfo/,违者必究. 近期很多搞技术的朋友问我,如何步入VR的圈子?如何从零基础系统性的学习VR技术? 本人将于2017年1月 ...

  8. IOS基础学习-2: UIButton

    IOS基础学习-2: UIButton   UIButton是一个标准的UIControl控件,UIKit提供了一组控件:UISwitch开关.UIButton按钮.UISegmentedContro ...

  9. HTML5零基础学习Web前端需要知道哪些？

    HTML零基础学习Web前端网页制作,首先是要掌握一些常用标签的使用和他们的各个属性,常用的标签我总结了一下有以下这些: html:页面的根元素. head:页面的头部标签,是所有头部元素的容器. b ...

随机推荐

  1. 在centos服务器里安装opencv的坑：mportError: libXrender.so.1: cannot open shared object file: No such file or directory and wrong ELF class: ELFCLASS32

    centos7服务器安装opencv (其他版本服务器一样) 安装opencv: pip install opencv-python 导入cv2 import cv2 报错:importError: ...

  2. ASP.NET Core 6框架揭秘实例演示[35]：利用Session保留语境

    客户端和服务器基于HTTP的消息交换就好比两个完全没有记忆能力的人在交流,每次单一的HTTP事务体现为一次"一问一答"的对话.单一的对话毫无意义,在在同一语境下针对某个主题进行的多 ...

  3. Kingbase V8R6集群安装部署案例---脚本在线一键缩容

    ​ 案例说明: KingbaseES V8R6支持图形化方式在线缩容,但是在一些生产环境,在服务器不支持图形化界面的情况下 ,只能通过脚本命令行的方式执行集群的部署或在线缩容. Tips: Kingb ...

  4. KingbaseES 全局索引

    概述:在分区表上创建的索引可分为全局索引和本地索引.全局索引包括全局非分区索引(Global Nonpartitioned Indexes)和全局分区索引(Global Partitioned Ind ...

  5. 手写tomcat——编写一个echo http服务器

    核心代码如下: public class DiyTomcat1 { public void run() throws IOException { ServerSocket serverSocket = ...

  6. 【读书笔记】C#高级编程 第九章 字符串和正则表达式

    (一)System.String类 System.String是一个类,专门用于存储字符串,允许对字符串进行许多操作.C#提供了关键字string和相关的语法,以便使用这个类更轻松. 例子: 使用运算 ...

  7. Elasticsearch-shell脚本实现定时删除指定时间以前索引

    〇.前言 因为elastiflow的数据量还是挺大的,接入了两台交换机的flow数据量已经开始有点大了.所以得写个脚本专门来清理索引 一.如何使用elastic的API 1.手动查询所有索引 在ELK ...

  8. 如何使用DBeaver连接Hive

    1 DBeaver介绍 DBeaver是一个通用的数据库管理工具和 SQL 客户端,支持多种兼容 JDBC 的数据库.DBeaver 提供一个图形界面用来查看数据库结构.执行SQL查询和脚本,浏览和导 ...

  9. ProxySQL 全局变量详解

    转载自:https://www.jianshu.com/p/b9d2a09d80e2 全局变量概述 ProxySQL的行为可以通过全局变量来调整.有两种配置方式: 在runtime下,使用admin结 ...

  10. 云原生分布式文件存储 MinIO 教程

    文章转载自:https://mp.weixin.qq.com/s/_52kZ5jil1Cec98P5oozoA MinIO 提供开源.高性能.兼容 s3 的对象存储,为每个公共云.每个 Kuberne ...