HDFS简介

HDFS即Hadoop Distributed File System，是一个分布式文件系统，用于存储海量数据。一个HDFS集群由一个NameNode和多个DataNode组成。

HDFS特性

  1. 主从架构
  2. 分块存储
  3. 副本机制
  4. 元数据记录
  5. 抽象目录树

HDFS shell命令行

  1. Hadoop内置提供了shell命令行，格式为hadoop fs 参数。前面hadoop fs为固定搭配，表示操作的是文件系统，具体操作的文件系统则看参数中文件路径url的前缀协议。

    示例如下：
[root@node1 ~]# hadoop fs -ls file:///

Found 21 items

-rw-r--r--   1 root root          0 2021-10-26 14:27 file:///.autorelabel

dr-xr-xr-x   - root root      28672 2021-10-26 15:12 file:///bin

dr-xr-xr-x   - root root       4096 2020-09-11 14:44 file:///boot

drwxr-xr-x   - root root       3260 2022-10-25 19:23 file:///dev

drwxr-xr-x   - root root       8192 2022-10-25 19:23 file:///etc

drwxr-xr-x   - root root         48 2021-10-26 15:15 file:///export

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///home

dr-xr-xr-x   - root root       4096 2020-09-11 14:40 file:///lib

dr-xr-xr-x   - root root      24576 2020-09-11 14:40 file:///lib64

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///media

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///mnt

drwxr-xr-x   - root root         16 2020-09-11 14:40 file:///opt

dr-xr-xr-x   - root root          0 2022-10-25 19:23 file:///proc

dr-xr-x---   - root root       4096 2022-10-24 21:15 file:///root

drwxr-xr-x   - root root        840 2022-10-25 19:23 file:///run

dr-xr-xr-x   - root root      16384 2021-10-26 15:13 file:///sbin

drwxr-xr-x   - root root          6 2018-04-11 12:59 file:///srv

dr-xr-xr-x   - root root          0 2022-10-25 19:23 file:///sys

drwxrwxrwt   - root root       4096 2022-10-25 19:34 file:///tmp

drwxr-xr-x   - root root        155 2020-09-11 14:39 file:///usr

drwxr-xr-x   - root root       4096 2020-09-11 14:46 file:///var

[root@node1 ~]# hadoop fs -ls hdfs://node1:8020/

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 hdfs://node1:8020/itcast

drwx------   - root supergroup          0 2021-10-26 15:20 hdfs://node1:8020/tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 hdfs://node1:8020/user

[root@node1 ~]# hadoop fs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

[root@node1 ~]# hdfs dfs -ls /

Found 3 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

  1. shell命令行常用操作

    HDFS shell命令行的常用操作基本与Linux相同。具体如下：

  2. 创建文件夹：hadoop fs -mkdir -p

[root@node1 ~]# hadoop fs -mkdir -p /study/hdfs

[root@node1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwxr-xr-x   - root supergroup          0 2022-10-25 20:11 /study

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user
  1. 显示文件：hadoop fs -ls -h
[root@node1 ~]# hadoop fs -mkdir -p /study/hdfs

[root@node1 ~]# hdfs dfs -ls /

Found 4 items

drwxr-xr-x   - root supergroup          0 2022-10-24 21:14 /itcast

drwxr-xr-x   - root supergroup          0 2022-10-25 20:11 /study

drwx------   - root supergroup          0 2021-10-26 15:20 /tmp

drwxr-xr-x   - root supergroup          0 2021-10-26 15:23 /user

[root@node1 ~]# hadoop fs -put anaconda-ks.cfg /study/hdfs

[root@node1 ~]# hadoop fs -ls /study/hdfs

Found 1 items

-rw-r--r--   3 root supergroup       1340 2022-10-25 20:14 /study/hdfs/anaconda-ks.cfg

[root@node1 ~]# hadoop fs -ls -h /study/hdfs

Found 1 items

-rw-r--r--   3 root supergroup      1.3 K 2022-10-25 20:14 /study/hdfs/anaconda-ks.cfg
  1. 上传文件：hadoop fs -put
[root@node1 ~]# echo 2222 > 2.txt

[root@node1 ~]# hadoop fs -put file:///root/2.txt hdfs://node1:8020/study/hdfs

  1. 查看文件：hadoop fs -cat
# hadoop fs -cat /itcast/anaconda-ks.cfg
  1. 下载文件：hadoop fs -get
[root@node1 ~]# ll

总用量 32

-rw-r--r--  1 root root     2 10月 24 21:15 1.txt

-rw-------. 1 root root  1340 9月  11 2020 anaconda-ks.cfg

drwxr-xr-x  2 root root    55 10月  5 00:08 hivedata

-rw-------  1 root root 23341 10月  5 00:11 nohup.out

[root@node1 ~]# hadoop fs -get hdfs://node1:8020/itcast/2.txt file:///root/

[root@node1 ~]# ll

总用量 36

-rw-r--r--  1 root root     2 10月 24 21:15 1.txt

-rw-r--r--  1 root root     5 10月 25 21:08 2.txt

-rw-------. 1 root root  1340 9月  11 2020 anaconda-ks.cfg

drwxr-xr-x  2 root root    55 10月  5 00:08 hivedata

-rw-------  1 root root 23341 10月  5 00:11 nohup.out

[root@node1 ~]# hadoop fs -get /itcast/2.txt ./666.txt

  1. 拷贝文件：hadoop fs -cd

  2. 追加数据到HDFS文件中：hadoop fs -appendToFile 注意！这个命令需要把集群全部打开，因为它涉及到了datanode节点，具体想了解的话可以看我上一篇博客

[root@node1 ~]# hadoop fs -appendToFile 1.txt 3.txt /2.txt

[root@node1 ~]# hadoop fs -cat /2.txt

2222

1

3
  1. 数据移动（重命名）：hadoop fs -mv

HDFS基础学习的更多相关文章

  1. 零基础学习hadoop到上手工作线路指导（编程篇）

    问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如 ...

  2. 零基础学习hadoop到上手工作线路指导（中级篇）

    此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结. 五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为h ...

  3. 零基础学习openstack【完整中级篇】及openstack资源汇总

    1.你是如何学习openstack的?2.你对openstack的组件了解多少?3.你认为openstack该如何学习? 一直想写关于openstack的方面的内容,今天终于整理完成.算是完成一桩心事 ...

  4. 零基础学习hadoop到上手工作线路指导初级篇：hive及mapreduce

      此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结.五一假期:在写点内容,也算是总结.上面我们会了基本的编程,我们需要对hadoop有一个更深的理解:hadoop分为h ...

  5. Spark基础学习精髓——第一篇

    Spark基础学习精髓 1 Spark与大数据 1.1 大数据基础 1.1.1 大数据特点 存储空间大 数据量大 计算量大 1.1.2 大数据开发通用步骤及其对应的技术 大数据采集->大数据预处 ...

  6. salesforce 零基础学习（五十二）Trigger使用篇（二）

    第十七篇的Trigger用法为通过Handler方式实现Trigger的封装,此种好处是一个Handler对应一个sObject,使本该在Trigger中写的代码分到Handler中,代码更加清晰. ...

  7. 如何从零基础学习VR

    转载请声明转载地址:http://www.cnblogs.com/Rodolfo/,违者必究. 近期很多搞技术的朋友问我,如何步入VR的圈子?如何从零基础系统性的学习VR技术? 本人将于2017年1月 ...

  8. IOS基础学习-2: UIButton

    IOS基础学习-2: UIButton   UIButton是一个标准的UIControl控件,UIKit提供了一组控件:UISwitch开关.UIButton按钮.UISegmentedContro ...

  9. HTML5零基础学习Web前端需要知道哪些？

    HTML零基础学习Web前端网页制作,首先是要掌握一些常用标签的使用和他们的各个属性,常用的标签我总结了一下有以下这些: html:页面的根元素. head:页面的头部标签,是所有头部元素的容器. b ...

随机推荐

  1. 从零开始Blazor Server(11)--编辑用户

    用户编辑和角色编辑几乎一模一样,这里先直接贴代码. @page "/user" @using BlazorLearn.Entity @using Furion.DataEncryp ...

  2. 【原创】JDK 9-17新功能30分钟详解-语法篇-var

    JDK 9-17新功能30分钟详解-语法篇-var 介绍 JDK 10 JDK 10新增了新的关键字--var,官方文档说作用是: Enhance the Java Language to exten ...

  3. Android Studio 模拟器(AVD)访问互联网

    模拟器默认是不可以直接访问互联网的,需要为模拟器配置 DNS 服务器. (一)找到模拟器安装的位置 模拟器安装位置在安卓 SDK 下面,进入[SDK Path]/emulator. (二)打开终端输入 ...

  4. Excel 单元格的相对引用和绝对引用

    引用方式 单元格的地址由该单元格所在的行号和列标构成,一个引用代表工作表上的一个或者一组单元格,指明公式中数据所在的位置. 编号 消费记录 价格 1 乒乓球 1 2 火腿肠 2 3 乒乓球 1 4 羽 ...

  5. JavaScript基础回顾知识点记录2

    js 使用嵌套for循环输出三角形 for(var i=0; i<5; i++){ //正三角 // for(var j=0; j<i+1; j++){ // document.write ...

  6. C#基础_C#计算样本标准差和总体标准差

    首先我们先了解样本标准差和总体标准差: 样本标准差=方差的算术平方根=s=sqrt(((x1-x)^2 +(x2-x)^2 +......(xn-x)^2)/(n-1)) 总体标准差=σ=sqrt(( ...

  7. MySQL Workbench生成E-R图

    因为做毕业设计文档,需要写ER图,故记录此篇 第一步 选择添加 选择数据库 一直next选择要生成的表 再一直下一步就ok了

  8. Nginx location总结

    最近操作Nginx.conf 的location部分,发现了一个巨坑,在这做个记录 当我用一下配置时 location = / { root /usr/share/nginx/html; index ...

  9. jenkins流水线部署springboot应用到k8s集群（k3s+jenkins+gitee+maven+docker）（1）

    前言:前面写过2篇文章,介绍jenkins通过slave节点部署构建并发布应用到虚拟机中,本篇介绍k8s(k3s)环境下,部署jenkins,通过流水线脚本方式构建发布应用到k8s(k3s)集群环境中 ...

  10. Gitea 与 Jenkins 的集成实践，打造你的专属 CI/CD 系统

    前言 Gitea 是一个用于代码托管的轻量级单体程序,它能与现有的经典应用集成,诸如代码分析工具 SonarQube.持续集成工具 Drone.Jenkins 以及用于工单管理的客户端插件(VSCod ...