hadoop(十)hdfs上传删除文件(完全分布式七)|12
集群测试
上传小文件到集群,随便选择一个小文件上传到hdfs的根目录
[shaozhiqi@hadoop102 hadoop-3.1.2]$ bin/hdfs dfs -put wcinput/wc.input /
[shaozhiqi@hadoop102 hadoop-3.1.2]$
验证是否上传成功,验证ok,Replication的3代表三个副本数

上传一个大文件如我们的hadoop安装包
[shaozhiqi@hadoop102 hadoop-3.1.2]$ bin/hdfs dfs -put /opt/software/hadoop-3.1.2.tar.gz /

查看每个文件在hdfs的副本情况和存储块block,默认每个block大小为128M
关于块block的说明:当hdfs上收到的文件大于128M,则该文件会被切分存储为多个块,多个块以块为单位存储在不用的datanode上。但是值的注意的是如果某个文件大小没有达到128M,则按文件大小存储,不会占用整个128M的空间。
点击:Wc.Input

点击Hadoop-3.1.2.tar.gz

每个block最大存储128M,多出就会再多一个block去存储
文件在hdfs的实际路劲
[shaozhiqi@hadoop102 subdir0]$ ll
total 327200
-rw-rw-r--. 1 shaozhiqi shaozhiqi 50 Jun 27 21:18 blk_1073741825
-rw-rw-r--. 1 shaozhiqi shaozhiqi 11 Jun 27 21:18 blk_1073741825_1001.meta
-rw-rw-r--. 1 shaozhiqi shaozhiqi 134217728 Jun 27 21:25 blk_1073741826
-rw-rw-r--. 1 shaozhiqi shaozhiqi 1048583 Jun 27 21:25 blk_1073741826_1002.meta
-rw-rw-r--. 1 shaozhiqi shaozhiqi 134217728 Jun 27 21:26 blk_1073741827
-rw-rw-r--. 1 shaozhiqi shaozhiqi 1048583 Jun 27 21:26 blk_1073741827_1003.meta
-rw-rw-r--. 1 shaozhiqi shaozhiqi 63998133 Jun 27 21:26 blk_1073741828
-rw-rw-r--. 1 shaozhiqi shaozhiqi 499995 Jun 27 21:26 blk_1073741828_1004.meta
[shaozhiqi@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.2/data/tmp/dfs/data/current/BP-1884196904-192.168.1.102-1561640654781/current/finalized/subdir0/subdir0
[shaozhiqi@hadoop102 subdir0]$ cat blk_1073741825 #可以确定整个就是我们的wc.input
hadoop yarn
hadoop mapreduce
shaozhiqi
shaozhiqi
[shaozhiqi@hadoop102 subdir0]$
删除我们刚刚上传到hdfs的文件
[shaozhiqi@hadoop102 hadoop-3.1.2]$ bin/hdfs dfs -rm -r /wc.input
Deleted /wc.input
[shaozhiqi@hadoop102 hadoop-3.1.2]$ bin/hdfs dfs -rm -r /hadoop-3.1.2.tar.gz
Deleted /hadoop-3.1.2.tar.gz
[shaozhiqi@hadoop102 hadoop-3.1.2]$
验证是否删除,验证ok

hadoop(十)hdfs上传删除文件(完全分布式七)|12的更多相关文章
- 【Mac】之svn上传/删除文件命令
创建文件后,进入文件夹下: ①先checkoutsvn地址: svn checkout https://xxxx:0000/svn/CM_B2B_Document/06_Testing/B2B_Ste ...
- Eclipse 上传 删除 下载 分析 hdfs 上的文件
本篇讲解如何通过Eclipse 编写代码去操作分析hdfs 上的文件. 1.在eclipse 下新建Map/Reduce Project项目.如图: 项目建好后,会默认加载一系列相应的jar包. 下 ...
- hadoop fs -put上传文件失败,WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: master:8020
hadoop fs -put上传文件失败 报错信息:(test文件夹是已经成功建好的) [root@master ~]# hadoop fs -put test1.txt /test // :: WA ...
- 利用Java API通过路径过滤上传多文件至HDFS
在本地文件上传至HDFS过程中,很多情况下一个目录包含很多个文件,而我们需要对这些文件进行筛选,选出符合我们要求的文件,上传至HDFS.这时就需要我们用到文件模式. 在项目开始前,我们先掌握文件模式 ...
- HDFS 上传文件的不平衡,Balancer问题是过慢
至HDFS上传文件.假定从datanode开始上传文件,上传的数据将导致目前的当务之急是全datanode圆盘.这是一个分布式程序的执行是非常不利. 解决方案: 1.从其他非datanode节点上传 ...
- 【转载】HDFS 上传文件不均衡和Balancer太慢的问题
向HDFS上传文件,如果是从某个datanode开始上传文件,会导致上传的数据优先写满当前datanode的磁盘,这对于运行分布式程序是非常不利的. 解决的办法: 1.从其他非datanode节点上传 ...
- 03 测试Hadoop hdfs 上传 与 mr
1.随便在哪个目录新增一个文档.内容随便输入 mkdir words 2.在hdfs 中新建文件输入目录 ./hdfs dfs -mkdir /test 3.把新建的文档 (/home/hadoop/ ...
- ASP.NET Core 2.2 : 十六.扒一扒新的Endpoint路由方案 try.dot.net 的正确使用姿势 .Net NPOI 根据excel模板导出excel、直接生成excel .Net NPOI 上传excel文件、提交后台获取excel里的数据
ASP.NET Core 2.2 : 十六.扒一扒新的Endpoint路由方案 ASP.NET Core 从2.2版本开始,采用了一个新的名为Endpoint的路由方案,与原来的方案在使用上差别不 ...
- HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo
26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
随机推荐
- http详解和分析
1.http是什么? http 是一种超文本传输协议原名是这个Hypertext Transfer Protocol -- HTTP/1.1 可以百度查看http的RFC文档编号为RFC-2616 连 ...
- [BJDCTF 2nd]fake google
[BJDCTF 2nd]fake google 进入页面: 试了几下发现输入xxx,一般会按的格式显示, P3's girlfirend is : xxxxx 然后猜测会不会执行代码,发现可以执行 & ...
- Django 后台管理xadmin
一. xadmin的使用 后台管理在开发中可以给我们提供很大的便利,django自带了一个后台管理admin,不过还有一个xadmin比django自带的好用一些,功能更加强大,为模型提供了版本控制, ...
- CompTIA Security+ 常见知识点
前言: Security+ 认证是一种中立第三方认证,其发证机构为美国计算机行业协会CompTIA: 是和CISSP.CISA等共同包含在内的国际IT业热门认证之一,和CISSP偏重信息安全管理相比, ...
- 概率-拒绝采样 Rejection Sampling
2018-12-09 16:40:30 一.使用Rand7()来生成Rand10() 问题描述: 问题求解: 这个问题字节跳动算法岗面试有问到类似的,有rand6,求rand8,我想了好久,最后给了一 ...
- [STL] Codeforces 69E Subsegments
Subsegments time limit per test 1 second memory limit per test 256 megabytes input standard input ou ...
- jvm:内存结构(堆、方法区、程序计数器、本地方法栈、虚拟机栈)
1.jvm内存结构 静态编译:把java源文件编译成字节码文件class,这个时候class文件以静态方式存在. 类加载器:把java字节码文件加载到内存中 方法区:将字节码放到方法区作为元数据(简单 ...
- 面试刷题24:介绍一枚 JAVA妹妹?
java提供的自动垃圾收集机制大大提高了程序员的开发效率. 但是自动垃圾收集不是万能的,明确jvm的内存结构,工作机制是设计高扩展应用的基础. 也是诊断jvm运行时问题的必备技能. 我是李福春,我在准 ...
- 130ftp-python3 FTP简单实现文件下载(含中文乱码问题)
130ftp-python3 FTP简单实现文件下载(含中文乱码问题) python3 FTP简单实现文件下载(含中文乱码问题) ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ...
- 二维线段树 poj-2155
题意:t组样例 ,输入 n,m,表示n*n的矩阵进行m次操作 ,C: 输入两个坐标 ,组成的矩形 进行取反操作 ,Q:对输的坐标位置输入其值. 思路:一开始想的是用1000(表示x轴)个线段树(对每段 ...