HDFS基本命令行操作及上传文件的简单API
一、HDFS基本命令行操作:
1.HDFS集群修改SecondaryNameNode位置到hd09-2
(1)修改hdfs-site.xml
<configuration>
//配置元数据存储位置
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hd/dfs/name</value>
</property>
//配置数据存储位置
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hd/dfs/data</value>
</property> <property>
<name>dfs.namenode.secondary.http-address</name>
<value>hd09-2:50090</value>
</property>
</configuration> 注意上面的第三个<property>不是
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hd09-2:50090</value>
</property> (2)分发hdfs-site.xml到其他服务器
cd /root/hd/hadoop-2.8.4/etc/hadoop scp hdfs-site.xml hd09-2:$PWD
scp hdfs-site.xml hd09-3:$PWD (3)hdfs启动命令
start-dfs.sh (4)hdfs停止命令
stop-dfs.sh 2.HDFS集群修改replication(副本数)
修改hdfs-site.xml 在<configuration>中加入
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
其中<value>中的值就是副本数 3.HDFS集群修改blocksize(块大小)
修改hdfs-site.xml 在<configuration>中加入
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
其中<value>中的值就是块大小,单位是字节(byte) 4.hdfs命令行
(1)查看帮助
hdfs dfs -help (2)查看当前目录信息
hdfs dfs -ls / (3)上传文件
hdfs dfs -put /本地路径 /hdfs路径 (4)剪切文件
hdfs dfs -moveFromLocal a.txt /aa.txt (5)下载文件到本地
hdfs dfs -get /hdfs路径 /本地路径 (6)合并下载
hdfs dfs -getmerge /hdfs路径文件夹 /合并后的文件 (7)创建文件夹
hdfs dfs -mkdir /hello (8)创建多级文件夹
hdfs dfs -mkdir -p /hello/world (9)移动hdfs文件
hdfs dfs -mv /hdfs路径 /hdfs路径 (10)复制hdfs文件
hdfs dfs -cp /hdfs路径 /hdfs路径 (11)删除hdfs文件
hdfs dfs -rm /aa.txt (12)删除hdfs文件夹
hdfs dfs -rm -r /hello (13)查看hdfs中的文件
hdfs dfs -cat /文件
hdfs dfs -tail -f /文件 (14)查看文件夹中有多少个文件
hdfs dfs -count /文件夹 (15)查看hdfs的总空间
hdfs dfs -df /
hdfs dfs -df -h / (16)修改副本数
hdfs dfs -setrep 1 /a.txt
二、上传文件的简单API:
package com.css.hdfs01; import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; public class HdfsClientDemo01 {
public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException {
//1.客户端加载配置文件
Configuration conf = new Configuration(); //2.指定配置(设置成2个副本数)
conf.set("dfs.replication", "2"); //3.指定块大小
conf.set("dfs.blocksize", "64m"); //4.构造客户端
FileSystem fs = FileSystem.get(new URI("hdfs://192.168.146.132:9000"), conf, "root"); //5.上传文件
fs.copyFromLocalFile(new Path("c:/words.txt"), new Path("/words.txt")); //6.关闭资源
fs.close();
}
}
HDFS基本命令行操作及上传文件的简单API的更多相关文章
- spring mvc(注解)上传文件的简单例子
spring mvc(注解)上传文件的简单例子,这有几个需要注意的地方1.form的enctype=”multipart/form-data” 这个是上传文件必须的2.applicationConte ...
- SpringMvc(注解)上传文件的简单例子
spring mvc(注解)上传文件的简单例子,这有几个需要注意的地方1.form的enctype=”multipart/form-data” 这个是上传文件必须的2.applicationConte ...
- hadoop的hdfs文件操作实现上传文件到hdfs
这篇文章主要介绍了使用hadoop的API对HDFS上的文件访问,其中包括上传文件到HDFS上.从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下hdfs文件操作操作示例,包括上传文件到 ...
- CentOS命令行向OSS上传文件或文件夹
下载地址:https://helpcdn.aliyun.com/document_detail/50452.html?spm=a2c4g.11186623.4.2.KyQak3 百度云盘:https: ...
- Linux命令之rz - 批量上传文件,简单易用(转载)
用途说明 rz命令能够批量上传文件,当然也可上传单个文件啦.使用的协议是古老的ZMODEM协议,尽管协议古老,但毫不影响的简单易用的特性.一般情 况我们要上传文件到Linux系统,要么使用ftp(还得 ...
- 关于Extjs MVC模式上传文件的简单方式
Extjs新手研究上传文件的事情估计是件很头痛的问题,毕竟,我就在头痛.最近两天一直在忙文件上传问题,终于小有收获. 用的是Extjs+MVC3.0+EF开发,语言为C#.前台window代码显示列内 ...
- mac 命令行上传文件,mac tar.gz命令压缩
在mac上可以直接打开命令行给服务器上传文件,注意是本地的命令行,不是服务器的命令行,我就走了绕路 命令可以看这里https://www.cnblogs.com/hitwtx/archive/2011 ...
- IOS上传文件开发
IOS上传文件开发 在移动应用开发 文件形式上传是不可缺少的,近期把IOS这块文件上传文件代码简单的整理一下.假设大家有须要安卓这边的代码,本人也能够分享给大家! QQ群:74432915 ...
- Asp.net上传文件后台通过二进制流发送到其他Url保存
实际情况一般有单独的站点存放静态文件,比如图片.office文档等.A站点的操作需要上传文件到B站点, 下面介绍一种方法通过System.Net.WebClient类的UploadData方法 . u ...
随机推荐
- JAVA判断字符串相等
java中判断字符串是否相等有两种方法:1.用“==”运算符,该运算符表示指向字符串的引用是否相同,比如: String a="abc";String b="abc&qu ...
- 删除节点removeChild()
http://www.imooc.com/code/1700 删除节点removeChild() removeChild() 方法从子节点列表中删除某个节点.如删除成功,此方法可返回被删除的节点,如失 ...
- nginx解析漏洞
一个比较老的漏洞了,但是今天在一个交流群里大佬们有那么一个案例.就深入学习了一下其原理. Nginx当检查url最后的文件名为脚本的时候,他就会把整个程序当作脚本来执行,否则就当作非脚本执行. 正确上 ...
- SpringBoot DataSource 配置说明
DataSource 配置说明 属性 说明 spring.dao.exceptiontranslation.enabled 是否开启PersistenceExceptionTranslationPos ...
- C#中利用JQuery实现视频网站的缩略图采集
最近有朋友想要采集优酷的视频标题和缩略图 (哈哈, 并非商业目的). 找到我帮忙, 考虑到有我刚刚发布的SpiderStudio, 我毫不犹豫的答应了. 首先在网页上视频的基本结构为: div.v - ...
- oozie开发注意事项
ooziejob执行后 1. job.properties.coordinatior.xml中设置的值都是不可变的,除非将job kill掉,然后重新调度. oozie job -kill 00000 ...
- Android学习之两款下拉刷新库分享
昨天没有写博客.心里非常罪过呀,今天给大家写两种比較常见的下拉刷新的用法.一款是SwipeRefreshLayout,一款是CircleRefreshLayout. SwipeRefreshLayou ...
- librtmp将本地FLV文件发布到RTMP流媒体服务器
没有用到ffmpeg库 可以将本地FLV文件发布到RTMP流媒体服务器 使用librtmp发布RTMP流可以使用两种API:RTMP_SendPacket()和RTMP_Write(). 使用RTMP ...
- mybatis 的动态sql语句是基于OGNL表达式的。
mybatis 的动态sql语句是基于OGNL表达式的.可以方便的在 sql 语句中实现某些逻辑. 总体说来mybatis 动态SQL 语句主要有以下几类:1. if 语句 (简单的条件判断)2. c ...
- 【BZOJ】1693: [Usaco2007 Demo]Asteroids(匈牙利)
http://www.lydsy.com/JudgeOnline/problem.php?id=1693 裸匈牙利.. #include <cstdio> #include <cst ...