在HDFS中将文件从源路径移动到目的路径。

import java.text.SimpleDateFormat;
import java.util.Scanner;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator; public class J_moveFile { public static void DelFile(FileSystem fs, Path p_remotepath) {
try {
if (fs.delete(p_remotepath, true)) {
System.out.println("del successfully");
} else {
System.out.println("del fail");
}
} catch (Exception e) {
e.printStackTrace();
}
} public static void ReadFilesStatus(FileStatus fileinfo) {
SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
System.out.println("file path :" + fileinfo.getPath());
} public static void GetAllFilePath(FileStatus fileinfo, FileSystem fs) {
try {
String s_path = "/user";
Path p_path = new Path(s_path);
RemoteIterator<LocatedFileStatus> remoteIterator = fs.listFiles(
p_path, true);
while (remoteIterator.hasNext()) {
fileinfo = remoteIterator.next();
ReadFilesStatus(fileinfo);
}
} catch (Exception e) {
e.printStackTrace();
}
} public static void MoveFile(FileSystem fs, String s_remotepath,
Path p_remotepath_src, Path p_remotepath_dst) {
try {
String s_tmppath = "/home/hadoop/tmpfile/";
String[] split_path = s_remotepath.split("/");
String filename = split_path[split_path.length - 1];
s_tmppath = s_tmppath + filename;
Path p_tmppath = new Path(s_tmppath);
fs.moveToLocalFile(p_remotepath_src, p_tmppath);
fs.moveFromLocalFile(p_tmppath, p_remotepath_dst);
System.out.println("MoveFile successfully");
} catch (Exception e) {
e.printStackTrace();
}
} public static void main(String arg[]) {
try {
Var_init var = new Var_init();
GetAllFilePath(var.fileinfo, var.fs);
System.out
.println("plz input the file u want to move like /user/hadoop/test /user/hadoop/qwq/");
Scanner sc = new Scanner(System.in);
String src_path = sc.next();
String dst_path = sc.next();
Path src_remotepath = new Path(src_path);
Path dst_remotepath = new Path(dst_path); MoveFile(var.fs, src_path, src_remotepath, dst_remotepath);
} catch (Exception e) {
e.printStackTrace();
}
}
}
Var_init类参考https://www.cnblogs.com/MiraculousB/p/13848744.htm
在HDFS中将文件从源路径移动到目的路径。的更多相关文章
- Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
默认是从hdfs读取文件,也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路 ...
- HDFS dfsclient写文件过程 源码分析
HDFS写入文件的重要概念 HDFS一个文件由多个block构成.HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的.每一个packet由若干个chunk( ...
- HDFS写文件过程分析
转自http://shiyanjun.cn/archives/942.html HDFS是一个分布式文件系统,在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同,从宏观上来看,在HDFS文件 ...
- HDFS常用文件操作
put 上传文件 hadoop fs -put wordcount.txt /data/wordcount/ text 查看文件内容 hadoop fs -text /output/wo ...
- HDFS读文件过程分析:读取文件的Block数据
转自http://shiyanjun.cn/archives/962.html 我们可以从java.io.InputStream类中看到,抽象出一个read方法,用来读取已经打开的InputStrea ...
- eclipse查看class文件的源码
eclipse查看class文件的源码: 1.网上下载jadClipse的jar包和执行文件jad.exe和 net.sf.jadclipse_3.3.0.jar. 2.把上面下载的jar包放在ecp ...
- 使用oracle的大数据工具ODCH访问HDFS数据文件
软件下载 Oracle Big Data Connectors:ODCH 下载地址: http://www.oracle.com/technetwork/bdc/big-data-connectors ...
- Java文件操作源码大全
Java文件操作源码大全 1.创建文件夹 52.创建文件 53.删除文件 54.删除文件夹 65.删除一个文件下夹所有的文件夹 76.清空文件夹 87.读取文件 88.写入文件 99.写入随机文件 9 ...
- 实现目标文件与源码分开的makefile测试实验
uboot提供了两种编译策略,即可以将生成的目标文件与源码混在一起,也可以将生成的目标文件与源码分开.通过对uboot Makefile的分析,笔者编写了一个简单的实现这种功能的Makfile. 顶层 ...
随机推荐
- 使用xshell软件进行文件的上传和下载
1.选择xshell的文件里面的属性-->文件传输,把上传路径和下载路径设置好. 上传路径:介绍我们需要向Linux系统里面传东西. 下载路径:就是我们把Linux系统里面的大小拷贝出来. 2. ...
- apk获取sha1值的方法
安卓应用都使用一个签名证书(.keystore或.jks文件)签名,签名证书可以由jdk生成.证书生成后,证书就有其sha1值. 使用此证书打包后的安卓应用,也有其一样的sha1值.md5值和sha2 ...
- CSS的各种重要属性
CSS属性图 01文字属性 <!DOCTYPE html> <html lang="en"> <head> <meta charset=& ...
- Spring源码深度解析之Spring MVC
Spring源码深度解析之Spring MVC Spring框架提供了构建Web应用程序的全功能MVC模块.通过策略接口,Spring框架是高度可配置的,而且支持多种视图技术,例如JavaServer ...
- 阿里巴巴java开发手册-泰山版 下载
最近,阿里的<Java开发手册>又更新了,这个版本历经一年的修炼,取名:<Java开发手册(泰山版)>正式出道.正所谓无规矩不成方圆,在程序员的世界里,也存在很多规范,阿里出版 ...
- JavaDailyReports10_13
今天完成了课堂测试二的内容要求,开阔了编程的思路,学到了很多程序设计思想,为以后的学习提供了很多帮助. 明天开始继续完善四则运算的程序,并且开始JavaWeb的学习!
- ReentrantLock显示锁
public class AttemptLocking { /* * public AttemptLocking() { * * System.out.println("构造器初始化...& ...
- Rejecting mapping update to [xxx] as the final mapping would have more than 1 type: [xxx, xx]
说明: 1.elasticsearch 版本 6.3.1 2.在同一个index下创建两个type时报错,信息如下: 在创建第二个type:solr时,先前已经在相同索引下创建了一个type:es [ ...
- OpenTelemetry - 云原生下可观测性的新标准
CNCF 简介 CNCF(Cloud Native Computing Foundation),中文为"云原生计算基金会",CNCF是Linux基金会旗下的基金会,可以理解为一个非 ...
- python virtualenv 基本使用
下载 pip install virtualenv 校验是否成功 virtualenv --version 使用 创建env环境 要写一个新项目,使用env先创建环境 cd xx\xx\xx\ # 进 ...