hadoop的dfs工具类一个【原创】
开始没搞定插件问题,就弄了个dsf操作类,后面搞定了插件问题,这玩意也就聊胜于无了,还是丢这里算了。
首先是一个配置,ztool.hadoop.properties
hadoop.home.dir=G:/hadoop/hadoop-2.4.1
hadoop.user.name=hadoop hadoop.server.ip=192.168.117.128
hadoop.server.hdfs.port=9000
前面两个属性后面代码会有说明的。
属性文件的读取,方法多了,一般用commons-configuration包,我是自己把这个再整了一次,加了些自动处理,这个代码中可以无视,直接把代码中的那部分改成普通引用就好了。
logger部分,用了logback,也是处理了一下,处理了其在linux下会莫名其妙找不到配置文件的问题。这里就不放出代码了,直接把代码中的那部分改成普通引用就好了,我就不改了。
工具类代码如下
package com.cnblogs.zxub.hadoop.dfs; import java.io.IOException;
import java.net.URI; import org.apache.commons.configuration.PropertiesConfiguration;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.mapred.JobConf;
import org.slf4j.Logger; import com.cnblogs.zxub.util.logger.ZLoggerFactory;
import com.cnblogs.zxub.util.properties.PropertiesLoader; public class DfsUtil { private static final Logger logger = ZLoggerFactory
.getLogger(DfsUtil.class); private final PropertiesConfiguration props = PropertiesLoader
.getConfiguration("ztool.hadoop");
private Configuration config = null;
private String hdfsPath = null; private String baseDir = null; public DfsUtil(String hdfs, Configuration config) {
// windows下设置HADOOP_HOME后,还可能找不到winutils.exe,直接自己写进去程序算了
System.setProperty("hadoop.home.dir",
this.props.getString("hadoop.home.dir"));
// 设置与dfs服务通信的用户名,省得换当前用户名,也不改配置关闭权限控制了
System.setProperty("HADOOP_USER_NAME",
this.props.getString("hadoop.user.name"));
this.hdfsPath = (hdfs == null) ? "hdfs://"
+ this.props.getString("hadoop.server.ip") + ":"
+ this.props.getString("hadoop.server.hdfs.port") + "/" : hdfs;
if (config == null) {
JobConf conf = new JobConf(DfsUtil.class);
conf.setJobName("HdfsDAO");
config = conf;
}
this.config = config;
} public DfsUtil(Configuration conf) {
this(null, conf);
} public DfsUtil() {
this(null, null);
} public String getBaseDir() {
return this.baseDir;
} public void setBaseDir(String baseDir) {
this.baseDir = baseDir;
} public String getHdfsPath() {
return this.hdfsPath;
} public Configuration getConfig() {
return this.config;
} private String standardPath(String path) {
if (this.baseDir == null) {
this.baseDir = "/";
}
if (this.baseDir.indexOf("/") != 0) {
this.baseDir = "/" + this.baseDir;
}
if (this.baseDir.lastIndexOf("/") == this.baseDir.length() - 1) {
this.baseDir = this.baseDir.replaceFirst("/$", "");
}
if (path.indexOf("/") != 0) {
path = "/" + path;
}
path = this.baseDir + path;
if (path.lastIndexOf("/") == path.length() - 1) {
path = path.replaceFirst("/$", "");
}
if (path.isEmpty()) {
path = "/";
}
return path;
} public void ll(String folder) throws IOException {
folder = this.standardPath(folder);
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
FileStatus[] list = fs.listStatus(path);
System.out.println("ll: " + folder);
for (FileStatus f : list) {
System.out.printf("name: %s, folder: %s, size: %d\n", f.getPath(),
f.isDirectory(), f.getLen());
}
fs.close();
} public void mkdirs(String folder) throws IOException {
folder = this.standardPath(folder);
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
if (!fs.exists(path)) {
fs.mkdirs(path);
logger.info("create: {}.", folder);
} else {
logger.warn("folder [{}] already exists, mkdirs failed.", folder);
}
fs.close();
} public void rm(String file) throws IOException {
file = this.standardPath(file);
Path path = new Path(file);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
fs.deleteOnExit(path);
logger.info("delete: {}.", file);
fs.close();
} public void newFile(String file, String content) throws IOException {
file = this.standardPath(file);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
byte[] buff = content.getBytes();
FSDataOutputStream os = null;
try {
os = fs.create(new Path(file));
os.write(buff, 0, buff.length);
logger.info("create: {}.", file);
} finally {
if (os != null) {
os.close();
}
}
fs.close();
} public void scp(String local, String remote) throws IOException {
remote = this.standardPath(remote);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
fs.copyFromLocalFile(new Path(local), new Path(remote));
logger.info("copy: from [{}] to [{}]", local, remote);
fs.close();
} public void download(String remote, String local) throws IOException {
remote = this.standardPath(remote);
Path path = new Path(remote);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
fs.copyToLocalFile(path, new Path(local));
logger.info("download: from [{}] to [{}]", remote, local);
fs.close();
} public void cat(String remote) throws IOException {
remote = this.standardPath(remote);
Path path = new Path(remote);
FileSystem fs = FileSystem.get(URI.create(this.getHdfsPath()),
this.getConfig());
FSDataInputStream fsdis = null;
System.out.println("cat: " + remote);
try {
fsdis = fs.open(path);
IOUtils.copyBytes(fsdis, System.out, 4096, false);
} finally {
IOUtils.closeStream(fsdis);
fs.close();
}
} public static void main(String[] args) throws IOException {
DfsUtil hdfs = new DfsUtil();
// hdfs.setBaseDir("/test");
// hdfs.mkdirs("/debug_in");
// hdfs.newFile("/test.txt", "测试");
// hdfs.rm("/test.txt");
// hdfs.rm("/test");
// hdfs.scp("c:/q.txt", "/");
hdfs.ll("/");
// hdfs.download("/test.txt", "c:/t.txt");
// hdfs.cat("q.txt");
// hdfs.scp("c:/din/f1.txt", "debug_in");
// hdfs.scp("c:/din/f2.txt", "debug_in");
}
}
hadoop的dfs工具类一个【原创】的更多相关文章
- 基于AFNetworking封装的网络请求工具类【原创】
今天给大家共享一个我自己封装的网络请求类,希望能帮助到大家. 前提,导入AFNetworking框架, 关于修改AFN源码:通常序列化时做对text/plan等的支持时,可以一劳永逸的修改源代码,在a ...
- Log 日志工具类 保存到文件 MD
Markdown版本笔记 我的GitHub首页 我的博客 我的微信 我的邮箱 MyAndroidBlogs baiqiantao baiqiantao bqt20094 baiqiantao@sina ...
- UIViewAdditions(一个非常方便的工具类用它)
我们在project在,改变或多或少控件的坐标-宽度-高度,然后,经常看到你的self.view.frame.origin.x,self.view.frame.size.width.........相 ...
- Android 分享一个SharedPreferences的工具类,方便保存数据
我们平常保存一些数据,都会用到SharedPreferences,他是保存在手机里面的,具体路径是data/data/你的包名/shared_prefs/保存的文件名.xml, SharedPrefe ...
- JDBC的增删改写成一个方法,调用一个工具类
package com.hx.jdbc.connection; import java.sql.Connection; import java.sql.Statement; import com.my ...
- [分享]一个String工具类,也许你的项目中会用得到
每次做项目都会遇到字符串的处理,每次都会去写一个StringUtil,完成一些功能. 但其实每次要的功能都差不多: 1.判断类(包括NULL和空串.是否是空白字符串等) 2.默认值 3.去空白(tri ...
- java中使用反射做一个工具类,来为指定类中的成员变量进行赋值操作,使用与多个类对象的成员变量的赋值。
//------------------------------------------------我是代码的分割线 // 首选是一个工具类,在该工具类里面,定义了一个方法,public void s ...
- 封装一个简单好用的打印Log的工具类And快速开发系列 10个常用工具类
快速开发系列 10个常用工具类 http://blog.csdn.net/lmj623565791/article/details/38965311 ------------------------- ...
- 自己用反射写的一个request.getParameter工具类
适用范围:当我们在jsp页面需要接收很多值的时候,如果用request.getParameter(属性名)一个一个写的话那就太麻烦了,于是我想是 否能用反射写个工具类来简化这样的代码,经过1个小时的代 ...
随机推荐
- Unity3D DF根据名称获取多个子控件代码
dfPanel control = gameObject.GetComponent<dfPanel>(); dfLabel avatarName = control.Find<dfL ...
- MyEclipse 8.5 优化实例
在用[MyEclipse] 写代码很容易卡死机,尤其是在对JSP文件的<%%>之间写代码的时候,只要一弹出智能提示就立刻卡死,程序失去响应,我以为是MyEclipse版本的问题,结果换了6 ...
- C语言 栈 链式结构 实现
一个C语言链式结构实现的栈 mStack (GCC编译). /** * @brief C语言实现的链式结构类型的栈 * @author wid * @date 2013-10-30 * * @note ...
- kali Linux系列教程之BeFF安装与集成Metasploit
kali Linux系列教程之BeFF安装与集成Metasploit 文/玄魂 kali Linux系列教程之BeFF安装与集成Metasploit 1.1 apt-get安装方式 1.2 启动 1. ...
- mongodb(一) NoSQL简介
NoSQL简介 写在前面,本文就是学习的记录笔记,大部分内容都属于参考,分享给大家 关系与非关系数据库 那么应该了解下影响关系数据库性能的主要原因: 在关系型数据库中,导致性能欠佳的最主 ...
- Oracle 查询用户和删除用户
------------------------------- 一.查询用户命令: select username from dba_users; 示例: 二.删除用户命名: drop user 用户 ...
- 使用SVG生成的奔跑吧兄弟的动画效果
在线演示 本地下载 缩放一下在线演示效果窗口,看看不同大小下的动画是不是都显示的非常完美? 体验一下SVG的强大之处吧!
- C语言实现二叉树-03版
我们亲爱的项目经理真是有创意,他说你给我写得二叉树挺好的: 功能还算可以:插入节点,能够删除节点: 可是有时候我们只是需要查找树的某个节点是否存在: 所以我希望你能够给我一个find功能: 还有就是, ...
- atitit. orm mapping cfg 映射配置(3)-------hbnt one2maney cfg
atitit. orm mapping cfg 映射配置(3)-------hbnt one2maney cfg 1. 建立list 1 2. 配置xml 1 3. Hibernate中Set和L ...
- 更改Linux默认栈空间的大小
有时候在Linux写C++程序处理大量的数据,程序内部需要分配很大的数组来存放一些数据,但有时候分配的数组太大的话运行时会出现段错误.这种情况可能是分配的数组大小超过了Linux系统的默认栈空间的大小 ...