hadoop 学习(四)之java操作hdfs
1、导入hadoop jar包
将hadoop/share/common/目录、hadoop/share/common/lib/目录、hadoop/hdfs/目录、下的jar包加入eclipse。
2、开始编码调用
static FileSystem fs=null;
public static void main(String[] args) throws Exception {
// TODO Auto-generated method stub
init();
testUpload();
} public static void init() throws Exception{
fs=FileSystem.get(new URI("hdfs://192.168.1.7:9000"), new Configuration(),"hadoop"); } /**
* 将本地文件复制到hdfs文件系统里面
* @throws Exception
* @throws IOException
*/ public static void testUpload() throws Exception, IOException{
OutputStream remote= fs.create(new Path("/uploadjdk"));
FileInputStream local=new FileInputStream("c://jdk.rar");
IOUtils.copyBytes(local, remote,,true);
} /**
* 从hdfs文件系统里面下载文件
* @throws Exception
* @throws IOException
*/ public void testDownload() throws Exception, IOException{
InputStream in= fs.open(new Path("/eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz"));
OutputStream output=new FileOutputStream("c://jdk2.rar");
IOUtils.copyBytes(in, output,,true);
}
testUpload 方法是将本地“c://jdk.rar”文件上传到hdfs系统根目录中并命名为uploadjdk.
testDownload 方法是将hdfs系统中的根目录下的“eclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz”下载到本址c盘,并命名为“jdk2.rar”
值得注意的是:hdfs://192.168.1.7:9000"地址是第二篇文章“ubuntu hadoop 2.7.0 伪分部安装”中 /usr/local/hadoop/etc/hadoop/core-site.xml 文件中配置的地址。如果配置的为
"hdfs://localhost:9000" 需要将其更改为实际机器IP才可以正常访问。
hadoop 学习(四)之java操作hdfs的更多相关文章
- hadoop学习(三)HDFS常用命令以及java操作HDFS
一.HDFS的常用命令 1.查看根目录下的信息:./hadoop dfs -ls 2.查看根目录下的in目录中的内容:./hadoop dfs -ls in或者./hadoop dfs -ls ./i ...
- hadoop集群配置和在windows系统上运用java操作hdfs
安装 配置 概念 hadoop常用shell命令 使用java操作hadoop 本文介绍hadoop集群配置和在windows系统上运用java操作hdfs 安装 http://mirror.bit. ...
- Hadoop基础-通过IO流操作HDFS
Hadoop基础-通过IO流操作HDFS 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.上传文件 /* @author :yinzhengjie Blog:http://www ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- java操作hdfs实例
环境:window7+eclipse+vmware虚拟机+搭建好的hadoop环境(master.slave01.slave02) 内容:主要是在windows环境下,利用eclipse如何来操作hd ...
- hadoop学习;大数据集在HDFS中存为单个文件;安装linux下eclipse出错解决;查看.class文件插件
sudo apt-get install eclipse 安装后打开eclipse,提示出错 An error has occurred. See the log file /home/pengeor ...
- 使用java操作HDFS
新建Java Project; 1,右击项目,属性,Java Build Path,Libraries,Add External JARs(haddopp根目录下的所以jar): 2,做一下项目关联, ...
- Hadoop学习笔记——入门指令操作
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop. 启动与关闭启动HADOOP1. 进入HADOOP_HOME目录. 2. 执行sh bin/start-all. ...
- java操作hdfs到数据库或者缓存
使用hadoop工具将数据分析出来以后,须要做入库处理或者存到缓存中.不然就没了意义 一下是使用javaAPI操作hdfs存入缓存的代码: <span style="font-fami ...
随机推荐
- zabbix监控vCenter报错,无法自动发现主机
公司机房停电检修,检修完成后重新上电,发现VCSA起不来了,尝试多次无法解决,无奈只好重装.重装VCSA 6.5U2之后又发现无法自动发现主机,报错如下: 'config.vpxd.stats.max ...
- 机器学习入门-混淆矩阵-准确度-召回率-F1score 1.itertools.product 2. confusion_matrix(test_y, pred_y)
1. itertools.product 进行数据的多种组合 intertools.product(range(0, 1), range(0, 1)) 组合的情况[0, 0], [0, 1], [ ...
- Linux&Unix命令
Linux下: 系统操作 文件操作 防火墙 权限管理 压缩和解压 安装应用 用户管理 端口 PID 应用 start & shutdown 远程操作 异常 注意点: linux系统下内容大多用 ...
- ABAP-Keyword Documentation
转载:https://help.sap.com/doc/abapdocu_750_index_htm/7.50/en-US/abenabap.htm ABAP - 关键字文档 本文档描述了ABAP语言 ...
- jsp+Servlet+JavaBean+JDBC+MySQL项目增删改查
1简单的Mvc,分层建包. java resources src/mian/java (1)dao 包 JDBC连接类,连接数据库.增删改查方法,其他的方法. (2)model包 实体类,数据库字段, ...
- ArcMap导入图层出现General function failure问题
问题描述: 使用ArcMap的FeatureClassToFeatureClass命令导入图层,出现如下图的错误提示: 解决方法: 参考http://forums.esri.com/thread.as ...
- 如何打开Windows Server 2008 R2的域安全策略
今天安装了Windows Server 2008 R2系统,并且建了域环境,在添加新用户的时候,发现用简单的密码时域安全策略提示密码复杂度不够,于是我就想在域安全策略里面把密码复杂度降低一点,但是很快 ...
- spring AOP 注解配置
applicationContext-resource.xml: <?xml version="1.0" encoding="UTF-8"?>< ...
- canvas 移动光速特效-
http://pan.baidu.com/s/1cHtABO 密码:istl
- zookeeper集群搭建 windows
本次zk测试部署版本为3.4.6版本,下载地址http://mirrors.cnnic.cn/apache/zookeeper/ 限于服务器个数有限本次测试了两种情况 1.单节点方式:部署在一台服务器 ...