搭建hadoop java开发环境
package hadoopDemo; import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator; public class Aa { public static void main(String[] args) throws Exception{
Aa a=new Aa(); }
public void upload(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
//拿到一个文件系统与客户端一个实例
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),
new Configuration(),"root");
filesys.copyFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void download(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
FileSystem fileSystem = FileSystem.get(new URI("hdfs://linux1:9000"), new Configuration(), "root");
fileSystem.copyToLocalFile(new Path(src), new Path(dst));
fileSystem.close();
} public void getAllFile() throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
RemoteIterator<LocatedFileStatus> listFiles=filesys.listFiles(new Path("/"), true); while(listFiles.hasNext()){
LocatedFileStatus next2=listFiles.next();
String name=next2.getPath().getName();
System.out.println(next2.getPath()+" "+name); }
} public void mkdir(String dir) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.mkdirs(new Path(dir));
filesys.close();
}
public void mv(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
// cfg.set("fs.defaultFs", "hdfs://linux1:9000");
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.moveFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void delete(String path) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.delete(new Path(path), true);
filesys.close();
}
}
1.解压hadoop-2.6.4.tar.gz
将此bin文件夹与hadoop-2.6.4文件夹中的bin文件夹合并
将此bin文件夹中的hadoop.dll文件拷贝到C:\Windows\System32目录中
配置windows环境变量
控制面板——>系统——>更改设置——>高级——>环境变量
新建变量:HADOOP_HOME,路径:解压文件夹位置
Path后添加:;%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin
测试生效:
cmd输入hadoop
保险起见可以重启电脑
2.创建user library
3.添加jar包
添加完jar包以后进行简单测试:
package hadoopDemo; import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator; public class Aa { public static void main(String[] args) throws Exception{
Aa a=new Aa();
a.mv("e:/c.txt", "/aaa"); a.getAllFile();
a.delete("/aaa");
a.delete("/b.txt");
}
public void upload(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
//拿到一个文件系统与客户端一个实例
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),
new Configuration(),"root");
filesys.copyFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void download(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
FileSystem fileSystem = FileSystem.get(new URI("hdfs://linux1:9000"), new Configuration(), "root");
fileSystem.copyToLocalFile(new Path(src), new Path(dst));
fileSystem.close();
} public void getAllFile() throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
RemoteIterator<LocatedFileStatus> listFiles=filesys.listFiles(new Path("/"), true); while(listFiles.hasNext()){
LocatedFileStatus next2=listFiles.next();
String name=next2.getPath().getName();
System.out.println(next2.getPath()+" "+name); }
} public void mkdir(String dir) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.mkdirs(new Path(dir));
filesys.close();
}
public void mv(String src,String dst) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
// cfg.set("fs.defaultFs", "hdfs://linux1:9000");
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.moveFromLocalFile(new Path(src), new Path(dst));
filesys.close();
}
public void delete(String path) throws IOException, InterruptedException, URISyntaxException{
Configuration cfg=new Configuration();
FileSystem filesys=FileSystem.get(new URI("hdfs://linux1:9000"),cfg,"root");
filesys.delete(new Path(path), true);
filesys.close();
}
}
搭建hadoop java开发环境的更多相关文章
- 搭建一个java开发环境的步骤
首先思考java开发环境需要些什么? 1.适用于我们开发环境的jdk 2.对应开发环境的IDE 3.如果是web应用,还需要web服务器,常用的有Tomcat 1) 下载对应组件 2) 安装 jdk安 ...
- 2,搭建一个java开发环境
(1)java开发需要的条件? 1)适用于环境开发的jdk(里面包括了jre和加热里面包括了jvm) 2)对应开发环境的eclipse 3)如果涉及到web开发,还需要web服务器(Tomcat) ( ...
- 电脑小白和ta的小白电脑——JAVA开发环境
JAVA开发环境的搭建有一点点复杂,不过一步一步来一般不会出错. (一)下载JDK 首先我们需要下载java开发工具包JDK,可以通过官网下载:http://www.oracle.com/techne ...
- spark JAVA 开发环境搭建及远程调试
spark JAVA 开发环境搭建及远程调试 以后要在项目中使用Spark 用户昵称文本做一下聚类分析,找出一些违规的昵称信息.以前折腾过Hadoop,于是看了下Spark官网的文档以及 github ...
- 初识Java以及JAVA开发环境搭建
目录 JAVA帝国的诞生 C&C++ JAVA JAVA特性和优势 JAVA三大版本 JDK.JRE.JVE JAVA开发环境搭建 JDK下载与安装.卸载 安装JDK 卸载JDK JDK目录介 ...
- java 基础(四)搭建vim作为java开发环境
分享在Ubuntu 14.04在Vim上配置Java开发环境的过程步骤,希望对大家有所帮助. A 首先下载javacomplete.zip 到Linux公社资源站下载: --------------- ...
- Java开发环境的搭建以及使用eclipse从头一步步创建java项目
一.java 开发环境的搭建 这里主要说的是在windows 环境下怎么配置环境. 1.首先安装JDK java的sdk简称JDK ,去其官方网站下载最近的JDK即可..http://www.orac ...
- 搭建java开发环境、使用eclipse编写第一个java程序
搭建java开发环境.使用eclipse编写第一个java程序 一.Java 开发环境的搭建 1.首先安装java SDK(简称JDK). 点击可执行文件 jdk-6u24-windows-i586. ...
- Mac系统搭建java开发环境
今天尝试在mac下搭建java开发环境 包括 JDK,Tomcat , eclipse ,mysql ,mysqlGUI
随机推荐
- reMarkable安装教程
PS :每次都下一遍安装包挺无奈的...... 系统版本 :Ubuntu 16.04 安装包 :remarkable_1.87_all.deb 链接 Here!-> reMarkable 安装步 ...
- [tyvj-2054][Nescafé29]四叶草魔杖 费用流
lyd讲的最小生成树的题. 道理我都懂,费用流多好写,又好调.但和一般费用流不一样的就是它走过一次后费用需调成0,但是再等回流,就恢复原状即可. #include <queue> #inc ...
- Swoole 同步模式与协程模式的对比
在现代化 PHP 高级开发中,Swoole 为 PHP 带来了更多可能,如:常驻内存.协程,关于传统的 Apache/FPM 模式与常驻内存模式(同步)的巨大差异,之前我做过测试,大家能直观的感受到性 ...
- PHP面向对象(一)
1 面向对象介绍 1.1 介绍 面向对象是一个编思想. 编程思想有面向过程和面向对象. 面向过程: 编程思路集中的是过程上 面向对象: 编程思路集中在参与的对象 1.2 好处 多人合作方便 ...
- properties 乱码问题
File --> Others Settings --> Default Settings
- nyoj 42判断欧拉路径模板题
#include<stdio.h> #include<string.h> #define N 2100 int degree[N]; int pre[N];//很长时间没写欧拉 ...
- poj1699--Best Sequence(dfs+剪枝)
题目链接:点击打开链接 题目大意:给出n个字符串.要求组合后的串最短 #include <cstdio> #include <cstring> #include <alg ...
- Chisel Tutorial(一)——Chisel介绍
Chisel是由伯克利大学公布的一种开源硬件构建语言,建立在Scala语言之上,是Scala特定领域语言的一个应用,具有高度參数化的生成器(highly parameterized generator ...
- linux网络启动报错
报错信息: shutting down interface eth0: error:device "eth0" (/org/freedsktop/networkMaager/Dev ...
- hdu5592/BestCoder Round #65 树状数组寻找第K大
ZYB's Premutation Memory Limit: 131072/131072 K (Java/Others) 问题描述 ZYBZYB有一个排列PP,但他只记得PP中每个前缀区间的逆 ...