Hadoop学习记录（3）|HDFS API 操作|RPC调用

HDFS的API操作

URL方式访问

package hdfs;

import java.io.IOException;

import java.io.InputStream;

import java.net.MalformedURLException;

import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

import org.apache.hadoop.io.IOUtils;

public class App1 {

/**

* @param args

static final String PATH = "hdfs://h1:9000/hello";

public static void main(String[] args) throws IOException {

* hadoop fs -ls hdfs://h1:9000/

* 类似于http://xxx:8080/

* 定义路径字符串

* 设置URL支持hadoop

* 创建URL对象传入path

* 获取输入流

* 输出到控制台

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

URL url = new URL(PATH);

InputStream in = url.openStream();

/**

* @param in 表示输入流

* @param out 表示输出流

* @param buffsize 表示缓冲大小

* @param close 表示在传输结束后是否关闭流

IOUtils.copyBytes(in, System.out, 1024, true);

}

HDFS的FileSystemm 访问方式

获取FileSystem对象

FileSystem fileSystem = FileSystem.get(new URI(“hdfs://h1:9000/”), new Configuration());

写文件create

FSDataOutputStream out = fileSystem.create(new Path(“/version.sh”)); 保存到根目录名称为version.sh
FileInputStream in = new FileInputStream(“c:\1.sh”); 指定要上传的文件
IOUtils.copyBytes(in,out,1024,true); 这里的IOUtils是hadoop提供的

读取文件 open

FSDataInputStream in = fileSystem.open(new Path(“/version.sh”); 获得文件系统读取的输入流
IOUtils.copyBytes(in,System.out,1024,true); 使用IOUtils输出在控制台，并自动关闭流

删除文件或目录 delete

fileSystem.delete(new Path(“/version.sh”),true); 删除后自动关闭流

创建目录 mkdirs

fileSystem.mkdirs(new Path(“/h1”);

列出目录的内容和元数据信息 listStatus和getFileStatus

FileStatus[] listStatus = fileSystem.listStatus(new Path(“/”); 获取指定目录的列表数组
for(FileStatus fileStatus : listStatus){ 遍历元数据信息
String isDir = fileStatus.isDir()?”文件夹”:”文件”; 检查是文件还是文件夹
String permission = fileStatus.getPermission().toString(); 获取权限
short replication = fileStatus.getReplication(); 获取副本数
long len = fileStatus.getLen(); 获取文件大小，单位byte
Path path = fileStatus.getPath(); 获取目录信息
System.out.println(isDir+”\t”+permission+”\t”+replication+”\t”+len+”\t”+path); 打印数据信息
}

RPC调用

RPC概念

1、RPC（remote procedure call）远程过程调用
远程过程指的不是一个进程。
2、RPC执行有两个过程。一个是调用方法（client），一个是被调用方法（server）。
3、client主动发起请求，调用指定server中的方法。把调用结果返回给client。
4、RPC是hadoop构建的基础。
5、客户端调用服务端的方法，意味着调用服务端的对象中的方法。
6、如果服务端的对象允许客户端调用，那么这个对象必须实现接口。
7、如果客户端能够调用到服务端对象的方法，那么这些方法一定位于对象的接口。

RPC实例

定义接口
package rpc;
import org.apache.hadoop.ipc.VersionedProtocol; //必须继承
public interface MyBizable extends VersionedProtocol {
long VERSION = 12345L;
public String hello(String name);
}
实现类
package rpc;
import java.io.IOException;
public class MyBiz implements MyBizable {

/ (non-Javadoc)

* @see rpc.MyBizable#hello(java.lang.String)

public String hello(String name){

return "hello "+name;

}

@Override

public long getProtocolVersion(String arg0, long arg1) throws IOException {

return VERSION;

}

配置服务端

package rpc;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.ipc.RPC;

import org.apache.hadoop.ipc.RPC.Server;

public class MyServer {

/**

* @param args

static final String ADDRESS = "localhost";

static final int PORT = 12345;

public static void main(String[] args) throws IOException {

/**

* 构造一个RPC的服务端

* @param instance 这个示例中的方法会被调用

* @param bindAddress 绑定的地址是用于监听连接的

* @param port 板顶的端口是用于监听连接的

* @param conf 加载配置，new Configuration()

Server server = RPC.getServer(new MyBiz(), ADDRESS, PORT, new Configuration());

server.start(); //启动服务器

}

使用客户端调用

package rpc;

import java.io.IOException;

import java.net.InetSocketAddress;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.ipc.RPC;

import org.apache.hadoop.ipc.VersionedProtocol;

public class MyClient {

/**

* @param args

* @throws IOException

public static void main(String[] args) throws IOException {

/**

* 构造一个客户端代理对象，该代理对象实现了命名的协议。这个代理对象会与制定的服务器通话

MyBizable myBizable = (MyBizable) RPC.waitForProxy(MyBizable.class,

MyBizable.VERSION, new InetSocketAddress(MyServer.ADDRESS,

MyServer.PORT), new Configuration());

String hello = myBizable.hello("world!"); //远程调用方法

System.out.println("客户端结果："+hello);

RPC.stopProxy(myBizable);

}