Hadoop学习笔记（三）：java操作Hadoop

1. 启动hadoop服务。

2. hadoop默认将数据存储带/tmp目录下，如下图：

由于/tmp是linux的临时目录，linux会不定时的对该目录进行清除，因此hadoop可能就会出现意外情况。下面对这个配置进行修改。修改core-site.xml文件vim /usr/local/hadoop/etc/hadoop/core-site.xml将这个值修改到/var/hadoop目录下

3. 修改完毕后，重启hadoop服务（stop-dfs.sh、start-dfs.sh），然后重新格式化namenode

hdfs namenode -format

4. 使用java来操作hdfs

5. 新建java项目，导入如下几个包：

a). hadoop安装目录下share/hadoop/common下的common包

b). hadoop安装目录下share/hadoop/common/lib下的所有包

c). hadoop安装目录下share/hadoop/hdfs下的hdfs包

6. 新建java类HelloHDFS.java，测试java程序读取hadoop当中存储的文件。现在我的hadoop集群根目录当中有一个Hello.java文件，下面用java程序来读取它。

 import java.io.InputStream;
 import java.net.URL;
 import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
 import org.apache.hadoop.io.IOUtils;

 public class HelloHDFS {
     public static void main(String[] args) throws Exception {
         // 设置URL流处理器工厂，即URL按照什么协议进行处理，默认的是HTTP协议的处理工厂
         URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
         URL url = new URL("hdfs://192.168.17.100:9000/Hello.java");
         InputStream is = url.openStream();
         IOUtils.copyBytes(is, System.out, 4096, true);
 　　　　 // 4096表示缓冲区的大小，true表示执行完毕后系统会自动关闭流
     }
 }

7. 运行上述程序，观察结果，发现已经读取到了hadoop当中存储文件。

8. 上述为方式一，下面介绍一种更好用的方式。

 // 方式二：
 Configuration conf = new Configuration();
 conf.set("fs.defaultFS", "hdfs://192.168.17.100:9000");
 FileSystem fs = FileSystem.get(conf);
 boolean success = fs.mkdirs(new Path("/skyer"));
 System.out.println(success);

上述代码为在hadoop根目录下创建一个skyer目录（如果原来就有该目录，会覆盖），并打印创建结果，结果为true。若出现下图错误：

在core-site.xml文件中将dfs.permissions.enabled配置为false，或者输入以下命令hadoop fs -chmod 777 /修改hadoop根目录的权限（危险，不推荐），还有一个方法是在windows机器上配置一个环境变量HADOOP-USER_NAME，还有一种方法是将

FileSystem fs = FileSystem.get(conf);

替换成

FileSystem fs = FileSystem.get(new URI("hdfs://192.168.17.100:9000"),conf,"root");

9. 其他操作hadoop的示例，直接看代码：

 public class HelloHDFS {
     public static void main(String[] args) throws Exception {
         // 方式二：
         Configuration conf = new Configuration();
         conf.set("fs.defaultFS", "hdfs://192.168.17.100:9000");
         FileSystem fs = FileSystem.get(conf);
         boolean success = fs.mkdirs(new Path("/skyer")); // 创建目录
         System.out.println(success);
         success = fs.exists(new Path("/skyer")); // 判断文件或者目录是否存在
         System.out.println(success);

         success = fs.delete(new Path("/skyer"), true);
         // 删除，第二个参数为true的话会真正的删除文件，为false的话是将该文件放到垃圾桶里
         System.out.println(success);

         // 上传文件到hadoop
         FSDataOutputStream out = fs.create(new Path("/upload.data"), true);
         FileInputStream fis = new FileInputStream("E://HelloHDFS.java");
         IOUtils.copyBytes(fis, out, 4096, true);

         // 列取目录下所有文件和目录的信息
         FileStatus[] statuses = fs.listStatus(new Path("/"));
         for (FileStatus status : statuses) {
             System.out.println(status.getPath());
             System.out.println(status.getPermission());
             System.out.println(status.getReplication());
         }
     }
 }

10. 在master机器上输入命令hadoop fs -text /upload.data进行查看示例中上传的文件，类似linux里的cat命令