1.HDFS的put上传文件操作的java代码：

 package Hdfs;

 import java.io.FileInputStream;

 import java.io.FileNotFoundException;

 import java.io.IOException;

 import java.net.URI;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.FSDataOutputStream;

 import org.apache.hadoop.fs.FileStatus;

 import org.apache.hadoop.fs.FileSystem;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IOUtils;

 public class FileSystemTest {

     public static void main(String[] args) throws Exception {

         //注：hadoop用户是具有集群文件系统权限的用户。

         System.setProperty("HADOOP_USER_NAME","root");

         System.setProperty("HADOOP_USER_PASSWORD","neusoft");

         FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://neusoft-master:9000"), new Configuration());

         //ls(fileSystem);  //提取的方法

         put(fileSystem);   //上传的方法

     }

     private static void put(FileSystem fileSystem) throws IOException,

             FileNotFoundException {

         //put创建上传图片C:\Users\SimonsZhao\Desktop\234967-13112015163685.jpg

         FSDataOutputStream out = fileSystem.create(new Path("/234967-13112015163685.jpg"));

         //两个流嵌套

         IOUtils.copyBytes(new FileInputStream("C:\\Users\\SimonsZhao\\Desktop\\234967-13112015163685.jpg"),

                 out, 1024, true);

     }

     private static void ls(FileSystem fileSystem) throws Exception {

         //ls命令的操作

         FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));

         for (FileStatus fileStatus : listStatus) {

             System.out.println(fileStatus);

         }

     }

 }

java客户端操作Hdfs

Linux服务器端验证：

问题总结：

( 1).权限问题：

 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

 log4j:WARN Please initialize the log4j system properly.

 log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

 Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=SimonsZhao, access=WRITE, inode="/234967-13112015163685.jpg":root:supergroup:-rw-r--r--

     at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:257)

     at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:238)

     at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:151)

     at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6609)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6591)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPathAccess(FSNamesystem.java:6516)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2751)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2675)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2560)

     at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:593)

     at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.create(AuthorizationProviderProxyClientProtocol.java:111)

     at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:393)

     at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

     at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)

     at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1060)

     at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)

     at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)

     at java.security.AccessController.doPrivileged(Native Method)

     at javax.security.auth.Subject.doAs(Subject.java:415)

     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1707)

     at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

     at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

     at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

     at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

     at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

     at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)

     at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)

     at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1730)

     at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1668)

     at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1593)

     at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:397)

     at org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:393)

     at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

     at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:393)

     at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:337)

     at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)

     at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:889)

     at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:786)

     at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:775)

     at Hdfs.FileSystemTest.main(FileSystemTest.java:23)

 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=SimonsZhao, access=WRITE, inode="/234967-13112015163685.jpg":root:supergroup:-rw-r--r--

     at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:257)

     at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:238)

     at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:151)

     at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:138)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6609)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPermission(FSNamesystem.java:6591)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkPathAccess(FSNamesystem.java:6516)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2751)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2675)

     at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2560)

     at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:593)

     at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.create(AuthorizationProviderProxyClientProtocol.java:111)

     at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:393)

     at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

     at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617)

     at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1060)

     at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086)

     at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082)

     at java.security.AccessController.doPrivileged(Native Method)

     at javax.security.auth.Subject.doAs(Subject.java:415)

     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1707)

     at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

     at org.apache.hadoop.ipc.Client.call(Client.java:1468)

     at org.apache.hadoop.ipc.Client.call(Client.java:1399)

     at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)

     at com.sun.proxy.$Proxy9.create(Unknown Source)

     at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:295)

     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

     at java.lang.reflect.Method.invoke(Method.java:606)

     at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)

     at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)

     at com.sun.proxy.$Proxy10.create(Unknown Source)

     at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1725)

     ... 12 more

HDFS上传文件所报的异常信息

原因：在windows环境下提交任务是用的本机的admin用户，此处是SimonsZhao我个人账户，并不具有集群文件系统的操作权限。

解决办法：

//注：root用户是具有集群文件系统权限的用户。虚拟机操作系统的用户名为root，密码为xxx
System.setProperty("HADOOP_USER_NAME","root");
System.setProperty("HADOOP_USER_PASSWORD","xxx");

增加以上代码到main方法的首行即可。

(2).对上述问题可能需要修改两处配置文件(待验证)

      修改hadoop安装集群master的hadoop-1.2.0/conf/mapred-site.xml，增加：
　　　　<property>
　　　　<name>dfs.permissions</name>
　　　　<value>false</value>
　　　　</property>
      修改hdfs-site.xml文件里修改吧
　　　　<property>
     　　　　 <name>dfs.permissions</name>
      　　　　 <value>false</value>
　　　　</property>
　　hdfs fs -chmod 777 /tmp 
2.如果想上传到HDFS的文件和linux本地的相同的话，请使用-p命令，如下
-p  Preserves access and modification times, ownership and the mode.
保留访问和修改时间，所有权和模式。
 
      

　　[root@neusoft-master hadoop]# vi /usr/local/software/hello.txt
　　hello you
　　hello me

　　[root@neusoft-master hadoop]# hadoop dfs -put -p /usr/local/software/hello.txt /hello2
　　DEPRECATED: Use of this script to execute hdfs command is deprecated.
　　Instead use the hdfs command for it.

　　[root@neusoft-master hadoop]# hadoop dfs -ls /
　　DEPRECATED: Use of this script to execute hdfs command is deprecated.
　　Instead use the hdfs command for it.

　　Found 5 items
　　-rw-r--r-- 3 root supergroup 120064 2017-01-07 09:54 /234967-13112015163685.jpg
　　drwxr-xr-x - root supergroup 0 2017-01-06 22:18 /hbase
　　-rw-r--r-- 3 root root 20 2017-01-07 10:14 /hello2
　　drwxrwxrwx - root supergroup 0 2017-01-06 21:37 /tmp
　　drwxr-xr-x - root supergroup 0 2017-01-06 21:39 /user

　　　　上面的时间、用户都发生了改变，hello2的时间是当时上传的时间，这就是保留作用

　　[root@neusoft-master hadoop]# hadoop dfs -cat /hello2
　　DEPRECATED: Use of this script to execute hdfs command is deprecated.
　　Instead use the hdfs command for it.

　　17/01/07 10:19:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
　　hello you
　　hello me

3.java操作HDFS下载文件系统中的文件并输出在本地显示

 package Hdfs;

 import java.io.FileInputStream;

 import java.io.FileNotFoundException;

 import java.io.FileOutputStream;

 import java.io.IOException;

 import java.net.URI;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.FSDataInputStream;

 import org.apache.hadoop.fs.FSDataOutputStream;

 import org.apache.hadoop.fs.FileStatus;

 import org.apache.hadoop.fs.FileSystem;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IOUtils;

 public class FileSystemTest {

     public static void main(String[] args) throws Exception {

         //注：hadoop用户是具有集群文件系统权限的用户。

         System.setProperty("HADOOP_USER_NAME","root");

         System.setProperty("HADOOP_USER_PASSWORD","neusoft");

         FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://neusoft-master:9000"), new Configuration());

         //ls(fileSystem);  //提取的方法

         //put(fileSystem);   //上传的方法

         show(fileSystem); //显示之前上传的图片

     }

     private static void show(FileSystem fileSystem) throws IOException,

             FileNotFoundException {

         FSDataInputStream in = fileSystem.open(new Path("/234967-13112015163685.jpg"));

         IOUtils.copyBytes(in,

     new FileOutputStream("C:\\Users\\SimonsZhao\\Desktop\\___234967-13112015163685.jpg"),1024,true);

     }

     private static void put(FileSystem fileSystem) throws IOException,

             FileNotFoundException {

         //put创建上传图片C:\Users\SimonsZhao\Desktop\234967-13112015163685.jpg

         FSDataOutputStream out = fileSystem.create(new Path("/234967-13112015163685.jpg"));

         //两个流嵌套

         IOUtils.copyBytes(new FileInputStream("C:\\Users\\SimonsZhao\\Desktop\\234967-13112015163685.jpg"),

                 out, 1024, true);

     }

     private static void ls(FileSystem fileSystem) throws Exception {

         //ls命令的操作

         FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));

         for (FileStatus fileStatus : listStatus) {

             System.out.println(fileStatus);

         }

     }

 }

本地下载显示HDFS上面的图片

在桌面显示如下：

Eclipse中抽取代码:alt+shift+M抽取为函数

4.删除HDFS根目录下面的图片

 package Hdfs;

 import java.io.FileInputStream;

 import java.io.FileNotFoundException;

 import java.io.FileOutputStream;

 import java.io.IOException;

 import java.net.URI;

 import org.apache.hadoop.conf.Configuration;

 import org.apache.hadoop.fs.FSDataInputStream;

 import org.apache.hadoop.fs.FSDataOutputStream;

 import org.apache.hadoop.fs.FileStatus;

 import org.apache.hadoop.fs.FileSystem;

 import org.apache.hadoop.fs.Path;

 import org.apache.hadoop.io.IOUtils;

 public class FileSystemTest {

     public static void main(String[] args) throws Exception {

         //注：hadoop用户是具有集群文件系统权限的用户。

         System.setProperty("HADOOP_USER_NAME","root");

         System.setProperty("HADOOP_USER_PASSWORD","neusoft");

         FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://neusoft-master:9000"), new Configuration());

         //ls(fileSystem);  //提取的方法

         //put(fileSystem);   //上传的方法

         //show(fileSystem); //显示之前上传的图片

         //删除根目录下面的图片

         fileSystem.delete(new Path("/234967-13112015163685.jpg"),false);

     }

     private static void show(FileSystem fileSystem) throws IOException,

             FileNotFoundException {

         FSDataInputStream in = fileSystem.open(new Path("/234967-13112015163685.jpg"));

         IOUtils.copyBytes(in,

     new FileOutputStream("C:\\Users\\SimonsZhao\\Desktop\\___234967-13112015163685.jpg"),1024,true);

     }

     private static void put(FileSystem fileSystem) throws IOException,

             FileNotFoundException {

         //put创建上传图片C:\Users\SimonsZhao\Desktop\234967-13112015163685.jpg

         FSDataOutputStream out = fileSystem.create(new Path("/234967-13112015163685.jpg"));

         //两个流嵌套

         IOUtils.copyBytes(new FileInputStream("C:\\Users\\SimonsZhao\\Desktop\\234967-13112015163685.jpg"),

                 out, 1024, true);

     }

     private static void ls(FileSystem fileSystem) throws Exception {

         //ls命令的操作

         FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));

         for (FileStatus fileStatus : listStatus) {

             System.out.println(fileStatus);

         }

     }

 }

删除根目录下的图片

HDFS的Java客户端操作代码(HDFS的查看、创建)的更多相关文章

  1. HDFS的Java客户端操作代码(HDFS删除文件或目录)

    1.HDFS删除文件或目录 package Hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoo ...

  2. HDFS的java客户端操作代码(Windows上面打jar包，提交至linux运行)

    1.通过java.net.URL实现屏幕显示demo1文件的内容 package Hdfs; import java.io.InputStream; import java.net.URL; impo ...

  3. HDFS的Java客户端操作代码(查看HDFS下所有的文件存储位置信息)

    1.查看HDFS下所有的文件存储位置信息 package Hdfs; import java.net.URI; import org.apache.hadoop.conf.Configuration; ...

  4. HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)

    1.查看HDFS下所有的文件或目录 package Hdfs; import java.io.IOException; import java.net.URI; import org.apache.h ...

  5. HDFS的Java客户端操作代码(查看HDFS下的文件是否存在)

    1.查看HDFS目录下得文件是否存在 package Hdfs; import java.io.IOException; import java.net.URI; import org.apache. ...

  6. day03-hdfs的客户端操作\hdfs的java客户端编程

    5.hdfs的客户端操作 客户端的理解 hdfs的客户端有多种形式: 1.网页形式 2.命令行形式 3.客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网 文件的切块大小和存储的副 ...

  7. HDFS的Java客户端编写

    总结: 之前在教材上看hdfs的Java客户端编写,只有关键代码,呵呵…….闲话不说,上正文. 1. Hadoop 的Java客户端编写建议在linux系统上开发 2. 可以使用eclipse,ide ...

  8. 一次失败的尝试hdfs的java客户端编写（在linux下使用eclipse）

    一次失败的尝试hdfs的java客户端编写(在linux下使用eclipse) 给centOS安装图形界面 GNOME桌面环境 https://blog.csdn.net/wh211212/artic ...

  9. 2 weekend110的HDFS的JAVA客户端编写 + filesystem设计思想总结

    HDFS的JAVA客户端编写  现在,我们来玩玩,在linux系统里,玩eclipse 或者, 即,更改图标,成功 这个,别慌.重新换个版本就好,有错误出错是好事. http://www.eclips ...

随机推荐

  1. [扫描线]POJ2932 Coneology

    题意:有n个圆 依次给了半径和圆心坐标  保证输入的圆不相交(只有 相离 和 内含/外含 的情况)   问 有几个圆 不内含在其他圆中,并分别列出这几个圆的编号(1~n) (n的范围是[1, 4000 ...

  2. 你不知道的pogo pin连接器

    pogo pin连接器是一种带弹簧的探针式连接器,pogo pin连接器结构看起来非常简单,但其制造工艺要求极其的精细与复杂,从车床加工,电镀,组装等每道工序,如果没有一个有良好品质控制和完善的制造水 ...

  3. win7下VS.NET中通过LinqToSQL连接oracle数据库

    .NetFramework3.5提供了LinqToSQL组件,为我们访问数据库提供了方便.我用的是VS+Oracle开发工具.也想体验一下快捷方便的感觉. 1.连接Oracle数据库 在连接Oracl ...

  4. 对C#中的web访问mysql数据库的一些知识点进行了整理归纳总结

    基本对比 使用方式 使用场合 优缺点 是否需要安装 需要的dll网址 引用方式 程序内引用 程序初期确定使用MySql,前期添加引用 大多数情况下使用在类文件内,多数使用于aspx,ashx等带有后置 ...

  5. VMware下ubuntu与win8共享文件时/mnt/hgfs目录为空的解决办法

    VMware下ubuntu(guest)与win8共享文件时/mnt/hgfs目录为空的解决办法 环境:VMware-player-5.0.2-1031769 + ubuntu13.04 1.安装vm ...

  6. JavaScript DOM高级程序设计1.2-循序最佳实践--我要坚持到底！

    我这人,最大的毛病就是浮躁. 下面开始我再一次的学习之旅,希望我能坚持到最后.记笔记除了分享以外,更重要的是让自己看见自己学习之路. 先把ADS库贴出来http://vdisk.weibo.com/s ...

  7. python 中@property的使用

    从14年下半年开始接触到python,自学了一段时间,后又跟别人学习了下,把基础知识基本上学过了.忽然感觉python不可能这么简单吧,就这么点东西?后来看了下书,发现还有很多的高级部分.连续看了两天 ...

  8. Windows下Vim设置

    进入安装目录,找到_vimrc文件,用文本编辑器打开,在前面加入下述内容 设置中文支持 " 设置编码自动识别, 中文引号显示 " set fileencodings=utf-8,c ...

  9. 2013 ACM/ICPC Asia Regional Changsha Online - G（DP）

    第一眼就想到DP,然后想了N久就想不到可以不重算的DP  最后没办法了 先算出来 再去重.. 因为最多只有三个 对于三个来说有三种组合情况 x+y+z, x*y*z, x*y+z 那要么 x,y,z都 ...

  10. poj2482Stars in Your Window(线段树+离散化+扫描线）

    http://poj.org/problem?id=2482 类似于上一篇 这题转化的比较巧妙 将一个点转化为一个矩形(x,y, x+w,y+h),扫描线入值为正 出值为负 也就是一根线过去 每进入一 ...