HDFS的JAVA客户端编写 

现在,我们来玩玩,在linux系统里,玩eclipse

或者,

即,更改图标,成功

这个,别慌。重新换个版本就好,有错误出错是好事。

http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/luna/SR2/eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz

具体如何下载,我就省略了。直接继续

这个,肯定是与之前,有重复的,没关系,它会自行覆盖,

就是说,home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib

和,home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/lib

有重复的,没关系,它会自行覆盖。

到此,hdfslib下的相关依赖jar包加载完毕。

New是无法new的,只能get和set方法

本地,java里的那个fileoutputstream。

它不认识hdfs://

希望得到,这样的一个解析,file:///

玩windows下的eclipse去。

总结:其实,创建User Library,如hdfslib,mapreducelib,yarnlib。

如创建hdfslib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/lib/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建mapreducelib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/*

 /home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/lib/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建yarnlib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/lib/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建httpfslib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/httpfs/tomcat/lib*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建toolslib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/tools/lib*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

 

 

会有重复的,但是,没关系,自己会覆盖。

当然,这只是为了具体分析,在生产中,都是直接导入总包。

如创建hdfslib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/lib/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建mapreducelib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/*

 /home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/lib/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建yarnlib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/lib/*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建httpfslib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/httpfs/tomcat/lib*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

如创建toolslib,则需要

/home/hadoop/app/hadoop-2.4.1/share/hadoop/tools/lib*

/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

 

 

 

会有重复的,但是,没关系,自己会覆盖。

当然,这只是为了具体分析,在生产中,都是直接导入总包。

FileSystem是一个抽象类,New是无法new的,只能get和set方法

这里,有个非常实用的快捷键,

在C盘,新建qingshu.txt

出现错误是好事,

原来是这里,

后经查找资料,是少了个 winutils.exe

这只是个WARN警告而已,不影响运行。

错误是:

java.lang.IllegalArgumentException:Wrong FS:hdfs://weekend110:9000/aa,expected:file:///

解决方案一:就不再写了,是上面的在Linux里解决的那种方法。

将/home/hadoop/app/hadoop-2.4.1/etc/hadoop/core-site.xml

和/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

放到,

解决方案二:

身份报错,windows是administrator,hadoop集群那边是hadoop ,supergroup。

-DHADOOP_USER_NAME=Hadoop

问题在:d:\test.txt这个文件。此文件没有扩展名

解决方法:电脑工具栏-文件夹选项-查看-高级设置:-隐藏已知文件类型的扩展名(勾选去掉-应用-确定)

解决方案:

解决方案:

比较底层的写法,适合懂原理。

封装好的写法,适合开发。

解决方案:

快捷键是什么?

我的只能这样

默认是path,养成业务习惯。

等价于,下面

总结,本地文件系统操作很简单,new file即可,

具体的实现是不一样的。但是,上层有一个抽象的文件系统,是Filesystem,为什么这么弄?

是因为Hadoop的文件系统伴随其他的框架结耦合的,我在编程时,只需面向父即抽象,filesystem就可以了,filesystem具体去拿哪个文件系统,我上层不需去管,

你具体是本地文件系统RawLocalFileSystem,那我就可以拿本地文件系统去读啊

你的数据是放在hdfs里面,那我就可以拿DistributedFileSystem去读啊

你的数据是放在S3里面,那我就可以拿S3FileSystem去读啊

你的数据是放在htp服务器里面,,,,,,,都可以。

 

总而言之,降低耦合度。

Filesystem设计思想总结

也可以这样来,

2 weekend110的HDFS的JAVA客户端编写 + filesystem设计思想总结的更多相关文章

  1. HDFS的Java客户端编写

    总结: 之前在教材上看hdfs的Java客户端编写,只有关键代码,呵呵…….闲话不说,上正文. 1. Hadoop 的Java客户端编写建议在linux系统上开发 2. 可以使用eclipse,ide ...

  2. 一次失败的尝试hdfs的java客户端编写(在linux下使用eclipse)

    一次失败的尝试hdfs的java客户端编写(在linux下使用eclipse) 给centOS安装图形界面 GNOME桌面环境 https://blog.csdn.net/wh211212/artic ...

  3. 【Hadoop】HDFS的java客户端编写

    项目使用了Maven  Project 快速进行HDFS 客户端程序测试 客户端操作系统:win10 64位 JDK: 1.7.0_79 开发工具 :Eclipse Luna pom.xml < ...

  4. 一脸懵逼学习hadoop之HDFS的java客户端编写

    1:eclipse创建一个项目,然后导入对应的jar包: 鼠标右击项目,点击properties或者alt+enter快捷键--->java build path--->libraries ...

  5. day03-hdfs的客户端操作\hdfs的java客户端编程

    5.hdfs的客户端操作 客户端的理解 hdfs的客户端有多种形式: 1.网页形式 2.命令行形式 3.客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网 文件的切块大小和存储的副 ...

  6. hdfs shell命令及java客户端编写

    一. hdfs shell命令 可以通过hadoop fs 查看所有的shell命令及其用法. 传文件到hdfs: hadoop fs -put /home/koushengrui/Downloads ...

  7. HDFS的Java客户端操作代码(HDFS的查看、创建)

    1.HDFS的put上传文件操作的java代码: package Hdfs; import java.io.FileInputStream; import java.io.FileNotFoundEx ...

  8. HDFS的java客户端操作代码(Windows上面打jar包,提交至linux运行)

    1.通过java.net.URL实现屏幕显示demo1文件的内容 package Hdfs; import java.io.InputStream; import java.net.URL; impo ...

  9. HDFS的Java客户端操作代码(HDFS删除文件或目录)

    1.HDFS删除文件或目录 package Hdfs; import java.io.IOException; import java.net.URI; import org.apache.hadoo ...

随机推荐

  1. CSS文字控制与文本控制

    一.CSS控制文字属性: 1.font-size:18px;:设置字号(默认是16px=1em),一般在制作网页的时候,先在body里同一设置下字体大小2.color:#093:设置字色3.font- ...

  2. Sass中的mixin,function,extend

    Mixins: 用于相类似的css属性将会被使用多次,每次调用时仅仅有小的参数改变: Function 用于计算得出相关值: Extend 有一批属性完全匹配时,应该使用extend

  3. R语言AMORE包实现BP神经网络——German数据集

    library(AMORE)data<-read.table('G:\\dataguru\\ML\\ML09\\基于BP网络的个人信贷信用评估\\基于BP网络的个人信贷信用评估\\german. ...

  4. hdu4604 deque

    题目连接:http://acm.hdu.edu.cn/showproblem.php?pid=4604 思路:就是模拟一下,求每一个开始的非上升和非下降序列.然后求重复的数,由于求出来可能不会是我们想 ...

  5. BZOJ 3754 Tree之最小方差树

    枚举平均数. mdzz编译器. #include<iostream> #include<cstdio> #include<cstring> #include< ...

  6. POJ 1861 Network (MST)

    题意:求解最小生成树,以及最小瓶颈生成树上的瓶颈边. 思路:只是求最小生成树即可.瓶颈边就是生成树上权值最大的那条边. //#include <bits/stdc++.h> #includ ...

  7. 解决android sdk manage打开闪退的解决方法

    在打开android sdk mangage.exe的时候,一闪而过,在eclipse中出现如下提示: [2015-07-20 13:42:23 - SDK Manager] [SDK Manager ...

  8. 【Python】logging模块学习笔记

    因为做接口自动化测试遇到的一个代码逻辑上的问题,又不知道具体问题出在哪里,所以在模块化代码之前,先学习下python的日志模块logging. 入门1 入门2 日志级别大小关系为:CRITICAL & ...

  9. 【解题报告】HDU -1142 A Walk Through the Forest

    原题链接:http://acm.hdu.edu.cn/showproblem.php?pid=1142 题目大意:Jimmy要从办公室走路回家,办公室在森林的一侧,家在另一侧,他每天要采取不一样的路线 ...

  10. java线程实践记录

    框架构建过程中遇到需要用到线程的地方,虽然以前经常听到线程,也看过一些线程类的文章,但真正使用时还是遇到一些问题,此篇正式为了记录自己对线程实操的体会. 入口类代码: public class tes ...