3、eclipse和maven环境安装以及HDFS读写的demo

安装eclipse和maven环境

 

$ mkdir /home/beifeng/.m2
$ tar zxf repository.tar.gz -C /home/beifeng/.m2
$ cp /opt/modules/apache-maven-3.0./conf/settings.xml /home/beifeng/.m2

 

Windows搭建：

 

1、下载最新版eclipse，j2ee版本（自带maven插件）

2、创建maven工程

3、更改pom.xml

<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.5.0</version>
    </dependency>

4、等待下载更新

5、创建source folder 名叫resource

6、将环境下的core-site.xml 拷贝至此（他可以直接读取到hdfs的对外地址，因为Configuration初始化的时候会检查这个目录下的core-site.xml ）

 

 

HDFS --API

Configuration     --获取配置信息

FileSystem      --获取文件系统对象  get()  getLocal()

FSDataInputStream    --输入 open()

FSDataoutputStream    --输出 create()

 

读  FSDataInputStream

写  FSDataoutputStream   

 

 

读写例子见：ReadWriteFS

 

 

文件合并：  ？？？

 

nginx  tomcat  apache  --应用服务器

 

/usr/local/apache/logs/

            access1.log    40M

            access2.log    30M

            access3.log    6M

 

        ==> HDFS(不适合存储很多小文件)

        小合并   ==》 大文件  ==》 HDFS

 

合并例子见：PutMerge