[hadoop读书笔记] 第三章 HDFS

P49

当数据集的大小超过一台计算机存储能力时，就有必要对数据集分区（partition）并将分区存储到若干台独立的计算机上。

管理网络中跨多台计算机存储的系统就叫分布式文件系统  Distributed FileSystem

而基于Hadoop构建的DFS就称之为HDFS。

P49-50

HDFS的设计思路：以流数据访问模式来存储超大文件，运行在商用硬件集群上。

P51

HDFS 数据块：默认为64MB，是HDFS进行数据读写的最小单位，作为独立的存储单元存在。

一个打文件可以切分为多个块存储在不同节点的磁盘上，数据的备份是以块的方式来备份的。

P52

显示块信息命令：fsck

列出文件系统中各个文件由哪些块构成：hadoop fsck / -files -blocks

P56

fs.default.name - core-site.xml

用于设置Hadoop的默认文件系统，由URI指定，通常为：hdfs://ip:port/

表示将HDFS作为Hadoop的默认文件系统。HDFS的守护进程将会通过该属性来确定namenode的主机和端口。

如果不配置端口号  hdfs://ip/ 则默认端口为8020 ，namenode将会运行在8020端口上。

<property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.200.123:9000</value>
</property>

dfs.replication - hdfs-site.xml

用于设置数据块的副本数量，默认为3。如果是伪分布式配置时，则配置为1。

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/wdcloud/data/hadoop/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/wdcloud/data/hadoop/data</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

文件系统基本操作

查看帮助：hadoop fs -help

举例：

（1）将文件从本地文件系统复制到HDFS：

hadoop fs -copyFromLocal    本地文件路径/a.txt    hdfs://ip:port/user/xxx/a.txt

当core-site.xml中配置了URI时，可以省略 hdfs://ip:port，直接运行

hadoop fs -copyFromLocal    本地文件路径/a.txt    /user/xxx/a.txt

使用相对路径将文件复制到HDFS的home目录（/user/xxx/）：

hadoop fs -copyFromLocal    本地文件路径/a.txt   a.txt

（2）将文件从HDFS复制到本地文件系统

hadoop fs -copyToLocal xxx.txt(HDFS 的 home 下)    xxx.copy.txt（本地文件系统）

（3）创建文件夹

hadoop fs -mkdir books

（4）列出目录文件

hadoop fs -ls .

drwxr-xr-  -  tom supergroup 0 2009-04-02 22:41 /user/tom/books

drwxr-xr-  1  tom supergroup 118 2009-04-02 22:29 /user/tom/xxx.txt

第一列文件模式

第二列数据块备份数目，目录作为元数据存储在namenode而非datanode中

3、4显示文件所属用户和组

5显示文件大小，字节为单位，目录为0

6、7列是文件的最后修改日期和时间

第8列是文件或目录的绝对路径

P58 Hadoop文件系统

Hadoop的文件系统的概念是抽象的 HDFS只是其中的一种实现。Java抽象类org.apache.hadoop.FileSystem定义了hadoop文件系统接口，有如下的具体实现：

使用URI可用于Hadoop与文件系统进行实时交互，如：

列出本地文件系统根目录下的文件：hadoop fs -ls file:///

列出HDFS文件系统根目录下的文件

或

P61

namenode内置web服务器：默认运行在50070端口上，提供目录服务

datanode内置web服务器：默认运行在50075端口上，以数据流方式传输

配置：

dfs.webhdfs.enable - true

访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。访问文件、文件夹信息使用namenode的IP和50070端口，访问文件内容或者进行打开、上传、修改、下载等操作使用datanode的IP和50075端口。要想不区分端口，直接使用namenode的IP和端口进行所有的webhdfs操作，就需要在所有的datanode上都设置hefs-site.xml中的dfs.webhdfs.enabled为true。

端口配置

Hadoop 管理介面 - mapred-site.xml
<property>
  <name>mapred.job.tracker.http.address</name>
  <value>0.0.0.0:</value>
</property>
 
Hadoop Task Tracker 状态 - mapred-site.xml
<property>
  <name>mapred.task.tracker.http.address</name>
  <value>0.0.0.0:</value>
</property>
 
Hadoop DFS 状态 - hdfs-site.xml
<property>
  <name>dfs.http.address</name>
  <value>0.0.0.0:</value>
</property>

curl操作webhdfs

创建并写一个文件
 curl -i -X PUT "http://localhost:50070/webhdfs/v1/<PATH>?op=CREATE
 [&overwrite=<true|false>][&blocksize=<LONG>][&replication=<SHORT>]
 [&permission=<OCTAL>][&buffersize=<INT>]“
 curl -i -X PUT -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
 op=CREATE...“
 注意这个地方填入的是DataNode的信息
 
在一个文件内追加内容
 curl -i -X POST "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=APPEND[&buffersize=<INT>]”
 curl -i -X POST -T <LOCAL_FILE> "http://<DATANODE>:<PORT>/webhdfs/v1/<PATH>?
 op=APPEND...“
 注意该条命令获得的是DataNode的信息。
 
打开并读取一个文件
 curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
 [&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]“
 
创建一个目录
 curl -i -X PUT "http://<HOST>:<PORT>/<PATH>?op=MKDIRS[&permission=<OCTAL>]“
 
重名命文件、文件夹
 curl -i -X PUT "<HOST>:<PORT>/webhdfs/v1/<PATH>?op=RENAME&destination=<PATH>"
 
删除文件/文件夹
 curl -i -X DELETE "http://<host>:<port>/webhdfs/v1/<path>?op=DELETE [&recursive=<true|false>]“
 
文件/ 文件夹的状态信息
 curl -i “http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILESTATUS“
 
目录列表
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS”
 
获取目录的上下文环境汇总信息
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETCONTENTSUMMARY"
 
获取Check Sum File
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=GETFILECHECKSUM”
 
获取Home 目录
 curl -i "http://<HOST>:<PORT>/webhdfs/v1/?op=GETHOMEDIRECTORY”
 
设置权限
 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETPERMISSION [&permission=<OCTAL>]“
 
设置所有者
 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETOWNER [&owner=<USER>][&group=<GROUP>]"
 
设置备份
 curl -i -X PUT "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=SETREPLICATION [&replication=<SHORT>]“

P63

使用Java接口与Hadoop文件系统进行交互

FileSystem：与Hadoop中某文件系统进行交互的API

DistributedFileSystem：与HDFS文件系统进行交互的API

P64 通过FileSystem API 读取数据

1、检索文件系统

public static FileSystem get(Configuration conf)

返回core-site.xml中配置的默认文件系统，若没有配置，使用本地文件系统

public static FileSystem get(URI uri,Configuration conf)

返回给定的URI指定的文件系统，若URI为空，返回默认文件系统

public static FileSystem get(URI uri,Configuration conf,String user)

作为给定用户访问文件系统

Configuration：封装了客户端或服务器的配置

如果确定获取本地文件系统，直接使用

public static LocalFileSystem getLocal(Configuration conf)

2、获取文件输入流

public FSDataInputStream open(Path f) - 默认缓冲区大小4KB

public abstract FSDataInputStream open(Path f,int bufferSize) 

FSDataInputStream  - 这个类继承了java.io.DataInputStream接口，支持随机访问，可以从流的任意位置读取数据

实例：

P68 通过FileSystem API 写入数据

public FSDataOutputStream create(Path f)

public FSDataOutputStream append(Path f)

例子：将本地文件复制到hadoop文件系统

P72 查询文件系统

P83

Apache Flume:将大规模流数据导入HDFS的工具

典型应用：日志数据分析

Flume支持包含tail，通过管道的方式将本地文件写入Flume中，以及syslog和apcache log4j的系统

Apache sqoop：为了将数据从结构化存储设备（RDBMS）批量导入HDFS中设计的

用于将白天生产的数据库中的数据导入Hive仓库中进行分析

distcp：Hadoop分布式复制程序，用于在hadoop文件系统之间复制大量数据，作为MR作业来实现的。

复制数据命令行：hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar

在namenode的bar/foo文件下存储复制的数据

更新数据：hadoop distcp -update hadfs://namenode1/foo hdfs://namenode2/bar/foo

注意，使用以上命令两个集群的HDFS版本必须相同，如果不同，则使用基于HTTp协议的HFTP文件系统读取源文件系统数据。

且这个作业必须运行在目标集群上，实现HDFS RPC版本的兼容

命令行：hadoop distcp hftp://namenode1:50070/foo hdfs://namenode2/bar

或直接使用webhdfs协议也可以：

hadoop distcp webhdfs://namenode1:50070/foo webhdfs://namenode2:50070/bar

P86 Hadoop 存档工具

为什么需要？

Hadopp文件按块存储，每个块的元数据存储在namenode的内存中，如果小文件过多，则大量的小文件会耗尽namenode的大量内存。

Hadoop存档文件/HAR文件是一个高效的文件存档工具，在减少namenode内存的同时，允许对文件进行透明的访问。

对一系列文件进行存档命令：hadoop archive -archiveName files.har /my/files(被打包目录) /my(存档文件输出目录)

删除har文件，要用递归的形式进行删除,因为基于文件系统来说，HAR文件是一个目录

hadoop fs -rmr /my/files.har