hadoop配置项笔记 - hdfs

hadoop版本：3.1.1

core-site.xml

dfs.namenode.rpc-address　　

作用：rpc地址。我在使用distcp时显式使用到了。

默认值：port是8020

我的设置：hostname：8020

io.file.buffer.size

作用：io操作的缓存大小，单位字节。由于磁盘I/O的速度是比较慢的，如果一个进程的内存空间不足，它会将内存中的部分数据暂时写到磁盘，当需要的时候，再把磁盘上面的数据写到内存上面。因此设置和的预读缓冲区大小来提高hadoop里面大文件顺序读的性能。以此来提高I/O性能。

默认值：131072 （128MB）

我的设置：默认值。

hdfs-site.xml

dfs.hosts

dfs.hosts.exclude

作用：允许或排除的datanode列表。如有必要，使用这个配置控制临时的dn列表.

默认值：空

我的设置：空。可以是文件名的完整路径，文件内每行是一个主机名。

dfs.blocksize

作用：hdfs文件存储的数据块大小，单位字节b。

默认值：268435456 （256MB）

我的设置：默认值。

dfs.namenode.handler.count

作用：处理rpc调用的线程数。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。 如果该值设的太小，明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒。但NameNode的远程过程调用队列很大时，远程过程调用延时就会加大。

默认值：10

我的设置：默认值。