hbase definitive guide 笔记

ext3 file system 优化

ext3 在用在hbase上可以做如下优化：

1. mount的时候加上noatime选项。这可以减少管理开销

2. 用命令tune2fs -m 0 /dev/sda1 这样的命令去调整磁盘block 设置。默认ext3会在每一个block中预留一部分空间，这部分空间的目的是，一旦磁盘满了，那么一些critical进程比如OS服务，可以利用这部分空间，而不至于崩溃。这也是有时候我们发现/目录 100%但是OS仍然能运行的原因。这个设置对于根目录这种运行操作系统或者重要服务的挂载点是很有必要。但是对于用在HBASE，Hadoop的data node上时，就没必要了。用上面的命令 -m 0 可以让/dev/sda1的每一个block都百分百的被利用。

----------------

ext4 file system

ext4比ext3更高效，性能能赶上xfs。 而且支持大文件到16TB，甚至volume到1exabyte。使用ext4最好disable它的delayed allocation feature。这个feature是把data 缓存在内存中批量写入磁盘，这样减少磁盘碎片提高读写性能。但是用在hadoop中可能导致数据丢失。另外要知道的是ext 的意思是extent。就是说ext3，4文件系统有extent的概念。这些文件系统把block 组成extent分配给文件，增加可维护性。

----------------

xfs file system

该系统有一个问题就是在大量操作文件比如删除大量文件的时候，可能会有性能问题，因为有很多metadata operation。

----------------

org.apache.hadoop.hbase.client package的HTable class

关于这个class 要知道如下几点：

1. 该class在操作hbase table的时候，对于每一个row具有atomic级别操作。也就是说，并发的写操作在写同一个row的时候会有竞争，而读操作和写操作在同一个row上不会有竞争。

2. 该class的实例化开销很大。所以要实例化一次，多次使用。如果要实例化多个该class 使用HTablePool