什么是HBase（六）性能调优

硬件层面

内存要大，最好是ECC（Error Checking and Correcting），实现内存的动态纠错；CPU要多路（每个路彼此隔离）每个路一个CPU，每个cpu上面一般都是2~12核。

    

在操作系统层面

    1）JVM用64位的；

    2）挂载的硬盘设置为noatime，atime意味着每次读写数据无论是内存硬盘映射还是硬盘都会造成一次写硬盘（日志），因为hdfs已经是fs，所以这次写没有任何意义；

    3）关闭交换空间；为什么要关闭呢？因为有swap空间的目的是延迟进行OOM，如果内存紧张并不是第一时间通将最消耗内存的进程杀死，而是将部分内存放置到磁盘中；如果后续取用这部分数据需要通过磁盘IO在获取数据然后加载到内存中；这就发生了延迟，而且因为内存的紧张，导致载入内存这个操作本身就会造成很大的延迟；所以很多数据库都希望尽量少用Swap；

　4）关闭透明大页；因为透明大页是在运行期动态决定huge page size（大页用于存放文件索引），这将会导致服务延迟相应；对于数据库这类对于相应时间比较敏感的应用而言，需要进行关闭。

 

HBase的查询优化

    1. 设置Scaner的缓存：setCaching（一次可以返回行数，默认每次（while result.next()...） 都会通过RPC去服务器端请求一次；设置了setCache之后，将会一次性从服务器端取回多条；当且仅当当缓存行数去完成了，再去服务端取出下一波数据）；

    2. 显式的指定返回的列信息(scan.addColumn("XX"))；

    3. 记得关闭resultScanner（scaner返回的数据集对象），否则数据将会一直缓存在服务器端；

    4. 如果数据量比较大（比如全表扫描），最好关闭块缓存；setCacheBlock(false)

 

关于noatime，atime

文件有三个time，atime（access time，记录访问即read时间)，mtime（modify time，文件修改时间）以及ctime（create time，文件创建时间），如果文件mount的模式是noatime，就意味着文件的读取不会记录该时间，也就避免了一次磁盘的IO。

 

参考：

http://hbasefly.com/2017/05/24/hbase-linux/

《HBase企业应用开发实战》 马延辉