使用Hbase快照将数据输出到互联网区测试环境的临时Hbase集群

通过snapshot对内网测试环境Hbase生产集群的全量数据（包括原始数据和治理后数据）复制到互联网Hbase临时集群。
工具及原理：
　　1)         Hbase自带镜像导出工具（snapshot和ExportSnapshot）
　　2)         ExportSnapshot将执行一个MapReduce的Job ，它工作在HDFS层级，不会对Region server造成额外的负担，仅需指定HDFS的位置（即：输出集群的hbase.rootdir）。

步骤：
　　1)         先确认Hbase的配置项（hbase-site.xml）是否打开, 在0.95之后的版本都是默认开启的，本次测试采用的是0.98的版本。
　　2)         对表（如：exmaple_table）创建一个快照

$ bin/hbase shell
                            hbase> snapshot ‘exmaple_table’, ‘snapshot_example_table’
       快照目录：
　　　　 　　/hbase/.hbase-snapshot：存储快照的元数据
　　3)         使用ExportSnapshot命令导出快照到临时集群，使用8个mapper（可根据自身设备内存及数据大小大小进行具体的划分），因为为内网环境，忽略带宽的影响，一般的外网环境则带宽限定在200 MB内（megabytes per second）根据实际情况设定来看。对内存的限制可以在yarn.stie.xml文件中进行具体的限制，主要有两项：
　　$ bin/hbaseorg.apache.hadoop.hbase.snapshot.ExportSnapshot  -snapshot snapshot_example_table -copy-to hdfs://server8:8082/test  -mappers 4 -bandwidth 200 
　　　　　　ð  -copy-to后面可以是任意HDFS目录，这里是把快照直接导入到Hbase目的集群的根目录下
　　　　　　ð  导出目录的/archive目录下存放实际的数据。
　　　　　　ð  导出目录的/.hbase-snapshot目录下存放实际的数据。
　　　　　　ð  该操作要用hbase的账户执行，并且在hdfs当中要有hbase的账户建立的临时目录（hbase.tmp.dir参数控制）
　　　　注：
　　　　　　ð  snapshot是针对表的，需要写脚本对所有表创建snapshot。
　　　　　　ð  根据实际网络配置来调整带宽参数
　　4)         查看所有快照：
　　$hbase> list_snapshots

　　　　　统计表中的行数：

　　$hbase> count example_lable

　　　　　统计表的大小：

　　$hbase> hadoop fs --count /test/archive

　　　　　通过hadoop层级将快照文件拷贝出来：

　　$hbase> hadoop fs --copyToLocal /test /tmp  

　　　　　将此文件导入到其他hbase集群的主机任意目录之后，再运行一下命令把相关的文件导入到hdfs文件系统

　　$hadoop fs -copyFromLocal /opt/hbase/hadoop/tmp/test/archive /hbase

　　$hadoop fs -copyFromLocal /opt/hbase/hadoop/tmp/test/.hbase-snapshot /hbase

　　5)         在临时集群上恢复快照
　　$hbase> restore_snapshot 'snapshot_example_table' 
　　6)         确认表是否恢复成功
　　$hbase> list
　　$hbase> scan 'example_table',{LIMIT=>5}
　　$bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘example_table’  （比count效率高）

　　注：主要步骤已加粗显示