通过时间戳批量删除hbase的数据

如何通过时间戳批量删除hbase的数据

我们使用hive关联hbase插入数据时，有时会写错数据，此时hbase中的数据量已经很大很大了（上亿）。此时，我们要修改错误的数据，只需要删除写错的那部分数据就可以了，但是很遗憾，hbase中没有这样的sql语句（hbase是不能用SQL操作的，这里概指hbase的一套数据库操作语言），怎么办呢。。。

网上找了下，看了这个大佬的方法感觉确实可以。请先移步至大佬原文，然后回来再看（尊重别人的劳动）

原理：

1.通过

scan ''tableName,{ COLUMNS => 't1',TIMERANGE => [1516177518989,1516177790871] }

的方法找出要删除的数据（主要是rowkey和一种任意一列），然后写入到一个文件

2.将找出的rowkey进行hbase数据删除语句的拼接并写到shell中，如下图所示，注意文件末尾是有定个写的EOF

​

3.执行该shell语句

代码

综上，大佬只给了方法，操作步骤是分离的，分了很多步，显得麻烦，本人不想这么麻烦，于是整合了一个完整的shell

#!/bin/bash
echo '--------------程序从这里开始------------'
basepath=$(cd `dirname $0`; pwd)
#basepath=$(cd <code>dirname $0</code>; pwd)

echo '---------------正在创建缓存文件夹--------------'
firstTime="_$1_$2"
mkdir $basepath/CacheOfdelete$firstTime
#touch $basepath/CacheOfdelete$firstTime/data$firstTime.txt
touch $basepath/CacheOfdelete$firstTime/record$firstTime.txt
touch $basepath/CacheOfdelete$firstTime/delete$firstTime.sh

#current1="2018-01-17 16:25:18"
#current2="2018-01-17 16:29:50"
current1="$1 $2"
current2="$3 $4"

tablename="$5"

echo 开始时间:$current1
echo 结束时间:$current2
startSec=`date -d "$current1" +%s`
endSec=`date -d "$current2" +%s`

startTimestamp=$((startSec*1000+`date "+%N"`/1000000))
endTimestamp=$((endSec*1000+`date "+%N"`/1000000))

echo $tablename
echo $startTimestamp
echo $endTimestamp
#echo $startTimestamp > $basepath/CacheOfdelete$firstTime/data$firstTime.txt
##echo $endTimestamp >> $basepath/CacheOfdelete$firstTime/data$firstTime.txt

# #######第一步：通过时间戳找到要删除的数据
# 注：这里只有rowkey和其中一列，因为目的是找到rowkey 
echo "scan '$tablename',{ COLUMNS => '$6',TIMERANGE => [$startTimestamp,$endTimestamp]}" | hbase shell > $basepath/CacheOfdelete$firstTime/record$firstTime.txt
# ######第二步：构建删除数据的shell
#echo "#!/bin/bash " >> $basepath/CacheOfdelete$firstTime/aa.sh
echo "#!/bin/bash " >> $basepath/CacheOfdelete$firstTime/delete$firstTime.sh
echo "exec hbase shell <<EOF " >> $basepath/CacheOfdelete$firstTime/delete$firstTime.sh

cat $basepath/CacheOfdelete$firstTime/record$firstTime.txt|awk '{print "deleteall '\'$tablename\''", ",", "'\''"$1"'\''"}' tName="$tablename" >> $basepath/CacheOfdelete$firstTime/delete$firstTime.sh

echo "EOF " >> $basepath/CacheOfdelete$firstTime/delete$firstTime.sh

# ########第三步：执行删除shell
#sh $basepath/CacheOfdelete$firstTime/delete$firstTime.sh
echo '---------------正在删除缓存文件夹--------------'
rm -rf $basepath/CacheOfdelete$firstTime
echo '--------------程序到这里结束------------'

以上就是shell的代码

执行时的参数顺序：

开始时间戳 结束时间戳 hbase表名 其中任意一列（每行数据都共有的列）

举个栗子：

下图就是我用hive插入数据的任务执行记录

​

所以我的执行shell的参数顺序就是：

sh deleteWithArgu.sh 2018-01-22 17:11:52 2018-01-22 17:14:53 jia:test base:email_number

注意：

该shell执行时产生的中间数据和shell命令在同一目录，执行完成后会自动清除（可在shell中修改是否删除）。请根据你要删除的数据量的大小决定sh执行的位置。