Hive基础之自定义封装hivefile命令

存在的问题：当把hql写到shell中，不方便阅读；但把hql写到文件中，又传递不了参数；怎么办呢？

自定义hivefile

执行方式形如：

第一个参数为要执行的hql文件，后续的参数为要替换的key-value对。

hivefile d:/hivefile_test.hql -date "2013-01-01" -name "luogk"

 

hivefile思路分析：

本案例脚本和代码均放置在/home/spark/software/hivefile路径下，lib包放在/home/spark/lib下

1、将hql脚本放置在单独的脚本中：hivefile_test.hql

select a.id,sum(b.amount) from city a join sale_order b on a.id=b.city_id where b.amount > {$amount} group by a.id

2、创建shell脚本：hivefile_test.sql，在sh脚本中通过hivefile调用hql文件，并传递进去要替换的参数键值对

#!/bin/bash
. ~/.bash_profile
cd /home/spark/software/hivefile
hivefile ./hivefile_test.hql -amount  

3、创建hivefile脚本

. ~/.bash_profile
sql=`java -jar /home/spark/lib/hivefile.jar $*`    #$*用于传递参数
echo "$sql"
hive -e "$sql"

4、hivefile做要的事情

　　1）获取到hive -e命令行的参数，形如：c:/hive_test.hql -date "2013-01-01" ；

　　2）解析参数，解析规则为：第一个参数为sql文件名，从第二个参数开始要替换的变量名采用"-"开头，紧跟着的是该变量名的值，一次类推；

　　3）java代码获取到文件名，读取该文件的内容，并使用值去替换掉文件中的占位符变量名；

　　4）将替换后的文件内容交给hive -e 去执行；

5、执行hivefile_test.sh

cd /home/spark/software/hivefile
hivefile_test.sh

6、为了使用hivefile脚本更加方便，将hivefile脚本封装到~/.bash_profile中去，使得在任意位置都可以执行hivefile命令，在path中添加hivefile的路径：

export PATH=.:/home/spark/software/hivefile

添加到环境变量后，就可以在任意路径下执行hivefile命令，形如：

hivefile /home/spark/software/hivefile/hivefile_test.hql -amount