kettle文件自动化部署（shell脚本执行）：命令行参数传入

shell脚本中调用kitchen 和 pan去执行，job和transformation文件。分 windows和 dos系统两种。

举个简单的小例子

shell脚本：

export JAVA_HOME=/usr/local/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/mysql-connector-java-5.1.18-bin.jar

export KETTLE_HOME=/home/www/allyes/a3tracker/bi/etl/kettle/kh_cloud/

export LC_ALL=en_US.UTF-8

echo "KETTLE_HOME=$KETTLE_HOME"

echo "starting..."

yesterdayid=`date -d $yesterday +%Y%m%d`

/home/www/allyes/a3tracker/bi/etl/kettle/data-integration/kitchen.sh -param:Yesterday='2014-02-24' -file /home/www/allyes/a3tracker/bi/etl/kettle/etlscript/playdata_etl_day.kjb>/home/www/allyes/a3tracker/bi/etl/kettle/logs/a3tracker_cloud_etl_"$yesterdayid"_"$vardate".txt

完整的脚本

#!/bin/sh

check_date()

{

    [ $# -ne 1 ] && return 1

    _lenStr=`expr length "$1"`

    [ "$_lenStr" -ne 10 ] && return 1

    date -d $1 "+%Y/%m/%d" | grep -q $1

   if [ $? -eq 1 ]

   then

            return 1

   else

     return 0

   fi

    return 0

}

vardate=`date +%Y%m%d%H%M%S`

echo today is `date +%Y/%m/%d`

yesterday=`date -d "yesterday" +%Y/%m/%d`

while [ -n "$1" ]; do

  case $1 in

    -d)

       shift

       yesterday=$1

       echo "your input is $yesterday"

      

       shift;;

     *)

       echo "$1 is wrong paratism"      

       break;;            

  esac

done

check_date $yesterday

if [ $? -eq 1 ];then

    echo "date format error! date format:(<yyyy/mm/dd>)"

    exit 1

fi

echo Data aggregation date : $yesterday

export JAVA_HOME=/usr/local/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/mysql-connector-java-5.1.18-bin.jar

export KETTLE_HOME=/home/www/allyes/a3tracker/bi/etl/kettle/kh_cloud/

export LC_ALL=en_US.UTF-8

echo "KETTLE_HOME=$KETTLE_HOME"

echo "starting..."

yesterdayid=`date -d $yesterday +%Y%m%d`

/home/www/allyes/a3tracker/bi/etl/kettle/data-integration/kitchen.sh -param:Yesterday=$yesterday -file /home/www/allyes/a3tracker/bi/etl/kettle/etlscript/playdata_etl_day.kjb>/home/www/allyes/a3tracker/bi/etl/kettle/logs/a3tracker_cloud_etl_"$yesterdayid"_"$vardate".txt

echo "done!"

命令行参数传入：

几篇讲解：

http://blog.csdn.net/john_f_lau/article/details/9260863

http://forums.pentaho.com/showthread.php?54423-Passing-parameters-to-jobs-on-kitchen-command-line

http://wiki.pentaho.com/display/EAI/Named+Parameters

http://wiki.pentaho.com/display/EAI/Kitchen+User+Documentation

http://wiki.pentaho.com/display/EAI/Named+Parameters

http://blog.csdn.net/qqzyb/article/details/8939517

http://blog.sina.com.cn/s/blog_543e73a80100k0vz.html

http://www.cnblogs.com/wxjnew/p/3620792.html

两个例子，传入多个参数：

/home/www/allyes/aso/kettle/kitchen.sh -file /home/www/allyes/aso/etl/test.kjb -param:os='1' -param:appstore='all' -param:dt='2014-02-24' >/home/www/allyes/aso/etl/log.txt 2>/home/www/allyes/aso/etl/error.txt

/home/www/allyes/aso/kettle/kitchen.sh -file /home/www/allyes/aso/etl/test.kjb -param:os=1 -param:appstore='all' -param:dt='2014-02-24' -level=Detailed >/home/www/allyes/aso/etl/log.txt

命令行执行，options 后面可以是"="也可以是":"也可以是空格，三者都行，如kitchen.bat /file d:\   或者　-file=D:\ 或者/file:D:\

kitchen.bat /norep -file=D:/kettledata/mysal2orcle.kjb >> kitchen_%date:~0,10%.log

参数传入后，必须先在transformation中的setting设置里添加对应参数。然后用get variables控件获得

http://wiki.pentaho.com/display/EAI/Named+Parameters

http://type-exit.org/adventures-with-open-source-bi/2010/07/using-named-parameters-in-kettle/

两种格式(住linux下可以没有双引号quotation，windows要求参数parameter必须有双引号)

1：kitchen /file:"MyJob.kjb" /param:ServerName=MyServer

多个param：

 Linux: ./kitchen.sh -file:job.kjb -param:files.dir=/opt/files -param:max.date=2010-06-02

 Windows: Kitchen.bat -file:job.kjb “-param:files.dir=/opt/files” “-param:max.date=2010-06-02″

2：kitchen /file:"your job name.kjb" "command line argument 1" "command line argument 2" "command line argument 3"....

listparam，也是使用多个parameters，如：

sh pan.sh -file:/tmp/foo.ktr -listparam

Parameter: MASTER_HOST=, default=localhost : The master slave server hostname to connect to

Parameter: MASTER_PORT=, default=8080 : The master slave server HTTP control port

也可以写成，等同于：

user@host:$ sh pan.sh -file:/tmp/foo.ktr -param:MASTER_HOST=192.168.1.3 -param:MASTER_PORT=8181

Windows requires you to use quotes around the parameter otherwise the equals sign is treated as a space by the command interpreter:

c:\> pan.sh -file:/tmp/foo.ktr "-param:MASTER_HOST=192.168.1.3" "-param:MASTER_PORT=8181"

日志的选择，不同参数的设定：

-level 日志级别：（运行界面，log显示框左上角三个小图标，最后一个扳手锤子为设置level）

Rowlevel: print所有在Kettle中的有效日志，包括在大量复杂步骤的信息;

Debugging: 产生大量的日志信息，主要用于调试，但是不是在行级别(row level);

Detailed:允许用户看到比基本日志级别更富比较性的信息，额外的信息实例包括SQL查询语句和一般的DDL都会产生。

Basic:默认的日子级别；仅仅打印这些能够反映在步骤或者任务条目上的信息。

Minimal:通知你仅仅关于一个任务或者转化的信息。

Errorlogging only: 如果那儿有一个错误，显示错误消息；否则，什么都不显示。

Nothingat all: 即使当有错误存在的时候，不要产生任何日志。