kettle系列-kettle管理平台部署说明
本介绍我的开源项目[kettle-manager]kettle管理平台如何获取并部署使用,该项目介绍请参看另一篇博文:http://www.cnblogs.com/majinju/p/5739820.html 。
下面主要介绍项目部署流程,使用中有问题可以发邮件反馈。
准备工作:
- 本系统支持oracle和mysql数据库,所有你需要有一个oracle或mysql数据库。
- 本系统现在开发时使用的kettle版本是5.4,调整项目结构后,部署包中不包含kettle的jar,会通过环境变量KETTLE_HOME关联到你的kettle的jar,从而支持你下载的kettle版本,理论上与5.4版本相差不大都不会有问题。
- 下载部署包:http://pan.baidu.com/s/1o7MIup0#path=%252F ,若无特殊需求,建议使用与部署包一起提供的kettle版本。用mysql的下载new文件夹下的,把其中的数据库连接都改为mysql的jdbc连接就行了。
部署流程:
- 通过kettle自带ui在oracle或mysql中创建一个数据库资源库(这里是需要你用kettle连接你的数据库,用kettle去生成资源库的表和数据,后面我只是在你已有的资源库上做了下的改动),后续需要将资源库信息配置到系统中去。
- oracle数据:
- 第一次使用,在oracle中创建本系统的数据库用户km(可自定义,需要修改对应配置),然后将部署包中【doc\sql中的dmp】导入km用户中。
- 再按doc\sql\myNote.sql文件指示执行其中的脚本,修改kettle资源库表结构和完善km库表结构。
- mysql数据:
- 第一次使用,在mysql中创建本系统使用的的数据库km(可自定义,需要修改对应配置),然后将部署包中【doc\sql\mysql中的km结构和km数据】导入km数据库中。
- 再按doc\sql\mysql\myNote.sql文件指示执行其中的脚本,修改kettle资源库表结构。
- 根据实际情况设置kettle jndi文件位置环境变量:KETTLE_JNDI_ROOT=E:\kettle\simple-jndi。然后将文件:doc\杂物\jdbc.properties 拷贝到该目录,根据实际情况修改其中数据库信息,还可以按样例格式新增其他数据库。
- 设置环境变量:KETTLE_HOME=D:\NIS\data-integration5.4,该变量需要在项目启动脚本中引用kettle的jar,然后将发布包中的ext-lib拷贝到KETTLE_HOME对应的目录(新的启动脚本中已经支持自动拷贝相关文件)。
- 自行修改日志配置文件:log4j.xml,可以调整日志目录等。
- default中是配置文件,建议每个配置文件都打开看看,需根据实际情况修改,主要修改数据库信息、ip、端口、各种目录等。
- 可以修改start.bat文件内容以修改使用的端口。
- 双击运行start.bat脚本启动项目。
- 将日志和运行状态修改的作业:doc\杂物\作业日志记录.kjb 导入你的资源库。
- 运行正常后就可以访问了,默认地址是:http://127.0.0.1:86 ,若运行时修改了端口,这里对应修改即可。默认超级管理员账号:admin/000000
注意事项:
- 不要使用系统自带的记事本编辑配置文件,否则会导致系统无法正常读取你修改的配置文件,可以使用editpuls或notepad++。
- 启动脚本会自动拷贝文件完成你的kettle改造,使你的kettle支持我的kettle插件,才能完成导入日志记录的作业:【作业日志记录.kjb】。所有若不能导入,请按启动脚本自行拷贝文件再重启kettle即可。
请仔细认真核对每一步是否严格按照我说的做的,好吧,最后的最后你好是搞不定,那我为你准备了集成按照包,简化了安装流程,对技术要求降到最低。下载地址:http://pan.baidu.com/s/1o7MIup0,目录:kettle管理...>发布包>new
kettle系列-kettle管理平台部署说明的更多相关文章
- kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端调度.管理工具. 新版本 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操 ...
- Mesos+Zookeeper+Marathon的Docker管理平台部署记录(2)- 负载均衡marathon-lb
之前介绍了Mesos+Zookeeper+Marathon的Docker管理平台部署记录(1)的操作,多余的废话不说了,下面接着说下在该集群环境下的负载均衡marathon-lb的部署过程: 默认情况 ...
- Mesos+Zookeeper+Marathon的Docker管理平台部署记录(1)
随着"互联网+"时代的业务增长.变化速度及大规模计算的需求,廉价的.高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统.Docker及 ...
- Kettle系列: Kettle并行执行Trans后的合并问题
我们在作业开发中为了处理效率, 经常需要并行执行一些trans, 等它们执行完毕后, 需要执行另外一些trans, 从流程上也就是分支+汇合. 粗看起来很简单, Kettle中对接一下这些组件就搞定了 ...
- Kettle系列: kettle标准化trans模板
=============================主控trans + sub trans 模式=============================针对一个具体的处理任务(比如增量加载一个 ...
- kettle系列-我的开源kettle管理平台[kettle-manager]介绍
kettle管理工具 专门为kettle这款优秀的ETL工具开发的web端管理工具. 项目简介 kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题 ...
- kettle系列-[KettleUtil]kettle插件,类似kettle的自定义java类控件
该kettle插件功能类似kettle现有的定义java类插件,自定java类插件主要是支持在kettle中直接编写java代码实现自定特殊功能,而本控件主要是将自定义代码转移到jar包,就是说自定义 ...
- Kettle系列: 马进举开源的Kettle通用插件 KettleEasyExpand
扩展Kettle功能, 经常使用 user defined java class 组件, 或者自己开发Java插件. 两种方式都有各自的痛点: 1. 在user defined java class ...
- 开源ETL工具kettle系列之常见问题
开源ETL工具kettle系列之常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在kettle的论坛上找到一些问题的答案 1. J ...
随机推荐
- linux shell 用sed命令在文本的行尾或行首添加字符
转自 http://www.cnblogs.com/aaronwxb/archive/2011/08/19/2145364.html 昨天写一个脚本花了一天的2/3的时间,而且大部分时间都耗在了sed ...
- webapi集成owin使用Oauth认证时能获取accee_token仍无法登录的解决办法
HttpConfiguration webapiConfig = new HttpConfiguration(); IIocBuilder iocBuilder = new OwinAutofacIo ...
- Linux C++中的时间函数(转)
http://net.pku.edu.cn/~yhf/linux_c/function/03.html asctime(将时间和日期以字符串格式表示) 相关函数 time,ctime,gmtime ...
- Java面试常见问题汇总
1 String,StringBuffer与StringBuilder的区别?? String 字符串常量StringBuffer 字符串变量(线程安全)StringBuilder 字符串变量(非 ...
- Android 项目结构图
src:存放Java源代码 gen:存放系统自动生成的配置文件 Android 4.4.2:包含Android.jar文件,包含构建应用程序所需的所有Android SDK库 asssets:存放资源 ...
- 全文检索解决方案(lucene工具类以及sphinx相关资料)
介绍两种全文检索的技术. 1. lucene+ 中文分词(IK) 关于lucene的原理,在这里可以得到很好的学习. http://www.blogjava.net/zhyiwww/archive/ ...
- Python中print函数输出时的左右对齐问题
为了将print函数输出的内容对齐,笔者在http://www.jb51.net/article/55768.htm中找到了左右对齐的方法.整理如下: 一.数值类型(int.float) # %d. ...
- highcharts饼状图使用案例
在公司由于需要对订单数据进行分析,故使用到了highcharts工具 <block name="Js"> <script type="text/java ...
- 关于Spring的核心组件以及概念
1.什么是企业级应用 大型企业级应用的结构是非常复杂的,涉及外部资源非常多,事务密集,数据规模大,用户数量多,有较强的安全性考虑和较高的性能要求. 2.Spring概念理解 Spring是一个轻量 ...
- JSTL标签库(一)核心标签库
核心标签库(core) 1.表达式操作 2.流程控制 3.迭代操作 4.URL操作 1.表达式操作 标签 语法 功能 说明 <c:out> <c:out value="&l ...