首页
Python
Java
IOS
Andorid
NodeJS
JavaScript
HTML5
kettle 文件资源库
2024-10-17
kettle学习笔记(三)——kettle资源库、运行方式与日志
一.kettle资源库 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中. 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称. 1.ketle资源库元数据 • 资源库 资源库包括文件资源库.数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 • XML 文件 .ktr 转换文件的XML的根节点必须是 <transformation>. kjb 作业XML的根节点是<job> 2.kettl
Linux下用命令来执行kettle文件资源库的文件ktr与kjb的方法
转载地址: https://blog.csdn.net/zuolovefu/article/details/78083445 1. 准备工作 一个简单的job,一个简单的trans. trans:读取download目录下的所有文件名,输出为文件.[界面情况下测试成功] 成功生成目标文件: job:创建文件.[界面模式测试执行成功] 执行结果: 把界面执行测试结果文件删除,以免影响观察. 2. linux环境以命令行方式执行job和trans Pan是用于执行trans的PDI命令行工具. Ki
Kettle资源库配置(数据库资源库和文件资源库)
一>文件资源库配置 1. 建立文件资源库:点击工具->资源库->连接资源库菜单 使用文件资源库不需要用户名和密码,如果没有资源库可以点击右上角的"+"新建资源库,如下图: 第一种方式为建立数据库的资源库,本例选择使用文件资源库,选择确定后会要求选择文件资源库的路径,并给文件资源库设置一个ID和名称 2. 创建转换和任务 如下图,随意创建一个转换 然后保存到资源库中,创建任务方式基本相同: 3. 浏览资源库内容 如上图有两个按钮,第一个用于打开资源库的转换或任务,第二个
Kettle无法打开文件资源库
问题: Kettle无法打开文件资源库. 问题描述: 新建文件资源库之后,资源库路径中有中文路径.退出kettle之后,再次进去发现没有了右上角的connect按钮了. 原因: kettle的repositories.xml中的文件格式 解决办法: 打开C:/Users/Administrator/.tettle/repositories.xml,用notepad++改为UTF-8格式的,之后将name节点下的文字,改为中文
kettle的资源库创建及修改密码
在kettle中的转换或者作业等资源的存储的仓库称为资源库:分为文件资源库.数据库资源库. 一个转换或者作业可以属于某个资源库或者一个单独的文件形态存在. 一.数据库资源库 1.1在mysql中创建一个数据库作为数据库资源库 1.2创建数据库资源库工具-->资源库-->连接资源库-->点击加号-->选择创建数据库资源库 因为我们要使用mysql作为资源库,所以kettle需要连接到mysql,也就是说需要mysql的驱动包,我们要把驱动包拷贝到kettle的lib目录下. 创建数据
kettle的资源库
在kettle中的转换或者作业等资源的存储的仓库称为资源库:分为文件资源库.数据库资源库. 一个转换或者作业可以属于某个资源库或者一个单独的文件形态存在. 一.数据库资源库 1.1在mysql中创建一个数据库作为数据库资源库 1.2创建数据库资源库工具-->资源库-->连接资源库-->点击加号-->选择创建数据库资源库 因为我们要使用mysql作为资源库,所以kettle需要连接到mysql,也就是说需要mysql的驱动包,我们要把驱动包拷贝到kettle的lib目录下. 创建数据
KETTLE 配置资源库
KETTLE 是一款开源的ETL工具,通过图形界面进行设计,可以对数据进行转换.设计好的文件分为两类,一类是trans,一类是job,这些文件可以存储到文件系统中. 也可以存储到数据库中. 如果存储到数据库,那么可以创建配置资源库. 配置步骤 打开设计工具spoon.bat 点击加号 点击创建或更新 这里需要调整下sql语句 INSERT INTO R_USER(ID_USER, LOGIN, PASSWORD, NAME, DESCRIPTION,
kettle创建资源库
手动修改一下这个表 R_VERSION INSERT INTO R_VERSION(ID_VERSION, MAJOR_VERSION, MINOR_VERSION, UPGRADE_DATE, IS_UPGRADE) VALUES (1,5,0,'2014/12/22 17:12:16.405',1) 我再添加kettle资源库,每次都sql语句错误.吧'N'改成1就行了.
kettle新建资源库出错
之前在本地测试新建kettle资源库很顺利,但是在把本地数据迁移到服务器的过程中出现了问题,多次新建资源库失败,提示插入数据错误. 解决办法: 将要执行的sql语句复制出来,单独在Navicat下执行,然后就可以顺利登录资源库了. LOFTER:我们的故事 http://ustory.lofter.com/post/33be15_ecbbe6
kettle文件自动化部署(shell脚本执行):命令行参数传入
shell脚本中调用kitchen 和 pan去执行,job和transformation文件.分 windows和 dos系统两种. 举个简单的小例子 shell脚本: export JAVA_HOME=/usr/local/java/jdk export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/mysql-connect
kettle连接资源库设置
到这里你是登陆不上去的,需要创建或更新按钮,因为需要在你的数据库里创建关于kettle的数据表,来存储资源库 点执行就可以了 一般情况下kettle资源库自动给你创建两个用户: 工具->资源库->探索资源库----->安全---就有admin,guest两个用户 微信公众号:
kettle删除资源库中的转换或者作业
在资源库中新建转换,作业都很简单,那么加入现在不需要其中某个转换或者作业该怎么办呢? 下图是已经存在的转换跟作业 现在需要删除aa这个转换 操作步骤如下: 1.工具----资源库----探索资源库 出现下图界面 2.删除资源库 找到自己需要删除的转换,例如“aa”,右键,即可删除 点击“是”,即可删除
kettle新建资源库(4)
工具中找资源库或者CTRL+R
kettle文件以邮件附件的形式发送报告
将从表中导出的excel文件以邮件附件的形式发送报告 step1: 导出文件file1.xls step2: add filename to result将文件添加到结果 step3: 发送邮件
kettle文件输入 通配符匹配多个文件
写法:采用正则表达式写法,例如:.*\.txt,记得要先点“确定”在打开点“显示文件名” 有时候未保存所以显示不出来
Kettle日常使用汇总整理
Kettle日常使用汇总整理 Kettle源码下载地址: https://github.com/pentaho/pentaho-kettle Kettle软件下载地址: https://sourceforge.net/projects/pentaho/files/Data%20Integration kettle-plugin源码下载地址: https://gitee.com/nivalsoul/kettlePlugins#%E8%87%AA%E5%AE%9A%E4%B9%89%E8%BE%93
kettle资源库配置
资源库的作用:资源库是用来保存操作步骤和相关的日志,转换,JOB 等信息.用户通过图形界面创建的的转换任务可以保存在资源库中.资源库可以是各种常见的数据库,用户通过用户名/ 密码来访问资源库中的资源,默认的用户名/ 密码是admin/admin. 资源库并不是必须的,如果没有资源库,用户还可以把转换任务保存在 xml 文件中.转换文件以ktr为扩展名,作业文件以kjb为扩展名. kettle的资源库包括数据库资源库和文件资源库,在文件和数据库的基础上的封装,实现org.pentaho.di.re
kettle系列-3.kettle读取数据库资源库很慢的优化
环境:windows7,jvm内存设置14G,kettle5.1后来升级到5.4,oracle作为资源库. 问题背景:我们通过web页面管理kettle的job运行,这只是一个管理界面,即使web项目停掉也不会影响job的运行情况,实际运行job的是后台程序,随着job数量的增多,达到三四百个时,job的运行速度也达到了难以接受的程度. 方案1: 针对出现的问题,经测试发现,job一经运行就不会再重新从资源库读取了(针对定时运行的job),job中的转换则每次都会重新从资源库中读取,我找到了or
Kettle 初始配置数据量类型资源库
PS:有段时间不使用Kettle了,但总遇到小伙伴问起,写一篇记录下. 文档使用版本:KETTLE 7.0 Kettle资源库可分为文件与数据库,文件型只需要配置好存放路径就行,这边介绍的是配置数据库方式存储的资源库. 文件即所有的流程.任务都以文件格式存放在磁盘上,而数据库方式则存在数据库中. 相比与老版本Kettle来说,Kettle在5.0 还是 6.0(这个记不清了~) 做了一个大版本的修改(画风大变). 资源库的配置也从原来的"探索资源库"改到了如下图所示: Connect
linux系统下调度数据库类型资源库中的kettle job
已经存在kettle的一个资源库enfo,在目录/works/wxj下面有一个job (testmailsuccess.kjb)如何实现手工在kettle外部执行此job和让系统每天定时的调用此job. 进入linux系统,切换至kettle所属用户(确保kettle已经在linux系统上配置OK) 配置OK体现: A:进入目录执行 ./kitchen.sh 有帮助信息 B:kettle所属用户(我这里kettle在cognos用户里面配置的)根目录下有.kettle文件夹(和windows内容
热门专题
servu 共享目录
判断ros节点是否启动
contains定位元素
ERP设计之 系统基础管理(BS)- 模块与菜单的关联
sql modify用法
js重定向location.assign
双击运行Tomcat说指定的服务未安装
select有条件in要按照in中的数据排序
nfine框架 学习
thinkPHP 加载更多
matlab 饼图黑线
python 整数转二进制字符串
app 打开带参数的activity name页面
c语言编程常见图形有哪些
swift string 是否是数字
easyui 框高属性
icem结构网格怎么设置边界层
word替换网页回车
pseg.cut(txt)词语数量
sql server 2008 备份后zip压缩加密