【转】使用kettle工具遇到的问题汇总及解决方案
转载文章版权声明:本文转载,原作者薄海 ,原文网址链接 http://blog.csdn.net/bohai0409/article/details/38072465,联系方式邮箱bohai7000@126.com。QQ-1511777。
问题1是 执行./spoon.sh报错
问题3是 在使用kettle导入数据过程中报错
问题1-1
执行./spoon.sh报如下错误
xlib:connection to "0.0"refused by server
xlib:No protocol specified
org.eclipse.swt.SWTError:Nomore handles [gtk_init_check() failed]
解决方案
[telepow@bodaodao data-integration]$exit
logout
[root@bodaodao kettle]#xhost+
access controldisabled,clients can connect from any host
[root@]su - telepow
[telepow@bodaodao]cd/opt/kettle/data-integration/
[telepow@bodaodao]./spoon.sh
问题1-2
执行./spoon.sh报如下错误
“A fatal error has beendetected by the JavaRuntime Environment”
原因分析:
这应该时GNOME或者X的库和Spoon集成的浏览器不能一起工作导致的。所以需要编辑(或创建)~/.kettle/.spoonrc,并在里面输入以下内容:
ShowWelcomePageOnStartup=N
具体操作:
[telepow@mic1 ~]$ cd .kettle/
[telepow@mic1 .kettle]$ pwd
/home/telepow/.kettle
[telepow@mic1 .kettle]$ touch.spoonrc
[telepow@mic1 .kettle]$ vi.spoonrc
ShowWelcomePageOnStartup=N
参考文档http://www.linuxidc.com/Linux/2012-10/72455.htm
问题2-1
创建PostgreSQL数据库连接,测试数据库连接报如下错误
Connect refused,Check thatthe hostname and port are correct and that the postmaster is accepint TCP/IP
[root@pgsql data]# pwd
/usr/local/postgresql/data
[root@pgsql data]# vipostgresql.conf
listen_addresses = '*'
port = 5432
[root@pgsql data]# servicepostgresql stop
Stopping PostgreSQL: ok
[root@pgsql data]# servicepostgresql start
Starting PostgreSQL: ok
问题2-2
创建PostgreSQL数据库连接,测试数据库连接报如下错误
Errot connecting to database(using class org.postgresql.Driver)
FATAL:no pg_hba.conf entryfor host "192.168.56.102" ,user "root" ,database "test_db"
[root@pgsql data]# cppg_hba.conf pg_hba.conf.bak
[root@pgsql data]# vipg_hba.conf
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 192.168.56.102/32 trust
/*192.168.56.102为kettle所在服务器,允许该服务器连接
[root@pgsql data]# servicepostgresql stop
Stopping PostgreSQL: ok
[root@pgsql data]# servicepostgresql start
Starting PostgreSQL: ok
问题2-3
创建Oracle数据库连接,测试数据库连接报如下错误
exceptionwhile loading class
oracle.rdb.jdbc.rdbThin.Driver
检查驱动,首先发现 Kettle 默认不带 Oracle 驱动。于是我把 Oracle 的 JDBC 驱动 ojdbc5.jar/ojdbc6.jar 放到了 Kettle 的目录data-integration\libext\JDBC 下
具体操作
# mv ojdbc6.jar/opt/kettle/data-integration/libext/JDBC/
重启机器 OK
连接oracle,可以先创建数据库连接,在选择数据库连接,数据库名数据库名是“SID_NAME,而不是 PL/SQL 的 “SERVICE_NAME
问题2-4
创建MySQL数据库连接,测试数据库连接,报如下错误
Exception while loading class
org.gjt.mm.mysql.Driver
org.pentaho.di.core.exception.KettleDatabaseException
解决
把mysql.jar(网上下的)放在/data-xxx/libext/JDBC/在目录下并重启机器
问题2-5
创建Mysql数据库连接,测试数据库连接,报如下错误
Error connecting to database
message from server host192.168.56.102 is not allowed to this mysql server
解决
如果你想允许用户myuser从ip为192.168.56.102的主机连接到mysql服务器,并使用mypassword作为密码
GRANT ALL PRIVILEGES ON *.*TO 'root'@'192.168.56.102' IDENTIFIED BY '123456' WITH GRANT OPTION;
参考http://www.blogjava.net/acooly/archive/2008/09/17/229368.html
问题2-6
创建Mysql数据库连接,测试数据库连接,报如下错误
Access denied for userdfa@192.168.56.102(using password:YES)
用户名错误,修正用户dfa为正确用户root(本例用户为root)即可。
问题3-1
在使用kettle导入数据过程中报错
“ERROR INSERTING /UPDATING ROW”INCORRECT STRING VALUE “\xF1\xBC\xBD\xA8' for culumn keywords at row1,
1,将keywords字段的字符集改为utf8mb4
2,在Kettle的数据库连接高级设置中,设置当前会话字符集为utf8mb4
具体操作
1,ALTER TABLE dt_se CHANGE keywords keywords VARCHAR(550) CHARACTER SET utf8mb4;
2,Edit数据库连接--->Advanced----->set names utf8mb4; 设置当前会话字符集为utf8mb4
参考文档:http://vase.iteye.com/blog/2006972
问题3-2
在使用kettle导入数据过程中报错(连的好好的,突然在插入数据不能使用了)
Error looking up row in database
communications link failure
causedby:com.mysql.jdbc.exceptions,jdbc4.communicationsException:communications linkfailure
Last packet sent to the server was 0 msago.
原因分析:mysql 连接时间问题,应用程序和MySQL数据库建立连接,如果超过8小时应用程序不去访问数据库,数据库就断掉连接,缺省mysql的timeout时间是28800秒,也就是8小时。
解决方法:我们改成8000小时
cd /usr/local/mysql
vi my.cnf
[mysqld]
interactive_timeout=28800000
wait_timeout=28800000
不需要重启mysql服务
参考文档:http://hi.baidu.com/onezero520/item/fa82b6dd03409715e1f46f08
【转】使用kettle工具遇到的问题汇总及解决方案的更多相关文章
- Android开发之《常用工具及文档汇总》
GreenVPN:https://www.getgreenjsq.com/ Android开发工具.资料下载汇总:http://androiddevtools.cn/#img-size-handle- ...
- kettle工具二次开发-代码启动JOB
kettle工具是一款优秀的数据同步.数据处理的BI工具,收到了很多人的青睐.kettle软件通过可视化的图标可以让我们很轻易的能完成数据同步.处理的开发工作.但是使用kettle可视化界面在跑JOB ...
- kettle工具实现报表导出的初步搭建
1.下载kettle 国外网站:http://kettle.pentaho.org/需要FQ,下载慢 2.下载完成启动(windows)-->spoon.bat 3.进入界面,两个主要的tab页 ...
- kettle工具的设计模块
大家都知道,每个ETL工具都用不同的名字来区分不同的组成部分.kettle也不例外. 比如,在 Kettle的四大不同环境工具 本博客,是立足于kettle工具的设计模块的概念介绍. 1.转换 转换( ...
- kettle工具的设计原则
不多说,直接上干货! Kettle工具在设计初,就考虑到了一些设计原则.这些原则里借鉴了以前使用过的其他一些ETL工具积累下的经验和教训. 易于开发:作为数据仓库和ETL开发者,你只想把时间用在创建B ...
- ETH&EOS开发资源及工具集合(完整汇总版)
ETH&EOS开发资源及工具集合(完整汇总版) 3113 ETH开发资源篇 一.开发语言 · Solidity - 官方推荐以太坊智能合约开发语言,也是目前最为主流的智能合约语 ...
- 【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中
最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现.本文章记录了数据导入从0到1的过程,最终实现了每秒钟快速导入约 1200 条数据.一起来看吧~ 一.K ...
- H5项目常见问题汇总及解决方案
H5项目常见问题汇总及解决方案 H5 2015-12-06 10:15:33 发布 您的评价: 4.5 收藏 4收藏 H5项目常见问题及注意事项 Meta基础知识: H5页 ...
- flume常见异常汇总以及解决方案
flume常见异常汇总以及解决方案 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 实际生产环境中,我用flume将kafka的数据定期的往hdfs集群中上传数据,也遇到过一系列的坑 ...
随机推荐
- ubuntu apt-get failed
Err http://mirrors.163.com/ubuntu/ trusty/main libtinfo-dev i386 5.9+20140118-1ubuntu1 Could not res ...
- 【摄像头】Global Shutter(全局快门)与Rolling Shutter(卷帘快门)的区别与比较
由于红外补光灯的爆闪,所以一般DMS会用global shutter的sensor,而不是rolling shutter的. 参考 1. Global Shutter(全局快门)与Rolling Sh ...
- 【转】【计算机视觉】opencv靶标相机姿态解算2 根据四个特征点估计相机姿态 及 实时位姿估计与三维重建相机姿态
https://blog.csdn.net/kyjl888/article/details/71305149
- (20)模型层 -ORM之msql 基于双下划线的跨表查询(一对一,一对多,多对多)
基于对象的跨表查询是子查询 基于双下划线的查询是连表查询 PS:基于双下划线的跨表查询 正向按字段,反向按表名小写 一对一 需求:查询lqz这个人的地址# 正向查询ret = models.Autho ...
- Hadoop权威指南
初识Hadoop Hadoop与其它系统比较 数据库的劣势:磁盘寻址性能低发展慢 数据库索引? MapReduce适合一次写入,多次读取的应用,关系型数据库适合持续更新的数据集 Hadoop在处理数据 ...
- 《DSP using MATLAB》Problem 5.14
说明:这两个小题的数学证明过程都不会,欢迎博友赐教. 直接上代码: %% +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ ...
- 学习笔记TF013:卷积、跨度、边界填充、卷积核
卷积运算,两个输入张量(输入数据和卷积核)进行卷积,输出代表来自每个输入的信息张量.tf.nn.conv2d完成卷积运算.卷积核(kernel),权值.滤波器.卷积矩阵或模版,filter.权值训练习 ...
- Mybatis(七)-- LRU LFU 算法
这篇博客主要介绍LRU LFU 算法,因为在Mybatis的缓存中会用到,所以放到这个系列中了.此外,这是我翻译的一篇文章,觉得原文已经写的很好了,所以就直接翻译一下,留作知识整理. 英文原文出处如下 ...
- wekpack笔记
1. webpack 是一个用来构建我们应用程序中的 JavaScript 模块的工具: 2. 可以从CLI 或 API来开始使用 webpack.这里只讲从CLI来使用它: 3. 安装,需要在nod ...
- Next.js v4.1.4 文档中文翻译【转载】
最近想稍稍看下 React的 SSR框架 Next.js,因为不想看二手资料, 所以自己跑到 Github上看,Next.js的文档是英文的,看倒是大概也能看得懂, 但有些地方不太确定,而且英文看着毕 ...