logstash-input-jdbc and logstash-ouput-jdbc

要求通过logstash从oracle中获取数据，然后相应的直接传入mysql中去。

基本测试成功的配置文件如下：

input {　
　　stdin {
　　}
　　jdbc {
　　jdbc_connection_string => "jdbc:oracle:thin:@//192.168.217.135:1521/orcl"
　　jdbc_user => "root"
　　jdbc_password => "123"
　　jdbc_driver_library => "/usr/share/logstash/config/ojdbc6.jar"
　　jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
　　jdbc_paging_enabled => "true"
　　jdbc_page_size => "50000"
　　jdbc_default_timezone => "Asia/Shanghai"

　　statement => "select date_time from PERSON"

　　record_last_run => "true"
　　use_column_value => "true"
　　tracking_column_type => "timestamp"
　　tracking_column => "create_datetime"
　　last_run_metadata_path => "/usr/share/logstash/config/last_datetime/PERSON"
　　clean_run => "false"
　　lowercase_column_names => "false"
　　}
}

output {
　　jdbc {
　　driver_jar_path => "/usr/share/logstash/config/mysql-connector-java-5.1.7-bin.jar"
　　driver_class => "com.mysql.jdbc.Driver"
　　connection_string => "jdbc:mysql://192.168.217.136:3306/orcl?autoReconnect=true&user=root&password=123"
　　statement => ["insert into PERSON(date_time) values(?)","%{date_time}"]
　　}
}

其中没有用到过滤方法，需求仅仅用了logstash-input-jdbc和logstash-output-jdbc插件来完成数据库数据导入的，安装插件的命令

./bin/logstash-plugin install logstash-input-jdbc

logstash启动后如果配置或者环境不正确，会有相应的报错，主要注意 [ ] 里的是哪方面的报错，里边会得到相应的报错信息

我排查了一些问题，没有记录日志，但是无非就是

配置文件出错，比如说JDBC连接数据库的url等等

sql没有写对，注意statement字段写获取的和插入的sql，mysql中要建立相同的字段

防火墙没有关闭

驱动包过旧

等等

其中遇到的最晚解决的问题是，从oracle获取的时间字段，传入不了mysql，想到了filter方法进行时间过滤，但是没有配置好，后来突然想到了给mysql改一下数据类型，改成varchar，oracle的date类型和mysql的是不一样的，这个需要注意，改成字符串类型完美的解决了这个问题，因为需求仅仅是灌入mysql，如果是主从复制或者数据库完全迁移就需要正确的思路了，这个思路虽然可行，但是加入数据库要进行迁移连接，web服务连接到mysql，那么在界面的输入可能会又变化，所以还是需要研究oracle如何匹配mysql的时间字段。

好的解决方案是相同数据库主从备份或ELK，但是这种也是可行的，也可以做到数据实时传输，类似于主从备份，上述的方法需要在目标库中建立相同的字段和数据类型，有时候数据类型的转换也是个问题，

更简单的方法是用navicat premium，缺点是仅仅数据迁移，无法实时更新数据