这篇我将记叙我的第二个脚本程序,这篇我使用InterBase数据库提供的“isql”命令来导出我所要的数据,但是由于“isql”命令没有直接导出数据的语句,说以我采用的是导入一个配置文件,在这个文件中定义好我要打开的是哪个数据库,以及输入账户名和密码之后使用sql语句查出所要的数据并写入到缓存中. CONNECT "127.0.0.1:C:\OFFICE.GDB" USER "sysdba" PASSWORD "masterkey"; SELEC…
刚刚到公司1周便接到了第一个需求,进过了几天的沟通明白了是从gbk文件中恢复InterBase数据库,然后再将恢复到数据库中的数据导出到远程的MySQL数据库中,拿到需求先分步去看问题了,问题大致可分为三步,每一步一个脚本文件,分为三个Python文件来执行. 第一个脚本实现通过命令来实现将“.gbk”的数据库备份文件恢复到“.GDB”格式的数据库文件,命令如下: python restoreWin.py -gbk 备份文件 -gdb 恢复的数据库 第二个脚本实现将InterBase数据库中的数…
我拿到的是InterBase导出的“.gbk”后缀的数据库备份文件,目标是可以通过命令行的方式导入到指定的数据库中,在这个脚本中我使用了InterBase数据库中自带的“gbak”命令行来进行操作. 首先来介绍一下这个InterBase数据库吧,http://baike.baidu.com/item/interbase?fr=aladdin——百度百科,大致来说就是一种文件数据库了,而由于我在Ubuntu上找不到对应的安装包,所以就拿InterBase对应的开源版本Firebird数据库来练习了…
在这个脚本中我使用的是Python的ORM框架SQLAlchemy来连接远程的MySQL数据库的,在写这个脚本的时候为了方便参数的输入,我就给之前和这个脚本添加了一个新的功能,就是在调用这个脚本的时候后面可以传入参数,这样只需要在执行脚本的时候就可以方便的输入所要使用的路径. 那么现在开始对导出的数据进行解析咯~由于之前已经将列名和数据都写入到了文本文件中, 现在只需要一行一行的读取出来,然后和类中的属性一一对应就可以了,那么现在开始读取资料吧~老样子,先用切片将之前写在文本文件中的第一行列名取…
Oracle 数据库迁移到MySQL (kettle,navicate,sql developer等工具 1 kettle --第一次使用kettle玩迁移,有什么不足之处和建议,请大家指正和建议. 下载软件,官网比较慢,国内有一些镜像 下载完成,解压 pdi-ce-7.0.0.0-25.zip G:\download\pdi-ce-7.0.0.0-25\data-integration 双击Spoon.bat 运行 提示找不到javaw.exe 下载jdk安装(这里在oracle官网上选择相应…
Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天)  版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blogQQ技术交流群:299142667 一. 问题如何产生 庞老师只讲解了mysql和hdfs,mysq与hive的数据互导,因此决定研究一下将mysql数据直接导入hbase,这时出现了一系列问题. 心酸史: 二. 开始具体解决问题 需求:(将以下这张表数据导入mysql)…
使用sqoop把mysql数据导入hive export HADOOP_COMMON_HOME=/hadoop export HADOOP_MAPRED_HOME=/hadoop   cp /hive/lib/mysql-connector-java-5.1.25-bin.jar /sqoop/lib/ share表第一列为自增主键 share_id,share_id<1000的数据共有999条: mysql> SELECT COUNT(*) FROM share WHERE share_id…
原文地址:如何将OFBIZ(opentaps)默认数据库迁移至mysql(利昂原创)作者:利昂 ofbiz自带的数据库是Derby,这是一种小型的适合与测试系统的数据库,但不适合在产品级系统中使用,所以通常我们需要将ofbiz迁移到其它数据库上,下面我就以如何迁移至mysql为例,向大家讲述数据库迁移过程,迁移至其它数据库的过程类似. 第一步:修改entityengine.xml文件. 该文件的位置是 ofbiz_homeframeworkentityconfigentityengine.xml…
MySQL数据导入导出方法与工具mysqlimport<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> 1.mysqlimport的语法介绍: mysqlimport位于mysql/bin目录中,是mysql的一个载入(或者说导入)数据的一个非常有效的工具.这是一个命令行工具.有两个参数以及大量的选项可供选择.这个工具把一个文本文件(text file)导入到你指定的数据…
package com.zhen.mysqlToHDFS; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import org.apache.hadoop.conf.Configuration; im…