ogg - 从oracle到mysql的同步
说明:这篇文章将介绍如何配置oracle到mysql的ogg同步
源端:ip-192.168.56.11 数据库类型-oracle 11.2.0.4
目标端:ip-192.168.56.71 数据库类型-mysql 5.7.25
1. 解压并准备目录
(源端)
su - oracle
mkdir -p /home/oracle/ogg1/
tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar -C /home/oracle/ogg1
(目标端)
su - mysql
mkdir -p /home/mysql/ogg2/
tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /home/mysql/ogg2
创建socket软链接,mysql ogg默认使用/tmp/mysql.sock
查看mysql socket的位置
(root@localhost)[(none)]> show variables like 'socket';
+---------------+-----------------------------+
| Variable_name | Value |
+---------------+-----------------------------+
| socket | /opt/mydata/data/mysql.sock |
+---------------+-----------------------------+
ln -s /opt/mydata/data/mysql.sock /tmp/mysql.sock
2. 创建目录,用户
(源端)
cd /home/oracle/ogg1
./ggsci
GGSCI> create subdirs
# 在sqlplus创建管理ogg需要的数据库用户ggs
SQL> create user ggs identified by ggs;
SQL> grant connect,resource,select any dictionary,select any table,alter any table,flashback any table to ggs;
SQL> grant insert any table,update any table,delete any table to ggs;
SQL> grant execute on dbms_flashback to ggs;
SQL> grant execute on utl_file to ggs;
# 授予用户查看数据字典的权力
# 同步的表在哪个用户下,哪个用户就要拥有查看数据字典的权力,源端使用tom做测试
SQL> create user tom identified by tom;
SQL> grant connect,resource,select any dictionary to tom;
# 打开追加日志数据模式
SQL> alter database add supplemental log data;
SQL> select supplemental_log_data_min from v$database; #须yes
(目标端)
cd /home/mysql/ogg2
./ggsci
GGSCI> create subdirs
# 在mysql创建管理ogg需要的数据库用户ggt
(root@localhost)[(none)]> create user ggt@'%' identified by 'ggt';
(root@localhost)[(none)]> grant all on *.* to ggt@'%';
(root@localhost)[(none)]> flush privileges;
3. 准备测试用的表
(源端)
# ogg的表必须有主键
SQL> create table tom.test1(id number primary key, name varchar2(30), ctime date);
(目标端)
(root@localhost)[(none)]> create database hello;
(root@localhost)[(none)]> use hello;
(root@localhost)[hello]> create table test2(id int primary key, name varchar(30), ctime datetime);
4. 配置define文件,异构的ogg需要这步
(源端)
GGSCI> edit params oracle_to_mysql
------------------------------------
defsfile dirdef/oracle_to_mysql.prm
userid ggs,password ggs
table tom.test1;
新开一个窗口
[root@orasingle ~]# su - oracle
[oracle@orasingle ~]$ cd ogg1
[oracle@orasingle ogg1]$ ./defgen paramfile dirprm/oracle_to_mysql.prm
[oracle@orasingle ogg1]$ scp dirdef/oracle_to_mysql.prm mysql@192.168.56.71:/home/mysql/ogg2/dirdef
5. 添加需要同步的表
(源端)
# 这里是添加表的附加日志
GGSCI> dblogin userid ggs, password ggs
GGSCI> add trandata tom.test1
GGSCI> info trandata tom.test1
6. 添加checkpoint表
(目标端)
# 续传的功能
GGSCI> dblogin sourcedb hello, userid ggt, password ggt
GGSCI> edit params ./GLOBALS
#或使用vi编辑参数文件,注意GLOBALS是在ogg的主目录下面,使用绝对路径或者./GLOBALS,不能使用edit params GlOBALS,否则会进到dirprm目录下面
--------------------------------------------------------------------------
checkpointtable hello.checkpoint
GGSCI> view params ./GLOBALS #查看参数文件
GGSCI> add checkpointtable hello.checkpoint #在数据库中创建检查点记录表
GGSCI> info checkpointtable hello.checkpoint
7. 配置管理进程的参数文件
(源端)
GGSCI> edit params mgr
--------------------------------------------------------------------
port 7788
autorestart extract *,waitminutes 2,retries 5
purgeoldextracts /home/oracle/ogg1/dirdat/*,usecheckpoints,minkeephours 1,frequencyminutes 30
GGSCI> view params mgr
(目标端)
GGSCI> edit params mgr
--------------------------------------------------------------------
port 7788
autorestart extract *,waitminutes 2,retries 5
purgeoldextracts /home/mysql/ogg2/dirdat/*,usecheckpoints,minkeephours 1,frequencyminutes 30
GGSCI> view params mgr
# 参数解释autorestart-自动重启抽取进程,purgeoldextracts-定期清理trail文件
8. 配置抽取进程
(源端)
8.1 编辑抽取参数文件
GGSCI> edit params ext1
-------------------------------------------------------------------------------------------
extract ext1
setenv(ORACLE_SID=orcl) #填源端的sid
setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK) #填源端的字符集
userid ggs,password ggs
rmthost 192.168.56.11,mgrport 7788 #填源端的ip,抽取的文件放到哪个地方
exttrail /home/oracle/ogg1/dirdat/et
table tom.test1;
8.2 添加抽取进程
GGSCI> add extract ext1, tranlog, begin now
8.3 添加抽取进程需要的文件
GGSCI> add exttrail /home/oracle/ogg1/dirdat/et,extract ext1,megabytes 100 #设置trail文件最大100m,默认10m
9. 配置投递进程
(源端)
9.1 编辑投递参数文件
GGSCI> edit params pump1
------------------------------------------------------------------------
extract pump1
PASSTHRU #这是参数适用于源端和目标端表结构一致且没有过滤行
RMTHOST 192.168.56.71, MGRPORT 7788 #目标端ip
RMTTRAIL /home/mysql/ogg2/dirdat/p1 #目标端文件的目录
TABLE tom.test1;
9.2 添加投递进程
GGSCI> add extract pump1,exttrailsource /home/oracle/ogg1/dirdat/et, begin now
9.3 添加投递到远程的文件
GGSCI> add rmttrail /home/mysql/ogg2/dirdat/p1, extract pump1,megabytes 100
10. 配置复制进程
(目标端)
10.1 编辑复制参数文件
GGSCI> edit params rep1
-----------------------------------------------------------------
replicat rep1
sourcecharset ZHS16GBK #填源端的字符集
targetdb hello, userid ggt, password ggt
sourcedefs /home/mysql/ogg2/dirdef/oracle_to_mysql.prm
discardfile /home/mysql/ogg2/dirdat/rep1.dsc,append
MAP tom.test1, TARGET hello.test2;
--------------------------------------------------------------------
10.2 增加复制进程
GGSCI> add replicat rep1,exttrail /home/mysql/ogg2/dirdat/p1
#注意这一步可能提示下面错误
ERROR: No checkpoint table specified for ADD REPLICAT.
解决办法:退出重新登陆,再执行那步操作
GGSCI> exit
[mysql@mysqla ogg2]$ ./ggsci
GGSCI> dblogin sourcedb hello, userid ggt, password ggt
GGSCI> add replicat rep1,exttrail /home/mysql/ogg2/dirdat/p1
11. 启动进程
源端
GGSCI> start mgr
GGSCI> start ext1
GGSCI> start pump1
目标端
GGSCI> start mgr
GGSCI> start rep1
在源端查看进程状态
GGSCI> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
EXTRACT RUNNING EXT1 00:00:00 00:00:09
EXTRACT RUNNING PUMP1 00:00:00 00:00:02
在目标端查看进程状态
GGSCI> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
REPLICAT RUNNING REP1 00:00:00 00:00:04
12. 测试同步与否
(源端)
SQL> insert into test1 values(25,'小豹子加油',sysdate);
SQL> commit;
(目标端)
(root@localhost)[hello]> select * from test2;
+----+-----------------+---------------------+
| id | name | ctime |
+----+-----------------+---------------------+
| 25 | 小豹子加油 | 2019-04-21 11:44:06 |
+----+-----------------+---------------------+
同步完成,中文显示也没有问题
13. 记录报错的日志文件
/home/oracle/ogg/ggserr.log
14. 总结
14.1从ogg到mysql有字段类型的变化,比如oracle中date类型就是“年月日 时分秒”类型,到了mysql中只有“年月日”,所以mysql中需要定义成datetime类型。还有mysql中字符类型是默认不区分大小写的,oracle中明确区分大小写,所以在同步时如果字符类型上面有唯一索引,还会报错。
14.2异构的ogg比同构的ogg还需要define文件,定义表的结构。
ogg - 从oracle到mysql的同步的更多相关文章
- 配置ogg从Oracle到PostgreSQL的同步复制json数据
标签:goldengate postgresql oracle json 测试环境说明 Oracle:Windows 8.1 + Oracle 12.2.0.1.0 + GoldenGate 12.3 ...
- 配置ogg目录索引-oracle与mysql的双向同步步骤
以下几篇文章描述了利用ogg对oracle与mysql进行双向同步的配置过程以及注意事项,欢迎参考. 配置ogg异构oracle-mysql(1)基础环境配置 http://www.cnblogs.c ...
- Oracle to MySQL Goldengate实现增量迁移
第一部分:安装和基本配置 一.环境 两台rhel 6.4虚拟机,分别异构oracle到mysql数据库同步测试Ip:192.168.0.23 部署oracle 11.2.0.4,goldgate 12 ...
- 基于OGG的Oracle与Hadoop集群准实时同步介绍
版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/220 来源:腾云阁 https://www.qclou ...
- ogg实现oracle到sql server 2005的同步
一.源端(oracle)配置1.创建同步测试表create table gg_user.t01(name varchar(20) primary key);create table gg_user.t ...
- OGG 从Oracle备库同步数据至kafka
OGG 从Oracle备库同步数据至kafka Table of Contents 1. 目的 2. 环境及规划 3. 安装配置JDK 3.1. 安装jdk 3.2. 配置环境变量 4. 安装Data ...
- Oracle使用goldengate分别向Oracle和mysql双路的单向复制
一.Oracle分别向Oracle和mysql双路的单向复制是在: ORACLE-mysql的单向复制基础上做的.http://blog.csdn.net/q947817003/article/det ...
- OGG同构(ORACLE-ORACLE)、异构(ORACLE-MYSQL)同步配置及错误解析
环境:11.2.0.3(已安装数据库实例)+OEL5.7 192.168.1.55 zlm sid:zlm11g 192.168.1.60 zlm2 sid:zlm11g 一.安装软件,配置环境,创建 ...
- OGG 18.1 for mysql远程捕获测试
Ogg18.1 remote capture要求mysql为5.7版本,只能从linux远程捕获mysql on windows or linux,且不支持DDL捕获.支持远程mysql为commun ...
随机推荐
- loadrunner函数解密之web_reg_save_param
loadrunner工具的使用,最关键的在于3个地方: A:脚本的编写 B:场景设计 C:性能测试结果分析 其 中难度比较大的第一步是:编写脚本,有很多人对于loadrunner里面的各种函数使用的并 ...
- mysql 架构 ~ binlog_server
一 简介 mysql binlog server 二 目的 实时备份线上的binlog 利用备份+binlog进行任何时间点的恢复 三 详细信息 1 基本命令 /usr/local/mysql ...
- .NET中制做对象的副本(三)通过序列化和反序列化为复杂对象制作副本
1.类的定义 /// <summary> /// 学生信息 /// </summary> [Serializable] public class Stu { /// <s ...
- 【转】Zabbix 3.0 从入门到精通(zabbix使用详解)
[转]Zabbix 3.0 从入门到精通(zabbix使用详解) 第1章 zabbix监控 1.1 为什么要监控 在需要的时刻,提前提醒我们服务器出问题了 当出问题之后,可以找到问题的根源 网站/ ...
- python学习:绝对路径和相对路径
python学习:绝对路径和相对路径 大牛们应该对路径都很了解了,这篇文章主要给像我这样的入门小白普及常识用的,啊哈 下面的路径介绍针对windows,其他平台的暂时不是很了解. 在编写的py文件中打 ...
- proc文件系统、sysfs文件系统、kobject操作
Proc文件系统是提供一个接口给用户,让用户可以查看系统运行的一些状态信息,让用户修改内核的一些参数,比方说printk的打印级别就可以通过proc去修改 Sysfs文件系统, Sysfs is a ...
- javaScript——原型继承四步曲
<script> //js模拟类的创建以及继承 //第一步:创建父类 function Parent(name){ this.name = name; } //给父类添加属性方法 Pare ...
- aliyun服务器ecs被ddos后无法被zabbix-server监控的处理
ecs绑定的域名被ddos攻击后,阿里云黑洞ecs服务器一个月,此时zabbix服务端无法联系到zabbix-agent会一直报错 解决办法: 1.在ecs前添加slb并把之前指向ecs的域名a.ch ...
- android getActivity.findViewById获取ListView 返回NULL
在控件ID正确的情况下,检查是否在实例化布局文件之后,获取LISTVIEW, 先inflate找layout下布局文件,并实例化后才能获得Listview的ID demo: public class ...
- 红包外挂史及AccessibilityService分析与防御
最近在做一个有趣的外挂的小玩意,前提我们要了解一个重要的类AccessibilityService 转载请注明出处:https://lizhaoxuan.github.io 前言 提起Accessib ...