golden gate的DDL配置

DDL复制的配置目前只支持oracle和teradata的ddl复制 oracle能复制除了系统对象之外的所有对象两种配置方法: 基于trigger的DDL:对于生产库有一定影响. 原理: 源库建立一个oracle全库级别的trigger捕捉DDL操作到中间表. extract读取中间表的DDL语句并且与DML语句根据csn排序. 目标端重现该DDL操作sql语句. 特点: DDL和DML复制原理不同: DDL复制基于Trigger,DML复制基于日志,两者复制机理不同,它们之间的数据捕捉是…

Oracle Golden Gate - 概念和机制 (ogg)

Golden Gate(简称OGG)提供异构环境下交易数据的实时捕捉.变换.投递. OGG支持的异构环境有: OGG的特性: 对生产系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制以交易为单位复制,保证交易一致性:只同步已提交的数据高性能智能的交易重组和操作合并使用数据库本地接口访问并行处理体系灵活的拓扑结构:支持一对一.一对多.多对一.多对多和双向复制等支持数据过滤和转换可以自定义基于表和行的过滤规则. 可以对实时数据执行灵活影射和变换. 提供数据压缩和加密:…

转://Oracle Golden Gate 概念和原理

引言:Oracle Golden Gate是Oracle旗下一款支持异构平台之间高级复制技术,是Oracle力推一种HA高可用产品,简称“OGG”,可以实现Active-Active 双业务中心架构一.Golden Gate 特点 1.实时数据复制 2.异构平台数据同步 3.支持断点续传,不影响系统连续运行 4.高性能,属于轻量级软件 5.保证数据引用完整性和事物一致性 6.整合ETL Tools Message Service 7.灵活拓扑结构 1:1 1:N N:1 N:N 双向复制 8.…

[转载]Oracle Golden Gate - 概念和机制 (ogg)

出处:https://www.cnblogs.com/qiumingcheng/p/5435907.html Golden Gate(简称OGG)提供异构环境下交易数据的实时捕捉.变换.投递. OGG支持的异构环境有: OGG的特性: 对生产系统影响小:实时读取交易日志,以低资源占用实现大交易量数据实时复制以交易为单位复制,保证交易一致性:只同步已提交的数据高性能智能的交易重组和操作合并使用数据库本地接口访问并行处理体系灵活的拓扑结构:支持一对一.一对多.多对一.多对多和双向复制等…

Oracle Golden Gate原理简介

Oracle Golden Gate原理简介 http://www.askoracle.org/oracle/HighAvailability/20140109953.html#6545406-tsina-1-3386-14a237f3587652368b695b00507b1475 GoldenGate简介 OracleGolden Gate是一种基于日志的结构化数据复制备份软件,它通过解析Source Database在线日志或归档日志获得数据的增量变化,再将这些变化应用到TargetDat…

Oracle Golden Gate概要

Oracle GoldenGate简介 Oracle Golden Gate用于源数据库与目标数据库的数据复制备份:可以在异构的环境(各种操作系统和数据库)之间实现数据亚秒级的实时复制备份:以及可以在实时数据仓库.数据同步.集中/分发.容灾.数据库升级和迁移等多个场景下应用:同时还可以使用一对一.广播(一对多).聚合(多对一).双向.点对点.级联等多种灵活的拓扑结构. 本章介绍Oracle GoldenGate的基本术语及其处理逻辑和体系结构的功能. 1.1 Oracle GoldenGat…

Golden Gate 相关组件介绍：

OGG组件: Manager: 启动其它进程 Collector Extract Data Pump:可选进程,建议使用 Replicat Trails: 可以压缩,加密 Checkpoint OGG进程组(process group) Process Group: process parameter file:dirprm checkpoint file: dirchk 其它文件:dirrpt(report文件:.rpt和discard文件:.dsc ogg12c自动创建),dirdef,di…

Sybase to Oracle Golden Gate

Sybase 安装Golden Gate: 下载,然后create subdirs.并且在两端配置好mgr,设置好端口7809 创建golden gate用户ogguser,并且给它授权sa和replication [root@localhost ~]# su - sybase [sybase@localhost ~]$ vi .bash_profile --设置sybase路径还有DSQUERY=ASE1 [sybase@localhost ~]$ isql -Usa -P111111 -SA…

golden gate 加initial load 在rac 上的配置

前言goldengate 11g 在oracle 11g rac 上的配置 (源是rac+asm , 目标是单数据库实例) 源端: 1. 配置tnsnames [oracle@rac1 admin]$ more tnsnames.ora # tnsnames.ora Network Configuration File: /u01/app/oracle/product/11.2.0/db_1/network/admin/tnsnames.ora# Generated by Oracle conf…

Oracle Golden Gate基本配置

>> from zhuhaiqing.info [oracle@localhost ogg]$ cat ~/.bash_profile GG_HOME=/opt/oggPATH=$PATH:$ORACLE_HOME/bin:$GG_HOMELD_LIBRARY_PATH=$GG_HOME:$ORACLE_HOME/lib:/usr/lib:/lib [oracle@localhost ogg]$ ./ggsciGGSCI (localhost.localdomain) 1> create…

Golden Gate 概念和机制

1. OGG有哪些进程 ü Manger : manger进程是goldengate的控制进程,分别运行在源端和目标端上,它主要的作用是启动.监控.重启goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报告等.需要注意的是在源端和目标端有且只有一个manger 进程. ü Extract : extract 进程运行在数据库源端,负责从源端数据表或日志中捕获数据.Extract的作用可以分为两个阶段:①初始数据装载阶段:在初始数据装载阶段,extract进程直接从源端…

ORACLE GOLDEN GATE oracle同步数据至kafka

一.服务器信息 ip 软件版本 ogg版本软件包操作系统版本 OGG安装路径 10.1.50.52 源 oracle11.2.0.4 12.2.0.1.1 V100692-01.zip centos6.9 /data/ogg 10.0.71.102 目标 kafka0.10 12.2.0.1.160823 123010_ggs_Adapters_Linux_x64.zip centos7.3 /data/ogg 二.源端安装OGG 1.解压V100692-01.zip .zip 这个时候…

快速搭建golden gate环境

准备操作系统用户和文件系统准备安装和运行用户(操作系统用户) 建议使用Oracle用户也可使用新建用户,但需做以下配置该用户必须加入到oinstall组该用户使用与oracle相同的profile文件操作系统必须为该用户开放一定的CPU.内存等资源限制,可以通过ulimit –a查看,建议在/etc/security/limits.conf中设置和oracle用户一致. 准备安装位置和空间 OGG可以安装于任意位置,RAC下建议安装在存储阵列,可以在单点失败后切换到其它节点继续运行.只…

Golden Gate 概述

概述: 是什么?Oracle GoldenGate 提供异构环境间事务数据的实时.低影响的捕获.路由.转换和交付. 非侵入: 不建触发器,不建中间表,无需增量标记或时间戳字段不在源表上进行数据查询低影响: 直接部署和运行在源端数据服务器时,CPU使用率<3%,内存和网络带宽要求极低高实时: 单条数据同步链路可以持续维持>160GB/小时的数据库日志处理能力,同步延迟在10秒之内异构的源和目标: 广泛支持异构硬件平台和操作系统下的多种不同数据库类型及版本,包括文件和消息队列可靠性和事务…

Golden Gate 检查点

检查点是记录读写位置信息,在恢复时候要用到,保证事务的完整性. 两种存储方式: 存放在dirchk下存放在指定的checkpoint table Replicat: nodbcheckpoint: 性能较高 Checkpointtable:检查点信息存在数据库表…

异构GoldenGate 12c 单向复制配置(支持DDL复制)

1.开始配置OGG支持DDL复制(在source端操作) 1.1 赋予权限 SQL> conn /as sysdba 已连接. SQL> grant execute on utl_file to ggs; 1.2 修改全局配置文件添加ggschema GGSCI (WIN-GM5PVS1CILH) 18> edit param ./GLOBALS GGSCI (WIN-GM5PVS1CILH) 19> view param ./GLOBALS ggschema ggs GGSCI…

【OGG】OGG的单向复制配置-支持DDL(二)

[OGG]OGG的单向复制配置-支持DDL(二) 一.1 BLOG文档结构图一.2 前言部分一.2.1 导读各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① OGG的单向DDL实时复制功能注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread 2的最大归档日志号为43是需要特别关注的地方. List of Archived Lo…

GOLDENGATE 配置文档，各类参数--转发

1 GoldenGate简要说明 GoldenGate现在是业内成熟的数据容灾与复制产品,经过多年的发展与完善,现在已经成为业内事实上的标准之一. GoldenGate软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步. 1.1 Golden Gate技术结构 GoldenGate软件的技术结构如图1.1所示: 图1.1GoldenGate技术架构图从图中可以看到:Golde…

GoldenGate单向复制配置示例

一:环境介绍 --source端 ip地址:192.168.123.10 数据库版本:11.2.0.1.0 32 bit 操作系统版本:centos 4.5 32 bit ogg版本:fbo_ggs_Linux_x86_ora11g_32bit.tar --target端 ip地址:192.168.123.11 数据库版本:11.2.0.1.0 32 bit 操作系统版本:centos 4.5 32 bit ogg版本:fbo_ggs_Linux_x86_ora11g_32bit.tar 二:安…

[转]Oracle GoldenGate安装配置

ref:http://blog.sina.com.cn/s/blog_5d29418d0101cvyx.html 1 简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时…

Oracle GoldenGate常用配置端口

1 简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据仓库供应.交易跟踪.数据同步.集中/分发.容灾.数据库升级和移植.双业务中心等多个场景下应用.同时,Oracl…

OGG到OGGAdapter配置详情-从Oracle直接抽取成csv文件

Oracle Golden Gate是Oracle旗下一款支持异构平台之间高级复制技术,是Oracle力推一种HA高可用产品,简称“OGG”,可以实现Active-Active 双业务中心架构 1.1. 目的本文档描述OGG的相关配置和实际操作教程,旨在能够初步了解掌握OGG的原理和使用方法 1.2. 定义.业务术语.缩略语 Oracle Golden Gate有源端和目标端,源端捕获日志发送到目标端应用,这个过程分为六步骤  捕获:实时捕获交易日志(已提交数据),包含DML和DDL,并可根…

【OGG】RAC环境下配置OGG单向同步 (四)

[OGG]RAC环境下配置OGG单向同步 (四) 一.1 BLOG文档结构图一.2 前言部分一.2.1 导读各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① RAC环境下配置OGG单向同步注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread 2的最大归档日志号为43是需要特别关注的地方. List of Archived Lo…

【OGG】OGG简单配置双向复制(三)

[OGG]OGG简单配置双向复制(三) 一.1 BLOG文档结构图一.2 前言部分一.2.1 导读各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① OGG的双向实时复制功能注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread 2的最大归档日志号为43是需要特别关注的地方. List of Archived Logs in ba…

ORAchk - 数据库配置检查工具

1.概要2.下载和安装3.如何执行4.执行过程5.报告6.参考 1.概要 ORAchk之前被称为RACcheck,后来它的检查范围进行了扩展,改名为了ORAchk,它是在数据库系统进行健康检查的一个专用工具,这个工具主要用来检查软件的配置是否符合要求以及一些最佳实践是否被应用了.通过这个工具,用户可以很方便地.自动化地对自己的系统进行健康检查和评估.>ORAchk之前被称为RACcheck,后来它的检查范围进行了扩展,改名为了ORAchk,它是在数据库系统进行健康检查的一个专用工具,这个工具主要…

Oracle GoldenGate DDL 详细说明使用手册(较早资料)

一. 概述 DDL 相关的参数包括:DDL.DDLERROR.DDLOPTIONS.DDLSUBST.DDLTABLE.GGSCHEMA. PURGEDDLHISTORY.PURGEMARKERHISTORY. 在 extract 里,默认是不支持 DDL 的抽取的,需要通过配置 DDL 参数来开启: 在 replicat 里,默认是支持 DDL 的抽取,并且会处理 trail 里存在的全部 DDL 操作,需要使用 DDL 参数来忽略或者过滤掉某些 DDL 操作二. 基本概念先介绍几个非常…

搭建一个Oracle到Oracle的Goldengate双向复制环境

目标:搭建一个Oracle到Oracle的Goldengate双向复制环境(支持DDL+DML). 环境: OS:Red Hat Enterprise Linux Server release 5.5 (Tikanga) DB:Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production gg1和gg2互为source和target,所处OS和所安DB均一样. 一.安装GG 在gg1和gg2都运行例如以下操作: (1…