免责声明:     本文中使用的部分图片来自于网络,如有侵权,请联系博主进行删除 1. Oracle Glodengate是什么? GoldenGate是oracle的一种基于数据库日志的数据同步软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化全部或者部分的应用到目标数据库,实现源数据库与目标数据库实时同步. GoldenGate软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制. GoldenGate的工作原理…

Installing and setting up Oracle GoldenGate connecting to an Oracle database Also please make sure the Oracle database is in archive log mode [oracle@ggos ~]$ sqlplus / as sysdba SQL*Plus: Release 11.2.0.4.0 Production on Wed Sep 4 21:00:12 2013 Copy…

ogg for bigdata 12.2已经发布,新增有如下特性:支持java replicat进程OGG12.2中开发了基于java的replicat模式,以前的版本是基于extract进程中使用userexit实现数据投递,而在12.2中,直接支持replicat进程,性能更好,可以使用声明式的映射.基于操作记录数或数据大小进行交易分组,可使用replicat进程中支持的参数,并改善了检查点功能. 支持kafakogg 12.2中,可直接将LCR(逻辑变更记录)实时写入到kafka主题,可以…

本文主要是向读者介绍如何通过 ogg 为 oracle 数据库的变更操作实时同步到大数据产品 kafka 上. 开始介绍前,先为读者介绍一下环境背景 机器ip 和其对应的服务 192.168.88.166[ogg目标端][ogg的mgr(端口1357), rep_test] 192.168.88.128[ogg源端]   [oracle, ogg的mgr(端口9001), ext_test, dpe_test, zookeeper, kafka] 软件版本 oracle 版本,11g relea…

非oracle db以 sqlserver为样例说明: 我的思路 A :oracle db 生产  B: oracle db 中间机 C: sqlserver db 目的端 A-> B->C 注意:B上既有rep进程也有ext进程,此时.C上也须要建立针对B的rep进程. A->B能够完毕 在线的完毕初始化同步(基于scn号的expdp) A->B的初始化做完之后,stop 掉 B的rep进程,此时B库为静态数据库,此时进行B->C的同步(使用etl工具 or sqlserv…

This is a guest blog from Robin Moffatt. Robin Moffatt is Head of R&D (Europe) at Rittman Mead, and an Oracle ACE. His particular interests are analytics, systems architecture, administration, and performance optimization. This blog is also posted on…

stop replicate时报ERROR: opening port for REPLICAT MYREP (TCP/IP error: Connection refused). start replicate时报REPLICAT xxx is already running. 原因是dirpcs目录下对应的xxx.pcs文件没有正常删除. 解决办法:删除pcs文件,检查是否有删除权限. 以下是引用国外的一篇文章: We use Oracle Goldengate to replicate d…

使用 Oracle GoldenGate 在 Microsoft SQL Server 和 Oracle Database 之间复制事务 作者:Nikolay Manchev 分步构建一个跨这些平台的简单事务复制示例. 2011 年 8 月发布 大多数关注数据复制的 Oracle 技术专家都熟悉 Oracle Streams.在 2009 年之前,Streams 一直是推荐使用的最流行的 Oracle 数据分发技术. 2009 年 7 月,Oracle 收购了 GoldenGate 这一数据库复…

DDL Setup Steps SQL> grant execute on utl_file to ggs; Grant succeeded. Create GLOBALS file [oracle@zwc ~]$ cd /ggs/ [oracle@zwc ggs]$ cat GLOBALS  GGSCHEMA GGS run marker_setup.sql [oracle@zwc ggs]$ sqlplus / as sysdba SQL*Plus: Release 10.2.0.4.0 –…

前言:最近刚好在弄数据库同步,网上查了些资料再加上自己整理了一些,做个分享! 一.GoldenGate的安装 1.安装包准备 数据库版本:Oracle Database 11g Release 2(11.2.0.1.0) 此次使用的安装包版本为Oracle GoldenGate 12.3.0.1.2 for Oracle on Linux x86-64 root权限 (创建安装包存放目录) [root@dbsrc oracle]# mkdir /data/goldengate (创建源端安装目录…

基础 12c新特性 性能 Troubleshoot 其它 1. Oracle Goldengate 支持部署到哪些拓扑? GoldenGate supports the following topologies. More details can be found here. Unidirectional Bidirectional Peer-to-peer Broadcast Consolidation Cascasding 2. Oracle Goldengate 复制链路包含哪些组件? T…

很早之前,OGG只支持部署在数据库主机上,这叫本地化部署.而现在OGG支持远端部署,即OGG软件不安装在数据库主机上,而是安装在单独的机器上,负责数据抽取和投递. 这样做的好处: l 易于管理 - 在单独的服务器上运行Oracle GoldenGate时,您可以更好的管理OGG,降低对生产数据库的影响,比如硬件升级升级,性能调整,软件修补和升级等操作变得更易于管理,风险更低.另一方面,从长远来看,您需要集中管理来监督所有复制操作,将Oracle GoldenGate安装与数据库服务器进行混合,使…

1Oracle GoldenGate处理方法和支持的数据库Oracle GoldenGate在多样和异构的基础IT平台中,可以在事务级别上进行数据交换和数据操作.在保证交易完整性和最小的开销的条件下,来迁移你已提交的业务,在目前现有的it架构中.它的模块化架构,可以让你更灵活地提取和复制你所选定的数据记录,交易的变化以及变化的DDL(数据定义语言). Note:支持DDL,一定的拓扑结构,获取和传送不同的数据类型.详见Oracle GoldenGate installation and conf…

第1章...... GoldenGate概述 1.1         GoldenGate技术原理 1.2         GoldenGate可靠的复制 1.3         GoldenGate支持操作系统和数据库类型 第2章...... 安装GoldenGate 2.1          安装GoldenGate环境 2.2          分别在源数据库,目标数据库安装GoldenGate 2.2.1       下载GoldenGate 2.2.2       解压 2.2.3  …

Oracle GoldenGate实现数据库同步 前言:最近刚好在弄数据库同步,网上查了些资料再加上自己整理了一些,做个分享! 一.GoldenGate的安装 官方文档: Oracle®GoldenGate安装和配置Oracle GoldenGate for Oracle数据库(https://docs.oracle.com/goldengate/1212/gg-winux/GIORA/toc.htm) 1.安装包准备 数据库版本:Oracle Database 11g Release 2(11…

在之前,为了某个项目,研究ogg 如何安装部署,已经对接大数据产品. 因为网上的很多资料都讲得不仔细,或者是版本对应不上,所以在部署时,遇到了非常多的困难. 作者根据自己的经验,录制了OGG整套部署和简单使用视频,希望能够给后来者一些帮助. 第一讲:Oracle安装前准备 链接:https://pan.baidu.com/s/10N7p2Q0QZkSVUEJaDlxnJQ  密码:6zol 第二讲:Oracle软件安装 链接:https://pan.baidu.com/s/1rzfNY0y2aY…

主要新增特性:通用JDBC目标端:支持Amazon Redshift & IBM Netezza Oracle GoldenGate for Big Data 12.3现在支持通用的JDBC目标端,即不使用专用的OGG介质,使用JDBC即可投递Oracle, SQLServer, Amazon Redshift, Netezza,其它提供jdbc接口的数据库也是可以的.jdbc投递的特性包括缓存statement语句,reperror和HANDLECOLLISIONS关键字的支持,也支持源和目标…

v\:* {behavior:url(#default#VML);} o\:* {behavior:url(#default#VML);} w\:* {behavior:url(#default#VML);} .shape {behavior:url(#default#VML);} ODI发布了一个可以迁移(oracle warehouse builder)OWB 11.2.0.4的补丁 (ODI 12.1.2.0.0 plus patch number 17053768).包含如下几个特性:…

一致性 CDC 中引入了变化集的概念.一个变化集中可以包括多个相互存在关联关系(如主外键引用关系)的表.CDC 在捕获和发布一个变化集中的变化时能够保证数据的一致性.这个练习介绍如何使用能够保证一致性的CDC. 1 环境准备 源表:ODI_SRC.DEPT,ODI_SRC.EMP 目标表:ODI_TAG.DEPT, ODI_TAG.EMP 配置拓扑结构见ODI Studio拓扑结构的创建与配置(Oracle) 模型反向工程见:Oracle Data Integrator 12c-模型(Model…

Simple CDC最简单的一种 CDC.在这里,每一张 CDC 的表的变化都是独立捕获的,不需要考虑多张存在主外键引用关系的表之间的数据一致性. 1 环境准备 源表:ODI_SRC.DEPT 目标表:ODI_TAG.DEPT 配置拓扑结构见ODI Studio拓扑结构的创建与配置(Oracle) 模型反向工程见:Oracle Data Integrator 12c-模型(Model)和 数据存储(DataStore) 2导入并配置JKM 首先在项目中导入 JKM JKM Oracle Simp…

Oracle Data Integrator 12cR1 (12.1.3.0.0)安装过程 下载安装文件 Oracle Data Integrator 12cR1 (12.1.3.0.0) http://download.oracle.com/otn/nt/middleware/12c/121300/fmw_12.1.3.0.0_odi_Disk1_1of1.zip Oracle Fusion Middleware Infrastructure http://download.oracle.co…

Oracle Data Integrator 12c 安装(ODI安装) 企业版安装步骤(包含独立安装步骤) 官网下载Oracle Data Integrator 12cR2 (12.2.1.0.0)地址 如上图,在安装ODI时,有两种选择,第一种是独立版安装,只需安装Oracle Data Integrator 12cR2 ,第二种是企业版安装,需要先安装Oracle Fusion Middleware Infrastructure ,再安装Oracle Data Integrator 12c…

0. Introduction and Prerequisites This article presents an overview on how to use Oracle Data Integrator in order to manipulate data from Oracle Cloud Infrastructure Object Storage. The scenarios here present loading the data from an object storage i…

一.创建"项目" 设计器->项目,点击插入项目图标, 在项目对话框的"定义"标签下输入项目名称如ODI_Exercise ,保存 二.导入知识模块 项目→知识模块→右键导入知识模块 文件导入目录:Oracle\Middleware\Oracle_Home\odi\sdk\xml-reference 反向工程知识模块(RKM) RKM Oracle 加载知识模块(LKM) LKM SQL to Oracle 检查知识模块(CKM) CKM Oracle 集成知识…

通过GoldenGate Veridata 12.1.3,现在只需要一键点击即可修复数据复制后不一致的数据. veridata 架构…

为客户部署的Oracle GoldenGate在测试阶段出现如下的错误: 2012-04-24 10:45:20  ERROR   OGG-01168  Oracle GoldenGate Delivery for Oracle, rep1.prm:  Encountered an update for target table CCENSE.ST_CARDOPERATORSTATTMP, which has no unique key defined.  KEYCOLS can be used…

ref:http://blog.sina.com.cn/s/blog_5d29418d0101cvyx.html 1 简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.Oracle Golden Gate可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时…

Prepare 10g Database for OGG Create GGS and GGS_MON Database Users SQL> create tablespace ggs_tbs datafile '/u01/app/oracle/oradata/zwc/gg_tbs01.dbf' size 100M; Tablespace created. SQL> create user ggs identified by ggs default tablespace ggs_tbs te…

Oracle GoldenGate (以下简称ogg)在异种移植os同一种db之间的数据同步. ogg要实现的功能: 同步可以细化到单个表,满足特定的where条件rows同步,称号column同步. ogg 竞争对手:ibm cdc.dell shareplex:dsg.dds等等 环境描写叙述: 源头:windows 2003x64bit. oracle db 11.2.0.3 x64bit 目的端:suse linux .oracle db 11.2.0.3 预先准备: 1.Microso…

一.OGG安装配置(源端) 1.OGG下载 http://www.oracle.com/technetwork/cn/middleware/goldengate/downloads/index.html Mysql 选择适用于 Linux x86-64 上 MySQL 的 Oracle GoldenGate 12.1.2.1.0 版 Oracle 选择适用于 Linux x86-64 上 Oracle 的 Oracle GoldenGate 12.1.2.1.0 版 ggs_Linux_x64_…