第一部分 先配置单向同步(含DDL) 一 源端安装GoldenGate 创建用户 创建目录 mkdir -p /opt/ogg chmod -R 777 /opt/ogg chown -R oracle:oinstall /opt/ogg   ogg用户     useradd -g oinstall -G dba ggate   解压软件 设置环境变量 配置goldengate用户变量 su – ggate export ORACLE_BASE=/u01/app/oracle export O

在OGG同步过程中,经常会碰上有创建表或表空间的同步,往往因为源和目标的平台不同,如aix->linux or linux->windows,这两个平台的表空间也经常不同,在目标端执行DDL时,可能会报错: OGG-00495 Oracle GoldenGate Delivery for Oracle, erep5.prm: DDL error ignore for next retry: error code [DEFAULT], filter [include all (default)]

[OGG]OGG的单向复制配置-支持DDL(二) 一.1  BLOG文档结构图 一.2  前言部分 一.2.1  导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① OGG的单向DDL实时复制功能 注意:本篇BLOG中代码部分需要特别关注的地方我都用黄色背景和红色字体来表示,比如下边的例子中,thread 1的最大归档日志号为33,thread 2的最大归档日志号为43是需要特别关注的地方. List of Archived Lo

一.测试目标 疑问,OGG初始化同步表,源端抽取进程开始抽取的scn<源端事务的start_scn时,这个变化是否会同步到目标库中? 二.实验测试 如下进行测试! session 1 SQL> conn yz/yz SQL> create table t1(id int,cc_name varchar2(20)); SQL> insert into t1 values(1,'test'); 1 row created. OGG源端开始抽取t1表; GGSCI (t1 as ogg@

[OGG]OGG基础知识整理 一.GoldenGate介绍 GoldenGate软件是一种基于日志的结构化数据复制软件.GoldenGate 能够实现大量交易数据的实时捕捉.变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟. GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等. GoldenGate基本架构 Oracle GoldenGate主要由如下组件组成 ● Extract ● Data pump ● Trails ● Collec

一. 概述 DDL 相关的参数包括:DDL.DDLERROR.DDLOPTIONS.DDLSUBST.DDLTABLE.GGSCHEMA. PURGEDDLHISTORY.PURGEMARKERHISTORY. 在 extract 里,默认是不支持 DDL 的抽取的,需要通过配置 DDL 参数来开启: 在 replicat 里,默认是支持 DDL 的抽取,并且会处理 trail 里存在的全部 DDL 操作,需要 使用 DDL 参数来忽略或者过滤掉某些 DDL 操作 二. 基本概念 先介绍几个非常

1.首先看看什么是OGG,以及OGG的用途       简单的来讲 Oracle Golden Gate (简称OGG)是一种基于日志的结构化数据复制备份软件,它通过解析源数据库在线日志或归档日志获得数据的增量变化,再将这些变化应用到目标数据库,从而实现源数据库与目标数据库同步.OGG可以跨越不通平台(包括不通操作系统,数据库)实现大量数据亚秒一级的实时复制,从而在可以在应急系统.在线报表.实时数据仓库供应.交易跟踪.数据同步.集中/分发.容灾.数据库升级和移植.双业务中心等多个场景下应用.同时

DB2的db2look命令诠释如下:db2look 版本 8.2db2look:生成 DDL 以便重新创建在数据库中定义的对象语法: db2look -d DBname [-e] [-u Creator] [-z Schema] [-t Tname1 Tname2...TnameN] [-tw Tname] [-h] [-o Fname] [-a]                        [-m] [-c] [-r] [-l] [-x] [-xd] [-f] [-fd] [-td x] [

db2look是导出DDL语句脚本的命令,以下是对db2look的一个简单介绍. 语法:db2look -d <数据库名> -e -t <表名> -o <文件名>.dml -d:数据库名,这必须指定. -e:抽取复制数据所需要的DDL文件,此项将生成包含DDL语句的脚本 -t:生成指定表的统计信息 -o: 将输出重定向到给定的文件名     如果未指定 -o 选项,则输出将转到 stdout 表结构导出实例: >db2look -d sample -e -t st

1. 相同字段上的多重索引   在Oracle 12c R1之前,一个字段是无法以任何形式拥有多个索引的.或许有人会想知道为什么通常一个字段需要有多重索引,事实上需要多重索引的字段或字段集合是很多的.在12c R1中,只要索引类型的形式不同,一个字段就可以包含在一个B-tree索引中,同样也可以包含在Bitmap索引中.注意,只有一种类型的索引是在给定时间可见可用的. SQL>create table more_ind as select * from user_objects;Table cr

众所周知MySQL的DDL语句是非事务的,即不能对DLL语句进行回滚操作,哪在事务中包含DDL语句会怎样呢? 如: #禁用自动提交 set autocommit=off; #创建tb1 create table tb1(id int auto_increment primary key,c1 int); #开始事务 start transaction; #插入数据 ; ; ; #创建tb2 create table tb2(id int auto_increment primary key,c1

安装Oracle: 安装 Oracle_11g 32位[Oracle 32位的话,OGG 也必须是 32位,否则会有0xc000007b无法正常启动 错误] 安装目录为 D:\oracle\product\11.1.0\db1 [这个目录要设置为 环境变量 ORACLEHOME] 设置环境变量: JAVAHOME C:\Program Files\Java\jdk1.8.0121 ORACLEHOME D:\oracle\product\11.1.0\db1 ORACLE_SID ORCL 验证

DDL日志和alert日志有相似的格式和行为.但是只包含DDL语句日志.oracle只是为数据库组件提供DDL日志,且需要将参数enable_ddl_logging设置为true. 在DDL日志中,每个DDL语句对应一条日志.一种是以xml文件形式.一种是txt文本形式.日志位于ADR目录下的log/ddl子目录. 当开启DDL日志后,将会为以下ddl语句记录ddl日志: ·alter/create/drop/truncate cluster ·alter/create/drop functio

1.开始配置OGG支持DDL复制(在source端操作) 1.1 赋予权限 SQL> conn /as sysdba 已连接. SQL> grant execute on utl_file to ggs; 1.2 修改全局配置文件添加ggschema GGSCI (WIN-GM5PVS1CILH) 18> edit param ./GLOBALS GGSCI (WIN-GM5PVS1CILH) 19> view param ./GLOBALS ggschema ggs GGSCI

1. 背景 近日项目要求基于爬取的影视评论信息,抽取影视的关键字信息.考虑到影视评论数据量较大,因此采用Spark处理框架.关键词提取的处理主要包含分词+算法抽取两部分.目前分词工具包较为主流的,包括哈工大的LTP以及HanLP,而关键词的抽取算法较多,包括TF-IDF.TextRank.互信息等.本次任务主要基于LTP.HanLP.Ac双数组进行分词,采用TextRank.互信息以及TF-IDF结合的方式进行关键词抽取. 说明:本项目刚开始接触,因此效果层面需迭代调优. 2. 技术选型 (1)

DDL复制的配置 目前只支持oracle和teradata的ddl复制 oracle能复制除了系统对象之外的所有对象 两种配置方法: 基于trigger的DDL:对于生产库有一定影响. 原理: 源库建立一个oracle全库级别的trigger捕捉DDL操作到中间表. extract读取中间表的DDL语句并且与DML语句根据csn排序. 目标端重现该DDL操作sql语句. 特点: DDL和DML复制原理不同: DDL复制基于Trigger,DML复制基于日志,两者复制机理不同,它们之间的数据捕捉是

Intellij Idea使用教程汇总篇 问题:有时候一个方法里面嵌套了很多逻辑,想拆分为多个方法方便调用:或者一个方法复用性很高,这时,这个方法嵌套在局部方法里面肯定是不方便的,如何快速抽取出这个方法? public class Demo { private static void getInfo(Object obj) { Class<?> clazz = obj.getClass(); Method[] methods = clazz.getMethods(); for (Method 

oracle ogg 单实例双向复制搭建(oracle-oracle)--Oracle GoldenGate --继昨天的测试,这一篇实施单实例双向复制(完全重新搭建) --环境不变 db1,db2(单实例)10.1*.1*orcl,oggcentos 6.5,centos 6.511.2.0.4,11.2.0.4 1 检查归档,日志模式(orcl,ogg) SCOTT@ orcl >conn / as sysdba Connected. SYS@ orcl >select NAME,OPEN

昨天突然接到消息说有一个线上的ogg出现了问题,看是否能修复,由于ogg以前玩的少,所以就加急搞了个测试环境,练习了一把 环境 db1,db2(单实例)ip: 1*,1*sid: orcl,ogg1os: centos 6.5,centos 6.5oracle version: 11.2.0.4,11.2.0.4 1 --可以创建ogg用户,也可以使用oracle用户 useradd -u 2100 -g oinstall -G dba oggpasswd ogg [ogg@DSI ~]$ vi

问题:有时候一个方法里面嵌套了很多逻辑,想拆分为多个方法方便调用:或者一个方法复用性很高,这时,这个方法嵌套在局部方法里面肯定是不方便的,如何快速抽取出这个方法? public class Demo { private static void getInfo(Object obj) { Class<?> clazz = obj.getClass(); Method[] methods = clazz.getMethods(); for (Method method : methods) { S

前言:最近刚好在弄数据库同步,网上查了些资料再加上自己整理了一些,做个分享! 一.GoldenGate的安装 1.安装包准备 数据库版本:Oracle Database 11g Release 2(11.2.0.1.0) 此次使用的安装包版本为Oracle GoldenGate 12.3.0.1.2 for Oracle on Linux x86-64 root权限 (创建安装包存放目录) [root@dbsrc oracle]# mkdir /data/goldengate (创建源端安装目录