OGG组件:

  1. Manager: 启动其它进程
  2. Collector
  3. Extract
  4. Data Pump:可选进程,建议使用
  5. Replicat
  6. Trails: 可以压缩,加密
  7. Checkpoint

OGG进程组(process group)

  1. Process Group:
    1. process
    2. parameter file:dirprm
    3. checkpoint file: dirchk
    4. 其它文件:dirrpt(report文件:.rpt和discard文件:.dsc ogg12c自动创建),dirdef,dirpcs(进程运行状态:pcm-manager, pcr-replicate,pce-extract)
    5. 每个process group命名唯一:不建议大小写混合,linux下可能abend,不建议group以数字结尾。

OGG常用指令:

  1. ggsci:
    1. obey
    2. help <command> <object>
    3. !:重复执行上一个命令
    4. shell <os command>
    5. view ggsevt(对于ggserr.log文件的内容,记得定期清理,不要直接删除文件。)
    6. history
    7. stats
    8. send
    9. kill

常用goldengate指令:

  1. add trandata vs add schematrandata
    1. add trandata:不会自动更新trandata信息(create table,update附加日志列信息等操作时)
    2. add schematrandata:
      命令格式:add schematrandata <schemaname>(不要用schemaname.*)
      会动态更新该schema下表的附加日志
      需设置数据库最小附件日志;
      enable_goldengate_replication为true;
      对goldengate用户授权: exec dbms_goldengate_auth.grant_admin_privilege(‘goldengate’);
      检查是否enable:
      通过info schematrandata来查询
      select * from table(logmnr$always_suplog_columns(‘schemaname',‘tablename'));
      Info trandata查询不出。 dba_log_groups和dba_log_group_columns均无信息

    3. convchk:将checkpoint files 转换成新版本
    4. defgen:源库和目标库是不同类型数据库时,生成异构数据的定义
    5. keygen:生成 加密的 key
    6. extract: extract parameterfile <path> reportfile <path>
    7. replicat : replicat parameterfile <path> reportfile <path>
    8. oggerr:查询ogg错误号,如:oggerr 1738

Goldengate目录结构:

目录 说明
BR bounded recover 需要的checkpoint files
cfg 配置OGG 监控所需要的property 和 XML 文件
dirchk Extract 或者 Replicat 进程创建的checkpoint file。cpe和cpr后缀
dirdat trial文件的默认存放位置,2个用户定义的字符+6个数字组成
dirdef 异构数据定义文件,由DEFGEN 生成
dirjar OGG monitor相关的jar包
dirpcs 进程状态文件
dirprm 参数文件
dirrpt 进程报告的存储目录
dirsql Sql脚本
dirtmp 超出分配内存的事务临时存储目录

Golden Gate 参数文件:

  1. 全局(GLOBALS文件)
    1. 检查点table信息:CHECKPOINTTABLE goldengate.checkpoint
    2. DDL:文件信息:GGSCHEMA goldengate
    3. windows 环境注册mgr成服务:MGRSERVNAME GGMGR
      1. ggsci> install addservice addevents
  2. 进程参数: dirprm/*.prm
  3. MGR参数:
    1. port:mgr侦听端口
    2. DYNAMICPORTLIST:实际工作进程的端口范围,用于接收如extract进程发送过来的数据
    3. AUTOSTART:mgr启动时自动启动哪些进程
    4. AUTORESTART:在进程故障时,mgr可以尝试重启那些进程,指定重试的次数以及时间间隔
    5. LAGCRITICAL:延迟超过此时间为严重错误,在ggserr.log里面写入一条error信息
    6. LAGINFO:如果延迟达到此时间值会在ggserr.log里面写入一条info信息
    7. LAGREPORTHOURS :检查lag的频率(这里是小时为单位,还可以LAGREPORTMINUTES )
    8. PURGEOLDEXTRACTS:自动删除过时的队列的策略。建议统一用相对路径或绝对路径。
  4. Extract参数:
    1. Extract group名称
    2. Trial文件信息 (RMTHOST 、RMTTRAIL 、EXTTRAIL )
    3. 需要复制或排除的表(tables、tableexclude)
    4. 是否需要指定列信息
    5. 哪些操作要抽取(GETUPDATES )
    6. 捕获哪些内容(GETUPDATEBEFORES | IGNOREUPDATEAFTERS )
    7. 可以指定过滤、映射、转换
    8. 一般默认最简参数:
      1. 所有DML操作都捕获:
        1. 只捕获commit操作
        2. Insert操作:完整后镜像
        3. Update操作:附加日志列和修改列、不捕获update前镜像值
        4. Delete操作:附加日志列
      2. 不做转换
      3. Cachemgr参数的控制:64bit默认最大可以用到64g,所以要控制好,否则内存占用过大:cachemgr cachesize 2048M, cachedirectory ./dirtmp 4GB, cachedirectory ./dirtmp2 4GB
      4. BR:默认4小时。 BR BRINTERVAL 20M, BRDIR BR (20M表示检查间隔是20分钟):场景:长事务还未结束,日志文件被删除;无需还原日志文件,收到commit后,直接从BR目录下的文件写入trial文件。
    9. 两种抽取模式:
      1. 经典:基于在线日志或归档日志进行抽取。对数据库版本无特殊要求
      2. 整合:(11.2.1以上)Logmining server负责以LCR格式从数据库日志中捕获数据变化,extract进程再将这些数据存入trail文件。logical change records
      3. 整合模式的好处:
        1. 兼容性上支持更多的数据类型(IOT、compression、XML、LOB)
        2. 无需为RAC、ASM、TDE、RMAN做额外的配置
        3. 多线程抽取(producer thread: capture redo;consumer thread:process redo),并发处理过程的性能提升。
        4. OGG12c对oracle 12c 多租户的捕获(必须集成抽取模式才能支持)
        5. DDL无需trigger(OGG12c、DB11204)
        6. 和数据库引擎更近了!
      4. 整合模式部署方式:
        1. 本地部署:源库和log mining server数据库是同一个数据库(源库和集成抽取进程在同一台主机)
        2. Downstream部署:源库和log mining server数据库是不同的数据库(源库将归档日志传送给downstream数据库)(源库和集成抽取进程不在同一台主机)

Golden Gate 相关组件介绍:的更多相关文章

  1. hadoop以及相关组件介绍以及个人理解

    前言 本人是由java后端转型大数据方向,目前也有近一年半时间了,不过我平时的开发平台是阿里云的Maxcompute,通过这么长时间的开发,对数据仓库也有了一定的理解,ETL这些经验还算比较丰富.但是 ...

  2. Oracle Golden Gate概要

    Oracle GoldenGate简介 Oracle Golden Gate用于源数据库与目标数据库的数据复制备份:可以在异构的环境(各种操作系统和数据库)之间实现数据亚秒级的实时复制备份:以及可以在 ...

  3. 开源免费且稳定实用的.NET PDF打印组件itextSharp(.NET组件介绍之八)

    在这个.NET组件的介绍系列中,受到了很多园友的支持,一些园友(如:数据之巅. [秦时明月]等等这些大神 )也给我提出了对应的建议,我正在努力去改正,有不足之处还望大家多多包涵.在传播一些简单的知识的 ...

  4. 免费开源的.NET多类型文件解压缩组件SharpZipLib(.NET组件介绍之七)

    前面介绍了六种.NET组件,其中有一种组件是写文件的压缩和解压,现在介绍另一种文件的解压缩组件SharpZipLib.在这个组件介绍系列中,只为简单的介绍组件的背景和简单的应用,读者在阅读时可以结合官 ...

  5. 免费高效实用的.NET操作Excel组件NPOI(.NET组件介绍之六)

    很多的软件项目几乎都包含着对文档的操作,前面已经介绍过两款操作文档的组件,现在介绍一款文档操作的组件NPOI. NPOI可以生成没有安装在您的服务器上的Microsoft Office套件的Excel ...

  6. 免费开源的DotNet二维码操作组件ThoughtWorks.QRCode(.NET组件介绍之四)

    在生活中有一种东西几乎已经快要成为我们的另一个电子”身份证“,那就是二维码.无论是在软件开发的过程中,还是在普通用户的日常中,几乎都离不开二维码.二维码 (dimensional barcode) , ...

  7. 最好的.NET开源免费ZIP库DotNetZip(.NET组件介绍之三)

    在项目开发中,除了对数据的展示更多的就是对文件的相关操作,例如文件的创建和删除,以及文件的压缩和解压.文件压缩的好处有很多,主要就是在文件传输的方面,文件压缩的好处就不需要赘述,因为无论是开发者,还是 ...

  8. 高效而稳定的企业级.NET Office 组件Spire(.NET组件介绍之二)

    在项目开发中,尤其是企业的业务系统中,对文档的操作是非常多的,有时几乎给人一种错觉的是”这个系统似乎就是专门操作文档的“.毕竟现在的很多办公中大都是在PC端操作文档等软件,在这些庞大而繁重的业务中,单 ...

  9. 一款开源免费的.NET文档操作组件DocX(.NET组件介绍之一)

    在目前的软件项目中,都会较多的使用到对文档的操作,用于记录和统计相关业务信息.由于系统自身提供了对文档的相关操作,所以在一定程度上极大的简化了软件使用者的工作量. 在.NET项目中如果用户提出了相关文 ...

随机推荐

  1. MongoDB_pymongo

    python使用pymongo访问MongoDB的基本操作 安装pymongo: pip install pymongo from pymongo import MongoClient import ...

  2. Python中生成器,迭代器,以及一些常用的内置函数.

    知识点总结 生成器 生成器的本质就是迭代器. 迭代器:Python中提供的已经写好的工具或者通过数据转化得来的. 生成器:需要我们自己用Python代码构建的 创建生成器的三种方法: 通过生成器函数 ...

  3. node——express实现hello world

    创建文件夹,在文件夹内再创建index.js 1.package.json npm init -y 2.安装 npm install express ---save 3.index.js //入口文件 ...

  4. nyoj13-Fibonacci数

    Fibonacci数 时间限制:3000 ms  |  内存限制:65535 KB 难度:1 描述 无穷数列1,1,2,3,5,8,13,21,34,55...称为Fibonacci数列,它可以递归地 ...

  5. [ZOJ]3541 Last Puzzle (区间DP)

    ZOJ 3541 题目大意:有n个按钮,第i个按钮在按下ti 时间后回自动弹起,每个开关的位置是di,问什么策略按开关可以使所有的开关同时处于按下状态 Description There is one ...

  6. TCP连接的11中状态

    1.CLOSED:初始状态,表示TCP连接时关闭状态,没有任何连接. 2.LISTEN:表示服务器端的某个SOCKET处于监听状态,可以接收客户端的连接请求. 3.SYN_RCVD:表示服务器接收到来 ...

  7. C#常用 API函数大全

    常用Windows API1. API之网络函数WNetAddConnection 创建同一个网络资源的永久性连接WNetAddConnection2 创建同一个网络资源的连接WNetAddConne ...

  8. 《你又怎么了我错了行了吧》【Alpha】Scrum meeting 5

    第五天 日期:2019/6/18 前言: 第5次会议在女生宿舍召开 冲刺第5天,对所有工作做了总结.继续完善编码工作. 1.1 今日完成任务情况以及明天任务安排 姓名 当前阶段任务 下一阶段任务 刘 ...

  9. Java基础学习总结(61)——Java项目开发要注意的60个问题

    1. 首先写代码的时候最好不要有缺陷.最好的修复方法就是让 bug 胎死腹中. 良好的单元测试 强制数据库约束 使用输入验证框架 避免未实现的"else"条件 在应用到主程序之前知 ...

  10. 機器學習基石 机器学习基石 (Machine Learining Foundations) 作业2 Q16-18 C++实现

    大家好,我是Mac Jiang,今天和大家分享Coursera-NTU-機器學習基石(Machine Learning Foundations)-作业2 Q16-18的C++实现.尽管有非常多大神已经 ...