GoldenGate搭建与运维

　　GolenGate介绍

　　GoldenGate软件是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化，再将这些变化应用到目标数据库，实现源数据库与目标数据库实时同步（real-time data synchronize）、双活（active-active high availability）。GoldenGate软件可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制。

　　免费下载地址：

　　http://www.oracle.com/technetwork/cn/middleware/goldengate/downloads/index.html

　GoldenGate安装

　　GoldenGate软件在源端和目标端都需要进行安装和配置工作。根据源端和目标端的系统以及数据库版本的不同，下载安装不同版本的GoldenGate软件。

　　2.1 安装前检查

　　①检查网络端口是否开通

　　　　telnet IP PORT 如果指定端口不能够通信的话，trailfile是不能送达到目标端的。

　　②检查$ORACLE_HOME/lib环境变量是否在当前用户的.profile或.bash_profile里。

　　　一般来说：

　　　　[Linux                               ]：LD_LIBRARY_PATH
　　　　[Solaris 32-bit ruby            ]：LD_LIBRARY_PATH_32 or LD_LIBRARY_PATH
　　　　[Solaris 64-bit ruby            ]：LD_LIBRARY_PATH_64 or LD_LIBRARY_PATH
　　　　[HP-UX PA-RISC 32-bit ruby]：SHLIB_PATH
　　　　[HP-UX PA-RISC 64-bit ruby]：SHLIB_PATH
　　　　[HP-UX IA64                      ]：LD_LIBRARY_PATH
　　　　[Mac OS X                         ]：DYLD_LIBRARY_PATH
　　　　[AIX                                  ]：LIBPATH

　　③检查源端是否开启归档

　　　　开启归档日志方法：

　　　　(1)保存一致性,先关闭数据库
　　　　　　SQL>shutdown immediate ;
　　　　(2)启动到mount阶段
　　　　　　SQL>startup mount;
　　　　(3)切换到归档模式
　　　　　　SQL>alter database archivelog;
　　　　(4)切换到open阶段
　　　　　　SQL>alter database open;

　　但对于9i版本的数据库，还需要设置log_archive_start=true，否则归档是开通不了的，10g版本之后就废弃了这个参数。设置方法：

　　　　　　SQL>alter system set log_archive_start=true scope=spfile;

　　需要重启数据库才能生效。

　　④检查源端是否开启日志附加模式

　　　　检查方法：select supplemental_log_data_min from v$database;

　　　　修改方法：alter database add supplemental log data;

　　⑤源端与目标端字符集检查

　　　　检查方法：select * from v$nls_parameters;

　　⑥ 源端和目标端创建goldengate用户

　　　　SQL>create user ggmgr identified by ggmgr default tablespace users temporary tablespace temp;

　　　　SQL>grant resource,connect,select any table to ggmgr;

　　2.2 安装GoldenGate软件

　　　　1、设置GGS_HOME路径

　　　　　　export GGS_HOME=$ORACLE_BASE/goldengate

　　　　2、解压压缩包：

　　　　　　①unzip ogg112101_fbo_ggs_Linux_x64_ora11g_64bit.zip

　　　　　　②tar -xvf fbo_ggs_Linux_x64_ora11g_64bit.tar

　　　　3、./ggsci 进入Goldengate命令行

　　　　4、创建子目录

　　　　　　ggsci>create subdirs

　　　　5、配置主进程参数

　　　　　　主进程参数用来配置进程监听端口以及其他属性参数

　　　　　　ggsci>edit params mgr　　

port 7809 #port 指定mgr进程通信端口
dynamicportlist 7800-8000 #dynamicportlist 表示mgr进程可以为源与目的端动态通信指定端口
autorestart extract *,retries 3,waitminutes 3,resetminutes 3 #autorestart extract 表示自动重启extract进程组，每3分钟尝试重启所有进程，重试3次，每3分钟清零

　　　　6、启动主进程

　　　　　　ggsci>start mgr

　　　　7、在源端配置抓取进程（E进程）

　　　　　　ggsci> add extract e_test ,tranlog,begin now #新增抽取进程e_test，基于日志方式，立即生效

　　　　8、配置抓取进程参数

　　　　　　ggsci> edit params e_test

　　　　extract e_test
　　　　setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
　　　　userid ggmgr,password ggmgr      #连接DB的用户和密码，可以配置参数文件，具体在direnv里编辑文件user.oby文件
　　　　rmthost oracle11g, mgrport 7812  #目标数据库服务器地址和GG服务端口号
　　　　rmttrail ./dirdat/et             #远程队列的位置
　　　　dynamicresolution                #优化参数，动态分析表结构
　　　　table scott.emp;                 #抓取表信息，可以使用scott.*
　　　　table scott.test;

　　　　9、创建远程队列

　　　　　　ggsci>add rmttrail /home/oracle/app/goldengate/dirdat/et extract e_test

　　　　10、增加传输表信息

　　　　　　ggsci>dblogin userid ggmgr,password ggmgr

　　　　　　ggsic>add trandata scott.emp

　　　　11、启动抓取进行

　　　　　　ggsci>start extract e_test

　　　　12、新增复制进程（R进程）

　　　　　　ggsci>add replicat r_test exttrail ./dirdat/ex,begin now,nodbcheckpoint

　　　　　　当然可以配置checkpointtable,方法：

　　　　　　ggsci>dblogin userid ggmgr,password ggmgr

　　　　　　ggsci>add checkpointtable ggmgr.checkpoint

　　　　13、配置复杂进程（R进程）

　　　　　　ggsci>edit params r_test　

　    replicat r_test                               #复制进程名
　　　　userid ggmgr,password ggmgr                   #目标数据库的帐号密码
　　　　assumetargetdefs                              #两台数据库数据结构一致则使用此参数
　　　　reperror default,discard                      #如果复制数据出错则忽略
　　　　discardfile ./dirdat/extest.dsc,append,megabytes 100 #错误信息写入文件，追加模式，最大100m
　　　　map scott.emp, target ggmgr.emp;              #全表映射关系，注意target前必须留一个空格
　　　　map scott.test ,target ggmgr.test             #指定列映射关系
　　　　colmap(id=cn_id,cnname=cn_name);

　　　  14、启动复杂进程

　　　　　　ggsci>start replicat r_test

　　　至此，一个简单的GG链路就算配置完毕了。当然复杂的GG链路，还需要配置D（Data Pump)进程，此进程优势在于：

　　　主提取进程（即第一个extract）首先将trail生成在本地，然后datapump读取本地trail再发送到目标服务器，即便网络故障，主提取进程仍然能随着事务生成trail文件，而datapump则会暂时停止传输，等待网络通畅后在将堆积的本地trail文件发送至目标服务器，从而实现了断点传输的功能。在实际应用中，每一个同步流程都应该配置datapump以应对网络问题。

　　　　   15、新增D进程

　　　　语法：

　　　　　　ADD EXTRACT pump_NAME, EXTTRAILSOURCE <local_trail>, BEGIN <time>

　　　　eg:

　　　　　　ggsci> ADD EXTRACT D_TEST,EXTTRAILSOURCE ./dirdat/ex, begin now

　　　　　16、配置D进程

　　　　　　ggsci>edit params d_test

　　　　extract D_TEST
　　　　setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
　　　　userid ggmgr,password ggmgr      #连接DB的用户和密码，可以配置参数文件，具体在direnv里编辑文件user.oby文件
　　　　exttrail ./dirdat/ex             #注意DATA PUMP进程与E进程的区别
　　　　dynamicresolution                #优化参数，动态分析表结构
　　　　table scott.emp;                 #抓取表信息，可以使用scott.*
　　　　table scott.test;

　3、日常运维命令

　　　　

　　　　3.1 view params group_name　　#查看已配置的参数

　　　　3.2 edit params  group_name     #编辑参数文件

　　　　3.3 view report  group_name      #查看进程日终

　　　　3.4 info group_name  detail        #查看进程运行的详细信息

　　　　3.5 stats extract/replicat group_name  #查看抓取或者复制进程的静态信息

　　　　　　3.5.1 stats extract group_name table table_name #查看抓取某张表的静态信息

　　　　　　3.5.2 STATS {EXTRACT | REPLICAT | ER} {<group| wildcard>}, REPORTRATE {HR | MIN | SEC}  #查看处理进度

　　　　　　3.5.3 stats extract group_name,totalsonly table_name   #查看自启动以来单表的总的操作

　　　　　　3.5.4 STATS {EXTRACT | REPLICAT | ER} {<group| wildcard>},{TOTAL | DAILY | HOURLY | LATEST}  #过滤静态信息

　　　　　　3.5.5 SEND {EXTRACT | REPLICAT | ER} {<group |wildcard>}, REPORT   #

　　　　 3.6 查看日志信息

　　　　　　路径：#GGS_HOME/ggserr.log

　　　　 3.7 获取源表机构定义

　　　　　　defgen paramfile  dirprm/defgen.prm   #使用defgen建立源表定义文件，目标端要用到此命令，执行路径$GGS_HOME

　　　　　　ggsci>edit params defgen

　　　　DEFSFILE ./dirdef/defgen.def  #将生成文件的位置以及名称
　　　　USERID ggmgr PASSWORD ggmgr   #
　　　　TABLE scott.emp;              #传输的表
　　　　TABLE scott.test;

　　　　　　在$GGS_HOME路径下执行：

　　　　　　./defgen paramfile /home/oracle/app/goldengate/dirprm/defgen.prm　　　　

　　　　-----------------------------THE END ----------------------------------

　　　4 参考

　　　 4.1 Oracle GoldenGate 11g Implementer's guide.pdf

　　　　4.2 http://www.juliandyke.com/Blog/?p=396

　　　　4.3 http://blog.csdn.net/tianlesoftware/article/category/776328