XTTS系列之三:中转空间的选择和优化
通常选择XTTS做迁移的数据库都不会太小的,至少都是几T、几十T这样的规模,这种级别的数据量原有空间不够用,所以在迁移过程临时用作存放迁移数据库备份文件的空间也是需要提前考虑规划的问题。
最近就有客户有这样场景,数据库的数据量已经达到了60T+,也是优先选择XTTS的方案做U2L迁移测试。
至于这个中转空间,目前是在存储上划分了对应空间给到源端,目标端XD是使用ACFS挂载的集群文件系统。
测试阶段发现性能不理想,主要是源端备份到挂载的存储速度太慢基本要一周时间,算了下平均都达不到100MB/s,另外由于文件数量大,scp传输也花费了几十个小时,只有目标端应用还算可以。
这说明目标端一体机的性能还是不错的,那这种场景下,如何优化这个时间呢?
简单说,确认该加的并行要加,各种找瓶颈解决瓶颈,比如计算能力、带宽、存储IO能力等。
这些都没啥或者也没改进的情况,
可以先思考下面这个问题:
Q.一体机目标端ACFS挂载的目录能否直接通过NFS挂载到源端,优化其操作时间?
如果答案是可以,那么scp这个时间自然就完全不需要了,直接省去了这一步骤。
而且,因为源端备份本来就慢,所以NFS挂载到目录也完全能满足这个需求。
现在我告诉你,答案经测试就是可以的。
无操作无真相,我这里就在自己测试环境试下Linux的情况:
- 1.ACFS挂载目录NFS挂载到其他机器
- 2.测试rman备份到NFS挂载点成功
- 3.测试xtts脚本备份到NFS挂载点成功
- 4.总结
1.ACFS挂载目录NFS挂载到其他机器
首先,客户环境要求暂时无法使用图形界面,创建ACFS可参考:
在创建ACFS系统之后,挂载到/xtts目录,启用NFS服务:
[root@db01rac1 ~]#
service nfs status
service nfs start
vi /etc/exports
/xtts *(rw)
显示NFS相关信息的命令:
showmount -e
exportfs
[root@db01rac1 ~]# showmount -e
Export list for db01rac1:
/xtts *
[root@db01rac1 ~]#
[root@db01rac1 ~]#
[root@db01rac1 ~]# exportfs
/xtts <world>
创建完成之后,使用NFS挂载到源端环境,源端环境需要做如下操作:
创建挂载点目录/xtts
mkdir /xtts
配置/etc/fstab,新增内容:
192.168.1.11:/xtts /xtts nfs rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,actimeo=0,vers=3,timeo=600
我这里是Linux系统,如果是其他Unix系统,其实是不太一样的,具体可参考:
- Mount Options for Oracle files for RAC databases and Clusterware when used with NFS on NAS devices (Doc ID 359515.1)
具体参考下面表格,根据你的需求选择即可:

挂载并确认挂载点成功:
mount -a
df -h /xtts
[root@bogon xtts]# mount -a
[root@bogon xtts]# df -h /xtts
Filesystem Size Used Avail Use% Mounted on
192.168.1.11:/xtts 5.0G 623M 4.4G 13% /xtts
2.测试rman备份到NFS挂载点成功
测试挂载的文件系统是否能否支持xtts脚本执行正常的备份?
[root@bogon xtts]#
[root@bogon xtts]# ls -ld /xtts
drwxr-xr-x. 4 54321 54321 32768 Jun 30 00:29 /xtts
备份users表空间测试:
RMAN> backup tablespace users format '/xtts/test%U.bak';
...
ORA-19504: failed to create file "/xtts/testvf2071lq_4079_1_1.bak"
ORA-27040: file create error, unable to create file
Linux-x86_64 Error: 13: Permission denied
...
意料之中的失败,就是授权问题,但这个授权是需要在NFS服务端去授权:
[oracle@db01rac1 xtts]$ chmod 777 /xtts
然后再次在NFS客户端执行备份,成功写入没问题:
RMAN> backup tablespace users format '/xtts/test%U.bak';
Starting backup at 01-JUL-23
using target database control file instead of recovery catalog
allocated channel: ORA_DISK_1
channel ORA_DISK_1: SID=247 device type=DISK
allocated channel: ORA_DISK_2
channel ORA_DISK_2: SID=369 device type=DISK
allocated channel: ORA_DISK_3
channel ORA_DISK_3: SID=488 device type=DISK
allocated channel: ORA_DISK_4
channel ORA_DISK_4: SID=609 device type=DISK
allocated channel: ORA_DISK_5
channel ORA_DISK_5: SID=731 device type=DISK
allocated channel: ORA_DISK_6
channel ORA_DISK_6: SID=852 device type=DISK
channel ORA_DISK_1: starting full datafile backup set
channel ORA_DISK_1: specifying datafile(s) in backup set
input datafile file number=00007 name=/flash/oradata/DEMO/users01.dbf
channel ORA_DISK_1: starting piece 1 at 01-JUL-23
channel ORA_DISK_1: finished piece 1 at 01-JUL-23
piece handle=/xtts/testvg2071t2_4080_1_1.bak tag=TAG20230701T231337 comment=NONE
channel ORA_DISK_1: backup set complete, elapsed time: 00:00:01
Finished backup at 01-JUL-23
Starting Control File and SPFILE Autobackup at 01-JUL-23
piece handle=/hdd/orabak/AUTO_c-3869296410-20230701-06.CTL comment=NONE
Finished Control File and SPFILE Autobackup at 01-JUL-23
3.测试xtts脚本备份到NFS挂载点成功
下面进一步测试xtts脚本调用备份是否可以,先改下配置文件:
[oracle@bogon xtt]$ grep -vE '^$|^#' xtt.properties
tablespaces=TEST
platformid=13
src_scratch_location=/u01/media/src_backups
dest_datafile_location=+DATADG
dest_scratch_location=/xtts
parallel=3
rollparallel=2
getfileparallel=4
srcconnstr=sys/oracle@jingyu
destconnstr=sys/oracle@jingyu
allowstandby=1
修改 src_scratch_location 为 /xtts,这样就省去了scp传输的过程。
[oracle@bogon xtt]$ grep -vE '^$|^#' xtt.properties
tablespaces=TEST
platformid=13
src_scratch_location=/xtts
dest_datafile_location=+DATADG
dest_scratch_location=/xtts
parallel=3
rollparallel=2
getfileparallel=4
srcconnstr=sys/oracle@jingyu
destconnstr=sys/oracle@jingyu
allowstandby=1
执行xtts脚本:
[oracle@bogon xtt]$
$ORACLE_HOME/perl/bin/perl xttdriver.pl --backup --debug 3
--如果报错,再次执行,只需要加-L参数或手工清除错误日志
$ORACLE_HOME/perl/bin/perl xttdriver.pl --backup --debug 3 -L
测试执行成功,跑了两次,全量增量都没问题:
[oracle@bogon xtt]$ ls -lrth /xtts/
total 103M
drwx------. 2 root root 64K Jun 1 14:31 lost+found
-rw-r-----. 1 oracle oinstall 2.3M Jul 1 23:13 testvg2071t2_4080_1_1.bak
-rw-r-----. 1 oracle oinstall 101M Jul 1 23:57 TEST_34.tf <----- 第一次全量生成文件
-rw-r-----. 1 oracle oinstall 56K Jul 1 23:58 vj2074hh_4083_1_1 <----- 第一次增量生成文件
此时目标端查看,就直接有这些文件了,权限到时恢复前改下就OK。
[oracle@db01rac1 xtts]$ ls -lrth
total 103M
drwx------ 2 root root 64K Jun 1 14:31 lost+found
-rw-r----- 1 10001 10001 2.3M Jul 1 23:13 testvg2071t2_4080_1_1.bak
-rw-r----- 1 10001 10001 101M Jul 1 23:57 TEST_34.tf
-rw-r----- 1 10001 10001 56K Jul 1 23:58 vj2074hh_4083_1_1
4.总结
XTTS用的中转空间可以使用目标端的ACFS挂载目录,再通过NFS挂载到源端,至少可以节省scp的传输时间。
另外目标端通常新硬件,通常性能要比之前源环境的更好一些,也能加快些速度。
XTTS系列之三:中转空间的选择和优化的更多相关文章
- CAN总线学习系列之三——CAN控制器的选择
CAN总线学习系列之三——CAN控制器的选择 在进行CAN总线开发前,首先要选择好CAN总线控制器.下面就比较一些控制器的特点. 一些主要的CAN总线器件产品 制造商 产品型号 器件功能及特点 Int ...
- 高仿QQ即时聊天软件开发系列之三登录窗口用户选择下拉框
上一篇高仿QQ即时聊天软件开发系列之二登录窗口界面写了一个大概的布局和原理 这一篇详细说下拉框的实现原理 先上最终效果图 一开始其实只是想给下拉框加一个placeholder效果,让下拉框在未选择未输 ...
- 完毕port(CompletionPort)具体解释 - 手把手教你玩转网络编程系列之三
手把手叫你玩转网络编程系列之三 完毕port(Completion Port)具体解释 ...
- SNF开发平台WinForm之三-开发-单表选择控件创建-SNF快速开发平台3.3-Spring.Net.Framework
3.1运行效果: 3.2开发实现: 3.2.1 这个开发与第一个开发操作步骤是一致的,不同之处就是在生成完代码之后,留下如下圈红程序,其它删除. 第一个开发地址:开发-单表表格编辑管理页面 http: ...
- Red Gate系列之三 SQL Server 开发利器 SQL Prompt 5.3.4.1 Edition T-SQL智能感知分析器 完全破解+使用教程
原文:Red Gate系列之三 SQL Server 开发利器 SQL Prompt 5.3.4.1 Edition T-SQL智能感知分析器 完全破解+使用教程 Red Gate系列之三 SQL S ...
- 单元测试系列之三:JUnit单元测试规范
更多原创测试技术文章同步更新到微信公众号 :三国测,敬请扫码关注个人的微信号,感谢! 原文链接:http://www.cnblogs.com/zishi/p/6762032.html Junit测试代 ...
- TCP/IP网络编程系列之三(初级)
TCP/IP网络编程系列之三-地址族与数据序列 分配给套接字的IP地址和端口 IP是Internet Protocol (网络协议)的简写,是为首发网络数据而分配给计算机的值.端口号并非赋予计算机值, ...
- DataSnap 2009 系列之三 (生命周期篇)
DataSnap 2009 系列之三 (生命周期篇) DataSnap 2009的服务器对象的生命周期依赖于DSServerClass组件的设置 当DSServer启动时从DSServerClass组 ...
- Sql Server来龙去脉系列之三 查询过程跟踪
我们在读写数据库文件时,当文件被读.写或者出现错误时,这些过程活动都会触发一些运行时事件.从一个用户角度来看,有些时候会关注这些事件,特别是我们调试.审核.服务维护.例如,当数据库错误出现.列数据被更 ...
- .NET 4 并行(多核)编程系列之三 从Task的取消
原文:.NET 4 并行(多核)编程系列之三 从Task的取消 .NET 4 并行(多核)编程系列之三 从Task的取消 前言:因为Task是.NET 4并行编程最为核心的一个类,也我们在是在并行编程 ...
随机推荐
- [网络]内网IP的判别与分类
1 内网IP划分 内网IP地址分为A类.B类和C类,其地址范围如下: A类地址: 10.0.0.0 - 10.255.255.255 B类地址: 172.16.0.0 - 172.31.255.255 ...
- 互联网常用API收集
百度车联网API:http://lbsyun.baidu.com/index.php?title=car
- 【SpringMVC】(二)RESTFul
RESTFul RestFul简介 REST:Representational State Transfer,表现层资源状态转移 资源:资源是一种看待服务器的方式 资源的表述:资源的表述是资源在某个特 ...
- 18-html压缩
const { resolve } = require('path'); const HtmlWebpackPlugin = require('html-webpack-plugin'); modul ...
- Prism Sample 18-NavigationCallback
同17相比,在导航方法中增加了回调函数 private void Navigate(string navigatePath) { if (navigatePath != null) _regionMa ...
- 关于OA系统的取数依据,以及如何逆向查询数据错误的思路。
1.正文 00.起因 源于财务在群里发的问题.我估计对于很多同事,又会像往常一样充满疑问,尤其是对于oa的取数会有疑问,然后业务能力极差的那部分,又会想到这是运营的问题(话说关运营什么事?),这是项目 ...
- 开发 Diffusers 库的道德行为指南
我们正在努力让我们每次发布的库更加负责! 我们很荣幸宣布我们发布了 道德守则,并将作为一部分其放入 Diffusers 库的说明文档. 由于扩散模型在现实世界上的实际应用例子会对社会造成潜在的负面影 ...
- 2022-12-18:给定一个长度为n的二维数组graph,代表一张图, graph[i] = {a,b,c,d} 表示i讨厌(a,b,c,d),讨厌关系为双向的, 一共有n个人,编号0~n-1, 讨
2022-12-18:给定一个长度为n的二维数组graph,代表一张图, graph[i] = {a,b,c,d} 表示i讨厌(a,b,c,d),讨厌关系为双向的, 一共有n个人,编号0~n-1, 讨 ...
- 2022-08-21:以下go语言代码输出什么?A:0;B:panic;C:不知道。 package main var n = -99 func main() { m := make(map[
2022-08-21:以下go语言代码输出什么?A:0:B:panic:C:不知道. package main var n = -99 func main() { m := make(map[stri ...
- 2021-03-26:给定一个正整数N,表示有N份青草统一堆放在仓库里。有一只牛和一只羊,牛先吃,羊后吃,它俩轮流吃草。不管是牛还是羊,每一轮能吃的草量必须是:1,4,16,64…(4的某次方)。谁最先把草吃完,谁获胜。假设牛和羊都绝顶聪明,都想赢,都会做出理性的决定。根据唯一的参数N,返回谁会赢。
2021-03-26:给定一个正整数N,表示有N份青草统一堆放在仓库里.有一只牛和一只羊,牛先吃,羊后吃,它俩轮流吃草.不管是牛还是羊,每一轮能吃的草量必须是:1,4,16,64-(4的某次方).谁最 ...