2、Oracle Logminer性能测试

Oracle Logminer性能测试

1 测试介绍

1.1 测试目的

通过模拟不同环境下LogMiner解析联机/归档日志文件运行情况，通过测试所获取的数据分析，通过对以下两点的验证来确定通过LogMiner技术技术可行性：

1、在日志文件不同大小、不同数据压力情况下对数据库服务器内存、CPU的影响；

2、并通过查询LogMiner的动态表和实际物理表中数据数目是否一致，验证其准确性。

1.2 测试环境

用途及说明	硬件配置	软件配置	其它说明
数据库服务器	型号：T420i 处理器：Intel(R)core(TM) i5 CPU M430 主频：2.2G 内存：2G 硬盘：300G	操作系统：WindowXP 数据库及版本：Oracle10.2g IP地址：10.88.54.83
测试机	型号：T420i 处理器：Intel(R)core(TM) i5 CPU M430 主频：2.2GHz 内存：1.8 GB 显示器：1280*800 宽屏	操作系统：windows xp 浏览器及版本：ie8

1.3 测试方案

1.3.1 性能影响(针对目标一)

为了模拟实际运行环境，加入了Logminer运行背景环境，分别测试数据库在无操作、300个插入/秒操作、500个插入/秒操作情况下运行情况，并且对比日志文件50M、100M大小下运行情况

1.3.2 准确性(针对目标二)

1、数据类型

序号	数据类型	是否支持	问题处理
1	BINARY_DOUBLE	8.1及以上
2	BINARY_FLOAT	8.1及以上
3	CHAR	8.1及以上
4	DATE	8.1及以上	需设置时间格式，否则只能同步日期 alter system set nls_date_format='yyyy-MM-dd HH24:mi:ss' scope=spfile;
5	INTERVAL DAY	8.1及以上
6	INTERVAL YEAR	8.1及以上
7	NUMBER	8.1及以上
8	NVARCHAR2	8.1及以上
9	RAW	8.1及以上
10	TIMESTAMP	8.1及以上
11	TIMESTAMP WITH LOCAL TIME ZONE	8.1及以上
12	VARCHAR2	8.1及以上
13	LONG	9.2及以上
14	CLOB	10.1及以上	需要设置如下： ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 插入时分为两条语句，另外插入二进制数据未进行测试
15	BLOB	10.0及以上

2、DDL语句测试（未测试完毕）

序号	类型	是否支持
1	创建表（Create table）	支持
2	删除表（Drop table）	支持，出现两个语句，首先修改表名为临时表名，然后删除该临时表 监控该类型需要进行合并处理
3	创建作业（Create job）	不支持
4	创建序列（Create sequence）	支持
5	创建存储过程（Create pocedure）	支持
6	增加字段（alter table TABLE add column）	支持
7	删除字段（alter table emp drop column）	支持
8	修改字段（alter table emp modify column）	支持
9	修改列名（alter table rename column）	支持
10	修改表名（rename emp to TABLE）	支持
11	清除表数据（truncate table TABLE）	支持
12	删除表（drop table TABLE）	支持
13	恢复被删除的表（Flashback table TABLE to before drop）	支持
14	NOT NULL约束（alter table TABLE modify COLUMN not null）	支持
15	UNIQUE约束	支持
16	PRIMARY KEY约束	支持
17	FOREIGN KEY 约束	支持
18	CKECK 约束	支持
19	禁用/激活约束	支持
20	删除约束	支持
21	创建不唯一索引	支持
22	创建唯一索引	支持
23	创建位图索引	支持
24	创建反序索引	支持
25	创建函数索引	支持
26	修改索引	支持
27	合并索引	支持
28	重建索引	支持
29	删除索引	支持
30	创建视图（CREATE VIEW）	支持
31	修改视图（CREATE OR REPLACE VIEW）	支持
32	删除视图（DROP VIEW）	支持
33	创建序列（CREATE SEQUENCE）	支持
34	修改序列（ALTER SEQUENCE）	支持
35	删除序列（DROP SEQUENCE）	支持

3、其他问题测试

序号	问题	现象及处理方式
1	主子表插入数据测试	能够正常插入及同步
2	事务提交(commit、rollback)	能够看到提交和未提交的内容，考虑在产品设计中加入DBMS_LOGMNR.COMMITTED_DATA_ONLY 参数，该参数只读取已经提交事务
3	批量更新时，影响多条数据，在联机日志中每一条更新数据对应生成一条语句	不影响，可同步获取再执行
4	更新和删除语句中带rowid	加入去除rowid参数dbms_logmnr.NO_ROWID_IN_STMT
5

2 测试结论

2.1 测试初步结论

1. 从性能影响测试中可以看出：

a) logminer加载分析过程随机器根据负载不同在6~21秒完成；

b) 加载分析过程并不随日志文件个数增加在时间、CPU、内存有较大变化；

c) 加载分析过程中受分析日志文件个数最大是内存，其次是CPU，耗时应影响较小；

2. 从准确性测试来看

a) 通过设置基本上能够获取DML语句（其中LOB字段还需要进行测试）；

b) 从现有情况来看，DDL支持并不充分，需要进一步测试；

附测试数据：

	联机日志大小	读取文件个数	运行作业数目	插入数据量	生成字典文件		加载处理			分析处理			log_contents 数据量
					大小(M)	时间(秒)	耗时(秒)	CPU(%)	内存(M)	耗时(秒)	CPU(%)	内存(M)
方案一	50M	1个	0个	0笔/秒	47.5	12.7	1	1	309	5.5	25	438	600
		3个	0个	0笔/秒			1	1	309	5.7	25	444	222,236
		5个	0个	0笔/秒			1	1	326	5.6	25	445	492,606
		10个	0个	0笔/秒			1	1	326	5.6	25	445	1,149,284
方案二	50M	1个	500个	估计300笔/秒	47.5	20	1	26	391	6.7	35	530	111,328
		3个	500个	估计300笔/秒			1	21	473	6.4	37	619	372,389
		5个	500个	估计300笔/秒			1	25	534	6.8	44	692	622,390
		10个	500个	估计300笔/秒			1	30	624	6.7	39	780	1,254,748
方案三	50M（未运行CPU80%,680M）	1个	1000个	估计500笔/秒	47.5	54.7	3.5	71	688	15	80	806	35,892
		3个	1000个	估计500笔/秒			1.5	41	688	14.4	78	777	384,743
		5个	1000个	估计500笔/秒			1	68	687		75	805	652,148
		10个	1000个	估计500笔/秒			10	80	689	13.2	79	806	1,295,158
方案四	50M（未运行CPU80%,667M）	1个	2000个	估计1000笔/秒	47.5	73.7	5.5	84	691	14.6	78	808	133,844
		3个	2000个	估计1000笔/秒			11.4	70	691	12	75	809	390,029
		5个	2000个	估计1000笔/秒			5.5	76	690	13.6	76	806	668,013
		10个	2000个	估计1000笔/秒			6.1	40	690	15.4	88	809	1,335,587
方案五	100M（未运行CPU25%,464M）	1个	500个	估计300笔/秒	23.8	8.7	0.8	26	484	4.1	30	573	268,715
		3个	500个	估计300笔/秒			0.9	25	534	3.2	36	622	768,989
		5个	500个	估计300笔/秒			0.9	27	581	3.2	35	662	1,324,447
		10个	500个	估计300笔/秒			1.1	29	690	5.2	35	763	2,619,322