Oracle 11g使用DML Error Logging来避免bulk insert故障

当使用带有子查询的insert语句来加载数据时如果出现错误.系统会终止该语句并回滚整个操作.这是非常消耗时间和资源的操作.如果insert这样的语句可以使用DML Error Logging功能来避免这种情况.

 

为了使用DML error logging功能需要增加一个子句来指定error logging表名来记录当DML操作所遇到的错误记录.当向insert

 语句增加一个error logging子句时特定类型的错误将不会被终止和回滚语句.相反每一个错误记录会被记录到表中操作语句能继续执行.在操作完成后可以对错误记录执行修正操作.

DML error logging功能可以与insert,update,merge和delete语句一起使用.

1. 为了使用DML error logging功能来插入数据，可以手工创建一个error logging表或者使用dbms_errlog包来自动创建.

2. 执行一个包含error logging子句的insert语句:

    * 可以选择引用自己创建的error logging表.如果没有提供一个error logging表表名.数据库会使用一个缺省的error logging表.

    * 缺省的error loggin表名为err$_后面紧接着是插入表名的前25个字符.

* 可以选择包含一个标签(一个数字或者有括号的字符串)它将添加到错误日志中来帮助你识别哪个语句产生的错误.如果标签被忽略  将使用null值

* 可以选择包含reject limit子句

 这个子句指示在insert语句终止和回滚之前可以遇到的错误的最大数量.可以指定为unlimited.缺省的reject limit为0,这意味着

 在遇到第一个错误时会记录错误并回滚语句.对于并行操作reject limit应用到每一个并行服务器进程.

3.查询error logging表对于产生错误的行执行修正.

error logging表的格式

 一个error logging表由两部分组成:

 .描述错误的一组强制列.例如一个列包含了oracle的错误代码

.包含造成错误行数据的一组可选列.这些列名与执行插入操作的表中的列名相匹配.

 error logging表中的这部分的列数可以是0,1或者多个直到与DML表中的列数相等.如果在error logging表中的列与DML表中的列

 有相同的名字,那么违反插入操作的行记录中的相关数据会被写入这个error logging表中的列中.如果DML表中的列在error logging表中没有与之相关的列,那么这个列将不会记录.如果error logging表包含一个与DML表不相匹配的列那么这个列会被忽略.

 

因为类型转换错误是一种可能出现的错误类型,在error logging表中的可选列的数据类型必须是能捕获任何值而不会丢失数据或转换错误的数据类型.(如果可选日志列与DML表列有相同的数据类型,那么记录捕获问题数据时也会有相同的数据转换问题).数据库为了记录造成转换错误的数据的有用信息做出了最大努力.如果值不能通过派生得到,对于这个列会记录null值.插入errog logging表的一个错误会导致语句终止.

 

表:强制错误描述列

--------------------------------------------------------------------------------------------------------------
列名                            数据类型              描述
--------------------------------------------------------------------------------------------------------------
ora_err_number$                number                oracle错误代码
ora_err_mesg$                  varchar2(2000)        oracle错误消息文本
ora_err_rowid$                  rowid                错误行的rowid(对于更新和删除)
ora_err_optyp$                  varchar2(2)          操作类型:insert(i),update(u),delete(d)
                                                      注意:来自merge操作的update子句和insert子句的错误通过U,I来区分
ora_err_tag$                    varchar2(2000)        提供给error logging子句的标签值
--------------------------------------------------------------------------------------------------------------

表:错误日志表的列数据类型

--------------------------------------------------------------------------------------------------------------
DML表列类型          错误日志表的列类型            注意
--------------------------------------------------------------------------------------------------------------
number              varchar2(4000)                能够记录转换错误
char/varchar2(n)    varchar2(4000)                记录没有信息丢失的任何值
nchar/nvarchar2(n)  nvarchar2(4000)                记录没有信息丢失的任何值
date/timestamp      varchar2(4000)                记录没有信息丢失的任何值.使用缺省的date/time格式来转换成
                                                    字符格式
raw                  raw(2000)                      记录没有信息丢失的任何值
rowid                urowid                        记录任何类型的rowid
long/lob                                            不支持
用户定义数据类型                                    不支持
--------------------------------------------------------------------------------------------------------------

创建错误日志表

 可以手工创建一个错误日志表或者使用pl/sql包来自动创建

使用dbms_errlog包可以自动创建一个错误日志表.create_error_log过程将创建一个有所有强制描述错误的列加上DML表中所有列

 的一个错误日志表

 首先创建一个要存储数据的表test_emp

SQL> create table test_emp as select * from hr.employees where 1=2;

Table created.

SQL> alter table test_emp add primary key (employee_id);

Table altered.

先向test_temp表中插入一条记录因为让后面的插入操作产生违反主键约束的错误

SQL> insert into test_emp select * from hr.employees where rownum<2;

1 row created.

SQL> commit;

创建错误日志表

SQL> execute dbms_errlog.create_error_log('TEST_EMP','ERR_EMP');

PL/SQL procedure successfully completed.

SQL> desc err_emp
 Name                                      Null?    Type
 ----------------------------------------- -------- ----------------------------
 ORA_ERR_NUMBER$                                    NUMBER
 ORA_ERR_MESG$                                      VARCHAR2(2000)
 ORA_ERR_ROWID$                                    ROWID
 ORA_ERR_OPTYP$                                    VARCHAR2(2)
 ORA_ERR_TAG$                                      VARCHAR2(2000)
 EMPLOYEE_ID                                        VARCHAR2(4000)
 FIRST_NAME                                        VARCHAR2(4000)
 LAST_NAME                                          VARCHAR2(4000)
 EMAIL                                              VARCHAR2(4000)
 PHONE_NUMBER                                      VARCHAR2(4000)
 HIRE_DATE                                          VARCHAR2(4000)
 JOB_ID                                            VARCHAR2(4000)
 SALARY                                            VARCHAR2(4000)
 COMMISSION_PCT                                    VARCHAR2(4000)
 MANAGER_ID                                        VARCHAR2(4000)
 DEPARTMENT_ID                                      VARCHAR2(4000)

执行插入操作

SQL> insert into test_emp select * from hr.employees log errors into err_emp('test_load1') reject limit 40;

106 rows created.

SQL> insert into test_emp select * from hr.employees log errors into err_emp('test_load1') reject limit 1000;

0 rows created.

SQL> commit;

Commit complete.