来源于:http://blog.csdn.net/vtopqx/article/details/50633865

前言:
 很久之前,估计在2010年左右在使用Oralce,当时有个需求就是需要对两个表的数据进行匹配,这两个表的数据结构一致,一个是正式表,一个是临时表,这两表数据量还算是比较大几百M。业务需求是用临时表中的数据和正式表的匹配,所有字段都需要一一匹配,而且两表还没有主键,这是一个比较麻烦和糟糕的事情。

场景:
1、如果两表所有字段值都一致则不处理;
2、如果有部分字段不一致则更新;
3、如果正式表中数据在临时表中不存在,则需要删除;

满足上面场景的三个功能即可,可以用程序如(Java,C,C#)等各种实现,也可以使用存储过程Oracle实现;
考虑之后用程序来做,这肯定是可以实现,但是撇开繁琐的数据读取、操作sql之外,还需要匹配,而且效率也是个问题;就决定用存储过程来实现,先前是使用了if exists来匹配。后面发现效率不高,比较慢;后续改进之后引入了Oracle merge into来实现;

具体事例代码(字段删除了大部分)如下:

1、对临时表L_TABLE中数据与正式表Z_TABLE比较,如果各个字段值比较不相等则认为临时表的这行数据是新增的,然后插入到正式表中。

  1. merge into Z_TABLE t1
  2. using (
  3. select
  4. S_SYSTEM_ID,
  5. S_PORT_ID,
  6. S_SYSTEM_NAME
  7. where S_SYSTEM_NAME = "广东"
  8. from L_TABLE
  9. ) t2
  10. on(
  11. t1.S_PORT_ID=t2.S_PORT_ID and t1.S_SYSTEM_ID=t2.S_SYSTEM_ID  and nvl(t1.S_SYSTEM_NAME,'1')=nvl(t2.S_SYSTEM_NAME,'1')
  12. )
  13. WHEN NOT matched THEN
  14. INSERT (
  15. S_SYSTEM_ID,
  16. S_PORT_ID,
  17. S_SYSTEM_NAME
  18. )
  19. VALUES (
  20. t2.S_SYSTEM_ID, t2.S_PORT_ID,t2.S_SYSTEM_NAME
  21. )

注:

1)上面代码on(nvl(t1.S_SYSTEM_NAME,'1')=nvl(t2.S_SYSTEM_NAME,'1'),用了nvl函数 这个地方需要特别注意,当初测试的时候发现有些字段为空null,null和null之前是不能用相等来处理的,所以对于那些为null或者“”的字段统一转为一个字符串来做匹配,当作相等,要不然会出现匹配不上的问题。

2)在查询临时表的时候加了个条件约束where S_SYSTEM_NAME = "广东";之前的处理是全量的,查询整个大表,后面发现效率不是非常完美;加入条件判断之后相当于是每次只去少量的数据用来和正式表做匹配,如此便可以减轻数据库临时空间的负担,多循环几个城市省份分别去做,可以加快速度。

2、删除正式表中Z_TABLE中多余的数据,最后临时表和正式表数据量相等;
在之前第1步的时候如果有一行数据的某个字段不相同的话,是会重新插入一行数据到正式表中,而不是更新,所以正式表中会多出一些多余的数据也就是和临时表不完全相等的数据。

  1. merge into Z_TABLE t1
  2. using (
  3. select S_SYSTEM_ID, S_PORT_ID,S_SYSTEM_NAME from Z_TABLE
  4. minus
  5. select S_SYSTEM_ID, S_PORT_ID,S_SYSTEM_NAME from L_TABLE
  6. ) t2
  7. on (
  8. t1.S_PORT_ID=t2.S_PORT_ID and t1.S_SYSTEM_ID=t2.S_SYSTEM_ID  and nvl(t1.S_SYSTEM_NAME,'1')=nvl(t2.S_SYSTEM_NAME,'1')
  9. )
  10. when matched then
  11. update set t1.additionalInfo = 'del'
  12. delete WHERE t1.additionalInfo = 'del'

上面sql意思是挑选出正式表和临时表中的差异数据(包括各个字段值的差异),这里用了Oracle的minus函数进行刷选,其实这部分就是需要删除的数据,将这部分数据集合拿去和正式表中进行匹配,如果在正式表中存在则更新删除标识,进行删除。

注:

因为两表都是没有主键,所以无法使用唯一判断用来删除作为删除依据,而且merge into的语句测试了下delete必须要跟在update后,这点比较纠结,所以只能给正式表加一个扩展字段additionalInfo 来作为删除的标记,以便删除处理。

通过以上两个步骤,正式表和临时表的数据已同步完成!

oracle数据匹配merge into的更多相关文章

  1. 在oracle中使用merge into实现更新和插入数据

    目录 oracle中使用merge into DUAL表解释 使用场景 用法 单表 多表 oracle中使用merge into DUAL表解释 在Oracle数据库中,dual是Oracle中的一个 ...

  2. Oracle基础之Merge into

    Merge into语句是Oracle9i新增的语法,用来合并UPDATE和INSERT语句. 通过MERGE语句,根据一张表或多表联合查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDA ...

  3. 【转载】使用Pandas进行数据匹配

    使用Pandas进行数据匹配 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas进行数据匹配 目录 merge()介绍 inner模式匹配 lefg模式匹配 right模式匹配 outer模式 ...

  4. Oracle数据块损坏的恢复实例

    测试环境:11.2.0.4 1.构建数据块损坏的测试环境 2.有备份:常规恢复坏块 3.无备份:跳过坏块 1.构建数据块损坏的测试环境 1.1 创建测试表 --Create Table t_test ...

  5. oracle 正则表达式 匹配

    oracle 正则表达式 在实际应用中,想排除带有中文的字段值: select h.froomnumber from t_broker_house h where REGEXP_LIKE(froomn ...

  6. 转载:使用Pandas进行数据匹配

    使用Pandas进行数据匹配 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas进行数据匹配 目录 merge()介绍 inner模式匹配 lefg模式匹配 right模式匹配 outer模式 ...

  7. ORACLE 数据泵 expdp/impdp

    ORACLE 数据泵 expdp/impdp 一.概念 Oracle Database 10g 引入了最新的数据泵(Data Dump)技术,数据泵导出导入 (EXPDP 和 IMPDP)的作用: 1 ...

  8. Oracle数据泵(Data Dump)错误汇集

    Oracle数据泵(Data Dump)使用过程当中经常会遇到一些奇奇怪怪的错误案例,下面总结一些自己使用数据泵(Data Dump)过程当中遇到的问题以及解决方法.都是在使用过程中遇到的问题,以后陆 ...

  9. [转]Oracle数据块体系的详细介绍

    数据块概述Oracle对数据库数据文件(datafile)中的存储空间进行管理的单位是数据块(data block).数据块是数据库中最小的(逻辑)数据单位.与数据块对应的,所有数据在操作系统级的最小 ...

随机推荐

  1. [转]Java 常用排序算法/程序员必须掌握的 8大排序算法

    本文转自:http://www.cnblogs.com/qqzy168/archive/2013/08/03/3219201.html 本文由网络资料整理转载而来,如有问题,欢迎指正! 分类: 1)插 ...

  2. OpenXml入门---word里面插入图片

    下面介绍如何在word里面插入图片,顺便小弟发现MSDN官网有完整的OpenXML教程,虽然是全英文的不过还是很有帮助的. Tips,原来摘抄代码里面没有模板,在copy过来发现插入word中的图片大 ...

  3. AC日记——潜伏着 openjudge 1.7 11

    11:潜伏者 总时间限制:  1000ms 内存限制:  65536kB 描述 R国和S国正陷入战火之中,双方都互派间谍,潜入对方内部,伺机行动. 历经艰险后,潜伏于S国的R国间谍小C终于摸清了S国军 ...

  4. HTML 学习笔记(块 和 类)

    HTML <div> 和 <span> 可以通过<div>和<span>将HTML元素组合起来. HTML块元素 大多数HTML元素被定义为块级元素或者 ...

  5. 表单事件onsubmit与onreset

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  6. PAT 1009. 说反话 (20) JAVA

    给定一句英语,要求你编写程序,将句中所有单词的顺序颠倒输出. 输入格式:测试输入包含一个测试用例,在一行内给出总长度不超过80的字符串.字符串由若干单词和若干空格组成,其中单词是由英文字母(大小写有区 ...

  7. Spring 3.x jar 包详解 与 依赖关系

    以下的内容我会持续更新(当然是我有新发现的时候); 以下内容是我在网上搜索.整理.修改的而成的内容.由于很多内容都是转载了,无法追溯到源头,因此无法一一对原作者进行道谢. 这几天,我查阅大量的官方的文 ...

  8. AngularJS中的过滤器

    欢迎大家指导与讨论 : ) 一.前言 AngularJS的过滤器能够将数据在被指令处理到显示在视图之前进行处理和转换.而且,过滤器不会修改作用域中的数据本身,即过滤器会保证数据的完整性.这样子能够允许 ...

  9. 华为acl(traffic-filter)和dhcp管理

    华为alc配置实例:-traffic-filter # 在VLAN100上配置基于ACL的报文过滤,允许源IP地址为192.168.0.2/32的报文通过,丢弃其他报文. <HUAWEI> ...

  10. python数字图像处理(16):霍夫圆和椭圆变换

    在极坐标中,圆的表示方式为: x=x0+rcosθ y=y0+rsinθ 圆心为(x0,y0),r为半径,θ为旋转度数,值范围为0-359 如果给定圆心点和半径,则其它点是否在圆上,我们就能检测出来了 ...