一、实现目标

  源数据库的数据更新或者删除之后,目标数据库的数据跟着更新或删除,整体流程截图如下:

  

一、准备工作

源数据库ORACLE  目标数据库MongoDB,在源数据库添加删除、更新触发器

二、操作步骤

  1. 添加表输入组件,连接ORACLE触发器记录表
  2. 添加JAVA代码组件,进行步骤跳转,根据输入的数据判断是删除或者更新,如果是删除,则跳转至MongoDB Delete步骤中,如果是更新的话,跳转至字段选择步骤中。JAVA代码中的详细信息如下:
  3. import java.util.List;
    
    import org.pentaho.di.core.exception.KettleException;
    import org.pentaho.di.core.row.RowDataUtil;
    import org.pentaho.di.core.row.RowMeta;
    import org.pentaho.di.core.row.RowMetaInterface;
    import org.pentaho.di.core.row.ValueMeta;
    import org.pentaho.di.trans.Trans;
    import org.pentaho.di.trans.TransMeta; private Object[] previousRow;//上一行
    private RowSet t1 = null;//业务表步骤
    private RowSet t2 = null;//删除步骤 public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
    {
    Object[] r = getRow(); //获取输入行 if ( first ) {
    if ( getInputRowMeta() == null ) {
    setOutputDone();//设置输出完成
    return false;
    }
    } if ( r == null ) { // 如果当前行为null
    if ( previousRow != null ) {//如果上一行不为null
    //是最后一行 boolean valid=true;
    previousRow = createOutputRow(previousRow, data.outputRowMeta.size());
    Trans trans=getTrans();//获取转换实例
    if (trans != null){
    String sync_val = get(Fields.In, "ID").getString(previousRow);//获取ID
    trans.setVariable("LAST_SYNC_VAL", sync_val);//设置变量的值
    }
    String OpType = get(Fields.In, "DATATYPE").getString(previousRow);//获取操作类型是删除还是更新
    String keyid= get(Fields.In, "DATAID").getString(previousRow);//获取操作类型是删除还是更新 //Object[] rowData = RowDataUtil.allocateRowData(data.outputRowMeta.size());
    //get(Fields.Out, "KEYID").setValue(rowData,keyid);
    //putRowTo(data.outputRowMeta, previousRow,t2); if(OpType.equals("UPDATE")){//验证通过
    putRowTo(data.outputRowMeta, previousRow,t1);
    }
    else
    {
    putRowTo(data.outputRowMeta, previousRow,t2);
    } }
    setOutputDone();//设置输出完成
    return false;//返回false表示不用再继续处理processRow
    } if ( !first ) {//不是第一次执行,因为第一次执行时previousRow一定是Null
    //不是最后一行
    boolean valid=true;
    String OpType = get(Fields.In, "DATATYPE").getString(previousRow);//获取操作类型是删除还是更新
    String keyid= get(Fields.In, "DATAID").getString(previousRow);//获取操作类型是删除还是更新 //Object[] rowData = RowDataUtil.allocateRowData(data.outputRowMeta.size());
    //get(Fields.Out, "KEYID").setValue(rowData,keyid);
    //putRowTo(data.outputRowMeta, previousRow,t2);
    if(OpType.equals("UPDATE")){
    putRowTo(data.outputRowMeta, previousRow,t1);
    }
    else
    {
    putRowTo(data.outputRowMeta, previousRow,t2);
    }
    }
    previousRow = r;//把当前行设为下一次执行的上一行
    if ( first ) {//如果是首次执行
    first = false;
    t1 = findTargetRowSet("dataupdate");//业务表步骤
    t2 = findTargetRowSet("datadelete");//数据删除步骤
    } return true;//返回true表示还要继续处理processRow
    }

    3.如果跳转至了MongoDB Delete,则根据ID对目标库进行删除。Mongodb delete组件配置如下:

  JSON query中的{ID:"?{DATAID}"}表示删除ID等于传进来的参数DATAID的所有数据,Execute for each row要选择上,表示执行每一行数据。

  4.如果通过JAVA代码2判断为更新的话,则流程将跳转至字段选择组件,只获取主键ID,此步骤非常重要,因为要根据ID去源表中获取等更新的那条数据。

5.选择表输入组件,该步骤是根据上一步传入的ID获取待更新的那一条数据

PS:获取SQL查询语句:此处写入SQL语句,里边的?是变量替换,下边要勾选上"替换SQL语句里的变量",从步骤插入数据要选择上一步,勾选上执行每一行。

6.下边的步骤:流查询、JAVA代码是对数据进行清洗,字典替换,此处不再解释

7.最后一步:Mongodb output输出需要详细设置

output options选项卡勾选update  modifier update

Mongo文档字段配置:ID为主键匹配字段,匹配字段更新为Y 修改器设置为N/A表示不对主键更新

KETTLE实现数据的删除和更新的更多相关文章

  1. [原创]MYSQL中利用外键实现级联删除和更新

    MySQL中利用外键实现级联删除.更新 MySQL支持外键的存储引擎只有InnoDB,在创建外键的时候,要求父表必须有对应的索引,子表在创建外键的时候也会自动创建对应的索引.在创建索引的时候,可以指定 ...

  2. MySQL中利用外键实现级联删除、更新

    MySQL支持外键的存储引擎只有InnoDB,在创建外键的时候,要求父表必须有对应的索引,子表在创建外键的时候也会自动创建对应的索引.在创建索引的时候,可以指定在删除.更新父表时,对子表进行的相应操作 ...

  3. 0011《SQL必知必会》笔记07 数据的插入、更新和删除

    1.插入完整的行或一部分:INSERT INTO 表名(列名1-n) VALUES (对应的值1-n) INSERT INTO products(prod_id, vend_id, prod_name ...

  4. SQL Server XML基础学习之<7>--XML modify() 方法对 XML 数据中插入、更新或删除

    /*------------------------------------------------------------------------------+ #| = : = : = : = : ...

  5. 转载---SQL Server XML基础学习之<7>--XML modify() 方法对 XML 数据中插入、更新或删除

    /*------------------------------------------------------------------------------+ #| = : = : = : = : ...

  6. DML数据操作语言之增加,删除,更新

    1.数据的增加 数据的增加要用到insert语句  ,基本格式是: insert into <表名> (列名1,列名2,列名3,......) values (值1,值2,值3,..... ...

  7. python对MySQL进行数据的插入、更新和删除之后需要commit,数据库才会真的有数据操作。(待日后更新)

    今天在尝试用下面的python代码对MySQL进行数据的插入.更新和删除时, 突然发现代码执行成功, 通过代码查询也显示数据已经插入或更新, 但是当我在MySQL客户端通过SQL语句查询时, 数据库中 ...

  8. arcengine,深入理解游标Cursors,实现数据的快速查找,插入,删除,更新

    风过无痕 原文  arcengine,深入理解游标Cursors,实现数据的快速查找,插入,删除,更新 深入理解游标Cursors,实现数据的快速查找,插入,删除,更新 1.查找数据Search Cu ...

  9. mysql DML 数据插入,删除,更新,回退

    mysql插入,删除,更新地址:https://wenku.baidu.com/view/194645eef121dd36a32d82b1.html http://www.cnblogs.com/st ...

随机推荐

  1. Python 批量修改文件名

    最近下载了几部美剧(越狱.迷失.权利的游戏......),每集文件名都好长好长..想改短一些,但一个一个改太累了,于是写了个脚本来实现批量修改: 修改前文件名: 修改后文件名: 代码实现: #enco ...

  2. Kali2.0VMwareTools安装

    安装完系统后,配置好apt源,然后执行下列语句可成功安装VMwareTools工具,可实现本机与虚拟机之间的文件复制等功能: apt-get install open-vm-tools-desktop ...

  3. docker本地私有仓库的创建,及https错误修正

    docker版本1.12.5 #docker run -d -p 5000:5000 -v <HOST_DIR>:/tmp/registry-dev registry #<HOST_ ...

  4. ApiResponse 在 Swagger 1 和Swagger 2中的不同

    在1中随意写code , 在 2中 会提示 com.google.common.util.concurrent.UncheckedExecutionException: java.lang.Illeg ...

  5. Excel 去掉每次打开弹出自定义项安装的弹窗

    弹窗: 解决方案: 一.打开“文件”——“选项”如图. 二.选择“加载项”,下面的“管理”,选择“COM加载项”,然后点击“转到”,弹出框: 三:在“可用加载项”下面你会发现有一项是“LoadTest ...

  6. 转义字符(\)对JavaScript中JSON.parse的影响概述

    JSON是一个提供了stringify和parse方法的内置对象,前者用于将js对象转化为符合json标准的字符串,后者将符合json标准的字符串转化为js对象,本文为大家介绍下转义字符对JSON.p ...

  7. linux 1-100的累加

    [   ]   判断式.它的使用和test命令一样 [ ]的判断符,只会返回2种值.0(真) 非0(假) -gt 大于-lt 小于-eq 等于-ne 不等于-ge 大于等于-le 小于等于 while ...

  8. winform中dataGridView隔行显示不同的背景色,鼠标移动上显示不同颜色,离开后变回原色

    winform中dataGridView隔行显示不同的背景色,鼠标移动上显示不同颜色,离开后变回原色 先设置奇数行颜色,这个有个自带的属性AlternatingRowsDefaultCellStyle ...

  9. Inno Setup制作安装包的几个问题

    1. 卸载时,如何判断应用程序是否运行    InnoSetup 提供变量AppMutex,用来保存应用程序的Mutex名称.现在很多应用程序都是唯一实例运行.这样避免配置文件被错误修改以及其他很多衍 ...

  10. 08void

    void void修饰函数返回值和参数 如果函数没有返回值,那么应给将其声明为void 如果函数没有参数,应该声明其参数为void 不存在void类型的变量 void指针的意义 C语言规定只有相同类型 ...