1. 聚合节点写两个不同的聚合函数,只需要在关联目标节点的目标字段中添加上分组字段,其他字段不用做关联
  2. 聚合节点写两个相同的聚合函数,只需要在关联目标节点的目标字段中左右两边都添加上_id,会输出两条数据,但是其中每条数据都存在_id._tapd8_sub_name的key,value就为设置的该聚合的子处理名称。
    报错处理:出现报错的话,就在任务配置中,原来的【去重写入机制】,智能去重写入,改成强制去重写入;重新运行任务,你再看下
  3. tapdata自有的时间戳转时间格式:https://www.yuque.com/knbase/tapdata-enterprise/data-replication_script_javascript
  4. tapdata使用js过滤打印日志: log.info("要打印的内容")
  5. 如果想要增量有效 在原表节点中就不能设置智能过滤和sql过滤是吧,直接在原表节点后面加上js过滤节点或者 row filter过滤节点是么
  6. 聚合后的全量同步数据量和sql分组聚合查出来的不对上
    问题出现原因:
    1.在聚合后的表上,如果还要分表 ,这些分表要最终关联成一张表的时候,关联字段就必须一致和分组字段相同,因为这些分表都是通过聚合节点输出的 
    2.分表上的数据写入模式也要和主表上的数据写入模式一样,都要弄成【更新已存在或插入新数据】,分表不能写成【仅更新时插入】
    3.数据量大的话,建议复制源表结构,插入少部分数据,这样容易调试
  7. 增量同步都不成功,只能够全量同步,并且在原表节点中关掉了智能和sql过滤,这个应该怎么解决呢。

    任务日志,在报错前发现有5次重试,最开始由源端Oracle logminer丢失所致,(微信是源库增量日志过期了导致)日志报警如下:
    
    [WARN]  2022-08-03 18:16:41 [Thread-178] com.tapdata.oraclecdc.AutomaticallyRedoLogMiner - 
    Unexpected error: ORA-01291: missing logfile ORA-06512: at "SYS.DBMS_LOGMNR", line 58 ORA-06512: at line 2 ,
    retry time: 1, stacks: java.sql.SQLException: ORA-01291: missing logfile ORA-06512: at "SYS.DBMS_LOGMNR",
    line 58 ORA-06512: at line 2 at oracle.jdbc.driver.T4CTTIoer11.processError(T4CTTIoer11.java:509) at
    oracle.jdbc.driver.T4CTTIoer11.processError(T4CTTIoer11.java:461) at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:1104)
    at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:550) at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:268) at oracle.jdbc.driver.
    T4C8Oall.doOALL(T4C8Oall.java:655) at oracle.jdbc.driver.T4CPreparedStatement.doOall8(T4CPreparedStatement.java:270) at oracle.jdbc.driver.T4CPreparedStatement.
    doOall8(T4CPreparedStatement.java:91) at oracle.jdbc.driver.T4CPreparedStatement.executeForRows(T4CPreparedStatement.java:970) at oracle.jdbc.driver.OracleStatement.
    doExecuteWithTimeout(OracleStatement.java:1205) at oracle.jdbc.driver.OraclePreparedStatement.executeInternal(OraclePreparedStatement.java:3666) at oracle.jdbc.driver.
    T4CPreparedStatement.executeInternal(T4CPreparedStatement.java:1426) at oracle.jdbc.driver.OraclePreparedStatement.execute(OraclePreparedStatement.java:3778) at oracle.
    jdbc.driver.OraclePreparedStatementWrapper.execute(OraclePreparedStatementWrapper.java:1081) at com.tapdata.oraclecdc.AbstractRedoLogMiner.getLogContentsResultSet(Abstra
    ctRedoLogMiner.java:1212) at com.tapdata.oraclecdc.AutomaticallyRedoLogMiner.startMine(AutomaticallyRedoLogMiner.java:177) at com.tapdata.oraclecdc.OracleConnector.lambd
    a$startConnect$1(OracleConnector.java:440) at java.lang.Thread.run(Thread.java:748) Caused by: Error : 1291, Position : 0, Sql = BEGIN SYS.DBMS_LOGMNR.START_LOGMNR( START
    SCN => :1 , OPTIONS => SYS.DBMS_LOGMNR.DDL_DICT_TRACKING + SYS.DBMS_LOGMNR.DICT_FROM_REDO_LOGS + SYS.DBMS_LOGMNR.CONTINUOUS_MINE + SYS.DBMS_LOGMNR.NO_SQL_DELIMITER ); END;
    , OriginalSql = BEGIN SYS.DBMS_LOGMNR.START_LOGMNR( STARTSCN => ?, OPTIONS => SYS.DBMS_LOGMNR.DDL_DICT_TRACKING + SYS.DBMS_LOGMNR.DICT_FROM_REDO_LOGS + SYS.DBMS_LOGMNR.CON
    TINUOUS_MINE + SYS.DBMS_LOGMNR.NO_SQL_DELIMITER ); END;, Error Msg = ORA-01291: missing logfile ORA-06512: at "SYS.DBMS_LOGMNR", line 58 ORA-06512: at line 2 at oracle.jdbc
    .driver.T4CTTIoer11.processError(T4CTTIoer11.java:513) ... 17 more 平台系统设置中关闭了共享挖掘;
    共享挖掘任务也停止;
    所以任务在增量阶段,直接挖取Oracle库的日志; 解决方式,
    1. 了解Oracle源库redo log日志保留的时长;
    2. 任务重置重新启动运行;
    3. 或者采用共享日志挖掘的方式;

tapdata问题的更多相关文章

  1. Tapdata 的 2.0 版 ,开源的 Live Data Platform 现已发布

    https://www.bilibili.com/video/BV1tT411g7PA/?aid=470724972&cid=766317673&page=1 点击上方链接,一分钟快速 ...

  2. Tapdata Cloud 2.1.5来啦:新增支持Amazon RDS数据库,错误日志查询更便捷,Agent部署细节再优化

      需求持续更新,优化一刻不停--Tapdata Cloud 2.1.5 来啦!   最新发布的版本中,数据连接再上新,同时新增任务报错相关信息快速查询入口,开始支持 JVM 参数自定义设置.   更 ...

  3. Tapdata x 轻流,为用户打造实时接入轻流的数据高速通道

      在全行业加速布局数字化的当口,如何善用工具,也是为转型升级添薪助力的关键一步.   那么当轻量的异构数据实时同步工具,遇上轻量的数字化管理工具,将会收获什么样的新体验?此番 Tapdata 与轻流 ...

  4. 活动报名:以「数」制「疫」,解密 Tapdata 在张家港市卫健委数字化防疫场景下的最佳实践

        疫情两年有余,全国抗疫攻防战步履不停.在"动态清零"总方针的指导下,国内疫情防控工作渐趋规范化.常态化.健康码.行程卡.疫情地图.电子哨兵.核酸码.场所码--各类精准防疫手 ...

  5. Tapdata Cloud 2.1.4 来啦:数据连接又上新,PolarDB MySQL、轻流开始接入,可自动标记不支持的字段类型

      需求持续更新,优化一刻不停--Tapdata Cloud 2.1.4 来啦!   最新发布的版本中,在新增数据连接之余,默认标记不支持同步的字段类型,避免因此影响任务的正常运行. 更新速览 ① 数 ...

  6. 活动报名 | 如何基于开源项目 Tapdata PDK,快速完成数据源和目标的开发?

      近日,Tapdata 启动 PDK 插件生态共建计划,宣布开源插件开发框架 Tapdata PDK,将自身的数据接口能力开放出来,帮助开发者根据实际需求,自助接入数据源和目标,快速开启「Data ...

  7. Tapdata 与阿里云 PolarDB 开源数据库社区联合共建开放数据技术生态

      近日,阿里云 PolarDB 开源数据库社区宣布将与 Tapdata 联合共建开放数据技术生态.在此之际,一直专注实时数据服务平台的 Tapdata ,也宣布开源其数据源开发框架--PDK(Plu ...

  8. Tapdata PDK 生态共建计划启动!Doris、OceanBase、PolarDB、SequoiaDB 等十余家厂商首批加入

      2022年4月7日,Tapdata 正式启动 PDK 插件生态共建计划,致力于全面连接数据孤岛,加速构建更加开放的数据生态,以期让各行各业的使用者都能释放数据的价值,随时获取新鲜的数据.截至目前, ...

  9. Whats On Tap | Tapdata Cloud 如何助力大型家居连锁商城推进数字化经营?

    Tapdata Cloud 的操作有多便捷,上手试一下就能充分了解了.--Tapdata Cloud 用户 | 报表实施 @某大型家居服务平台 一边是监管政策趋严,推动房地产回归本源,存量竞争时代开启 ...

  10. Tapdata Cloud 2.1.2 来啦:大波细节已就绪!字段类型可批量修改、支持微信扫码登录、新增支持 Vika 为目标

    Tapdata Cloud cloud.tapdata.net 让数据实时可用 Tapdata Cloud 是国内首家异构数据库实时同步云平台,目前支持 Oracle.MySQL.PG.SQL Ser ...

随机推荐

  1. FastAPI中声明参数为必需的三种方式

    前提 有时候我们定义一些参数的时候,需要声明这个参数为必需,请求者必须传递该参数.FatstAPI中声明参数为必需的方式有三种,分别为:不设默认值.  "..." 和 " ...

  2. golang 映射(map)

    1. 映射的定义 map是一种无序的基于key-value的数据结构,Go语言中map是引用类型,必须初始化(make)才能使用. map定义: map[KeyType]ValueType 其中,Ke ...

  3. java SE02

    目录 五.面向对象 1. 封装 2. 多态 3. 继承 六.内部类 1. 局部内部类 2. 局部内部类 3. 静态内部类 4.匿名内部类 七.异常 1. 五个关键字 2. 自定义异常 五.面向对象 1 ...

  4. 查看nohup.out 日志文件

    1.查看实时日志: tail -f nohup.out 2.查看实时日志并检索关键字: tail -f nohup.out | grep "关键字" 3.查看文件最后100行日志: ...

  5. GP232RL国产USB串口如何兼容FT232RL开发资料

    GP232RL是最新加入 ftdi 系列 usb 接口集成电路设备的设备. 232r是一个 usb 到串行 uart 接口,带有可选的时钟发生器输出,以及新的 ftdichip-idTM 安全加密器特 ...

  6. 再识redis-2

    Redis初识 特点关键字: 高性能Key-Value服务器 ops能达到十万级别 每秒能执行约11万集合 每秒约81000-条记录 主要数据结构 列表 集合 有序集合 散列(别名哈希 Redis的哈 ...

  7. ENGG1310 Electricity and electronics P1.3 Electromagnetic

    课程内容笔记,自用,不涉及任何 assignment,exam 答案 Notes for self-use, do not include any assignments or exams 这一节主要 ...

  8. springboot aop本地缓存防止重复提交

    实现原理: 自定义防止重复提交标记(@RepeatSubmit). 对需要防止重复提交的Congtroller里的mapping方法加上该注解. 新增Aspect切入点,为@RepeatSubmitA ...

  9. Metasploit渗透测试框架一

    Metasploit简介 Metasploit是一个渗透测试平台,使您能够查找,利用和验证漏洞.该平台还有Metasploit Pro. Metasploit是一个免费的.可下载的框架,本身自带数百已 ...

  10. 如何理解Vue中的组件?

    Vue2.6已经更新了关于内容插槽和作用域插槽的API和用法,为了不误导大家,我把插槽的内容删除了.详情请看官网 2018-07-19更新: 更新作用域插槽的属性: scope -> slot- ...