Tapdata Cloud 是一款很有「前途」的产品。——Tapdata Cloud 用户 | 一线DBA@某PCB全球百强企业

 
从首次提出这一概念起,已经 10 年过去了,“工业互联网”仍然是制造业高质量发展的主题。
 
踩着这阵东风,数字化升级、智能制造、工业信息化等关键词接连冒头,有效利用“数据的力量”,成为推进产业升级创新、提升产品质量的重要一环,“制数权”的身价水涨船高。
 
建立“数据仓库”,便是这样的背景下,相关企业整合数据资源常见的选择之一。
 
面对企业内部经年累积的来自各业务系统的大量数据,如何在不给原系统太大压力的前提下,将这些不同结构的数据持续平滑地集成到数据仓库,也就成了足够叫项目技术负责人头疼的硬工程
 
我们今天请到的 Tapdata Cloud 案例分享者,正是这样一位来自 PCB 制造行业一线的资深 DBA。
 
想知道在本期案例刚刚启动的数仓项目测试里,Tapdata Cloud 是如何从一众工具中脱颖而出,在数据
同步技术选型过程中成为首选的?想知道 Tapdata Cloud 是如何实现异构数据实时入仓的?一起继续看下去吧——
 

1 论坛初遇 就是「你」了

Tapdata Cloud——因为简洁所以惊艳
 
第一次接触到 Tapdata Cloud,是在某个论坛的技术板块。那是一篇对比数据同步工具的实用帖,恰巧那个时候我们公司内部有意向发展数仓项目,Tapdata Cloud 异构数据实时同步的功能吸引了我。需求与功能“对口”,于是选择试用——故事的开头就是这么简单。
 
坦白讲,市面上拥有类似数据同步功能的工具不在少数,我们也的确做过横向评估。在这个过程中Tapdata Cloud 展示出的一大优势是“管理简单”——支持低代码拖拽操作,任务运行监控可视——轻量易上手,这不正是我们想要的吗?
 

2 异构数据实时入仓 稳定可靠高效

真的有这么丝滑吗?
 
我们建数仓的直接目的,是整合业务数据用于报表分析,接入生产线看板,即时显示作业信息。因此对“实时性”、“稳定性”的要求特别高。
 
再加之物料管理等诸多不同系统的数据庞杂,来自 Oracle、SQL Server 等不同数据源的数据结构、字段类型各有差异,工程压力实在不小。
 
但如果用 Tapdata Cloud 完成这些,仅仅需要 4 步:选择源与目标→设置任务属性→选择表→完成表字段映射。我们最近一次同步测试,数据量达到数千万,运行起来也很流畅。
 
戳视频 查看具体操作演示
 

3 还在测试磨合阶段 但相信未来可期

后续还有更多场景可以用 Tapdata Cloud 先跑起来
 
如果要用一句话来评价 Tapdata Cloud 的话,我会说“这是一款有前途的产品”。
 
虽然还在测试磨合阶段,但我们还是能看到未来与 Tapdata Cloud 持续牵手的更多可能。举个小小的例子,我们计划用它来取代 DBLink 在部分跨业务系统远程查询场景下的工作,像是 OA系统访问财务系统。
 
以往我们在需要跨系统访问和查询时的传统操作,是创建 DBLink,但这样的速度其实非常慢。如果我们可以用 Tapdata Cloud 先将那些待查询的特定表同步到另外一个系统中,就可以直接减少 DBLink,从而让查询更高效。
 
最后,希望 Tapdata Cloud 可以越来越好用,我们也会一直关注。

坐标PCB公司,想做实时数仓、推生产线看板,和Tapdata Cloud的偶遇来得就是这么凑巧的更多相关文章

  1. HBase实战 | 知乎实时数仓架构演进

    https://mp.weixin.qq.com/s/hx-q13QteNvtXRpNsE5Y0A 作者 | 知乎数据工程团队编辑 | VincentAI 前线导读:“数据智能” (Data Inte ...

  2. (转)用Flink取代Spark Streaming!知乎实时数仓架构演进

    转:https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A AI 前线导读:“数据智能” (Data Intelligence) 有一个必须且基础的环节,就 ...

  3. flink实时数仓从入门到实战

    第一章.flink实时数仓入门 一.依赖 <!--Licensed to the Apache Software Foundation (ASF) under oneor more contri ...

  4. 基于Flink构建全场景实时数仓

    目录: 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有 ...

  5. Clickhouse实时数仓建设

    1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告.今天,笔者就为大家介绍如何使用Clickhouse来构建实 ...

  6. 美团点评基于 Flink 的实时数仓建设实践

    https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651749037&idx=1&sn=4a448647b3dae5 ...

  7. 基于 Flink 的实时数仓生产实践

    数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战.在智能商业中,数据的结果代表了用户反馈.获取数据的及时性尤为重要.快速获取数据反馈能够帮助公司更快地做出决策,更好地进行 ...

  8. 更强大的实时数仓构建能力!分析型数据库PostgreSQL 6.0新特性解读

    阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务 ...

  9. 大数据之Hudi + Kylin的准实时数仓实现

    问题导读:1.数据库.数据仓库如何理解?2.数据湖有什么用途?解决什么问题?3.数据仓库的加载链路如何实现?4.Hudi新一代数据湖项目有什么优势? 在近期的 Apache Kylin × Apach ...

随机推荐

  1. *CTF babyarm内核题目分析

    本文从漏洞分析.ARM64架构漏洞利用方式来讨论如何构造提权PoC达到读取root权限的文件.此题是一个ARM64架构的Linux 5.17.2 版本内核提权题目,目的是读取root用户的flag文件 ...

  2. 『现学现忘』Git基础 — 19、在Git中进行忽略文件操作

    目录 1.忽略文件说明 2.忽略文件的原则 3..gitignore忽略规则 4.忽略文件的三种方式 (1)忽略单个仓库中的文件(远程共用) (2)忽略单个仓库中的文件(本地使用) (3)全局忽略 1 ...

  3. 现有教学数据库JX_DB,作业

    现有教学数据库JX_DB,数据库有以下三个基本表: 学生表student,它由学号sno.姓名sname.性别sex.出生日期Bdate.所在系dept五个属性构成.其中,学号不能为空,值是唯一的: ...

  4. drools的简单入门案例

    一.背景 最近在学习规则引擎drools,此处简单记录一下drools的入门案例. 二.为什么要学习drools 假设我们存在如下场景: 在我们到商店购买衣服的时候,经常会发生这样的事情,购买1件不打 ...

  5. 详解CVE-2022-0847 DirtyPipe漏洞

    摘要:本文详细介绍了CVE-2022-0847漏洞形成根因,相应补丁修复方法,通过本文让读者对CVE-2022-0847漏洞有更清晰的了解. 本文分享自华为云社区<CVE-2022-0847 D ...

  6. WTF表单验证

    WTF表单验证可分为3个步骤: ①导入wtf扩展提供的表单验证器.(from wtforms.validators import DataRequired,EqualTo) ②定义表单类 # 定义表单 ...

  7. Fastflow——基于golang的轻量级工作流框架

    Fastflow 是什么?用一句话来定义它:一个 基于golang协程.支持水平扩容的分布式高性能工作流框架. 它具有以下特点: 易用性:工作流模型基于 DAG 来定义,同时还提供开箱即用的 API, ...

  8. python函数学习的总结

    python函数 part1 函数的作用: 函数以功能(完成一件事)为导向 随调随用减少代码重复性 增强代码可读性 函数的结构: def 函数名(): 函数体 函数的返回值 return:在函数中遇到 ...

  9. LoRa和NB-IoT会长期共存吗?

    物联网有很多无线通信技术,主要是Zigbee,WiFi,蓝牙和Z-wave等短距离通信技术,另一种是LPWAN.LPWAN的两种类型之一在未授权的频谱上工作.另一种是2G/3G/4G蜂窝通信技术,该技 ...

  10. Winforms选择文件夹、文件

    更新记录: 2022年5月28日 初始记录 选择文件夹 if (this.folderBrowserDialog1.ShowDialog() == DialogResult.OK) { //获得用户选 ...