Tapdata Cloud 是一款很有「前途」的产品。——Tapdata Cloud 用户 | 一线DBA@某PCB全球百强企业

 
从首次提出这一概念起,已经 10 年过去了,“工业互联网”仍然是制造业高质量发展的主题。
 
踩着这阵东风,数字化升级、智能制造、工业信息化等关键词接连冒头,有效利用“数据的力量”,成为推进产业升级创新、提升产品质量的重要一环,“制数权”的身价水涨船高。
 
建立“数据仓库”,便是这样的背景下,相关企业整合数据资源常见的选择之一。
 
面对企业内部经年累积的来自各业务系统的大量数据,如何在不给原系统太大压力的前提下,将这些不同结构的数据持续平滑地集成到数据仓库,也就成了足够叫项目技术负责人头疼的硬工程
 
我们今天请到的 Tapdata Cloud 案例分享者,正是这样一位来自 PCB 制造行业一线的资深 DBA。
 
想知道在本期案例刚刚启动的数仓项目测试里,Tapdata Cloud 是如何从一众工具中脱颖而出,在数据
同步技术选型过程中成为首选的?想知道 Tapdata Cloud 是如何实现异构数据实时入仓的?一起继续看下去吧——
 

1 论坛初遇 就是「你」了

Tapdata Cloud——因为简洁所以惊艳
 
第一次接触到 Tapdata Cloud,是在某个论坛的技术板块。那是一篇对比数据同步工具的实用帖,恰巧那个时候我们公司内部有意向发展数仓项目,Tapdata Cloud 异构数据实时同步的功能吸引了我。需求与功能“对口”,于是选择试用——故事的开头就是这么简单。
 
坦白讲,市面上拥有类似数据同步功能的工具不在少数,我们也的确做过横向评估。在这个过程中Tapdata Cloud 展示出的一大优势是“管理简单”——支持低代码拖拽操作,任务运行监控可视——轻量易上手,这不正是我们想要的吗?
 

2 异构数据实时入仓 稳定可靠高效

真的有这么丝滑吗?
 
我们建数仓的直接目的,是整合业务数据用于报表分析,接入生产线看板,即时显示作业信息。因此对“实时性”、“稳定性”的要求特别高。
 
再加之物料管理等诸多不同系统的数据庞杂,来自 Oracle、SQL Server 等不同数据源的数据结构、字段类型各有差异,工程压力实在不小。
 
但如果用 Tapdata Cloud 完成这些,仅仅需要 4 步:选择源与目标→设置任务属性→选择表→完成表字段映射。我们最近一次同步测试,数据量达到数千万,运行起来也很流畅。
 
戳视频 查看具体操作演示
 

3 还在测试磨合阶段 但相信未来可期

后续还有更多场景可以用 Tapdata Cloud 先跑起来
 
如果要用一句话来评价 Tapdata Cloud 的话,我会说“这是一款有前途的产品”。
 
虽然还在测试磨合阶段,但我们还是能看到未来与 Tapdata Cloud 持续牵手的更多可能。举个小小的例子,我们计划用它来取代 DBLink 在部分跨业务系统远程查询场景下的工作,像是 OA系统访问财务系统。
 
以往我们在需要跨系统访问和查询时的传统操作,是创建 DBLink,但这样的速度其实非常慢。如果我们可以用 Tapdata Cloud 先将那些待查询的特定表同步到另外一个系统中,就可以直接减少 DBLink,从而让查询更高效。
 
最后,希望 Tapdata Cloud 可以越来越好用,我们也会一直关注。

坐标PCB公司,想做实时数仓、推生产线看板,和Tapdata Cloud的偶遇来得就是这么凑巧的更多相关文章

  1. HBase实战 | 知乎实时数仓架构演进

    https://mp.weixin.qq.com/s/hx-q13QteNvtXRpNsE5Y0A 作者 | 知乎数据工程团队编辑 | VincentAI 前线导读:“数据智能” (Data Inte ...

  2. (转)用Flink取代Spark Streaming!知乎实时数仓架构演进

    转:https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A AI 前线导读:“数据智能” (Data Intelligence) 有一个必须且基础的环节,就 ...

  3. flink实时数仓从入门到实战

    第一章.flink实时数仓入门 一.依赖 <!--Licensed to the Apache Software Foundation (ASF) under oneor more contri ...

  4. 基于Flink构建全场景实时数仓

    目录: 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有 ...

  5. Clickhouse实时数仓建设

    1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告.今天,笔者就为大家介绍如何使用Clickhouse来构建实 ...

  6. 美团点评基于 Flink 的实时数仓建设实践

    https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651749037&idx=1&sn=4a448647b3dae5 ...

  7. 基于 Flink 的实时数仓生产实践

    数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战.在智能商业中,数据的结果代表了用户反馈.获取数据的及时性尤为重要.快速获取数据反馈能够帮助公司更快地做出决策,更好地进行 ...

  8. 更强大的实时数仓构建能力!分析型数据库PostgreSQL 6.0新特性解读

    阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务 ...

  9. 大数据之Hudi + Kylin的准实时数仓实现

    问题导读:1.数据库.数据仓库如何理解?2.数据湖有什么用途?解决什么问题?3.数据仓库的加载链路如何实现?4.Hudi新一代数据湖项目有什么优势? 在近期的 Apache Kylin × Apach ...

随机推荐

  1. Spring 源码(7)Spring的注解是如何解析的?

    上一篇 https://www.cnblogs.com/redwinter/p/16196359.html 介绍了BeanFactoryPostProcessor的执行过程,这篇文章介绍Spring中 ...

  2. javaScript中Math内置对象基本方法入门

    概念 Math 是javaScript的内置对象,包含了部分数学常数属性和数学函数方法. Math 不是一个函数对象,用户Number类型进行使用,不支持BigInt. Math 的所有属性与方法都是 ...

  3. 攻防世界web进阶题—bug

    攻防世界web进阶题-bug 1.打开题目看一下源码,没有问题 2.扫一下目录,没有问题 3.查一下网站的组成:php+Apache+Ubuntu 只有登录界面 这里可以可以想到:爆破.万能密码.进行 ...

  4. 使用requests爬取梨视频、bilibili视频、汽车之家,bs4遍历文档树、搜索文档树,css选择器

    今日内容概要 使用requests爬取梨视频 requests+bs4爬取汽车之家 bs4遍历文档树 bs4搜索文档树 css选择器 内容详细 1.使用requests爬取梨视频 # 模拟发送http ...

  5. 数据库、MySQL下载与安装、基本SQL语句

    数据演变史 # 1.单独的文本文件 没有固定的存放位置 没有固定的数据格式 '''程序彼此无法兼容 没有统一的标准''' # 2.软件开发目录规范 按照文件功能的不同规定了相应的位置 '''文件查找变 ...

  6. Sentinel Dashboard 规则 持久化到Nacos

    本篇文章基于sentinel1.8.4版本进行改造的.本篇主要记录改造步骤 1.下载源码 https://github.com/alibaba/Sentinel 2.打开下载的sentinel,到se ...

  7. CTF简介

    最近在学习渗透测试,后来发现CTF很有趣,发现对学习有所帮助,于是找了几个网站,下面推荐几个我觉得不错的网站 https://www.ctfhub.com/#/index https://adworl ...

  8. TS 自学笔记(一)

    TS 自学笔记(一) 本文写于 2020 年 5 月 6 日 日常废话两句 有几天没有更新了,最近学的比较乱,休息了两天感觉好一些了.这两天玩了几个设计软件,过几天也写篇文章分享分享. 为啥要学 TS ...

  9. 有了这10个GitHub仓库,开发者如同buff加持

    摘要:列出了10个极好的仓库,它们为所有web和软件开发人员提供了巨大的价值. 本文分享自华为云社区<所有开发者都应该知道的10个GitHub仓库>,作者: Ocean2022 . 除了作 ...

  10. Fail2ban 命令详解 fail2ban-client

    Fail2ban的客户端操作命令,用于控制服务端. root@ubuntu:~# fail2ban-client --help Usage: /usr/bin/fail2ban-client [OPT ...