Tapdata Cloud 是一款很有「前途」的产品。——Tapdata Cloud 用户 | 一线DBA@某PCB全球百强企业

 
从首次提出这一概念起,已经 10 年过去了,“工业互联网”仍然是制造业高质量发展的主题。
 
踩着这阵东风,数字化升级、智能制造、工业信息化等关键词接连冒头,有效利用“数据的力量”,成为推进产业升级创新、提升产品质量的重要一环,“制数权”的身价水涨船高。
 
建立“数据仓库”,便是这样的背景下,相关企业整合数据资源常见的选择之一。
 
面对企业内部经年累积的来自各业务系统的大量数据,如何在不给原系统太大压力的前提下,将这些不同结构的数据持续平滑地集成到数据仓库,也就成了足够叫项目技术负责人头疼的硬工程
 
我们今天请到的 Tapdata Cloud 案例分享者,正是这样一位来自 PCB 制造行业一线的资深 DBA。
 
想知道在本期案例刚刚启动的数仓项目测试里,Tapdata Cloud 是如何从一众工具中脱颖而出,在数据
同步技术选型过程中成为首选的?想知道 Tapdata Cloud 是如何实现异构数据实时入仓的?一起继续看下去吧——
 

1 论坛初遇 就是「你」了

Tapdata Cloud——因为简洁所以惊艳
 
第一次接触到 Tapdata Cloud,是在某个论坛的技术板块。那是一篇对比数据同步工具的实用帖,恰巧那个时候我们公司内部有意向发展数仓项目,Tapdata Cloud 异构数据实时同步的功能吸引了我。需求与功能“对口”,于是选择试用——故事的开头就是这么简单。
 
坦白讲,市面上拥有类似数据同步功能的工具不在少数,我们也的确做过横向评估。在这个过程中Tapdata Cloud 展示出的一大优势是“管理简单”——支持低代码拖拽操作,任务运行监控可视——轻量易上手,这不正是我们想要的吗?
 

2 异构数据实时入仓 稳定可靠高效

真的有这么丝滑吗?
 
我们建数仓的直接目的,是整合业务数据用于报表分析,接入生产线看板,即时显示作业信息。因此对“实时性”、“稳定性”的要求特别高。
 
再加之物料管理等诸多不同系统的数据庞杂,来自 Oracle、SQL Server 等不同数据源的数据结构、字段类型各有差异,工程压力实在不小。
 
但如果用 Tapdata Cloud 完成这些,仅仅需要 4 步:选择源与目标→设置任务属性→选择表→完成表字段映射。我们最近一次同步测试,数据量达到数千万,运行起来也很流畅。
 
戳视频 查看具体操作演示
 

3 还在测试磨合阶段 但相信未来可期

后续还有更多场景可以用 Tapdata Cloud 先跑起来
 
如果要用一句话来评价 Tapdata Cloud 的话,我会说“这是一款有前途的产品”。
 
虽然还在测试磨合阶段,但我们还是能看到未来与 Tapdata Cloud 持续牵手的更多可能。举个小小的例子,我们计划用它来取代 DBLink 在部分跨业务系统远程查询场景下的工作,像是 OA系统访问财务系统。
 
以往我们在需要跨系统访问和查询时的传统操作,是创建 DBLink,但这样的速度其实非常慢。如果我们可以用 Tapdata Cloud 先将那些待查询的特定表同步到另外一个系统中,就可以直接减少 DBLink,从而让查询更高效。
 
最后,希望 Tapdata Cloud 可以越来越好用,我们也会一直关注。

坐标PCB公司,想做实时数仓、推生产线看板,和Tapdata Cloud的偶遇来得就是这么凑巧的更多相关文章

  1. HBase实战 | 知乎实时数仓架构演进

    https://mp.weixin.qq.com/s/hx-q13QteNvtXRpNsE5Y0A 作者 | 知乎数据工程团队编辑 | VincentAI 前线导读:“数据智能” (Data Inte ...

  2. (转)用Flink取代Spark Streaming!知乎实时数仓架构演进

    转:https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A AI 前线导读:“数据智能” (Data Intelligence) 有一个必须且基础的环节,就 ...

  3. flink实时数仓从入门到实战

    第一章.flink实时数仓入门 一.依赖 <!--Licensed to the Apache Software Foundation (ASF) under oneor more contri ...

  4. 基于Flink构建全场景实时数仓

    目录: 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有 ...

  5. Clickhouse实时数仓建设

    1.概述 Clickhouse是一个开源的列式存储数据库,其主要场景用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告.今天,笔者就为大家介绍如何使用Clickhouse来构建实 ...

  6. 美团点评基于 Flink 的实时数仓建设实践

    https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651749037&idx=1&sn=4a448647b3dae5 ...

  7. 基于 Flink 的实时数仓生产实践

    数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战.在智能商业中,数据的结果代表了用户反馈.获取数据的及时性尤为重要.快速获取数据反馈能够帮助公司更快地做出决策,更好地进行 ...

  8. 更强大的实时数仓构建能力!分析型数据库PostgreSQL 6.0新特性解读

    阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务 ...

  9. 大数据之Hudi + Kylin的准实时数仓实现

    问题导读:1.数据库.数据仓库如何理解?2.数据湖有什么用途?解决什么问题?3.数据仓库的加载链路如何实现?4.Hudi新一代数据湖项目有什么优势? 在近期的 Apache Kylin × Apach ...

随机推荐

  1. KTL 一个支持C++14编辑公式的K线技术工具平台 - 第五版,支持sqlite3,全新sqlite3zz语法超简单使用sqlite3; 添加方差等统计函数。

    K,K线,Candle蜡烛图. T,技术分析,工具平台 L,公式Language语言使用c++14,Lite小巧简易. 项目仓库:https://github.com/bbqz007/KTL 国内仓库 ...

  2. 攻防世界-MISC:坚持60s

    这是攻防世界新手练习区的第六题,题目如下: 点击附件1下载,是一个java文件,点击运行一下: 绿帽子满天飞不知道是怎么回事(还是老老实实去看WP吧),WP说这是编译过的Java代码,但我手里没有反编 ...

  3. react实战系列 —— 我的仪表盘(bizcharts、antd、moment)

    其他章节请看: react实战 系列 My Dashboard 上一篇我们在 spug 项目中模仿"任务计划"模块实现一个类似的一级导航页面("My任务计划") ...

  4. JuiceFS 在数据湖存储架构上的探索

    大家好,我是来自 Juicedata 的高昌健,今天想跟大家分享的主题是<JuiceFS 在数据湖存储架构上的探索>,以下是今天分享的提纲: 首先我会简单的介绍一下大数据存储架构变迁以及它 ...

  5. java实现空心金字塔

    前言 最近在学习java,遇到了一个经典打印题目,空心金字塔,初学者记录,根据网上教程,有一句话感觉很好,就是先把麻烦的问题转换成很多的简单问题,最后一一解决就可以了,然后先死后活,先把程序写死,后面 ...

  6. 用Docker打包Python运行环境

    虽然Docker作为部署环境打包镜像的工具,和我的科研并没有直接的关系.但我觉得在项目中运用Docker来打包环境依赖也可以大大提高工作效率,于是准备专门学习一下Docker. 1. Docker基础 ...

  7. 群晖下 gitea+drone+harbor实现CI/CD 发布到云服务器

    常用命令 sudo -i然后输入密码登录root账户(群晖默认只能使用admin账号登陆) vim xxx编辑(编辑是进去之后按i,退出并保存是按esc,然后:wq!再回车) mkdir xx创建文件 ...

  8. 跨域问题及其解决方法(JSONP&CORS)

    一.什么是跨域 当a.qq.com域名下的页⾯或脚本试图去请求b.qq.com域名下的资源时,就是典型的跨域行为.跨域的定义从受限范围可以分为两种,⼴义跨域和狭义跨域. (一)广义跨域 ⼴义跨域通常包 ...

  9. Docker安装Mycat和Mysql进行水平分库分表实战【图文教学】

    一.前言 小编最近公司有个新的需求,数据量比较大,要涉及到分库分表.大概了解了一些主流的中间件,使用和网上资料比较多的是Mycat和sharding-jdbc,小编比较倾向于Mycat.原因很简单就是 ...

  10. 工具分享:清理 Markdown 中没有引用的图片

    前言: 之前,我写笔记的工具一直都是 notion,而且没有写博客的习惯.但是一是由于 notion 的服务器在国外,有时候很不稳定:二是由于 notion 的分享很不方便,把笔记分享给别人点开链接之 ...