在数据驱动决策的时代，企业对于数据处理和分析的需求日益增加。ETL作为数据处理的核心环节，扮演着将原始数据转化为有价值信息的关键角色。而StarRocks作为一款极速全场景MPP（Massively Parallel Processing）企业级数据库产品，凭借其创新的架构设计与卓越的性能表现，正成为企业实现高效数据处理与实时分析的优选方案。那如何通过ETL工具把StarRocks中的数据同步到数仓呢？接下来我们通过实操演示下过程。

一、StarRocks数据同步到Doris演示

新建数据源创建StarRocks源数据库：

进入数据源管理选择新建数据源，在数据源中找到StarRocks进行创建。

填写StarRocks相关配置

新建数据源创建Doris源数据库：

Doris数据源创建步骤和上述相同

新建流程

新建流程，在流程中配置库表输入组件和doris输出组件，没有组件的需要前往官网购买。库表输入用于读取StarRocks数据，Doris输出用于往Doris中同步数据。

配置库表输入组件，只需选择刚才创建的数据源和数据源中表。当前表中有30万条数据。

选中表后会默认生成查询语句，也可以更具需要更改语句。后续的输入字段也会自动识别。

配置Doris快速输出组件，同样的Doris选择数据源和目标表。

同时使用了自动建表功能在目标端Doris数据库中自动创建表。

在路由线中开启5个并发线程优化同步速度

执行流程并查看结果

如何通过ETL把StarRocks中的数据同步到数仓的更多相关文章

  1. C# .net 多线程中集合数据同步

    from:http://www.cnblogs.com/GavinCome/archive/2008/04/09/1145250.html C# .net 多线程中集合数据同步(转) 集合类通常不是线 ...

  2. 将SQLServer2005中的数据同步到Oracle中

    有时由于项目开发的需要,必须将SQLServer2005中的某些表同步到Oracle数据库中,由其他其他系统来读取这些数据.不同数据库类型之间的数据同步我们可以使用链接服务器和SQLAgent来实现. ...

  3. 在HUE中将文本格式的数据导入hive数仓中

    今天有一个需求需要将一份文档形式的hft与fdd的城市关系关系的数据导入到hive数仓中,之前没有在hue中进行这项操作(上家都是通过xshell登录堡垒机直接连服务器进行操作的),特此记录一下. - ...

  4. 利用haohedi ETL将数据库中的数据抽取到hadoop Hive中

    采用HIVE自带的apache 的JDBC驱动导入数据基本上只能采用Load data命令将文本文件导入,采用INSERT ... VALUES的方式插入速度极其慢,插入一条需要几十秒钟,基本上不可用 ...

  5. pandas读取excel中指定数据的行数

    shuju = pd.read_excel(filename) loandata = pd.DataFrame(shuju) ncol = (len(loandata.keys())) data = ...

  6. 大数据学习——hive数仓DML和DDL操作

    1 创建一个分区表 create table t_partition001(ip string,duration int) partitioned by(country string) row for ...

  7. 国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

    概述 背景 Apache Doris官方地址 https://doris.apache.org/ Apache Doris GitHub源码地址 https://github.com/apache/i ...

  8. ETL数仓测试

    前言 datalake架构 离线数据 ODS -> DW -> DM https://www.jianshu.com/p/72e395d8cb33 https://www.cnblogs. ...

  9. phpwind数据同步本地之后板块排版乱

    排版紊乱的问题一般是css文件的问题 解决思路 1.打开chrome调用F12,查看是不是css文件没有获取. 2.如果没有获取到的话检查css文件的路径. 在本例中phpwind数据同步到本地之后, ...

  10. 数据同步DataX

    数据同步那些事儿(优化过程分享)   简介 很久之前就想写这篇文章了,主要是介绍一下我做数据同步的过程中遇到的一些有意思的内容,和提升效率的过程. 当前在数据处理的过程中,数据同步如同血液一般充满全过 ...

随机推荐

  1. kettle介绍-Step之Value Mapper

    Value Mapper值映射介绍 值映射步骤是将字符串值从一个值映射为另一个值.值映射步骤提供了一个简单的替代方法,在输入流中选中一个字段,通过字段值设置源值和目标值,再将映射值输出给后续步骤使用. ...

  2. 【HUST】网安｜计算机网络｜计算机网络自顶向下方法（原书第7版）第三章部分习题答案

    参考:英文版的原答案. 答案放gitee了,自取. 3-P18. 3.4.4 节我们学习的一般性 SR 协议中,只要报文可用(如果报文在窗口中) ,发送方就会不等待确认而传输报文.假设现在我们要求一个 ...

  3. 【记录】Python3｜json文件处理相关的操作

    文章目录 json分割 json.gz 转换成 jsonl.gz json格式化显示 遍历目录及子目录,对某种类型的文件内容查找是否有指定字符串 json分割 主要使用json.loads.json. ...

  4. vue3 基础-slot 插槽

    前几篇的内容都是父子组件通过属性传值或者事件传值这样的. 本篇来学习父组件在调用子组件时, 如果想要给子组件传递特定的内容 (dom) , 则可通过 slot 这个设计来轻易实现哦. 例如现在有这样一 ...

  5. SQL 强化练习 (一)

    当然, 说明一下, 所有的内容都是网上搬砖的, 也是用作自己练习用的. 我觉得如何去写 sql 这个思考的过程, 远比最终写出来更重要, 毕竟, 我最近有在公司看到了 2000多行的一个 sql. 我 ...

  6. 鸿蒙NEXT实践（二）：公共事件通信实践-智能节电案例

    @charset "UTF-8"; .markdown-body { line-height: 1.75; font-weight: 400; font-size: 15px; o ...

  7. 【语义分割专栏】先导篇：评价指标(PA,CPA,IoU,mIoU,FWIoU,F1)

    目录 前言 混淆矩阵 计算混淆矩阵 评价指标 像素准确率(Pixel Accuracy,PA) 类别像素准确率(Class Pixel Accuracy,CPA) 类别平均像素准确率(Mean Pix ...

  8. dotnet-trace 分析.net程序性能

    在现代 .NET 开发中,性能分析和故障诊断是确保应用程序稳定性和高效性的关键步骤. 本文将介绍如何使用 dotnet-trace 工具进行 .NET Core 应用的性能跟踪,并结合 PerfVie ...

  9. C++ decltype类型推导

    1.decltype介绍 decltype(declare type,声明类型)为C++11 新增的关键字,和auto功能一样,用于在编译期间进行自动类型推导. auto和decltype关键字都可以 ...

  10. PyYaml简单学习

    YAML是一种轻型的配置文件的语言,远比JSON格式方便,方便人类读写,它通过缩进来表示结构,很具有Python风格. 安装:pip insall pyyaml YAML语法 文档 YAML数据流是0 ...