Restcloud ETL实践之数据行列转换

RestCloud ETL社区版是一款数据集成工具,提供可视化多数据管道构建、数据源管理、运行监控及权限管理功能。
本篇将使用多行转多列的方式把下方图中的表数据进行简化。

简化思路:把相同姓名中不同的学科成绩转成列名,将数据库中三行数据转变成一行数据显示。
首先是流程设计

这里使用了三个组件,分别是库表输入、多行转换为多列、库表输出,库表输入获取表数据,再由多行转多列将数据结构重新分配,再借由库表输出将数据输出成一个新的数据库表。
组件配置
1.库表输入

这里主要是用于获取数据,只需要配置数据源以及数据库表,确保能够输入数据即可,其它采用自动生成的就行了。
2.多行转多列

在数据所在的节点中选中源数据所在的节点,获取需要进行转换的数据。
分组字段中选中要进行分组的字段,比如根据上面的数据库,同一名字下有三个学科的成绩,那就可以选中XM这个字段。
关键字段id这里就是要选择将值转为列的字段。

这里根据基本属性中选中的关键字段id,获取关键字段id里的值,再根据这个值去获取数据字段里对应的数据放到对应的新的目标字段中。
3.库表输出

这里选择输出的数据源,以及表名。

字段配置中需要配置输出的字段以及转换后的新的目标字段,去掉不需要的字段。如已经作为条件变成了列名的KCMC字段和值已经赋给了新字段的CJ字段。

输出时不要忘记,若是新表则需要选择自动创建表。
完成配置后运行流程。

在日志中可以看见提示了创建表成功以及成功插入了数据。
数据库中也成功写入了数据。


感谢您对我们的关注和支持!如需了解更多的功能,请加入RestCloud ETL社区免费下载体验,下载地址:https://etl.restcloud.cn
Restcloud ETL实践之数据行列转换的更多相关文章
- 一、ETL实践之数据可视化架构
开篇心声: 不管是学习新知识,还是遇到各种难题,总能在技术论坛找到经验帖子.一直享受大家提供的帮助,而自己没有任何输出,实在过意不去.我相信技术是经验的交流,思维的碰撞. 这是我一次写技术分享文章,我 ...
- SQL实现数据行列转换
前言: 在日常的工作中,使用数据库查看数据是很经常的事,数据库的数据非常多,如果此时的数据设计是一行行的设计话,就会有多行同一个用户的数据,查看起来比较费劲,如果数据较多时,不方便查看,为了更加方便工 ...
- 【转】Spark实现行列转换pivot和unpivot
背景 做过数据清洗ETL工作的都知道,行列转换是一个常见的数据整理需求.在不同的编程语言中有不同的实现方法,比如SQL中使用case+group,或者Power BI的M语言中用拖放组件实现.今天正好 ...
- 在Sqlserver下巧用行列转换日期的数据统计
在Sqlserver下巧用行列转换日期的数据统计 前言 在SQLSERVER 中有很多统计函数的基础语法,有使用Group By 或 partition by 后配合Sum,Count(*) 等用法. ...
- SQL pivot 基本用法 行列转换 数据透视
SQL通过pivot进行行列转换 数据透视 可直接在sql server 运行 传统操作 和 pivot create table XKCl (name nchar(10) not null, 学科 ...
- SQL 行列转换数据转换为字符串
行列转换,将列数据转换为字符串输出 ) SET @center_JZHW = ( SELECT DISTINCT STUFF( ( SELECT ',' + ce_code FROM ap_cente ...
- SQL Fundamentals: 子查询 || 行列转换(PIVOT,UNPIVOT,DECODE),设置数据层次(LEVEL...CONNECT BY)
SQL Fundamentals || Oracle SQL语言 子查询(基础) 1.认识子查询 2.WHERE子句中使用子查询 3.在HAVING子句中使用子查询 4.在FROM子句中使用子查询 5 ...
- 数据透视表sql:用SQL行列转换实现数据透视的一些思考
用SQL行列转换实现数据透视的一些思考 摘要:根据对报表开发过程中碰到的需要用SQL行列转换进行解决的一类查询统计问题的分析,逐步探索求解得到一种较通用的解决思路,并用函数进行实现.该解决思路及函数实 ...
- 数据仓库建模与ETL实践技巧
数据分析系统的总体架构分为四个部分 —— 源系统.数据仓库.多维数据库.客户端(图一:pic1.bmp) 其中,数据仓库(DW)起到了数据大集中的作用.通过数据抽取,把数据从源系统源源不断地抽取出来, ...
- ETL实践--Spark做数据清洗
ETL实践--Spark做数据清洗 上篇博客,说的是用hive代替kettle的表关联.是为了提高效率. 本文要说的spark就不光是为了效率的问题. 1.用spark的原因 (如果是一个sql能搞定 ...
随机推荐
- 29.1K star!免费接入GPT-4/DeepSeek等顶级大模型,这个开源API神器绝了!
嗨,大家好,我是小华同学,关注我们获得"最新.最全.最优质"开源项目和高效工作学习方法 还在为天价API费用发愁?这个开源项目让你免费畅用GPT-4.DeepSeek.Claude ...
- 通用的servlet
1 通用的servlet实现的原理 2 实例 2.1 目录结构 2.2 BaseServlet.java 2.3 ServletDemo.java 2.4 index.html 2.5 test.ht ...
- 【记录】OJ|区间DP|石子合并(环形)
1. 题干 描述 在一个园形操场的四周摆放N堆石子,现要将石子有次序地合并成一堆.规定每次只能选相邻的2堆合并成新的一堆,并将新的一堆的石子数,记为该次合并的得分. 试设计出一个算法,计算出将N堆石子 ...
- 一定要看到花开-M1下的环境噩梦
一定要看到花开-M1下的环境噩梦 人有时候就是喜欢犯贱. 关注我这快小一年的扯闲天的都知道,自己也算是经历了一劫吧.虽然,这劫难还不能说结束,但也算是走出来了. 一切,似乎正在朝着好的方向发展. 但是 ...
- React-Native开发鸿蒙NEXT-本地与沙盒加载bundle
React-Native开发鸿蒙NEXT-本地与沙盒加载bundle 来晚了来晚了,不是想偷懒,实在是一个图片问题没搞定导致效果出不来,今天刚靠工具查出了原因. RN的加载无非本地加载与沙盒加载两种方 ...
- 第1讲、#PyTorch教学环境搭建与Tensor基础操作详解
引言 PyTorch是当前深度学习领域最流行的框架之一,因其动态计算图和直观的API而备受开发者青睐.本文将从零开始介绍PyTorch的环境搭建与基础操作,适合各种平台的用户和深度学习初学者. 1. ...
- ODOO产品介绍
自己整理的odoo15产品介绍资料,内容供参考,需要ppt的请联系: 欢迎技术交流.项目合作 !
- Maven中dependencyManagement标签的正确使用方法
目录 前言 使用方法 结束语 前言 Maven中的dependencyManagement元素提供了一种管理依赖版本号的方式,她用于声明所依赖的jar包的版本号等信息.当所有子项目再次引入这些ja ...
- Linux下安装并配置VSCode(Visual Studio Code)
众所周知,微软官方推出的开源编辑器VSCode轻量.易用.美观(微软没有给我广告费哈_),在程序员界享有盛誉,今天就带着大家在Linux下快速下载并使用VCode编辑器. 1.下载VSCode包 下载 ...
- Token:大语言模型的“语言乐高”,一切智能的基石
1.什么是Token?--AI眼中的"文字积木块" Token 是模型用来表示自然语言文本的基本单位,也是模型的计费单元,可以直观的理解为"字"或"词 ...