背景

近期工作中遇到许多需要协同的表单文档被放到云文档，那么我们本地做数据分析就需要先抽取云文档实时数据到本地数据库，根据接口文档我们需要先获取Token，再将返回值带到接口中发起请求拉取数据，因为在做数据仓库项目调度用到过Kettle，想到REST client组件可以完成这项需求，下面记录此次数据转换过程。

Kettle简介

Kettle是一个免费开源的基于java的企业级ETL工具，功能强大简单易用，支持图形化的GUI设计界面，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

下载及安装

源码github 地址是 https://github.com/pentaho/pentaho-kettle。
官方文档：https://help.hitachivantara.com/Documentation/Pentaho/8.2/Whats_New
kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855
国内 Kettle 论坛网：http://www.kettle.org.cn/
官网各个版本下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/
驱动下载地址：https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.29/

环境：JDK1.8和JDK8是同一个版本，推荐使用 JDK1.8 版本，mysql数据库推荐使用5.7版本，该版本比较稳定，兼容性较好

本次转换全流程

  • 生成记录

需要注意：过程中发现Url及接口请求类型值直接输入无效，而放在生成记录中可以被获取到，暂时未找到原因，所以我将接口请求相关自定义内容放到了生成记录中。

  • 获取Token

  • Josn输入

此步骤的目的是将返回值Josn格式化字段中的Token值

  • 正式接口请求

  • 返回JSON字段转换

  • 表输出

此处我将返回的Json格式化后将数据保存到SQLServer数据库，此时目标表“APItest”还不存在，输入表名后点击SQL，Kettle会自动生成表的创建语句，点击执行SQL则自动创建目标表。

  • 转换完成

Kettle实例(获取Token并带入请求接口拉取数据到本地)的更多相关文章

  1. Retrofit Token过期 重新请求Token再去请求接口

    需求是这样的:请求接口A -- 服务器返回数据Token过期或失效  -- 重新请求Token并设置 -- 再去请求接口A 刚解决了这个问题,趁热打铁,写个博客记录一下:这个Token是添加到请求头里 ...

  2. PHP获取cookie、Token、模拟登录、抓取数据、解析生成json

    本文介绍使用PHP获取cookie,获取Token.以及模拟登录.然后抓取数据.最后解析生成json的的过程. 0. 设置Cookie路径 set_time_limit(0); //使用的cookie ...

  3. Jmeter接口测试动态传参——动态获取token值

    先添加一个线程组,然后在线程组下添加HTTP Request 环境变量: 线程组下添加User Defined Variables 调用变量:${变量名} 添加结果树: 记录登录后的token: 获取 ...

  4. Azure DevOps Server: 使用Rest Api获取拉取请求Pull Request中的变更文件清单

    需求: Azure DevOps Server 的拉取请求模块,为开发团队提供了强大而且灵活的代码评审功能.拉取请求中变更文件清单,对质量管理人员,是一个宝贵的材料.质量保障人员可以从代码清单中分析不 ...

  5. jmeter中获取token和cookie

    ## 登录获取token 1.添加请求 1.1 输入接口中需要携带的参数的值 2.正则表达式提取器提取出值 3.输入token数据 "token":"(.+?)" ...

  6. 使用VSTS的Git进行版本控制（六）——拉取请求

    使用VSTS的Git进行版本控制(六)--拉取请求 在将代码合并到主干之前,拉取请求让团队对特性分支的更改提供反馈.审阅人可以通过建议修改留下评论,并投票批准或拒绝代码. 任务1:在Visual St ...

  7. git 拉取和获取 pull 和 fetch 区别

    使用Git  直接提交的话   直接 push 获取最新版本  有两种  拉取 和 获取 pull 和 fetch git  pull     从远程拉取最新版本 到本地  自动合并 merge   ...

  8. git 拉取和获取 pull 和 fetch 区别【转】

    本文转载自:http://blog.csdn.net/u010094934/article/details/52775653 使用git  直接提交的话   直接 push 获取最新版本  有两种   ...

  9. 登录获取token，token参数关联至所有请求的请求体内

    问题描述: 有些系统接口判断用户是否登录,是校验登录接口成功后传的token值,也就是请求系统所有接口时,前端传参必带登录成功后接口返回的token,后台以此检验是否过期或是否有登录.所有接口都依赖登 ...

  10. nodejs向远程服务器发送post请求----融云Web SDK/客户端获取token

    最近要用到一个叫融云的及时通讯的SDK,在获取token这个步骤的时候有点卡顿,以防以后碰到类似的问题,再此记录一下. 客户端通过融云 SDK 每次连接服务器时,都需要向服务器提供 Token,以便验 ...

随机推荐

  1. 2021-02-08：给定一个字符串str，请问这个字符串的最长回文子序列长度是多少？

    2021-02-08:给定一个字符串str,请问这个字符串的最长回文子序列长度是多少? 福哥答案2021-02-08: 自然智慧即可.1.原序列和反序列求公共子序列.无代码.2.递归.有代码.3.动态 ...

  2. GroundingDINO（一种开集目标检测算法）服务化，根据文本生成检测框

    背景 最近发现一个叫GroundingDINO的开集目标检测算法,所谓开集目标检测就是能检测的目标类别不局限于训练的类别,这个算法可以通过输入文本的prompt然后输出对应的目标框.可以用来做预标注或 ...

  3. 《HTML入门笔记2》

    HTML常用标签 分别有:a 标签.img 标签.table 标签.form 标签.input 标签等. a 标签(特别常用) a 标签即超级链接,又叫超链接.一个网站通常由多个页面构成,进入网站时首 ...

  4. Spring Boot 3.1中如何整合Spring Security和Keycloak

    在今年2月14日的时候,Keycloak 团队宣布他们正在弃用大多数 Keycloak 适配器.其中包括Spring Security和Spring Boot的适配器,这意味着今后Keycloak团队 ...

  5. js递归生成树形结构

    先看结果 结果 [ { "id": 1, "title": "张三", "parent_id": -1, "c ...

  6. java接口返回图片链接或pdf链接如何设置在线预览还是下载

    之前文章说到了如何通过将文件转成图片或者pdf来实现在线预览,一般来说在线预览图片或者pdf都是存储在图片服务器上的,在通过接口调用把文件返回给前端,但是把文件返回给前端效果一般是有两种:在线预览和下 ...

  7. .NET周报 【6月第3期 2023-06-18】

    国内文章 揭秘 Task.Wait https://www.cnblogs.com/eventhorizon/p/17481757.html Task.Wait 是 Task 的一个实例方法,用于等待 ...

  8. Mybatis使用级联映射时 ， 查询的结果为null

    错误原因 在学习多对一映射处理中的级联方式处理映射关系时 , 发现自己查询的结果有一个为为null 于是就开始对代码进行排查 , debug ,最终发现错误 , 原来是自己映射中的 property ...

  9. Kubernetes(k8s)访问控制：权限管理之RBAC鉴权

    目录 一.系统环境 二.前言 三.Kubernetes访问控制 四.鉴权简介 五.配置客户端机器 六.设置k8s集群允许所有请求访问 七.设置k8s集群拒绝所有请求访问 八.RBAC授权 8.1 ro ...

  10. git reset --hard 撤回后commit的代码消失了的解决办法

    楼主在今天的工作中使用了这个命令 git reset --hard 撤回后commit的代码消失了,因为有commit,所以暂时得到了拯救,太不容易了,差点以为自己写的代码没了. 网上到处找帖子,看看 ...