企业里面有很多业务系统只能提供WebService接口如SAP等，还有一些SaaS系统也只提供WebService的接口如Workday等，对于这些系统的数据我们可以使用ETL工具进行调用然后把XML中的数据进行解析后存储到数据库中或者同步到本地的其他业务系统中，使用RestCloud ETL工具只需简单两步即可完成上述数据的同步而且无需编码，现在来看下实现过程。

首先登录RestCloud ETL平台

使用ETL调用WebService接口实时拉取数据到本地数库中
打开一个应用或者新建一个应用均可，然后进入到流程列表中

使用ETL调用WebService接口实时拉取数据到本地数库中
创建一个WebService同步任务

使用ETL调用WebService接口实时拉取数据到本地数库中
从左则分别拉取一个WebSerivce节点和库表输出节点，目标节点我们选择mysql数据源

使用ETL调用WebService接口实时拉取数据到本地数库中
输入WebService的WSDL地址并指定我们要读取XML中返回的那个数据字段，这里我们将获取公网上的一个WebService接口服务地址如下：

http://ws.webxml.com.cn/WebServices/WeatherWS.asmx，注意这个WebService有好几个方法我们需要在节点的Header中的SoapAction中指定具体调用其中的那一个方法。

使用ETL调用WebService接口实时拉取数据到本地数库中
以上是这个WebSerivce的服务说明文档，我们调用他其中的一个方法获取区域以及编码数据然后传到mysql中进行存储。

使用ETL调用WebService接口实时拉取数据到本地数库中
输入参数的XML可以使用SoapUI工具进行解析然后复制进来即可，这样我们的WebService节点就配置完成了。

后面的MySql节点就比较容易了，可以提前先建好表，也可以由ETL任务自动创建表，我们这里选择由ETL工具自动建表并输出数据到mysql。

使用ETL调用WebService接口实时拉取数据到本地数库中
这里输入一张不存在的表即可，系统会自动创建这张表

使用ETL调用WebService接口实时拉取数据到本地数库中
然后配置这张表要接收数据的字段，系统将根据此配置字段进行数据库表的创建。

使用ETL调用WebService接口实时拉取数据到本地数库中
输出选项中我们选择第一次执行时清空目标表，自动建表，逐条更新即可,配置完成后保存流程，即可以开始调试运行，现在我们来运行一下看看效果。

使用ETL调用WebService接口实时拉取数据到本地数库中
点击运行，选择单步调试，可以看到拉取的区域数据，并会存入到mysql中

使用ETL调用WebService接口实时拉取数据到本地数库中
在调试界面中我们可以看到拉取到了79条数据，再点下一步即可存入到mysql中

使用ETL调用WebService接口实时拉取数据到本地数库中
任务运行结果显示成功79条数据到mysql中，我们可以去mysql表中预览一下是不是把区域数据拉到mysql中了。

使用ETL调用WebService接口实时拉取数据到本地数库中
打开mysql客户端可以看到WebSerivce中的数据已经成功拉取到本地mysql中了，如果调试没有问题我们就可以给他安排一个定时任务，定时同步webservice中的数据到本地即可。

使用ETL调用WebService接口实时拉取数据到本地数库中
可以选择每天晚上同步一次或其他同步时间可以自定义同步频率

上面我们就通过RestCloud ETL简单两步配置即实现了WebService接口的数据拉取同步任务，可以说是非常简单。

RestCloud ETL WebService数据同步到本地的更多相关文章

  1. phpwind将服务器数据同步到本地之后网站不显示或者排版错误

    在将phpwind的数据同步到本地服务器之后 如果访问本地服务器的首页不能显示的话 首先要查看global.php文件中的D_P变量,官方默认 的此变量应该指向和R_P变量是同一个文件夹即网站的根目录 ...

  2. 如何将RDS的数据同步到本地自建数据库

    长期以来有很多的用户咨询如何将RDS的数据同步到本地的数据库环境中,本篇文章以在阿里云的ECS服务器为例来说明如何将RDS的数据同步到本地数据库中.RDS对外提供服务是一个DNS地址+端口3306,这 ...

  3. phpwind数据同步本地之后板块排版乱

    排版紊乱的问题一般是css文件的问题 解决思路 1.打开chrome调用F12,查看是不是css文件没有获取. 2.如果没有获取到的话检查css文件的路径. 在本例中phpwind数据同步到本地之后, ...

  4. phpwind数据同步本地后登陆异常

    在讲数据同步到本地之后,发现输入用户名和密码之后点击登陆,依然会返回到之前的页面,并且显示的还是未登录的状态. 解决办法:在后台中将:站点设置--cookie作用域留空即可.

  5. phpwind8.7升级9.0.1过程（一）本地和服务器数据同步的部署

    在使用phpwind的过程中需要将整个网站论坛的模板从phpwind8.7升级到phpwind9.0.1 需要首先在本地搭建和服务器端一样的环境然后在本地尝试性升级之后,然后在服务器端进行升级. 以下 ...

  6. 分享Sql Server 2008 r2 数据备份，同步服务器数据（一.本地备份）

    最近在部署一个系统,处于数据安全的考虑,因此对相应的数据库服务器定时备份,以及数据同步到备份服务上.之前在另外的一个项目中也做过相应的操作,但是操作都是按照查找到的文章一步一步的操作,碰到一些细节问题 ...

  7. 分享Sql Server 2008 r2 数据备份，同步服务器数据（二.本地发布，订阅）

    上一篇文章中写到了数据库的本地备份,这一篇主要分享一下关于不同服务器的数据备份,主要是使用sql server中的本地发布,本地订阅功能,在数据库的读写分离中,也会经常性的用到这个功能. 复制-> ...

  8. Kettle ETL 来进行mysql 数据同步——试验环境搭建(表中无索引，无约束，无外键连接的情况)

    今天试验了如何在Kettle的图形界面(Spoon)下面来整合来mysql 数据库中位于不同数据库中的数据表中的数据. 试验用的数据表是customers: 第三方的数据集下载地址是:http://w ...

  9. 做ETL的时候用到的数据同步更新代码

    这里是用的从一个库同步到另一个库,代码如下 private void IncrementalSyncUpdate(string fromConn, string toConn, Dictionary& ...

  10. 美团DB数据同步到数据仓库的架构与实践

    背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据.在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据( ...

随机推荐

  1. 国内首个「混合推理模型」Qwen3深夜开源，盘点它的N种对接方式！

    今日凌晨,通义千问团队正式开源了 Qwen3 大模型,并且一口气发布了 8 个型号,其中包括 0.6B.1.7B.4B.8B.14B.32B 以及 30B-A3B 和 235B-A22B,使用者可以根 ...

  2. Android frida hook （学习分享）

    frida模块 参考: https://www.52pojie.cn/thread-1823118-1-1.html https://www.52pojie.cn/thread-1840174-1-1 ...

  3. 【HUST】网络攻防实践｜5_二进制文件补丁技术｜实验三 热补丁

    文章目录 实验要求 实验过程 1. 64位Ubuntu下先安装32位库 2. 利用Preload Hook实现热补丁修补 3. 利用系统调用`ptrace`对运行状态的程序进行hook 3.1 编写补 ...

  4. 鸿蒙 NEXT（二）：API12 带来的变革与创新

    @charset "UTF-8"; .markdown-body { line-height: 1.75; font-weight: 400; font-size: 15px; o ...

  5. Python内置库itertools简单学习

    该库为满足特定需要的比较高效的迭代器内置库,在数据科学中的应用也不少,故有必要了解一下: import itertools import sys 无限迭代器(Infinite iterators) I ...

  6. 若依ruoyi项目学习（一）项目跑起来！

    开个坑,记录自己学习若依的心得,感兴趣的小伙伴可以关注一波. 因为自己也比较菜,可能能为大家提供一个较低的视角去分析,希望大家能一起学习. 当然,即时视角很低,也不适合0基础的朋友~ 项目地址: 前置 ...

  7. JXOI2021游记

    JXOI2021游记 day0 虽然说退役的概率比较大,但是我不想.唉,这也不是说不想就可以避免的事情呐-- 总之我希望我稳一点就好-- day1 考场上 依照教练说的,先把三道题都看完再动笔. 看T ...

  8. 「Log」2023.8.17 小记

    序幕 早上到校先摆,然后开调代码. 大分块对拍调调调. 学长开始讲平衡树. 平衡树平衡树平衡树! 学完了,点午饭吃午饭. 学主席树. 主席树主席树主席树! 学完了点晚饭吃完饭. 用 chatGPT 写 ...

  9. TUF系统概述

    TUF基本介绍 TUF 是一个为软件更新系统设计的安全框架,最初由纽约大学的 Secure Systems Lab 提出.它的目标是解决传统软件更新过程中的各种安全问题(如中间人攻击.回滚攻击.密钥泄 ...

  10. 使用Logback实现不同微服务输出各自的日志文件

    找到logback-spring.xml配置文件,在里面使用如下配置 <!--定义策略日志文件的存储地址--><property name="logStrategy.pat ...