企业里面有很多业务系统只能提供WebService接口如SAP等，还有一些SaaS系统也只提供WebService的接口如Workday等，对于这些系统的数据我们可以使用ETL工具进行调用然后把XML中的数据进行解析后存储到数据库中或者同步到本地的其他业务系统中，使用RestCloud ETL工具只需简单两步即可完成上述数据的同步而且无需编码，现在来看下实现过程。

首先登录RestCloud ETL平台

使用ETL调用WebService接口实时拉取数据到本地数库中
打开一个应用或者新建一个应用均可，然后进入到流程列表中

使用ETL调用WebService接口实时拉取数据到本地数库中
创建一个WebService同步任务

使用ETL调用WebService接口实时拉取数据到本地数库中
从左则分别拉取一个WebSerivce节点和库表输出节点，目标节点我们选择mysql数据源

使用ETL调用WebService接口实时拉取数据到本地数库中
输入WebService的WSDL地址并指定我们要读取XML中返回的那个数据字段，这里我们将获取公网上的一个WebService接口服务地址如下：

http://ws.webxml.com.cn/WebServices/WeatherWS.asmx，注意这个WebService有好几个方法我们需要在节点的Header中的SoapAction中指定具体调用其中的那一个方法。

使用ETL调用WebService接口实时拉取数据到本地数库中
以上是这个WebSerivce的服务说明文档，我们调用他其中的一个方法获取区域以及编码数据然后传到mysql中进行存储。

使用ETL调用WebService接口实时拉取数据到本地数库中
输入参数的XML可以使用SoapUI工具进行解析然后复制进来即可，这样我们的WebService节点就配置完成了。

后面的MySql节点就比较容易了，可以提前先建好表，也可以由ETL任务自动创建表，我们这里选择由ETL工具自动建表并输出数据到mysql。

使用ETL调用WebService接口实时拉取数据到本地数库中
这里输入一张不存在的表即可，系统会自动创建这张表

使用ETL调用WebService接口实时拉取数据到本地数库中
然后配置这张表要接收数据的字段，系统将根据此配置字段进行数据库表的创建。

使用ETL调用WebService接口实时拉取数据到本地数库中
输出选项中我们选择第一次执行时清空目标表，自动建表，逐条更新即可,配置完成后保存流程，即可以开始调试运行，现在我们来运行一下看看效果。

使用ETL调用WebService接口实时拉取数据到本地数库中
点击运行，选择单步调试，可以看到拉取的区域数据，并会存入到mysql中

使用ETL调用WebService接口实时拉取数据到本地数库中
在调试界面中我们可以看到拉取到了79条数据，再点下一步即可存入到mysql中

使用ETL调用WebService接口实时拉取数据到本地数库中
任务运行结果显示成功79条数据到mysql中，我们可以去mysql表中预览一下是不是把区域数据拉到mysql中了。

使用ETL调用WebService接口实时拉取数据到本地数库中
打开mysql客户端可以看到WebSerivce中的数据已经成功拉取到本地mysql中了，如果调试没有问题我们就可以给他安排一个定时任务，定时同步webservice中的数据到本地即可。

使用ETL调用WebService接口实时拉取数据到本地数库中
可以选择每天晚上同步一次或其他同步时间可以自定义同步频率

上面我们就通过RestCloud ETL简单两步配置即实现了WebService接口的数据拉取同步任务，可以说是非常简单。

RestCloud ETL WebService数据同步到本地的更多相关文章

  1. phpwind将服务器数据同步到本地之后网站不显示或者排版错误

    在将phpwind的数据同步到本地服务器之后 如果访问本地服务器的首页不能显示的话 首先要查看global.php文件中的D_P变量,官方默认 的此变量应该指向和R_P变量是同一个文件夹即网站的根目录 ...

  2. 如何将RDS的数据同步到本地自建数据库

    长期以来有很多的用户咨询如何将RDS的数据同步到本地的数据库环境中,本篇文章以在阿里云的ECS服务器为例来说明如何将RDS的数据同步到本地数据库中.RDS对外提供服务是一个DNS地址+端口3306,这 ...

  3. phpwind数据同步本地之后板块排版乱

    排版紊乱的问题一般是css文件的问题 解决思路 1.打开chrome调用F12,查看是不是css文件没有获取. 2.如果没有获取到的话检查css文件的路径. 在本例中phpwind数据同步到本地之后, ...

  4. phpwind数据同步本地后登陆异常

    在讲数据同步到本地之后,发现输入用户名和密码之后点击登陆,依然会返回到之前的页面,并且显示的还是未登录的状态. 解决办法:在后台中将:站点设置--cookie作用域留空即可.

  5. phpwind8.7升级9.0.1过程（一）本地和服务器数据同步的部署

    在使用phpwind的过程中需要将整个网站论坛的模板从phpwind8.7升级到phpwind9.0.1 需要首先在本地搭建和服务器端一样的环境然后在本地尝试性升级之后,然后在服务器端进行升级. 以下 ...

  6. 分享Sql Server 2008 r2 数据备份，同步服务器数据（一.本地备份）

    最近在部署一个系统,处于数据安全的考虑,因此对相应的数据库服务器定时备份,以及数据同步到备份服务上.之前在另外的一个项目中也做过相应的操作,但是操作都是按照查找到的文章一步一步的操作,碰到一些细节问题 ...

  7. 分享Sql Server 2008 r2 数据备份，同步服务器数据（二.本地发布，订阅）

    上一篇文章中写到了数据库的本地备份,这一篇主要分享一下关于不同服务器的数据备份,主要是使用sql server中的本地发布,本地订阅功能,在数据库的读写分离中,也会经常性的用到这个功能. 复制-> ...

  8. Kettle ETL 来进行mysql 数据同步——试验环境搭建(表中无索引，无约束，无外键连接的情况)

    今天试验了如何在Kettle的图形界面(Spoon)下面来整合来mysql 数据库中位于不同数据库中的数据表中的数据. 试验用的数据表是customers: 第三方的数据集下载地址是:http://w ...

  9. 做ETL的时候用到的数据同步更新代码

    这里是用的从一个库同步到另一个库,代码如下 private void IncrementalSyncUpdate(string fromConn, string toConn, Dictionary& ...

  10. 美团DB数据同步到数据仓库的架构与实践

    背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据.在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据( ...

随机推荐

  1. spring boot迁移计划 第Ⅰ章 --chapter 1. rust hyper 结合rust nacos-client开发nacos网关 part ④ nacos-client

    1. toml依赖 nacos_rust_client = "0.3" local_ipaddress = "0.1" ahash = "0.8&qu ...

  2. 制作带sshd功能的centos镜像

    docker run -it --name node1 docker.io/centos bash  创建node1容器 docker exec -it node1 bash 进入node1 yum ...

  3. vue3 学习-初识体验-常见指令v-for和v-model

    继续通过小案例来体验一些常用的指令, 以经典的todolist进行展示. 首先呢通过 v-for 指令进行dom循环. v-for 通常是在循环dom的编写的同时遍历数据进行填充. <!DOCT ...

  4. Pandas 清除 Excel 特殊字符

    清除 Excel 特殊字符 主要是为了做一个笔记, 用 遍历 DataFrame 用正则匹配特殊字符并替换. 是上个月初的项目了, 其中有个将 Excel 传入数据库的时候, 发现有特殊字符, 很奇怪 ...

  5. C++可重入函数和不可重入函数

    转载:https://blog.csdn.net/weixin_41969690/article/details/108006834 C++可重入函数和不可重入函数 可重入函数是指能够被多个线程&qu ...

  6. Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.UnsupportedClassVersionError: HelloWorld has been compiled by a more

    一个新手容易遇到的问题,电脑上装了多个版本的java,比如8和11,导致javac和java的版本不一样 在控制面板里将其他版本卸载,留个8就行 然后在环境变量里重新配置一下就ok

  7. 在deepin环境下安装qt开发环境和dtk开发环境

    环境 deepinV20.2.2 第一步 进入系统,进入/etc/apt目录 以管理员身份打开(为了编辑源) 第二步 编辑源sources.list 放出第二行源保存并退出 第三步 进入终端,执行su ...

  8. odoo14里面开发一个简单的action.client 的tag 模板例子

    1.js模板  web_template.js odoo.define('web', function (require) { "use strict"; var core = r ...

  9. 浅析领域驱动模型VO、DTO、BO、PO 等的概念、区别及其用法

    摘要:浅析POJO.DTO.DO.VO.BO.PO和Entity等的概念.区别及其用法. 名词解释   领域模型中的实体类分为四种模型:VO.DTO.DO和PO,各种实体类用于不同业务层次间的交互,并 ...

  10. python播放mp3最佳方法

    使用playsound库 1 from playsound import playsound 2 3 playsound('xx.mp3') 音质很好,就是只能播放mp3