Talend 从Excel导入Saleforce数据(二) TMAP是精髓

TMap LookUp 经过测试的结果:

------------------------------------------

LookUp最好从CSV读数据,这样是最快了(20万记录1s).从SalesForce读数据是最慢的.(每条记录2s, 如果要跟SalesForce打交道,最好用V-P-N, 速度和稳定性都好10倍)

CSV文件是定时从Salesforce导出,20万记录可能要半个小时.(大陆访问SF实在是慢,2017年后有改善)

所以要根据你导入文件的行数,来决定是否从CSV还是SalesForce读数据来LookUp,

比如你只有100条记录,从SalesForce读数据只要200s,比重新导一次CSV还是合算的.

超过1000条记录,还是重新导一次CSV吧.

-------------------------------------------

Talend的Processing Component里的TMap, 我是觉得是最常用的组件.

因为你导入的数据,总要和系统现有的数据做对比,是新增还是修改,然后还得做一下数据变换,再导入到系统.

TMap默认有一个主连接(Main Input),一个LookUp连接(也可以改成多个LookUp), 默认一个Output连接(可以改成多个Output).

默认的Join Model是Left Outer Join, 指的是主连接 Left Join LookUp连接.

以这个例子就是ftp left outer join contact. 也就是说ftp的数据假如在contact里找不到,也会在output连接输出. 类似于SQL的左连接.

这个例子连接条件就是ftp的数据和contact的数据的手机号码相同的,视为同一笔数据

--------------------------------------------------------------------------------------------

我们用TMap,通常要把Main Input的数据在LookUp连接里查找,分成2个output, 一个是已存在的数据(通常需要更新), 另外一个是不存在的数据(通常需要新增).

我们有2种方法来做,

//第1种是官方文档推荐的用Inner Join

Inner Join, 通常要2个output, 也就是一个output的capture lookup inner join reject为true, 一个output的capture lookup inner join reject为false,

false的output就是在Main Input和Lookup 都存在的记录. 也就是系统已经存在的记录了.

true的output就是在Lookup 不存在的记录. 也就是要新增的记录了.

　　----------------------------------------------------------------------------

//第2种是Left Outer Join 加过滤条件

Left outer Join, 2个output, 也能做到上面capture lookup inner join reject的效果.

2个output的property都保持默认的, 都加上contact的Id字段, 然后加过滤器contact.Id==null 和contact.Id!=null

或者1个output 加过滤器contact.Id!=null, 另一个output的property设定Catch output reject=true. 是一样的效果