StreamSets SDC RPC Pipelines说明

主要目的是进行跨pipeline 数据的通信，而不仅仅是内部pipeline 的通信，之间不同网络进行通信

一个参考图

pipeline 类型

• origin
• destination

部署架构

• 使用多个destination 保证可靠性，参考下图
  
• 如果数据是相似的，可以实现负载均衡以及冗余，参考下图
  

数据传输的保证

• 至少一次（保证数据可以被处理）
• 之多一次 （避免数据重复）

定义rpc id

id 是用户定义的方便彼此之间可以进行识别的

加密

支持基于tls 的数据加密

配置指南

要创建一组有效的SDC RPC管道，必须遵守某些配置选项。使用以下准则配置SDC RPC管道：

• origin
  在origin管道中，配置以下元素：
  在管道属性中，将数据传递模型设置为您要使用的选项。
  在管道中，使用SDC RPC目标。
  配置SDC RPC目标时，请输入RPC ID和RPC连接信息。
  若要使用多个目标管道，请输入要使用的每个SDC RPC源的RPC连接信息。
  要使用加密在管道之间传输数据，请启用TLS并配置相关属性。

• destination
  对于每个destination管道，请配置以下元素：
  在管道属性中，将数据传递模型设置为与原始管道相同的选项。使用其他选项会导致Data Collector 默认为At Most Once行为。
  在管道中，使用SDC RPC origin。
  配置SDC RPC orign时，请按如下方式定义属性：
  使用SDC RPC destination 中使用的相同RPC ID。
  对于RPC侦听端口，请输入相应的端口号。
  它应该是SDC RPC destination中的一个RPC连接中指定的端口号。
  要使用加密在管道之间传输数据，请启用TLS并配置相关属性。

参考资料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/RPC_Pipelines/SDC_RPCpipelines_title.html#concept_wr1_ktz_bt