转 DataTorrent 1.0每秒处理超过10亿个实时事件

DataTorrent是一个实时的流式处理和分析平台，它每秒可以处理超过10亿个实时事件。

与Twitter平均每秒大约6000条微博相比，最近发布的DataTorrent 1.0似乎已经超出了需求，它每秒可以处理超过10亿个实时事件。他们在一个包含37个节点的集群上进行了测试，每个节点256GB内存、12核超线程CPU。在CPU达到饱和之前，DataTorrent声称已经实现了线性扩展，而CPU达到饱和时处理速度为每秒16亿个事件。Phu Hoang是DataTorrent的联合创始人和CEO，他告诉InfoQ，在同样的硬件上，他们的解决方案在性能上比Apache Spark要高“好几个数量级”。

DataTorrent基于Hadoop 2.x构建，是一个实时的、有容错能力的数据流式处理和分析平台，它使用本地Hadoop应用程序，而这些应用程序可以与执行其它任务，如批处理，的应用程序共存。该平台的架构如下图所示：

StrAM（Streaming Application Master）是一个本地的YARN Application Master，负责管理将要在Hadoop集群上执行的逻辑DAG（Directed Acyclic Graph），包括资源分配、分区、扩展、调度、Web服务、运行时更改、统计、SLA执行、安全等等。

在架构示意图的上层，用户应用程序作为已连接的算子和/或应用程序模板存在。算子的示例有InputReceiver（模拟接收输入数据）、Average（针对指定维度的键计算数据平均值）、RedisAverageOutput（将计算好的平均值写入Redis数据存储）、SmtpAvgOperator（发送电子邮件警报）。这些算子是Malhar库的一部分，该库包含了超过400个这样的算子，并在GitHub上开源。用户可以根据需要编写其它算子。

我们问Hoang，是什么使DataTorrent比Spark更快：

PH：DataTorrent侧重于使企业能够通过流式处理实时采取行动，而Spark希望使Spark引擎适用于处理连续事件流，这就在架构上产生了两个重要的区别。性能和有状态的容错能力是两个重点关注的方面。

1. 性能——作为一个本地Hadoop 2.0产品，DataTorrent RTS从头开始设计和构建，它关注性能和高可用性，并最终实现了以亚秒级延时逐个处理事件。DataTorrent RTS在启动时就将应用程序调度到Hadoop容器中，如果应用程序不需要更改，映射就固定不变，这样就不会引入任何调度开销。另一方面，Spark基于Hadoop 2.0之前的版本构建，它利用Spark引擎以小批量或“迷你批量”高效地运行许多“map reduce”作业。这种设计策略要求现在的Spark（通过Application Master）必须将每个最小批调度到集群上，这意味着巨大的开销，降低了系统速度。
2. 有状态的容错能力——按照设计，DataTorrent RTS能够进行复杂的、有状态的高性能计算，并具有容错能力。这是企业的一项关键需求，在不丢失任何数据、任何状态的情况下从故障中恢复，这是一项必备的能力。这里，DataTorrent RTS的设计中心是使用Java编程以及为企业开发人员/ISV解除容错能力设计的“负担”（也就是说，由DataTorrent RTS为开发人员处理）。Spark确实也提供了容错能力，但只针对无状态处理。Spark的设计中心是使用函数式语言Scala，处理连续事件流的算子是无状态的。如果企业想向Spark添加有状态的处理，他们需要将那部分代码作为应用程序的一部分进行编写，这很难，而且会影响性能。

据Hoang说，经验证，DataTorrent适用于“所有主要的Hadoop分发，既包括本地部署，也包括基于云的部署（前者如Cloudera、Hortonworks、MapR，后者如Amazon AWS和Google Cloud），这赋予了企业灵活性，使他们既可以更换Hadoop供应商，也可以无障碍地更改部署选项。”

虽然DataTorrent是一款商业应用程序，但它也带来了一个包含所有功能的免费层级，可以用于中小型应用程序。