TechEmpower 框架性能测试数据 - 新解读

1. TechEmpower Framework Benchmark 介绍

TechEmpower 框架性能大比拼平台从 2013 年 3 月开始以来已经历经了 18 轮测试,参与这个平台的框架平台产品也从一开始的 24 种增加到今天的 659 种! 可以说这个平台已经是业界的标准性能测试平台,在 Web 框架性能测试领域的地位大概能和 PassMark 在 CPU 性能测试领域的地位相当.

TechEmpower 自身提供的棒图直观地呈现框架的 Throughput (吞吐量, 即每秒处理请求数): 

而 TechEmpower 在测试过程中还收集了其他类型的数据,包括:

• Latency (时延 - 从发起请求到收到响应的平均时间)
• Memory (内存占用)
• CPU (CPU 占用百分比)

2. TFB VIS 可视化网站

最近出现了一个新网站提供了另外几个数据的可视化呈现: https://ajdust.github.io/tfbvis/

这个网站打开是这样的:

默认排序是吞吐量,但可以通过点击列标题下面的空白部位切换排序列,比如点击红色箭头指向部位按照时延排序:

可以选择不同的 TFB 测试项目:

选择显示的框架:

遗憾的是目前该页面只能支持两个过滤条件:

3. ActFramework vs. Spring Framework

下面我们就来看看 Spring 和 Act 这两种框架的各方面对比:

3.1 JSON 测试

为了方便大家理解,这里解释一下图示的数据 (下面的图示就省去解释了):

框架	吞吐量	时延	内存占用	CPU 占用
Act	1022k	0.52ms	2G	53%
Spring	130K	5.29ms	6G	61 %

总结: 没有涉及数据库的情况下, Spring 和 Act 相比

• 占用 3 倍的内存
• 吞吐量大约为 1/8
• 平均时延是 10 倍

3.2 Fortune 测试

总结: 在有数据库访问和后端页面生成的情况下, Spring 和 Act 相比

• 占用 3 倍内存
• 吞吐量大约为 1/7
• 平均时延大约为 5 倍

3.3 Query 测试

总结: 在多次查询(每个请求过程中处理查询数据库 20 次)的情况下, Spring 和 Act 相比

• 占用 3 倍内存
• 吞吐量大约为 1/5 到 1/2 (Spring WebFlux 在这个测试表现较好)
• 平均时延大约为 3 到 8 倍

3.4 Update 测试

总结: 在多次更新(每个请求过程中更新数据库 20 次)的情况下, Spring 和 Act 相比

• 占用 3 倍内存
• 吞吐量与平均时延和 Act 相当 (Spring WebFlux 在这个测试表现较好)

3.5 DB 测试

泉州SEO总结: 在单次查询(每个请求处理过程查询数据库 1 次)的情况下, Spring 和 Act 相比

• 占用 3 倍内存
• 吞吐量为 1/2 到 1/5
• 平均时延大约为 3 到 10 倍