火山引擎 DataTester 首推 A/B 实验经验库，帮助企业高效优化实验设计能力

 

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

近日，火山引擎 DataTester 推出了重要功能——A/B 实验经验库。

基于在字节跳动已完成 150 万余次 A/B 实验的经验，DataTester 首创了 A/B 实验经验库功能。该功能可帮助业务人员将历史的 A/B 实验经验沉淀，并通过条件筛选，快速找到所需实验信息并进行数据分析。汲取过往在 A/B 实验设计和结果方面的经验，并了解优化方向，更好为后续的业务赋能。

以往，当企业需要去查看往期 A/B 实验信息时，只能通过实验列表去挨个点击查看，这样做对于业务人员来说不仅仅很耗时耗力，而且无法全面了解过往 A/B 实验所积累的有效信息。

A/B 实验经验库功能上线后，企业能够自主筛选、高效调用以往 A/B 实验的数据及详情，并查阅 DataTester 以经验报告形式做的抽象和总结。该功能让 DataTester 从单纯支持 A/B 实验的数据工具平台，升级成为了企业业务信息沉淀的系统，可以帮助企业不断迭代优化 A/B 实验的设计与效果。

在 DataTester 的经验库中，用户可以通过检索多类标签，查看业务历史上 A/B 实验的目标群体、实验策略、实验结论：

• 实验信息：支持检索实验名称、实验描述、实验版本名称、创新人等信息；

• 运行时间：支持对运行时间、开始时间、停止时间进行时间范围筛选；

• 展示指标：支持输入需要所需查询的任意数据指标，如点击率、转化率、DAU 等；

• 目标受众：支持筛选实验目标人群包，可按公共属性和用户分群等维度进行筛选。

以具体的应用场景举例，假设业务运营有一个目标：期望增加产品在“北上广深”的女性用户群体的使用活跃度。那么业务运营首先要了解在过往，产品针对“北上广深”的女性群体做过哪些运营动作，在 A/B 测试中，哪些运营动作成效显著，哪些效果不好。

在 DataTester 的经验库中，业务运营人员可以选择目标受众为“女性”标签，再选择城市标签为“北京、上海、广州、深圳”；此时，即可查看以往针对上述人群的有效果的实验有哪些。

如果想进一步拆分针对上述人群中与“使用活跃度”有关的实验，那么可以在指标选取上更加细分和灵活。例如可选取“新增用户数”指标，来查看往期试验中，提升了目标群体日活的实验；与此同时还可选取“订购”指标，查看往期试验中提升了目标群体消费情况的实验。

这样一个满足业务运营所需条件的往期实验就全部筛选出来了。运营人员可以详细的查看和分析往期实验的数据，在此基础上继续设计深化新的 A/B 实验策略。

DataTester 的 A/B 实验经验库，让企业的每一次 A/B 实验都不再是各自独立的个体，而能够层层递进，每一次都在上一次的实验效果基础上进一步调优，可以帮助企业减少“重复造轮子”的情况，大幅提升效率。

DataTester 是字节跳动内部应用多年的 A/B 实验平台，当前已通过火山引擎面向外部企业开放服务，能基于先进的底层算法，提供科学分流能力和智能的统计引擎，支持多种复杂的 A/B 实验类型。在应用和分析场景上，火山引擎 DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代，策略优化，运营提效等各个环节提供科学的决策依据，让业务真正做到数据驱动。

目前，火山引擎 DataTester 已经服务了美的、得到、凯叔讲故事等在内的上百家标杆客户，将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转火山引擎A/B测试DataTester官网了解详情