火山引擎 DataTester：如何用 A/B 测试做产品增长？

技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

随着如今越来越高的获客成本，用户拉新变得不再容易；而且由于获客成本的增高，让用户留存也变得更加重要。同时，一个产品的使用体验好坏、是否给予对应的用户价值，通常“用户留存”就被作为重要的衡量指标之一。

那么，如何将有限的流量发挥出最大的价值，尽可能的提升用户留存呢？本文将跟随字节的一款内容 App 的增长实践来一探究竟。

该款 App 为用户提供短篇、中篇、长篇内容阅读服务，但在 App 推出一段时间后，该产品团队通过核心指标分析，发现 App 新用户流失率非常高。其中新用户 LT（Life Time / 用户生命周期）、LTV（Life Time Value/用户生命周期价值）等指标均大幅低于预期，有较大的提升空间。

如何降低新用户的流失率、提高用户留存，成为了这款产品亟待解决的问题。

由于字节的产品在迭代、推广过程中都会不断经历 A/B 测试的打磨，因此该产品团队首先查看了历史策略，希望汲取一些经验。他们在字节跳动自研的 A/B 测试产品——DataTester 中，查看了该 App 以往的 A/B 实验历史，并通过 DataTester 特设的「经验库」能力，找到了往期能够提升用户留存的产品策略。

他们从「经验库」往期 A/B 测试的历史中看到：

· 往期“7 天签到礼包”玩法中，新用户 LT 显著上升，用户留存率显著上升；

· 往年春节期间曾发起过众多活动，“签到日历”的玩法对比其他活动，留存最佳；

.....

总结发现，往期的“签到玩法”对比其他策略，对于这款 App 的用户留存提升通常更为显著。下图可看到“签到玩法”带来的拉新占比，及用户留存趋势。

因此该团队判断，此次产品策略优化，通过优化“签到玩法”获取提升该 App 新用户留存指标收益的可能性较高。那么在优化方向上具体策略如何制定呢？该团队通过数据分析后决定从用户体验痛点入手。

原产品“签到玩法”如下：

• 玩法设置在产品二级页面“福利页”，用户必须打开 App 后再进入“福利页”，才可以完成玩法任务

• 产品同时设置有两种“签到玩法”——「7 天见面礼」与「日常签到」，两种玩法会同时弹出，用户打开产品后会遇到多重弹窗的情况

这样的产品策略会带来“用户操作路径过长，领取奖励难度相对较大”以及“多重弹窗对用户造成操作打扰”的痛点。产品团队因此确定了签到策略的优化思路：降低奖励领取难度，去除多重弹窗对用户的打扰。

当优化方向确定后，接下来就需要设计完整的 A/B 实验方案了；在 A/B 实验方案设计的过程中，最重要的一点是要计算出取得显著性结论所需要的流量是多少。 此时，字节的 A/B 测试产品 DataTester 的优势就体现出来了。当业务把想提升的指标、数值、提升方向输入进来后，DataTester 可以直接自动计算所需要的样本数量，然后经过 A/B 测试的实验数据来进行效果验证，帮助业务确认最优解的策略。

最后通过优化新用户的「7 天见面礼」签到活动，从 DataTester 的实验结果上来看，优化后的实验组的大盘新用户 LT（用户生命周期）、留存率等均有明显的正向提升；不仅如此，在 App 活跃时长、ARPU（平均每用户收入）等核心指标的数据也均有不同幅度的正向提升；同时新用户的签到问题反馈也有所下降。

因此，该 App 将新的策略全量上线，从线上数据表现来看，该 App 的「7 日签到」策略次日领取率提升了近 20%，用户多日留存稳定提升了 3%~5%，获取了超预期的收益。

对于企业而言，更明智、更长期的战略意味着需要同时专注于自身产品的健康发展以及增长，而这其中最重要的驱动因素是用户满意度和用户留存。注重用户留存就可以推进增加营收及提高盈利能力，也节省了获客成本，达到了降本增效的目的。

那么如何提升核心指标？如何选择最优的产品策略？如何科学的评估指标提升与策略的关系？如何选准正确的迭代方向并继续向下探索收益？这些都需要 A/B 测试来进行评估并得到“理性且科学”的数据结果，帮助业务在每一个决策的岔路口上，都做出了更正确的选择。

DataTester 依靠其先进的底层算法，提供科学的分流能力和智能的统计引擎，支持多种复杂的 A/B 实验类型。在字节内部帮助今日头条、抖音等多个产品“摆脱猜测，用科学的实验衡量决策收益”。 不仅如此，DataTester 也已经由火山引擎对外开放服务，目前已服务了美的、得到、凯叔讲故事等在内的上百家外部企业，支持了多种业务场景需求，为业务的用户增长、转化、产品迭代、运营活动等各个环节提供了科学的决策依据，将成熟的“数据驱动增长”经验赋能给各行业。

申请 DataTester 免费试用、了解更多 DataTester 详情，请点击火山引擎A/B测试DataTester官网