创建一个科学决策必备的A/B实验，都需要哪些准备？——火山引擎 DataTester 使用指南

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流

DataTester 是火山引擎数智平台旗下产品，能基于先进的底层算法，提供科学分流能力和智能的统计引擎，支持多种复杂的 A/B 实验类型。DataTester 深度耦合推荐、广告、搜索、UI、产品功能等多种业务场景需求，为业务增长、转化、产品迭代、策略优化、运营提效等各个环节提供科学的决策依据，让业务真正做到数据驱动。

DataTester 经过抖音、今日头条等字节业务多年验证，截至 2022 年 8 月，已在字节跳动内部累计完成 150 万次 A/B 实验。此外也已经服务了美的、得到、凯叔讲故事等在内多家标杆客户，将成熟的“数据驱动增长”经验赋能给各行业。

点击跳转火山引擎A/B测试DataTester官网了解详情

在创建一个 AB 实验前，通常需要完成以下的准备：

1. 明确实验类型：服务端实验 or 客户端实验

服务端 &客户端分别是什么，以及他们之间的关系是什么？

• 在网络上提供服务的叫做服务器端（server） ，享受服务的叫做客户端（client）。

• 服务端，是为客户端服务的，如向客户端提供资源，保存客户端数据。客户端，是指与服务器相对应，为客户提供本地服务的程序。

举个例子：

比如我们玩《王者荣耀》，手机上的《王者荣耀》APP 就是客户端，而我们所连接的《王者荣耀》服务器，就是服务端。

比如刷抖音的时候，我们自己手机上的抖音 APP 就是客户端，抖音自己的服务器就是服务端。我们所看的抖音视频并不是直接存储在手机客户端里的，而是我们在打开客户端后，客户端向服务端发出请求（request），告诉服务端：“用户现在要看视频了，快把视频拿来！”收到客户端的请求后，服务端将会进行回应（response），告诉客户端现在应该给用户展现哪一个视频。

什么是服务端实验 &客户端实验？如何选择实验类型？适用场景是什么？

• 服务端实验，指通过服务端获取实验分组信息并控制配置生效或下发的实验。

  部分功能只能由服务端来控制，比如内容分发算法（如用户打开今日头条以后在 feed 流中会看见什么内容）、由服务端逻辑控制的产品功能（如推送）等。

  不要求唤起 APP 时就使实验配置生效。客户端有充分时间向服务端发起请求，获得实验配置后再向用户展示策略。

• 客户端实验，指通过客户端获取实验分组信息并控制配置生效的实验。

  部分功能只能通过客户端控制，比如客户端的 UI 样式、交互功能设计等。

  APP 唤起时，配置即需生效。比如我们要针对 APP 的开屏页面进行 A/B 实验，用户刚刚打开 APP，客户端就需要向用户展现开屏界面了。这种情况下客户端可能来不及向服务端请求配置参数。

2. 制定实验方案

• 提出问题：为什么我的注册页面转化率不够高？或者为什么我的推荐系统 点击/曝光 比率不理想？

• 建立实验假设：让注册的按钮文案更又吸引力些？或者更换一套推荐模型？

• 准备方案：不同的按钮文案，按钮的点击次数和页面进入的流量统计，或者不同的推荐模型，推荐内容点击和进入推荐页面的流量统计。

• 验证这个假设：构建了一个不同的按钮文案作为实验组 B，与对照组 A 同时上线，展示给具有相同属性的两部分用户，并获得统计数据。

• 分析数据得出初步结果：如果实验组 B 成功提高了转化率，那么这个假设得到了验证。否则，需要返回第二步来做出其他假设。

3. 了解实验指标

核心指标：实验主要关注的指标，每个实验只可设置一个核心指标。

• 例如您的产品是电商产品，您可以将下列指标之一作为核心指标：购物车按钮点击率、购买转化率。

必看指标：每个实验都必须关注的指标，常用于进行功能改版时监控用户的体验。

• 例如修改了按钮文案，按钮的点击率为核心指标，同时监测用户到访 PV 值等。对推荐模型进行实验，在主要核心指标为点击率时，也监测用户停留时长和跳出率等必看指标。