【机器学习与深度学习理论要点】07.A/B测试的概念及用法

1）什么是A/B测试?

A/B测试就是两种模型同时运行，并在实际环境中验证其效果的方式。在互联网公司中，A/B测试是验证新模块、新功能、新产品是否有效，新算法、新模型的效果是否有提升，新设计是否收到用户欢迎，新更改是否影响用户体验的主要测试方法。在机器学习领域中，A/B测试是验证模型最终效果的主要手段。

2）为什么需要A/B测试？

• 离线评估无法完全消除模型过拟合的影响，因此，得出的离线评估结果无法完全替代线上评估结果。
• 离线评估无法完全还原线上的工程环境。一般来讲，离线评估往往不会考虑线上环境的延迟、数据丢失、标签数据缺失等情况。因此，离线评估的结果时理想工程环境下的结果。
• 线上系统的某些商业指标在离线评估汇中无法计算。

3）如何进行线上A/B测试？

进行A/B测试的主要手段是进行用户分桶，即将用户分为实验组和对照组，对实验组的用户施以新模型，对对照组的用户施以旧模型。在分桶的过程中，要注意样本的独立性和采样方式的无偏性，确保同一个用户每次只能分到同一个桶中，在分桶过程中所选取的user_id需要是一个随机数，这样才能保证同种的样本是无偏的。