作者: vivo 互联网数据分析团队-Dong Chenwei vivo 互联网大数据团队-Qin Cancan.Zeng Kun 本文介绍了vivo游戏中心在灰度数据分析体系上的实践经验,从"实验思想-数学方法-数据模型-产品方案"四个层面提供了一套较为完整的智能灰度数据解决方案,以保障版本评估的科学性.项目进度以及灰度验证环节的快速闭环.该方案的亮点在于,指标异动根因分析方法的引入和全流程自动化产品方案的设计. 一.引言 游戏业务的用户规模体量大,业务链路长,数据逻辑繁杂.游戏中心…

作者:vivo 互联网服务器团队- Chen Wenyang 本文根据陈文洋老师在"2022 vivo开发者大会"现场演讲内容整理而成.公众号回复[2022 VDC]获取互联网技术分会场议题相关资料. 在互联网流量见顶和用户需求分层的背景下,如何快速迭代产品功能,满足用户需求成为了开发首要面对的问题.游戏中心低代码平台从产品定位入手,以组件化方式搭建用户端页面,快速支撑产品需求,提升了研发效率,缩短了项目周期.本文首先介绍背景与痛点,然后阐述了游戏中心是如何搭建低代码平台,最后展示了低…

CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect.在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning.你碰到过以下低实验渗透低的情况么? 新功能入口很深,多数进组用户并未真正使用新功能,在只能在用户层随机分流的条件下,如何计算新功能的收益 触达策略,在发送触达时进行随机分组,但触达过程存在损失,真正触达的用户占比很小,如…

桔妹导读:在各大互联网公司都提倡数据驱动的今天,AB实验是我们进行决策分析的一个重要利器.一次实验过程会包含多个环节,今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法.本文首先会介绍一下滴滴AB实验的相关情况,以及在实验分组环节中遇到的问题.然后介绍目前在实验对象分组方面的通用做法,以及我们对分组环节的改进.最后是新方法的效果介绍. 1. AB实验概述 互联网公司中,当用户规模达到一定的量级之后,数据驱动能够帮助公司更好的决策和发展.在滴滴各个团队中,我们经常会面临不同的…

作者:京东零售 路卫强 本篇的目的是从三个不均匀性的角度,对AB实验进行一个认知的普及,最终着重讲述AB实验的一个普遍的问题,即实验准确度问题. 一.AB实验场景 在首页中,我们是用红色基调还是绿色基调,是采用门店小列表外+商品feed(左图),还是采用门店大列表囊括商品feed(右图),哪种更吸引用户浏览下单呢,简单来处理让50%的用户看到左图效果,让50%的用户看到右图效果,最终通过点击量,单量等指标进行比对得出结论,这是典型的AB实验场景 二.AB实验的定义 A/B实验就是针对想迭代的产品…

背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器.但人们对AB实验的应用往往只停留在开实验算P值,然后let it go...let it go ... 让我们把AB实验的结果简单的拆解成两个方面: \[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效)\] 如果你的产品改进方案本来就没啥效果当然怎么开实验都没用,但如果方案有效,请不要让 statictical Hack 浪费一个优秀的idea 如果预期实验效果比较小,有哪些基础操作来增加实验显著性呢? 通常情…

这篇论文是在 Recursive Partitioning for Heterogeneous Casual Effects 的基础上加入了两个新元素: Trigger:对不同群体的treatment选择个性化阈值. E.g优惠券力度,红包金额 新的Node Penalty: 旨在增强模型generalization 论文 C. Tran and E. Zheleva, "Learning triggers for heterogeneous treatment effects," i…

这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景. 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences. 背景 论文给出基于决策树估计实验对不同用户的不同影响.并提出Honest,variance Penalty算法旨在改进CART…

Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响,进而通过人群定向/数值策略的方式进行差异化实验,或者对实验进行调整.Double Machine Learning把Treatment作为特征,通过估计特征对目标的影响来计算实验的差异效果. Machine Learning擅长给出精准的预测,而经济学更注重特征对目标影响的无偏估计.DML把经济学的方法和机器学习相结合,在经济学框架下用任意的ML模型给出特征对目标影响的无偏估计 HTE其他方法流派详见因果…

在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 文 | 松宝 来自 字节跳动数据平台团队增长平台 在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法. AB中有句经典的名言:大胆假设,小心求证. 本系列连载会从数据驱动.AB实验基本架构.指标选取与数据分析等角度切入,第一篇着重介绍AB实验与数据…