桔妹导读:在各大互联网公司都提倡数据驱动的今天,AB实验是我们进行决策分析的一个重要利器.一次实验过程会包含多个环节,今天主要给大家分享滴滴实验平台在分组环节推出的一种提升分组均匀性的新方法.本文首先会介绍一下滴滴AB实验的相关情况,以及在实验分组环节中遇到的问题.然后介绍目前在实验对象分组方面的通用做法,以及我们对分组环节的改进.最后是新方法的效果介绍. 1. AB实验概述 互联网公司中,当用户规模达到一定的量级之后,数据驱动能够帮助公司更好的决策和发展.在滴滴各个团队中,我们经常会面临不同的

背景 都说随机是AB实验的核心,为什么随机这么重要呢?有人说因为随机所以AB组整体不存在差异,这样才能准确估计实验效果(ATE) \[ ATE = E(Y_t(1) - Y_c(0)) \] 那究竟随机是如何定义的呢? 根据Rubin Causal Model, 想要让上述估计无偏,随机实验需要满足以下两个条件: SUTVA 实验个体间不相互影响 实验个体间的treatment可比 Ignorability(Unconfoundness是更强的假设) 是否受到实验干预和实验结果无关,从因果图的角

在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 文 | 松宝 来自 字节跳动数据平台团队增长平台 在线AB实验成为当今互联网公司中必不可少的数据驱动的工具,很多公司把自己的应用来做一次AB实验作为数据驱动的试金石. 数据 => 洞察 => 优化,循环往复寻找最优解,寻找增长的方法. AB中有句经典的名言:大胆假设,小心求证. 本系列连载会从数据驱动.AB实验基本架构.指标选取与数据分析等角度切入,第一篇着重介绍AB实验与数据

背景 AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器.但人们对AB实验的应用往往只停留在开实验算P值,然后let it go...let it go ... 让我们把AB实验的结果简单的拆解成两个方面: \[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效)\] 如果你的产品改进方案本来就没啥效果当然怎么开实验都没用,但如果方案有效,请不要让 statictical Hack 浪费一个优秀的idea 如果预期实验效果比较小,有哪些基础操作来增加实验显著性呢? 通常情

这篇论文是在 Recursive Partitioning for Heterogeneous Casual Effects 的基础上加入了两个新元素: Trigger:对不同群体的treatment选择个性化阈值. E.g优惠券力度,红包金额 新的Node Penalty: 旨在增强模型generalization 论文 C. Tran and E. Zheleva, "Learning triggers for heterogeneous treatment effects," i

这篇是treatment effect估计相关的论文系列第一篇所以会啰嗦一点多给出点背景. 论文 Athey, S., and Imbens, G. 2016. Recursive partitioning for heterogeneous causal effects. Proceedings of the National Academy of Sciences. 背景 论文给出基于决策树估计实验对不同用户的不同影响.并提出Honest,variance Penalty算法旨在改进CART

Hetergeneous Treatment Effect旨在量化实验对不同人群的差异影响,进而通过人群定向/数值策略的方式进行差异化实验,或者对实验进行调整.Double Machine Learning把Treatment作为特征,通过估计特征对目标的影响来计算实验的差异效果. Machine Learning擅长给出精准的预测,而经济学更注重特征对目标影响的无偏估计.DML把经济学的方法和机器学习相结合,在经济学框架下用任意的ML模型给出特征对目标影响的无偏估计 HTE其他方法流派详见因果

CACE全称Compiler Average Casual Effect或者Local Average Treatment Effect.在观测数据中的应用需要和Instrument Variable结合来看,这里我们只讨论CACE的框架给随机AB实验提供的一些learning.你碰到过以下低实验渗透低的情况么? 新功能入口很深,多数进组用户并未真正使用新功能,在只能在用户层随机分流的条件下,如何计算新功能的收益 触达策略,在发送触达时进行随机分组,但触达过程存在损失,真正触达的用户占比很小,如

作者:江颢 1.什么是长期的 AB 实验 大部分情况下,我们做的 AB 实验都是短期的,一到两周或者一个月之内的,通过分析这段时期内测得的实验效应得出实验结论,并最终进行推广. 长期实验即运行时间达数月甚至数年的实验,实验的长期效应指的是需要数月数年的 AB 实验才能积累的实验效应. 那什么场景下还需要做长期的 AB 实验,为什么不直接将短期的实验效应直接推广到长期效应呢? 因为在某些情况下,实验的长期效应和短期效应是不同的 . 例如,在搜索引擎上显示不够匹配的搜索结果会导致用户再次搜索,搜索份

Meta Learner和之前介绍的Casual Tree直接估计模型不同,属于间接估计模型的一种.它并不直接对treatment effect进行建模,而是通过对response effect(target)进行建模,用treatment带来的target变化作为HTE的估计.主要方法有3种:T-Learner, S-Learner, X-Learner,思路相对比较传统的是在监督模型的基础上去近似因果关系. Meta-Learner的优点很明显,可以使用任意ML监督模型进行拟合不需要构建新的

这篇文章会讨论: 在什么情况下需要做 AB 实验 从产品/交互角度,如何设计一个实验 前端工程师如何打点 如何统计数据,并保证数据准确可信 如何分析实验数据,有哪些数据需要重点关注 附:如何搭建前端实验项目,以 mip-experiment 为例 一. AB 实验的使用场景和正确用法 通常,在页面有样式变化,但又不确定是修改影响好坏的时候进行 AB 实验,实验数据可以为改版提供有力支持. 某公司日常(1) 产品:把页面标题变成之前的两倍.标题就是要醒目,要大大大. 设计:打死都不同意,太大的标题

RHCSA实验总结-点击跳转 RHCE实验 RHCE这边我简单分了下类: ## 网络与安全 1. IPv6 设置(推荐使用GUI程序 nm-connection-editor来完成) 2. team 聚合设置 3. 防火墙端口过滤 4. 防火墙端口转发 ## 网络共享服务 6. iSCSI 服务 7. nfs/smb 挂载 7.1 kerbose验证的nfs 7.2 samba多用户挂载 ## web服务 8. https, wsgi服务器 9. http 虚拟主机 ## db服务 11. ma

AB Test 介绍: https://vwo.com/ab-testing/ AB Test 的意义: 数据分析告诉我们要不要去做一件事情,ab 实验反馈告诉我们我们做得好不好,哪里有问题,以及衡量可以带来多少确定性的增长. 一.理论基础   1.中心极限定理:   大量相互独立的随机变量,其均值(或者和)的分布以正态分布为极限(意思就是当满足某些条件的时候,比如Sample Size比较大,采样次数区域无穷大的时候,就越接近正态分布).而这个定理amazing的地方在于,无论是什么分布的随机

8. Dataset (DataFrame) 的基础操作 8.1. 有类型操作 8.2. 无类型转换 8.5. Column 对象 9. 缺失值处理 10. 聚合 11. 连接 8. Dataset (DataFrame) 的基础操作 导读 这一章节主要目的是介绍 Dataset 的基础操作, 当然, DataFrame 就是 Dataset, 所以这些操作大部分也适用于 DataFrame 有类型的转换操作 无类型的转换操作 基础 Action 空值如何处理 统计操作 8.1. 有类型操作 分

AB测试的原理很简单,只用到了最简单的统计假设检验,但表面的简单通常都隐藏着陷阱,这一点没有经过实践的摸爬滚打是不容易看到的,今天我就把前人已经踩过的坑,一共15个,给大家分享一下.在分享之前,大家脑中一定要有个概念,AB测试虽然简单且强大,但是其成立是有前提的: A组和B组的用户一定是要"随机"分配.随机这个事很有学问,绝对的随机甚至根本不可能,实际中只能做到尽量接近真随机.换句话说,随机性并不总是成立,你要仔细小心它失效的场景. 在以你测试的时间点为中心的一定时间范围内,用户的行为

vivo 互联网平台产品研发团队 - Bao Dawei 本篇介绍了vivo霍金实验平台的系统架构以及业务发展过程中遇到的问题以及对应的解决方案. <平台产品>系列文章: 1.vivo平台化实践探索之旅-平台产品系列01 一.前言 互联网企业经历过野蛮生长的开拓红利期之后,逐渐越发重视产品发展的科学化.精细化,从粗放型向集约型转换.在美国,增长黑客等数据驱动增长的方法论,正在帮助如Google.Microsoft.Facebook等全球科技巨头实现持续的业务增长:在国内,数据精细运营.AB实验

写在前面:据说下周就要xxxxxxxx, 吓得本宝宝赶紧找些广告的东西看看 gbdt+lr的模型之前是知道怎么搞的,dnn+lr的模型也是知道的,但是都没有试验过 深度学习在美团点评推荐平台排序中的运用 原创 2017-07-28 潘晖 美团点评技术团队 美团点评作为国内最大的生活服务平台,业务种类涉及食.住.行.玩.乐等领域,致力于让大家吃得更好,活得更好,有数亿用户以及丰富的用户行为.随着业务的飞速发展,美团点评的用户和商户数在快速增长.在这样的背景下,通过对推荐算法的优化,可以更好的给用户

  随着敏捷在国内的推行,越来越多的公司和组织开始使用敏捷领导团队. 敏捷团队如雨后春笋之势涌现. 敏捷教练的团队也越来越壮大.   原先只需要一个敏捷教练就能搞定,但是随着团队越来越多,我们难免会将一些新成立的或者已有的团队交接给新的敏捷教练. 如何做好敏捷团队的交接也是我们面临的最现实的一个挑战.   每次当有新的scrum master入职,接到领导分配给他的一个scrum Team,会思考的第一个问题,可能就是:我到底要做些什么.   情境领导模型   对于如何领导一个敏捷团队,Mike

腾讯一面: 总结:考基础和代码(网址A是不是网址B的子域) + SQL(选出重复邮箱)(以下是没回答上来的) 逻辑回归公式(简历上写了协同过滤) 详见:https://blog.csdn.net/maymay_/article/details/80259104 谷歌论文有个关于AB实验的,讲了什么,具体实施流程是什么(简历上写了AB实现) 首先你要确定AB测试要达到的目标:验证xx是不是对搜索结果有影响 确定好目标以后,就应该设计你的变量是什么:提升有xx的某些搜索结果 流量分配:你是用原有的总

本文来自火山引擎公众号,原文发布于2021-09-06. 近日,字节跳动旗下的企业级技术服务平台火山引擎正式对外发布「ByteHouse」,作为 ClickHouse 企业版,解决开源技术上手难 & 试错成本高的痛点,同时提供商业产品和技术支持服务. 作为国内规模最大的 ClickHouse 用户,目前字节跳动内部的 ClickHouse 节点总数超过 1 万 5 千个,管理总数据量超过 600PB,最大的集群规模在 2400 余个节点.综合来说,字节跳动广泛的业务增长分析很多都建立在 Clic