软件测试进阶(一)A/B测试终极指南
A/B测试终极指南
A/B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为信息,来提高转换率。然而,A/B测试与SEO不同的是,人们都不太知道如何进行网站分析和可用性分析。他们并不完全明白它是什么或如何更有效的使用它。本文将为你提供有史以来最好的A/B测试教程。
什么是A/B测试?
A/B测试的核心就是:确定两个元素或版本(A和B)哪个版本更好,你需要同时实验两个版本。最后,选择最好的版本使用。
网络上的A/B测试,即你设计的页面有两个版本(A和B),A为现行的设计(称为控制),B是新的设计。比较这两个版本之间你所关心的数据(转化率,业绩,跳出率等)。最后,您选择效果最好的版本。
A/B测试的应用举例
用一个电商App的场景作为例子。电商App集成了我们的SDK之后,就可以在AppAdhocOptimizer控制台创建很多“测试版本”,每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告,并选择发布效果更好的测试版本。
拿这个例子来说,假如这个App有100万在线用户,通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本,产生了10万购买;另外50万用户看到右边版本,产生了40万购买。这个试验数据说明右边版本产生的转化率更高,可以通过控制台将这个版本推广到所有100万用户。
测试哪些东西?
你要选择什么去测试取决于你的目标。例如,如果你的目标是增加顾客数量,那么您可能测试下列内容:注册表单数量,字段类型要求,隐私政策等。在这种情况下A/B测试的目标是要弄清楚什么阻止了游客注册。需要填写的表单的数量?用户的隐私?还是该网站做了让游客不信任的事情?所有这些问题都可以通过一个个A/B测试获得答案。
每一个A/B测试内容都是独一无二的,单通常测试一下这些内容:
行动按钮的措辞,大小,颜色和位置,
标题或产品说明,
表单的数量和字段类型,
网站的布局和风格,
产品定价和促销活动,
着陆和产品页面上的图片,
页面上文字的长度(少Vs多)。
一旦你决定要测试什么,下一步当然是要选择一个合适的测试工具。如果你想要一个基础的免费工具,可以使用Google Website Optimizer。如果你想要功能更加强大的工具,可以使用Visual Website Optimizer 。其他的一些选择都是可以的,建立试验在所有工具中都很相似,所以我们只需讨论一种即可。
你可以通过两种方法建立A/B测试:
在页面测试加载前替换元素
如果你测试的是页面上的单个元素,如注册按钮,然后需要在测试工具中设置按钮。当测试时,在A/B工具将在页面给用户前随机替换按钮。
重定向到另一页面
如果你想通过A/B测试整个页面,比如说,一个绿色的主题和一个红色主题,那么你就需要创建和上传新的页面。例如,如果您的主页是 http://www.example.com/index.html,那么你需要创建另外一个页面 http://www.example.com/index1.html。当测试运行时,您的测试工具将一部分访问者重定向到第二个网址。
一旦您使用了上面的两种变换方法,下一步是建立您的转换目标。通常,你会得到一个JavaScript代码,您可以复制并粘贴到一个需要游客到达的目标网页。例如,如果您有 一个电子商务网站,你正在测试的“立即购买“按钮的颜色,然后您的转换目标将是购买成功后的“谢谢您“页面。
在转换事件发生的同时,在A/B测试工具,记录了哪种页面显示给了访问者。经过足够数量的游客,您可以确定哪个页面带来了最多的转化!建立和运行的A/B测试,其实很简单。
该做什么和不该做什么
虽然A/B测试是超级简单的概念,但是请记住,以下这些都只是我自己的经验。
注意事项
不要分开你的测试情况。始终两个版本同时进行测试。如果您第一星期测试第一版本,第二星期测试第二个版本,你就错了。有可能B版本带来的流量更糟糕,但是带来了更好的业绩,因为两个版本之间的流量始终存在不一样。
不要结束得太早。有一个概念叫做“统计信心“ ,无论你的测试结果明显的。如果你只有少数转换或游客,它都无法确定最终的结果。大多数A/B测试工具都有报告统计,但如果你是手动测试,你可以使用 在线计算器。
不要让常客惊讶。如果你正在测试网站的一部分。包括新访客和常客,不要使他们觉得震惊。尤其不要因为哪些可能不会最终实施变化。
不要让你的直觉推翻了测试结果。在A/B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站,一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率,而不是美学,所以在得到测试借过钱不要拒绝任何尝试。
需要做的
知道运行测试多久。结束太早,可能会使你花了时间但是没有得到有意义的结果。结束太晚也不好,因为效果不佳的页面可能影响你的转化和业绩。使用一个计算器,来确定测试多久以后来结束它。
将相同的页面呈献给同一个访客。您的工具应该有一个记忆访问者已经看到的页面的功能。这样可以防止向同一用户显示一不同的价格或不同的促销优惠。
让您的A/B测试在整个网站保持一致。如果你正在测试的登录按钮在多个地点出现,然后一个访问者应在所有的地方看到同样的变化。在页面1显示一个样子,在页面2显示两外一个样子,会使试验结果被干扰。
做很多的A/B测试。让我们面对现实吧:你的第一个A/B测试可能会无效。但是不要绝望。一个A/B测试只能有三个结果:没有结果,不好的结果和好的结果。优化转换率的关键是要做大量的A/B测试,把所有的好的结果拼接起来,最终推动业绩。
经典A/B测试案例研究
这里有一些如何进行A/B测试的案例研究。
Writing Decisions: Headline Tests on the Highrise Sign-Up Page 37Signals
测试他们的价格页面的标题。最终发现,“30-Day Free Trial on All Accounts“比原来的“Start a Highrise Account.“多产生30 %以上的订单。
“You Should Follow Me on Twitter Here”(Dustin Curtis)
这是一个用来测试召唤用户在Twitter上关注自己的试验。Dustin发现提示文字是“You should follow me on Twitter here”的效果是“I’m on Twitter.”173%
Human Photos Double Conversion Rates
从两个不同的A/B测试将在网站上增加转换率的人的照片:一个令人令人惊讶的结论,A/B测试两张图片,将真人照片放在网站上会获得一倍的转化。研究说明,我们潜意识被照片吸引了。
Google Website Optimizer Case Study: Daily Burn, 20%+ Improvement (Tim Ferriss)
一个将用户选择减少的变化使转化提高了20%,最终的版本在细节和文字上更易吸引目光。
Two Magical Words Increased Conversion Rate by 28% “It’s free”
这个单词增加了注册按钮点击次数的28%, 测试结果表明,在行动召唤上一些很小的变化会带来令人惊讶的结果。
Changing the Sign-Up Button from Green to Red
依靠A/B测试, CareLogger把注册按钮从绿色修改为红色增加了34%转换率!
Single page vs. multi-step checkout
如果你有一个在线商店,很常见的就是支付流程。这个A / B测试发现,多个支付流程比单个支付流程完成的销售更好。
“Mad Libs”style form increases conversion 25-40%
打败传统的智慧,此A/B测试发现一段风格形式输入字段比传统形式的布局更好。
Complete redesign of product page increased sales by 20%
一个软件产品的公司重新设计他们的产品页 给它一个现代的外观和增加信任模块。最终结果:他们成功地增加20 %的总销售额。本案例研究证明了设计对销售的影响。
Marketing Experiments response capture case study – triple digit increase in conversions
通过优化邮件地址获取提高了258 %。重点是消除所有的干扰,并要求游客只需提供电子邮件地址。使用亚马逊礼品卡让他/她的完成个人资料。
A/B测试工具
有许多侧重点,价位和功能不同的A/B测试工具,这里是一些:
Google Website Optimizer 搜索巨头提供的免费A/B测试工具。一个很好的入门级工具,但是没有一些先进的功能。
A/Bingo and Vanity 基于Ruby on Rails开发的服务器组件。需要编程和代码集成。
Visual Website Optimizer 一个易于使用的A/B测试工具,包含一些先进的功能,如所见即所得的编辑器,单击地图,访问者分割和标签等。
Unbounce and Performable 集成着陆页设计的A/B测试工具。
Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target 企业级测试工具。
一些深入研究的A/B测试资料
如果你已经读到这里,那么A / B测试大概已经激起你的兴趣。在这里,有一些非常好的A/B测试资源。
寻找你下一个A/B测试的灵感 Which Test Won? 一个猜测那种情况会最终胜利的游戏。
101 A/B Testing Tips 大量的A/B测试技巧和方法。
ABtests.com 一个可以分享和阅读A/B测试结果的地方。
A/B Ideafox 搜索引擎的A / B和多变量的案例研究。
美文美图
软件测试进阶(一)A/B测试终极指南的更多相关文章
- [产品相关] A/B测试终极指南(翻译)
转载地址: http://blog.sina.com.cn/s/blog_9149268d0100zrx7.html 还记得以前导师说看了英文的文章就把它翻译一下吧,这样会对文章更好地理解,也会有更深 ...
- 【转】使用JMeter进行负载测试——终极指南
使用JMeter进行负载测试——终极指南 这篇教程讨论的是JMeter,它是一款基于Java的.集合了几个应用程序.具有特定用途的负载和性能测试工具. 本篇主要涉及的内容: 解释一下JMeter的用途 ...
- 使用JMeter进行负载测试——终极指南
这篇教程讨论的是JMeter,它是一款基于Java的.集合了几个应用程序.具有特定用途的负载和性能测试工具. 本篇主要涉及的内容: 解释一下JMeter的用途 JMeter的实现方式以及采用的技术 安 ...
- 每周一书《Oracle 12 c PL(SQL)程序设计终极指南》
本周为大家送出的书是<Oracle 12 c PL(SQL)程序设计终极指南>,此书由机械工业出版社出版, 孙风栋,王澜,郭晓惠 著. 内容简介: <Oracle 12c PL/SQ ...
- 15个Linux Wget下载实例终极指南
15个Linux Wget下载实例终极指南 Linux wget是一个下载文件的工具,它用在命令行下.对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到 ...
- JMETER断言:终极指南
你想要: 检查服务器响应是否包含特定字符串, 或验证服务器返回了HTTP 200 OK, 或者检查json字段的值(使用类似JsonPath$.store..price). 断言是要走的路. 问题是: ...
- 《Web安全攻防 渗透测试实战指南》 学习笔记 (四)
Web安全攻防 渗透测试实战指南 学习笔记 (四) Nmap Network Mapper 是一款开放源代码的网 ...
- 《Web安全攻防 渗透测试实战指南 》 学习笔记 (三)
Web安全攻防 渗透测试实战指南 学习笔记 (三) burp suite详解 是一款集成化渗透测试工 ...
- 《Web安全攻防 渗透测试实战指南》 学习笔记 (二)
Web安全攻防 渗透测试实战指南 学习笔记 (二) 第二章 漏洞环境及实践
随机推荐
- if else与switch区别
一.if-else 只是单纯地一个接一个比较:if...else每个条件都计算一遍: 二.switch 使用了Binary Tree算法:绝大部分情况下switch会快一点,除非是if-else的第一 ...
- mysql获取某个表的所有字段名
http://www.netingcn.com/mysql-column-name.html mysql安装成功后可以看到已经存在mysql.information_schema和test这个几个数据 ...
- Vue生命周期-手动挂载理解
改前端遇到个bug,console能够输出值,但是前端不能显示. 我简直一脸懵逼,vue的问题?网络的问题?浏览器的缓存问题? 公司网络,所以直接排除网络问题. 浏览器缓存,试了下确实一定概率可以显示 ...
- web领域的实时推送技术-WebSocket
WebSocket protocol 是HTML5一种新的协议.它实现了浏览器与服务器全双工通信(full-duplex),即是所谓的及时推送技术. 在此之前,很多网站为了实现及时推送技术通常采用的是 ...
- Mybatis自动生成实体类和实体映射工具
Mybatis Mysql生成实体类 用到的Lib包: mybatis-generator-core-1.3.2.jarmysql-connector-java-5.1.30.jar 1. 创建一个文 ...
- 89. Gray Code(中等,了解啥是 gray code)
知道啥是 gray code 就是收获了. 下面介绍了 gray code 发明的 motivation, 了解动机后就知道啥是 gray code 了. https://zh.wikipedia.o ...
- WMI远程启动软件(某个应用程序)
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.M ...
- Linux部分常用命令整理
./ 相当于双击 [oracle@linux01 ~]$ PWD 查看绝对路径 [oracle@linux01 ~]$ cd - 返回上一次操作的目录 [oracle@linux01 ~]$ cd . ...
- nginx+tomcat负载均衡和session复制
本文介绍下传统的tomcat负载均衡和session复制. session复制是基于JVM内存的,当然在当今的互联网大数据时代,有更好的替代方案,如将session数据保存在Redis中. 1.安装n ...
- SQL LOADER使用
转自huan.gu专栏:http://blog.csdn.net/gh320/article/details/17048907 1.执行的命令 sqlldr 数据库用户名/密码 control=控制文 ...