Bug Bash测试

愿望

养成参加 Bug Bash 的习惯，就像养成到点就吃饭一样的习惯。

 

一、Bug Bash 名词解释

A Bug Bash is a collaborative effort across our entire product team. We typically stow away in a room for a set period of time with a few boxes of pizza. Generally for an hour, we focus on a few areas of the product and work to discover as many bugs as possible（摘自网上）。简言之就是项目所有人从不同的角度参与新功能测试，通常是在一小时内，产品、研发、运营、客服、QA 等各专业领域的童鞋，专注产品的某些功能（一般是新功能），努力发现尽可能多的 bug，是产品验收很重要的一个活动，是提高测试覆盖率的重要手段之一。

 

二、Bug Bash 的好处

• 发现潜在的问题和 bug。项目团队集体试用 App，因产品、研发、教研、运营、客服、QA等对产品有深入的理解，这些同学可以发现从预期的用户流到不太常见的用例的所有内容，发现潜在的问题（建议）和 bug
• 为内部团队提供体验完整产品的机会。随着项目组的壮大，不同的团队同学只关注自己负责的部分，Bug Bash 为这些同学提供使用他们可能不熟悉的产品部分的机会，同时也提供大家熟悉其他团队的最新工作
• 及时梳理发布前 checklist。Bug Bash 前，环境、账号、后台配置等需提前准备好，通过 Bug Bash 可以及时地发现 checklist 中缺少项，避免正式发布前的手忙脚乱和漏项的现象
• 可游戏化激励团队，并增进团队之间的友情。可借着 Bug Bash 的机会将大家聚集在一起，加一些比赛和激励的元素，鼓励大家找到更多缺陷，同时提供建立友情的机会

 

三、哪个阶段做 Bug Bash ？

建议在前后端部署后 prod 回归前或prod 回归过程中，举行Bug Bash。假设前后端部署后立刻进入 prod 回归测试，如果回归仅 1 天时间，建议在前后端部署后，当天晚上或者第二天早上；如果prod 回归 2 天及以上，建议在回归 半天至 1 天后举行

 

四、谁来组织 Bug Bash ？

一般是 PM 或者 QA

 

五、如何做 Bug Bash

• 前期准备（部分步骤可以使用 PPT 或者其他便捷的方式展示出）
• 提前在周会或其他会议上宣导说明什么是Bug Bash，好处是什么等
• 一定量测试机，若testflight 还未过审，准备一定量的 iOS 机器，安装好 App
• 准备好测试内容
• 如当前版本新增需求
• 反馈
• 方式
• 提前建好企业微信群，企业微信群直接上报
• 提交建好 wiki问题反馈地址，反馈时在线编辑（推荐）
• 现场报
• 内容
• 流利号
• 截图
• 录屏
• 发生问题时间点
• 具体问题（点击无效、奔溃、反应慢等）
• 等
• 下载包方式
• 二维码（推荐）
• 外部下载链接
• 录屏教学
• 组织流程
• 提前 3 天左右发送邀请邮件，附上测试的内容和问题反馈地址或者企业微信群二维码
• 相关同学组织 bug bash
• 结束后相关童鞋对群里或问题反馈地址反馈的问题进行整理跟踪

六、每个迭代都做 Bug Bash，失去新鲜感导致参与度低怎么办？

• 在大版本或者累积几个小版本再做，保持新鲜感
• 有必要时再做。比如团队平时很主动自测、走查、校验、内测用户反馈也较积极，就可以考虑不做 Bug Bash
• 愿望是：每位同学养成参加 Bug Bash 的习惯，就像养成到点就吃饭一样的习惯

 

七、Bug Bash 的限制

• 部分功能如支付、跨天、权限类、中后台业务等，很难在一两个小时内获得较好的效果，这部分功能不建议做 Bug Bash，尽量让专业 QA 做测试

 

八、Bug Bash 常见误区

• 测试时间太紧张、迭代周期太紧张等，没时间组织

        其实测试时间越紧张越需要调动大家的积极性做 Bug Bash，因为时间紧张的情况下，测试覆盖可能更不全面，需要 像 Bug Bash 这样的手段提高测试覆盖度