编写优秀Bug报告的艺术及案例分析

编写优秀Bug报告的艺术及案例分析

---Rex Black原著《Fine art of writing a good bug report 》

---Kiki翻译于2005/5/28

前言

在99年的Quality week上的一次演讲中，微软的一个测试经理，Roger Sherman指出了由于“不可重现”导致bug关闭的主要原因。这是一个非常可惜的情况，因为这样的bug report浪费了紧张的开发计划中的宝贵时间，增加了对产品质量完全是无关紧要的事情，同时导致了在开发人员和测试之间的挫败感和差的感觉。有时， bug report是由于短暂的或随机的事件，测试和开发之间不一致的工具和配置，或者在测试的环境下对正确的行为的模糊定义而产生的，但是许多的由于不可重现而被关闭的测试报告是因为描述不清晰，被误解，或者只是文字的错误。

 

幸运的是，我学习到一些能够引起管理层注意，更清楚的和开发人员沟通并得到修复的编写优秀bug report的诀窍。这些技巧不仅仅提供了是在被修复的问题的比例方面得到了可靠的回报，而且在同开发人员和管理层的通过中也得到了回报。在我管理的项目中使用这种方法编写bug report，8份bug report中大约只有一个没有被修复。

 

这篇文章的思想只有当你的报告针对的测试执行过程是专业的质量工作才可以发挥作用。聪明地执行完整的测试包是产生可靠的测试状况信息的基础的其中一个因素。在许多的测试文献中广泛地介绍了多种多样的关于如何构建这样的测试包的方法。选择和你质量风险管理需求相一致的技术并且使之适应你的具体情况，敏捷地监督已计划的测试的执行过程，这样你就可以拥有可靠的测试执行过程。

 

另外一个关键的因素－bug report，却没有得到太多的关注。这是非常令人遗憾的，因为优秀的bug report对反映测试小组真实的和可理解的工作质量同测试本身一样都是非常重要的。试想一下：如果你不能用开发人员能够理解的术语和能够用于调试的方法给开发人员解释一个错误，他怎么能够修复问题呢？如果你不能够在bug report中提出象“保险杆标签”（bumper sticker）一样的错误总结来引起管理层的注意，你又如何让他们关心你们发现的问题呢？

 

Bug report的核心是对错误的描述。表格1中是一个关于好和差的错误描述的例子。编写好的bug report是一种好的艺术形式。采用以下的10条技巧可以帮助你的小组提高编写bug report的质量：

1. 组织Structure：测试人员应该采用深思熟虑的，小心谨慎的方法执行测试，并且做详尽的记录。这样可以促使他们对测试下的系统有很好的认识。当错误发生的时候，一个有组织的测试人员能够知道最早出现问题的地方。
2. 重现Reproduce：测试人员在编写bug report之前必须在检查问题是否可重现。如果错误不可再重现，仍然应该写下来，但是必须说明问题的偶然性。一个好的处理原则就是在编写bug report之前反复尝试3次。
3. 隔离Isolate：在尝试编写bug report之前，必须试着隔离错误。可以采用改变一些变量的方法，如系统的配置，它可能可以改变错误的症状。这些信息可以为开发人员着手调试提供思路。
4. 归纳Generalize：在测试人员发现了一个已隔离的，可重现的问题后，应该对问题进行归纳。同一个问题是否出现在其他的模块或其他的地方？同一个故障是否有更加严重的问题？
5. 对比Compare：如果测试人员以前曾经验证过现在出错的测试用例，那么他就应该检查以前的测试结果以检查相同的条件是否通过以前的测试。如果是的话，那么这个问题就象是一个回归的错误。注意由于同一测试条件有可能出现在多个测试用例中，这个步骤就不仅仅只是检查一个测试用例在以前的多个结果。
6. 总结Summarize：在bug report的第一行写上错误的总结是非常关键的。测试人员要花些时间思考已发现的错误对客户有何影响。这不仅仅要求测试人员编写的报告要能够吸引读者，使和管理层的沟通清晰，还要能够帮助设置错误修复的优先级别。
7. 精简Condense：在bug report的初稿完成后，测试人员应该反复阅读它，集中剔除那些没有关系的步骤或词语。隐含的或模糊的说明和那些由于对没有任何关系的细节或者那些在重现错误过程中不需要的步骤而消磨报告欢迎程度的无穷唠叨都不是bug report的目标。
8. 消除歧义Disambiguate：测试人员在精简空话的同时或其之后随即应该再仔细检查报告是否有会产生误解的地方。测试人员应该尽量避免使用模糊的，会产生歧义的和主观的词语。目标是使用能够表述事实，清楚的，不会产生争执的词语。
9. 中立Neutralize：如文中所述，作为坏消息的传递人，和善地提交消息是一个挑战。如同所有的错误总结一样，独立的bug report在措辞方面应该保持公正。攻击开发人员，指责潜在的错误，企图诙谐或使用挖苦将引起开发人员的憎恶，并且使注意力从“提高产品质量”这个大的目标上转移开了。谨慎的测试人员只用Bug report来描述事实。
10. 检查Review：一旦测试人员感觉bug report是他能够编写的最好版本，他应该将报告再给一个或多个同行进行检查。他的同事们也应该给出一些建议，为了澄清问题不断地提问，如果适当的话，甚至可以挑战“错误成灾”的结论。在允许的时间里，测试小组应该尽可能提交最好的bug report。

 

以上10条技巧可以帮助你和你的小组提交准确简洁的，彻底校订的，精心构思的，高质量的技术文档。测试小组应该集中编写bug report的任务，测试组长和经理应该让测试组成员清楚地认识到编写优秀的bug report是一项首要的工作任务。衡量优秀的bug report的质量指标应该包括如下：

o        对管理层来说，是清晰明了的，特别是在概要这一级；

o        对于开发部门是有用的，主要是给出能够让开发人员高效地调试问题的相关信息

o        可以很快的将bug从“Opened”状态转变成“Closed”状态，减少为得到更多的信息从开发人员打回的差的bug report并导致测试人员返工的时间。

 

改进bug报告的流程是需要花费一些时间的，但是也给予了效果显著的回报。首先，简单的流程改进了测试小组和高层、平行管理层之间的沟通，增强小组的信任度，名望和鼓励管理层给测试投资更多的资源。第二，平稳地递交报告给开发人员促进了测试和开发人员之间积极的关系。第三，更短的bug生命周期是更加有效的，在时间上之前花费在编写优秀bug report上的时间和后期由于返工差的bug report花费的时间相抵消。这些回报帮助开发流程通过有效的沟通和高效率的流程获得更好的产品质量。

 

Good

Bad

概要（Summary） Arial, Wingdings和 Symbol字体破坏了新文件。 重现问题的步骤（Steps to Reproduce）： 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 2. 输入4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 3. 选中4行文字，点击字体的下拉菜单，选择Arial. 4. 所有的文字转变成了控制字符，数字和其他一些二进制的数据. 5. 尝试了3次，每次都可以重现这个问题。 隔离（Isolation） 这个问题是新出现在build 1.1.018;相同的测试用例是在builds 1.1.007 (System Test entry) 和 1.1.017中通过测试的. 使用Wingdings和Symbol字体也可以重现这个问题，但Times-Roman, Courier New和Webdings字体都没有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。保存此文件再关闭它，然后再打开文件，这个错误还是存在。 在转换字体之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下，在Solaris, Mac或其它地Windows平台下不出现这个问题。

在格式一些文字成Arial字体时，我创建的新文件中所有的内容被毁坏了。

案例分析：SpeedyWriter

SpeedyWriter －－

·         用Java开发的字处理器（word processor）

·         支持常见的字处理器功能

·         在案例分析中，用“italics”字体突出显示内容的描述上有差异

 

步骤1、组织Structure

 

·         采用深思熟虑的，仔细的方法进行测试

·         遵循编写好的或者运行由编写好的和标准化的流程自动化的测试用例

·         做仔细的记录

 

步骤2、重现Reproduce

 

Good	Bad
· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2. 然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。	在格式一些文字成Arial字体时，讨厌的bug捣毁了我创建的新文件中所有的内容，浪费了我的时间。

 

 

步骤3、隔离Isolate

 

Better	Good
· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，是不会产生这个错误。 这个错误只出现在Windows98平台下。	· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2. 然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 这个问题在Solaris下没有出现。

 

步骤4、归纳Generalize

 

Better

Good

· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下。

· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，是不会产生这个错误。 这个错误只出现在Windows98平台下。

 

步骤5、对比Compare

 

Better

Good

· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试. Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下。

· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下。

 

步骤6、总结Summarize

 

Better

Good

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下。

· 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下。

 

步骤7、精简Condense

 

Better

Good

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 2. 输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 3. 选中文字，点击字体的下拉菜单，选择Arial. 4. 这个讨厌的bug捣毁了所有的文字，变成了一些毫无意义的垃圾，浪费了用户的时间. 5. 尝试了3次，每次都可以重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。保存此文件再关闭它，然后再打开文件，这个错误还是存在。 在转换字体之前保存文件，将不会产生这个错误。 在已经存在的文件里，是不会产生这个错误。 这个错误只出现在Windows98平台下。

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 我打开 SpeedyWriter编辑器, 接着创建了一个文件。 2.然后我输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 每次采用bold, italic, strikethrough, 和underline不同的效果。 3. 我选中了文字，点击字体的下拉菜单，选择Arial。 4. 这个讨厌的bug把所有的文字变成了毫无意义的垃圾，浪费了用户的时间。 5. 我尝试了3次，每次都能够重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。我保存此文件再关闭它，然后再重新打开，这个错误还是存在。 如果在未将文字变成“Arial”之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下。

 

步骤8、消除歧义Disambiguate

 

Better

Good

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 2. 输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 3. 选中4行文字，点击字体的下拉菜单，选择Arial. 4. 这个讨厌的bug捣毁了所有的文字，变成了一些毫无意义的垃圾，包括控制字符，数字和其他一些二进制的垃圾数据，浪费了用户的时间. 5. 尝试了3次，每次都可以重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 相同地步骤下，Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。保存此文件再关闭它，然后再打开文件，这个错误还是存在。 在转换字体之前保存文件，将不会产生这个错误。 在已经存在的文件里，是不会产生这个错误。 这个错误只出现在Windows98平台下，在Solaris, Mac或其它地Windows平台下不出现这个问题。

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 2. 输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 3. 选中文字，点击字体的下拉菜单，选择Arial. 4. 这个讨厌的bug捣毁了所有的文字，变成了一些毫无意义的垃圾，浪费了用户的时间. 5. 尝试了3次，每次都可以重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。保存此文件再关闭它，然后再打开文件，这个错误还是存在。 在转换字体之前保存文件，将不会产生这个错误。 在已经存在的文件里，是不会产生这个错误。 这个错误只出现在Windows98平台下。

 

步骤9、中立Neutralize

 

Better

Good

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 2. 输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 3. 选中4行文字，点击字体的下拉菜单，选择Arial. 4. 所有的文字转变成控制字符，数字和其他一些二进制的数据. 5. 尝试了3次，每次都可以重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 相同地步骤下，Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。保存此文件再关闭它，然后再打开文件，这个错误还是存在。 在转换字体之前保存文件，将不会产生这个错误。 在已经存在的文件里，不会产生这个错误。 这个错误只出现在Windows98平台下，在Solaris, Mac或其它地Windows平台下不出现这个问题。

概要 Arial, Wingdings和 Symbol字体破坏了新文件 · 重现问题的步骤： 1. 启动SpeedyWriter编辑器, 接着创建了一个文件. 2. 输入了4行文字, 每次重复输入“The quick fox jumps over the lazy brown dog”, 3. 选中4行文字，点击字体的下拉菜单，选择Arial. 4. 这个讨厌的bug捣毁了所有的文字，变成了一些毫无意义的垃圾，包括控制字符，数字和其他一些二进制的垃圾数据，浪费了用户的时间. 5. 尝试了3次，每次都可以重现这个问题。 隔离 这个问题是新出现在build 1.1.018的；相同的测试用例在builds 1.1.007 (System Test entry) 和 1.1.017中通过了测试。 相同地步骤下，Wingdings和Symbol字体同样也有这个问题。 基于模糊的猜测，这个可能只是一个关于格式化的问题。保存此文件再关闭它，然后再打开文件，这个错误还是存在。 在转换字体之前保存文件，将不会产生这个错误。 在已经存在的文件里，是不会产生这个错误。 这个错误只出现在Windows98平台下，在Solaris, Mac或其它地Windows平台下不出现这个问题。

 

步骤10、检查Review