VectorCAST - 通过确保测试的完整性控制产品质量

软件测试面临的问题
有一句格言是这样说的，“如果没有事先做好准备，就意味着做好了
失败的准备。”如果把这个隐喻应用在软件测试方面，就可以这样说“没有测试到，就意味着测试失败了”。软件出现故障的代价是巨大的：比如，烤箱或洗碗机不
能正常运作，产品就可能会失去顾客；医疗器械出现故障，病人就可能会失去生命。很多组织想通过严格的开发流程和静态分析来提高软件质量，但还是无法保证软
件应用程序一定不会出现问题。
本文并不是说能提供什么妙方，来开发出完全没有问题的软件。而是来探讨什么样的开发策略能够帮助提高软件质量。

 

图1：修复产品中存在的问题所花的费用远比在软件开发初期发现问题高得多

（Capers Jones, 《软件评估、基准测试与最佳实践》, 艾迪森维斯理出版社, 2000）

 

“hockey stick”图表（图1）
是软件开发历史上最常用到的图表。该图表说明，修复已部署的应用程序中存在的问题所需的费用，远比在代码开发阶段对这些问题进行修复所花的费用高。而众所
周知的是，严格的测试流程对于整个软件开发过程是大有裨益的，因此很多公司都尽力想办法度量测试的完整性。但是很多时候，有些组织在努力提高软件质量时，
提出的第一个问题却是“这会对时间安排及开发人员的工作量造成什么影响”，而不是“我们应该怎样度量测试的完整性。”

所
有软件开发组织在提高软件质量方面需要做的第一步便是：明白现在在测试的是什么。度量现有测试完整性的一个最简单的方法就是在测试过程中增加代码覆盖率分
析。代码覆盖率度量可以运用在整个开发生命周期中，并且不需要投入大量的时间和金钱，也不会对项目的时间安排造成负面影响。通过组织现有的测试流程，代码
覆盖率分析能够获得可用的测试有效性数据。

代码覆盖率分析是什么，它为什么重要？
代码覆盖率分析是指在应用程序的测试过程中，将程序的源代码与生成追踪数据的“面包屑”交织起来。这些数据经过后期处理，会显示哪些源代码在某次或某组测试过程中被执行了。代码覆盖率分析可帮助开发人员解答一些关键问题，如：

• 是否该应用程序的所有部分都已经过测试
• 是否有不应该存在于该程序中的死码

自动化的代码覆盖率分析非常重要，因为它有以下优势：

• 可以轻松融入正常的软件开发过程中
• 不影响正在进行的测试程序和进程
• 选项可灵活部署，以涵盖测试的所有阶段

度量测试完整性的重要性
有
一点似乎是不言而喻的，即：程序中没有经过严格测试的部分最容易存在问题。除非能够发现那些未经充分测试的地方，否则就没有办法真正提高软件质量。比较典
型的例子就是，有些组织在第一次使用代码覆盖率分析的时候，会很惊讶地发现在当前测试程序下，只有70%的程序代码被执行了。有可能剩下的30%的代码是
非关键功能，是错误处理，或边缘情况，但是也有可能这些未经测试的代码是程序的关键部分，只是开发测试程序的团队忽略了这些代码。
如果没有度量，就无法估量测试的有效性。而覆盖率分析则是度量测试完整性的最好的方法。

测试原有的代码库（Legacy Code Base）
几
乎所有的应用都会用到旧有代码（legacy
code），但是要理解这些代码的功能、预期效果、质量却比较困难。如果对那些没有相关测试架构的旧代码进行修改或重构，肯定会破坏正在使用的一些功能。
那么应该如何提高原有代码库的质量呢？第一步就应该是在系统测试或功能性测试过程中加入代码覆盖率分析。如果在测试的同时进行覆盖率分析，就可以将程序中
经过充分测试的部分与测试不足的部分分离开。开发人员可以很有把握地对那些经过充分测试的部分进行修改，但如果是对测试不足的部分进行修改，则需要非常谨
慎。

一旦得到了测试结果，在新功能开发完成之后，就可以根据覆盖率信息增加对新功能的测试。这样经过一段时间之后，代码库就会得到充分测试，质量也会提高，而且便于维护。

如果不重构代码库，代码库就会变得难以管理；但是如果不进行完整测试，则无法完成重构工作。

聚焦测试资源
有
些软件应用程序可能不需要达到100%的覆盖率。因为这些程序的关键度可能比较低，或者只有一小部分功能是经常使用的。即便是这样，还是要知道该程序中哪
些部分已经经过测试，哪些部分尚未经过测试。因为这有利于将测试资源聚焦在那些能够产生最大效益的地方，并可提供重要的测试信息，如测试的有效性指标。毕
竟，如果用户不能在地址栏输入URL的话，那么即使IE浏览器里的高级选项功能再强大，对用户而言也是没有意义的。

什么应该被测试与测试本身同等重要。

将覆盖率分析应用到整个生命周期
覆
盖率分析的一大优势就是它可以应用在整个开发生命周期中（从最初开发人员进行的单元测试，直到最后测试人员进行最终版本的测试）。在所有情况下，覆盖率分
析的目标都是评估测试活动的有效性。如果在每个测试阶段都进行覆盖率分析，并在每次发布之前将所有的分析结果合并到一个报表中，那么当集成开始时会碰到的
问题就会减少，而且不会影响发布日期，最后客户可能会碰到的问题也将大大减少。

采用覆盖率分析的商业案例
虽然很多人都认同制造出高质量的产品是一个很好的目标，但高品质的交付成本也会相应变高。而且，高品质的产品需要花费更多的时间和金钱。在涉及到业务目标的时候，每个商人都会对这些开销进行评估。

我们认为，使用覆盖率分析能够带来切实、重大的商业利益，包括：

• 提高用户体验
• 使代码库易于维护
• 增强竞争优势

提高用户体验
很
多记录记载，
在过去的30年里，基础工业领域发生了质量革命。奇怪的是，与拥挤的市场中的其它产品不一样，软件不需要和同类产品遵守同样严格的质量标准（高安全性软件
除外）。实际上，产品交付的时候，其软件存在缺陷是一个很普遍的问题，客户已经知道在产品停止运作的时候重启就行了。但是如果软件存在问题，常常出现故
障，会降低品牌价值。公司小心翼翼精心建立的声誉，可能因为某次不合格的产品发布就瓦解了。如今的客户比以往任何时候都强大，他们现在可以用社交媒体工
具，即时对产品做出评论，提出反馈，迅速反映出产品的质量问题。
利用覆盖率分析评估测试的完整性，就能保证在客户使用产品之前，程序中所有的功能已经通过了测试，而客户不会是第一个来执行程序中的某个功能的。

使代码库易于维护
现
在软件应用程序越来越大，生命周期越来越长，这就意味着现在建立的代码可能会要用很长一段时间，而且随着程序的拓展，会运用在很多环境中。开发组织一定要
有信心，确定自己的代码库是经过充分测试的。因为只有这样，在团队开发新的应用的时候，才能保证新功能不会破坏已有的功能，整个系统能够实现预期效果。
代码覆盖率分析会暴露测试过程中的漏洞。通过不断发现漏洞和解决问题，一段时间之后，测试的完整性和软件的质量都会得到提高。

增强竞争优势
2012
年，IBM公司发起了“全球首席执行官（CEO）调查”活动，有400多位业务主管和IT高管参与其中，研究哪些因素影响各个组织在当前市场中的竞争力。
各位执行官将科技归结为影响组织竞争力的最重要的外部因素，还有超过50%的首席执行官认为软件开发是获得竞争优势的关键驱动因素。（如图2）

 

图2：高品质的软件开发是获得市场竞争优势的关键驱动因素（来源IBM）

在软件开发生命周期中，如果添加了新功能或者对问题进行了修复，一个自动化的、完整的、可重复的测试流程则有助于减少回归次数。这样就可以减短发布周期，加快投放市场的速度。在如今这个竞争激烈的环境下，上市的时间直接关系到产品会处于行业主导地位还是失败地位。在这个软件越来越普及的市场，在开发过程中将软件质量放在第一位，是非常明智的经营策略。

理想的覆盖率分析工具
如果由开发人员来为这个测试工具提供信息会怎么样？他们无疑会列出很多特点，但是如果浓缩一下，可以概括出以下关键特点：

• 便于与现有的构架和测试步骤融合

-  很方便地生成完整版的应用系统

• 几乎不影响现有的测试活动

- 测试人员不会发现正在进行覆盖率度量

• 支持各个阶段的测试

- 各类测试都有统一的覆盖率视图是极为重要的

• 趋势报告

- 报告代码库是如何扩展的，以及代码覆盖率是否同步

• 与多种编译器结合

- 所有的编译器都有一个特定的扩展符支持相应的语言语法，这是一定要支持的。

• 与需求管理工具结合

- 如果有正式的需求，那么测试和覆盖率要与需求映射

• 完整的命令行界面

- 通过脚本来获取数据和报告是实现自动化的关键

• 可扩展以支持庞大的代码

- 将代码覆盖率的度量存储在关系数据库中是实现可扩展性的关键

选择合适的测试工具对于开发高质量的应用程序而言是极为重要的。

结论
开发高质量的软件应用程序是一个循序渐进的过程，没有什么妙招来快速提高质量，既没有自动化的解决方案，也没有其他捷径来实现这一目标。工程师和管理团队在努力开发高质量的应用程序时，要记住以下几条基本策略：

• 如果没有度量，就无法估量测试有效性，而覆盖率分析则是度量测试完整性的最好的方法。
• 如果不重构代码库，代码库就会变得难以管理；但是如果不进行完整测试，则无法完成重构工作。
• 什么应该被测试与测试本身同等重要。
• 利用覆盖率分析评估测试的完整性，就能保证在客户使用产品之前，程序中所有的功能已经通过了测试，而客户不会是第一个来执行程序中的某个功能的。
• 代码覆盖率分析会暴露测试过程中的漏洞。通过不断发现漏洞和解决问题，一段时间之后，测试的完整性和软件的质量都会得到提高。
• 在这个软件越来越普及的市场，在开发过程中将软件质量放在第一位，是非常明智的经营策略。
• 选择合适的测试工具对于开发高质量的应用程序而言是极为重要的。

结论：要保证软件的质量，就要进行完整、有效的测试，而度量测试完整性最好的方法就是进行覆盖率分析。