为了确保Android应用能够在所有兼容Android的设备上正确运行,并且保持相似的用户体验,在每个版本发布之时,Android提供了一套兼容性测试用例集合(Compatibility Test Suite, CTS)来认证运行Android系统的设备是否完全兼容Android规范,并附带有相关的兼容性标准文档(Compatibility Definition Document, CDD)。

首先从http://source.android.com/compatibility/downloads.html(网络需要能进google)处下载最新的兼容性测试用例集合,并解压。如图1所示。

图1 Android 官网中CTS测试环境下载等

大部分是基于Junit和仪表盘技术编写的。还扩展了自动化测试过程,可以自动执行用例,自动收集和汇总测试结果。CTS采用XML配置文件的方式将这些测试用例分组成多个测试计划(plan),第三方也可以创建自己的plan。

CTS测试执之前要做的准备工作如下:

1. 下载兼容性测试用例包,并解压,解压后的文件名命名为“android-cts”。在http://source.android.com/compatibility/downloads.html页面的最下方,有一个名为“Compitibility Test Suite(CTS) User Manual”的链接,是最新版本的Android兼容性测试用例的执行方法,建议在执行之前先通读该文档。

2. 刷机为需要测试的版本。

3. 手机开机时,如果有google账户设置,取消即可:Start->Not now->Next->Next->Next->Finish。

4. 设置手机语言为英语:Setting->Language&input->language->English(United States)。

5. 插入SIM卡和外置SD卡(SD卡需要格式化:Settings->Storage->Erase SD card->Erase SD card->Erase Everything)。

6. 插入USB,连接手机到电脑,可以用adb devices检查,是否正确连接。

7. 打开wifi, 并连接到可用wifi。

8. 打开蓝牙,无须配对。

9. 保证手机无操作30分钟后LCD off:Settings->Display->Sleep->30 minutes.

10. 去掉屏幕锁:Settings->Security->Screen Lock 的值是“None”.

11. 打开Settings->Location services->“Google location services”, ”GPS satellites”, ”Location & Google search”.

12. 打开Settings->Accessibility->Developer options->USB debugging(USB 调试).

13. 打开Settings->Accessibility->Developer options->Stay Awake(保持唤醒).

14. 打开Settings->Accessibility->Developer options->Allow mock location(允许模拟位置).

15. 通过Settings->Speech synthesis->Install voice data安装“Text To Speech”文件(com.svox.langpack.installer-1.apk), 假如android-cts/repository/testcases/中没有此文件,就省去这一步。

16. 如果需要执行可访问性方面的兼容性测试,则安装“CtsDelegatingAccessibilityService.apk”(adb install –r */android-cts/repository/testcases/ CtsDelegatingAccessibilityService.apk),并将Settings->Accessibility->Delegating Accessibility Service选项打开。假如m目录中没有此文件,就省去这一步,一般情况下是没有的。

17. 如果需要执行设备管理方面的兼容性测试,则安装“CtsDeviceAdmin.apk” (adb install –r */android-cts/repository/testcases/ CtsDeviceAdmin.apk),并将Setting->Security->Devices Administrators->android.devicesadmin.cts.CtsDevicesAdmin等选项打开。目录中一定会有这个文件的,请仔细查找,如图2所示。

图2 CtsDeviceAdmin.apk

18. 如果需要执行多媒体方面的兼容性测试,则需要执行:

1)从http://source.android.com/compatibility/downloads.html 下载android- cts-media-X.Y.zip并解压。

2)进入解压后的文件夹,并执行bash copy_media.sh, 把测试所需文件copy到手机内存中,假如copy失败,可能是手机路径不对,请用gedit打开copy_media.sh文件,同时adb shell进入手机终端,查看手机内存目录与copy_media.sh文件中的目录是否一致。如果不一致,请更改copy_media.sh文件,必须保证copy到手机内存(copy完之后可以打开gallery进行查看),否则会影响后边android.media等与media相关测试包的执行,如图3-1、图3-2所示。

图3-1 Copy Media

图3-2 Copy Media

19. 保证手机处于home界面,即按下“Home”键。

CTS测试正式开始:

1. 进入到“*/android-cts/tools”目录,执行bash cts-tradefed,先识别设备,之后出现cts_host >,则证明已进入CTS命令行交互界面,此时可以输入cts相关命令来执行cts测试了,如图4所示。

图4 CTS命令行交互界面

2. 测试默认CTS,其中包括所有的packages,可以输入如下命令 :

run cts --plan CTS(这两次跑测试都用的这个,具体用哪个,请咨询相关人员)

或者 run cts –disable -reboot --plan CTS (跑测试过程中,手机不会reboot,这样可以方便接adb logcat),跑起来时先根据日期和时间创建测试结果的文件夹,然后出现“start test run of xx packages, containing xx tests”说明测试已经开始跑了,此时尽量再多观察十分钟,出现“Installing prerequisites”并且之后有显示case pass,则确保cts确实开始run了,如图5所示。

图5 run cts

CTS测试结果分析:

测试结束后在*/android-cts/respository/results文件夹中,会看到以日期和时间命名的文件夹用于保存执行过的测试结果,如图6-1、图6-2所示。

图6-1 results

图6-2 results

而且还有一个同名的zip文件保存同样的内容。测试过程中的自动录log,测试结束后log自动保存在*/android-cts/respository/logs里边以日期和时间命名的文件夹中,如图7-1、图7-2所示。

图7-1 logs

图7-2 logs

在测试结果文件夹中,所有的测试结果是以XML的形式保存的。通常测试结果网页分成“Device Information”、“Test Summary”、“Test Summary by Package”、“Test Failures(xx)”和“Detailed Test Report”等四个区域。其中 “Device Information”中列出了被测设备具体的软硬件以及功能配置信息,如图8所示。

图8 Device Information

“Test Summary”列出了CTS 版本号,各状态case个数等信息,如图9所示。

图9 Test Summary

而“Test Failures(xx)”会将断言失败时的输出记录在内,如图10所示。

图10 Test Failures

每次测试保证把CTS测试case全部跑完,用 “l r”查看,本次CTS测试是否全部run完,即not executed一列的数值是0,如果数值不为0,则表示还剩下没有run完的case,有可能是手机冻结或者reset导致adb 识别不了设备,所以后边的case都为not executed状态,如图11-1、图11-2所示。

图11-1 Not executed

图11-2 Devices offline

这时需要重新连接手机,后使用命令“run cts --continue-session session_id” 就可以继续上面not executed的case了,session_id用命令l r就可以看见,如图12-1、图12-2所示。

图12-1 查看Session ID

图12-2 Continue not executed case

首先保证把整个case都run一遍,not executed数值为0。之后把“失败的测试用例”中的case run 三遍,排除手机系统稳定性尤其是手机reset和freeze导致的case fail。目标是确定case fail是由于CTS case本身的问题,而不是任何别的因素。重新run fail的case时需要在上次全部run完的case上边新建测试计划,然后执行新建的测试计划。新建测试测试使用命令“add derivedplan --plan plan_name -s sessionID -r [pass/fail/notExecuted]” 添加一个新的plan,再用命令“run cts --plan plan_name”运行即可测试没测的项。如:

测试SessionID为2的所有fail项,输入命令应为:

>add derivedplan --plan cts_fail_1 -s 2 -r fail

>run cts --plan cts_fail_1 // cts_fail_1即前面定义的,可以自己随意起名字。

之后如果fail的还是很多,建议做第三遍,就在cts_fail_1测试计划的基础上,再次新建和执行测试计划,假如用“l r”查看cts_fail_1测试计划的sessionID为3,则执行

>add derivedplan --plan cts_fail_2 -s 3 -r fail

>run cts --plan cts_fail_3

如图13所示。

图13 Add derivedplan

三次run完之后会在*/android-cts/respository/results文件夹中生成三个以日期和时间命名的结果文件夹,把三次都失败的测试用例粘贴到excel表中进行汇总,并统计每个测试包(package)中fail的case数量。

CTS测试部分常用命令,如图14。

图14 Help

与host相关的部分常用命令:

help: CTS命令一览表

exit:退出cts终端

……

与run相关的部分常用命令:

run cts --plan test_plan_name: 执行一个测试计划

run cts --package/-p: 单独run cts测试中的一个包

run cts --class/-c [--method/-m]: run指定的类,或者具体到类中的方法

run cts --continue-session session_ID: 继续run指定session上状态为not executed 的case

run cts [option] --serial/-s device_ID: 在指定device_ID上run cts [option]

……

与java包相关的部分常用命令:

l/list d/devices: 列出所有连接的设备和设备的状态

l/list packages: 列出CTS所有的测试包

l/list p/plan: 列出CTS所有的测试计划

……

与测试计划相关的部分常用命令:

add derivedplan --plan plan_name --session/-s session_id –r [pass/fail/notExecuted/timeout]:从指定session id中根据case的各种状态产生一个新的测试计划

……

与option相关的命令:

run cts --disable-reboot [option]: 在测试过程中不需要重启手机

CTS常见问题总结

1.如果测试结果显示android.media和android.mediastress两个packages中fail的case较多,而且查看details时,出现如图14所示的log,则是media没有copy进指定目录,此时也可以adb shell进去手机终端,在fail log路径下查看,是否有所需文件,我猜测一定是没有的。

图14 media fail log

之后需要重新将指定文件copy到fail log中指定的目录,此时可以参考*/android-cts-media-1.1/ copy_media.sh文件中的各个push文件路径,如图15所示,尤其注意其中的internal_sd,这是是会根据手机版本有可能会变化的,如果变化,请根据变化更新脚本。

图15 copy_media.sh

2.整轮测试跑完,如果需要rerun fail的case,在添加新的测试计划时出现如图16所示的状态。

图16 已有同名plan

根据提示也能看出是已有相同名字的plan存在,此时可以换个name,或者去如图17所示目录中把相同名字的plan删除。

图17 plan文件夹

3.如果测试过程中需要跑指定的几个packages,而不是full CTS, 则可修改plan文件夹中的CTS.xml文件,如图18所示。

图18 修改plan

CTS测试执行流程也可以参考以下博客:

 
想要了解更深层次的CTS,可以参考以下博客:

Android兼容性测试CTS --环境搭建、测试执行、结果分析的更多相关文章

  1. 【转】Android兼容性测试CTS --环境搭建、测试执行、结果分析

    原文网址:http://www.cnblogs.com/zh-ya-jing/p/4396918.html 为了确保Android应用能够在所有兼容Android的设备上正确运行,并且保持相似的用户体 ...

  2. android测试开发环境搭建

    本文档针对未接触过android的0基础人员,在开始熟悉android之前,首先需要一个学习环境来支撑,在此简单介绍一下android环境搭建.(当然大家也可以百度.谷歌,类似的文档很多) 环境搭建: ...

  3. 大数据基础-2-Hadoop-1环境搭建测试

    Hadoop环境搭建测试 1 安装软件 1.1 规划目录 /opt [root@host2 ~]# cd /opt [root@host2 opt]# mkdir java [root@host2 o ...

  4. Nginx配置多个基于域名的虚拟主机+实验环境搭建+测试

    标签:Linux 域名 Nginx 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://xpleaf.blog.51cto.com/9 ...

  5. Android下OpenCV的环境搭建

    目录(?)[-] 前言 系统环境 相关工具 Android ADT环境搭建 Android SDK环境变量的配置 Android NDK的安装与配置 OpenCV for Android 环境搭建 基 ...

  6. android Jni NDK开发环境搭建及其简单实例的编写

    android  Jni  NDK开发环境搭建及其简单实例的编写 由于工作需要,需要采用开发想要的JNI,由于之前没有接触过安卓的开发,所以更加网上的帖子,学习了下.遇到了些问题,然后总结下学习过程中 ...

  7. android 5.0开发环境搭建

    Android 5.0 是 Google 于 2014 年 10 月 15 日发布的全新 Android 操作系统.本文将就最新的Android 5.0 开发环境搭建做详细介绍. 工具/原料 jdk- ...

  8. 一、Android学习第一天——环境搭建(转)

    (转自:http://wenku.baidu.com/view/af39b3164431b90d6c85c72f.html) 一. Android学习第一天——环境搭建 Android 开发环境的搭建 ...

  9. Android NDK r8 windows环境搭建

    Android NDK r8 windows环境搭建 一.默认基础环境为已经完成Android开发环境的搭建 需要的软件及插件 1. JDK-7u25 2. Eclipse 3. Android SD ...

随机推荐

  1. sql常用操作(一)

    sql(structured query language,结构化查询语言)语言:和数据库交互的语言,进行数据库管理的语言. 1.1 sql语句的作用:说白了就是增删改查 管理数据库 管理表 管理数据 ...

  2. Sqoop基础学习(1)

    1. Sqoop的导入过程 在开始导入之前,Sqoop会通过JDBC来获得所需要的数据库元数据 1.导入表的列名.数据类型等: 2.接着这些数据库的数据类型(varchar.number等)会把映射成 ...

  3. arcgis jsapi接口入门系列(9):可以同时显示多个的地图popup

    jsapi有提供popup功能,但缺点很多,例如地图上只能同时显示一个popup,popup内容有限制等 本文提供另一个方法,原理不用jsapi,在地图外用一个普通的div放在地图上面,再监听地图的鼠 ...

  4. jQuery转盘插件rotate

    css .rotate{ background:#aaa; padding:100px; position: relative; } .point { position: absolute; top: ...

  5. 【extjs6学习笔记】1.5 初始:关于布局

    absolute 绝对布局,这个布局使用 x 和 y 属性来指定组件的绝对定位 accordion 手风琴布局[可折叠布局]这个布局展示了在一个时间里只有一个内置的可支持折叠和展开的子级 panel ...

  6. SharePoint 2013 安装配置(2)

    上一篇中,我们已经安装了Windows Server 2012 R2.现在第二部分,如何在Windows Server 2012 R2中安装Active Directory域控制器.请按照以下步骤. ...

  7. Python3中requests库学习01(常见请求示例)

    1.请求携带参数的方式1.带数据的post data=字典对象2.带header的post headers=字典对象3.带json的post json=json对象4.带参数的post params= ...

  8. 使Win10用户获得特殊权限以便删除相应文件(夹)

    依次访问: 本地用户和组(右击“此电脑”): 用户: 右击:当前用户名: 属性: 添加: 输入:System Managed Accounts Group: 检查名称(可选): 确定: 重启电脑. 参 ...

  9. OO作业第二单元总结

    目录 一.设计策略 1 2 3 二.程序分析 1 2 3 S.O.L.I.D分析 三.Bug分析 1 2 3 四.互测策略 五.心得体会 一.设计策略 1 第一次完成的是一个傻瓜电梯,简单来说,就是来 ...

  10. 中英文字符串截取函数msubstr

    Thinkphp内置了一个可以媲美smarty的模板引擎,给我们带来了很大的方便.调用函数也一样,可以和smarty一样调用自己需要的函数,而官方也内置了一些常用的函数供大家调用. 比如今天我们说的截 ...