APP性能

一、APP性能维度分析 

　　APP类型众多，根据具体类型划分，性能指标的维度和优先级各不相同。视频类APP归属于娱乐游戏型的APP，因此性能测试维度优先级排序为：流畅度、crash、内存、流量、响应时长、功耗、CPU。

       因为Android平台底层是由linux系统改良而来，不同维度的指标绝大部分都可以通过命令获取不同的指标（具体方法可以考加后面工具）。

　　在iOS平台上，性能的获取必须使用Xcode里面instruments下的相应组件，不像开源的Android那样灵活，但技术上是可以做到各平台的性能指标获取测试。

 

     二、APP性能测试平台 

　　从2012年后，测试平台化、服务化的思路推广到全国各地。各大公司都开发了不同的性能测试平台。比较有代表性的性能测试平台包括：

　　●百度的慕斯（又名移动APP测试业务支撑平台（外部名称MTC：http://mtc.baidu.com））；

　　●腾讯的bita；

　　●GT(http://gt.qq.com)；

　　●itestin（最老的一个性能和兼容性测试平台http://i.testin.cn/）。

　　由于IOS性能测试首先要涉及到签名的破解，所以所有平台一般都是从Android的APP进行切入点先行开发。

 

    三、APP性能测试落地 

　　性能测试开展主要分线下性能测试和线上监控测试两大类。

　　线下APP性能测试主要依靠传统测试手段和方法，比如PM和QA发起一个性能和竞品对比性能测试，此外，版本大改动、框架迁移，都需要重新进行APP性能测试。线下测试我们用一些比较稳定的平台和工具就足以应付，产品接入即可收集性能指标。百度内部产品线一般都接入了MTC平台；腾讯产品一般都用他们内部开发的GT工具，GT工具不但线下测试比较方便，线上测试性能也不错。

　　线上监控测试主要是针对一些动态变化的情况，因为APP测试中关键的一点是场景化测试，即APP必须在特定场合，特别条件才触发某类问题。这时候比较E2E场景case指标功能，才能更精准衡量产品核心性能的能力。

　　如我们在二、三线城市特定的网络下，观看某一部特定片源（爱奇艺视频源），并且离线缓存，这时候用到了不同地域网络和调用了爱奇艺在那个城市的server。这是在北京没法做到的场景，虽然可以借助vpn模拟异地场景测试。实际上效果并不良好，因为模拟取决于北京的网络情况，还有vpn不能模拟动态变化网络切换的场景。

　　针对线上性能的监控，某公司深圳研究所做了个场测助手，这是一款方便收集性能，定位bug一体化的工具。

 

　　四、性能测试工具

        Emmagee、itest、gt

     五、APP性能指标获取手段 

　　下面是几个简单方便的方法，可以让你自己写脚本来获取各种性能指标。

　　

      ● 4.1 Android系统指标获取

　　CPU 测试方法分为几类：　

　　使用Android提供的view plaincopy在CODE上查看代码片派生到我的代码片

　　adb shell dumpsys CPUinfo |grep packagename >/address/CPU.txt来获取；

　　使用top命令view plaincopy在CODE上查看代码片派生到我的代码片

　　adbshell top |grep packagename>/address/CPU.txt来获取。

       评判标准：

       一 般情况下，用主流手机玩游戏 20% -40% 的 CPU占用率算是合理的，当然这个数 值随着近年来手机硬件配置的提高，会略微下降如果CPU占用率超过 非常值得我 们去关注了。 

 

　　内存

　　内存消耗测试节点的设计目标是为了让应用不占用过多的系统资源，且及时释放内存，保障整个系统的稳定性。当然关于内存测试，在这里我们需要引入几个概念：空闲状态、中等规格、满规格。

　　空闲状态指打开应用后，点击home键让应用后台运行，此时应用处于的状态叫做空闲；中等规格和满规格指的是对应用的操作时间的间隔长短不一，中等规格时间较长，满规格时间较短。

       除了第一种情况其它两的主观性很强不是容易区分。正常产品测试时 候，只要验证后台运行（ 5~10分钟为宜）和用户持续频繁大量操作（10~15分钟为宜）这两 种情况下就可以了。

       测试方法：

       1.adb shell dumpsys meminfo |grep packagename >/address/CPU.txt来获取；

       adb shell getprop | grep heapgrowthlimit 获取单个 应用程序最大内存  如果 应用内存 值超 过这个值 将会出现 OOM即内存溢出 ，

        2.使用procrank工具：（使用procrank命令必须先获取root权限）

         通过 procrank命令会从左到右依次列出  Vss、Rss 、Pss、Uss，并且对于同一个 app 进程而言，数值依次变小。

　　内存测试中存在很多测试子项，清单如下：

　　●空闲状态下的应用内存消耗；

　　●中等规格状态下的应用内存消耗；

　　●满规格状态下的应用内存消耗；

　　●应用内存峰值；

　　●应用内存泄露；

　　●应用是否常驻内存；

　　●压力测试后的内存使用。

 

　　电量      GSam Battery Monitor Pro

　　电量测试主要从以下几个方面入手进行测试：

　　●测试手机安装目标APK前后待机功耗无明显差异；

　　●常见使用场景中能够正常进入待机，待机电流在正常范围内；

　　●长时间连续使用应用无异常耗电现象。

　　电量测试的方法分为软件测试和硬件测试两类。

　　软件测试又分为两类：第一类采用市场上提供的第三方工具，如金山电池管家之类的；第二类就是自写工具进行，这里一般会使用3种方法:

　　第一种基于Android提供的PowerManager.WakeLock来进行；

　　第二种比较复杂一点采用公式：功耗的计算=CPU消耗+Wakelock消耗+数据传输消耗+GPS消耗+Wi-Fi连接消耗；

　　第三种通过adbshell dumpsys battery来获取。获取到 的是整个系统耗电情况，一 部分是系统本身的耗电 ，一部分是应用耗电。但是通过adb 命令获取电量信息后， 分析 进行困难。

　　硬件测试，一般使用万用表或者功耗仪进行测试，使用功耗仪测试的时候，需要制作假电池来进行的，有些不能拔插电池的手机还需要焊接才能进行。

       

　　启动时长

 

　　关于应用的启动时间的测试分为三类：adb shell am start  –W –n <package>/<activity>获取 启动时间

　　第一类：首次启动 --应用首次启动所花费的时间；

　　第二类：非首次启动 --应用非首次启动所花费的时间；

　　第三类：应用界面切换--应用界面内切换所花费的时间。

　　那么如何来做启动时间的测试呢，一般我们分为2类：一类为使用软件来测试，一类为使用硬件来测试。

　　首先我们说说软件测试的方法，可能大部分人都比较通晓使用Android 提供的DisplayManager来获取activity的启动时间。通过日志过滤关键字 Displayed来过滤所有activity所打印的，记录日志通过。

　　帧率

　　GPU这个词对于PC性能测试者来说并不陌生，而今3Dmax，安兔兔之类的第三方软件让GPU在移动端性能测试领域家喻户晓，但对于APP内的GPU该如何来测试呢？首先我们引入几个名词：过度绘制、帧率、帧方差。

　　过度绘制是指界面显示的activity套接了多层导致的结果。帧率是指屏幕刷新率。帧方差是指屏幕刷新帧间隔方差。

　　对于GPU的测试主要包括以下几个测试子项：界面过度绘制、屏幕滑动帧速率、屏幕滑动平滑度。

　　对于过度绘制的测试主要通过人工进行测试，打开开发者选项中的显示GPU过度绘制来进行测试（PS：只有Android4.2及以上的版本才具备此功能)，验收的标准为:

　　不允许出现黑色像素；

　　不允许存在4x过度绘制；

　　不允许存在面积超过屏幕1/4区域的3x过度绘制（淡红色区域）。

　　对于屏幕滑动帧速率的测试主要有两种方法。以软件测试为例：

　　手机端需打开开发者选项中的启用跟踪后，勾选 Graphics 和 View；

　　启动SDK工具Systrace插件，勾选被测应用，点击Systrace插件，在弹出的对话框中设置持续抓取时间，在tracetaps下面勾选gfx及view选项；

　　通过节拍来进行滑动或者扫动滑动界面，帧率数据会保存到默认路径下，默认名称为 trace.html；

　　将trace.html文件拷贝到linux系统下，通过命令进行转换，生成trace.csv文件。

　　网络流量

　　这里所指的网络流量测试是针对大部分应用而言的，可能还有部分应用会关注网速、弱网之类的测试。流量测试，同样需要引入几个名词：

　　中等负荷：应用正常操作；

　　高负荷：应用极限操作。

　　流量测试包括以下测试项：

　　应用首次启动流量提示；

　　应用后台连续运行2小时的流量值；

　　应用高负荷运行的流量峰值。

　　应用中等负荷运行时的流量均值测试一般都是应用软件来进行的，这里我们一般分为2类：

　　一类是采用市场提供的第三方工具来进行测试，如流量宝之类的，第二类是自行研发工具进行测试。

　　自行研发工具进行测试一般包含通过tcodump抓包，或通过wireshake直接读取包信息来获得流量。

　　通过adbshell dumpsys package来获取被测应用的uid信息，在未操作应用之前，通过查看adbshell cat /proc/uid_stat/uid/tcp_rcv

　　adbshell cat /proc/uid_stat/uid/tcp_snd

　　获取到应用的起始的接收及发送的流量；再操作应用后，再次通过上述命令获取到应用的结束时接收及发送的流量，通过相减即得到应用的整体流量消耗.

　　● 4.2  IOS系统指标获取

　　对于iOS系统，只需要一个装有xcode的mac电脑，便可相对容易地获取上述指标。xcode的最新版本是7.0。