Workload Automation分析及其使用

Workload Automation介绍

Workload Automation是提供一个在设备上运行各种workload的工具，使用Python编写。WA具有良好的框架结构，方便快捷的扩展。包含几个方面的扩展：workloads、instruments、result_processors、devices。

workloads：用于在设备上生成各种负荷，这些负荷能较好的控制，进行稳定的测试输入。

instruments：用于获取各种测试数据，比如trace-cmd获取ftracelog、energy_probe获取Power Monitor数据等。

result_processors：用于对测试数据分析，得出测试结果。比如ipynb_exporter使用IPython Notebook。

devices：是针对待测设备的配置。

WA框架

WA安装和使用

下载代码:git clone https://github.com/ARM-software/workload-automation.git

安装WA

sudo python setup.py  install

运行WA

wa run xxx.yaml -c config.py -d out_dir

xxx.yaml是workload的配置文件。

config.py是针对测试环境、待测设备等相关的配置。

out_dir是输出目录。

xxx.yaml的配置比较广泛，WA相关的扩展都可以在这里配置。

wa list xxx显示当前WA扩展功能列表。

wa show xxx显示扩展功能的详细信息。

wa create xxx创建一个新WA workload/package/agenda。

WA框架分析

从上面的WA执行流可以清晰的看出WA的是如何工作的。

在执行必要的初始化工作之后，WA开始配置待测设备，加载配置测试仪器。

然后按照agenda中定义的workload开始执行，在执行过程中收集数据。

执行结束过后，进行数据处理。

最后做一些清理工作，关闭应用，清空临时文件等操作。

代码分析

wa可执行文件位于/usr/local/bin/wa：

#!/usr/bin/python

# EASY-INSTALL-SCRIPT: 'wlauto==2.5.0','wa'

__requires__ = 'wlauto==2.5.0'

__import__('pkg_resources').run_script('wlauto==2.5.0', 'wa')

然后跳转到/usr/local/lib/python2.7/dist-packages/wlauto-2.5.0-py2.7.egg/EGG-INFO/scripts/wa:

#!/usr/bin/python

from wlauto.core.entry_point import main

main()

core/entry_point.py是真正的点。

WA扩展功能分析

workloads

dhrystone

dhrystone最初是用来进行CPU性能测试，这里主要用来产生100%的负荷。

可以设置duration或者mloops指定执行时间，threads指定启动多少个dhrystone线程。delay可以在dhrystone进程间阶梯启动。

Antutu

针对Antutu这种类型需要UI互动的workload，需要通过UiAutomation支持。

android.app.UiAutomation通过虚拟用户动作操作UI界面并且能否识别屏幕内容。它基于accessibility API来分析UI然后在待测设备view tree上执行操作。它能接受任意类型的键盘和触摸设备的用户交互。

详细信息参考：https://developer.android.google.cn/reference/android/app/UiAutomation.html

instruments

trace-cmd

cpufreq

energy_probe

result_processors

ipynb_exporter

可以将IPython Notebook类型的文件转换成html或者pdf方便阅读：

html：jupyter-nbconvert --to html <ipynb_file_to_convert>

pdf：jupyter-nbconvert --to pdf <ipynb_file_to_convert>

一个基于dhrystone分析IPA案例

编写yaml配置文件

config:
        instrumentation: [trace-cmd]
#        result_processors: [ipynb_exporter]
        trace_events: ['thermal*', 'cpufreq*'

]
        trace_buffer_size: 80000
#        ipynb_exporter:
#                notebook_template: /home/lubaoquan/ipa-tunning/parse_ipa_results.ipynb
#                convert_to_html: True
#                show_html: True
global:
        iterations: 1
workloads:
        - name: dhrystone
          params:
                duration: 60
                threads: 8

执行测试，获取数据

wa run ipa_tunning.yaml

基于ipynb_notebook生成分析结果

ipython脚本如下，这里使用到一个python库trappy，专门生成图形化报表。

trappy.summary_plots实现了一系列针对IPA的图表：

IPA的主要功能就是控制CPU温度，可以通过降低频率等措施来cooling。

可以看到CUP的温度得到了很好的，控制

下面IPA Governor的核心PID控制器的图表，也很直观地反映了P、I、D三个参数变化情况，以及PID控制器的输出。

下面图表反映了cpufreq的统计信息。

参考资料：

Workload Automation：http://pythonhosted.org/wlauto/index.html

trappy：https://github.com/ARM-software/trappy