AutoMonkey框架原理与应用(三)

二、Monkey测试策略

测试策略就是指我们将如何开展我们的测试活动,即“测什么”和“如何测”。

具体来说,就是答好和产品测试相关的六大问题:

测试的对象和范围是什么?

测试的目标是什么?

测试的重点和难点是什么?

测试的深度和广度?

如何安排各种测试活动(先测试什么,再测试什么)?

如何评价测试的效果?

AutoMonkey框架原理与应用(三)

1. 测试分类

Monkey测试针对不同的对象和不同的目的采用不同的测试策略,首先测试的对象、目的及类型如下:

1)测试的对象和范围:

单个目标APP:公司或项目组需要测试的一个APP。

同类型APP:比如,教育类的APP,同时测试比较结果。

2)测试的目标:

不忽略异常的测试:白天测试,及时反馈和解决问题。

忽略异常的测试:晚上过夜测试,继续执行后续的测试。

特殊场景测试:假如我们想验证横竖屏切换功能是否正常,那就需要选择–pct-rotation参数,调大横竖屏切换事件的比例;假如我们想验证重复某种特定操作时,应用是否会存在异常,那可以选择-f参数,自定义Monkey脚本进行验证。

3)测试的类型:

稳定性测试:测试APP是否存在ANR和Crash等问题。

性能测试:测试APP启动慢,卡顿,CPU不足/内存泄露,应用耗电快等问题。

压力测试:测试APP在快速的事件响应的过程中,程序是否能正常运行。

2. Monkey测试策略制定

如何让测试策略真正起到指导测试的作用?我们还需要一套方法来指导我们制定测试策略的整个过程,“四步测试策略制定法”。如图4所示:

AutoMonkey框架原理与应用(三)

图4 四步测试策略制定法

1)针对单个目标APP(稳定性和性能测试)

针对单个目标APP的目的是充分挖掘自身的问题,提高APP的稳定性和性能。当然,性能参数获取要借助自动化的手段实现,也是我们封装autoMonkey的目的之一。

(1) 不忽略异常

白天,针对单个APP的稳定性测试时,则选择目标APP且不忽略异常的命令执行。如果出现异常,及时分析原因和开发沟通。

例如:

monkey -p $package_name –throttle 1000 –randomize-throttle -s 10000 –pct-touch 40 –pct-motion 25 –pct-appswitch 10 –pct-rotation 10 –pct-majornav 10 -v -v -v 10000 > $pathmonkey_test.txt

说明:

参数–throttle设置固定延时,其值为1000毫秒。

参数–randomize-throttle为随机延时,即在0 — 1000毫秒之内随机延时。希望能更真实地模拟用户的使用场景。

参数-s为伪随机事件流,用于复现问题。在自动化封装是,可以生产一个随机整数;否则,所有随机事件都是相同的。

(2) 忽略异常

晚上,在进行单个APP的过夜测试时,则选择目标APP且忽略异常的命令执行。让Monkey在遇到崩溃或没有响应的时候,能在日志中记录相关信息,并继续执行后续的测试。这样可以在测试过程中,尽可能多地发现APP中存在的问题而不影响Monkey的执行。

例如:

monkey -p $package_name –throttle 1000 -s 10000 –pct-touch 40 –pct-motion 25 –pct-appswitch 10 –pct-rotation 10 –pct-majornav 10 –ignore-crashes –ignore-timeouts –ignore-security-exceptions –ignore-native-carshes –monitor-native-crashes -v -v -v 15000 > $pathmonkey_test.txt

(3) 特殊场景

根据项目不同的需求和出现的问题,针对特定的场景进行测试。如,验证横竖屏切换功能是否正常,那就需要选择–pct-rotation参数,调大横竖屏切换事件的比例。

例如:

monkey -p $package_name –throttle 1000 -s 1000 –pct-rotation 80 -v -v -v 15000 > $pathmonkey_test.txt

2)针对同类型APP(性能测试)

针对同类型APP的目的是与同类型的APP比较,分析各自的优缺点。找到自己的不足,努力提高APP的性能。同样,性能参数获取要借助自动化的手段实现。

(1) 不忽略异常

把同类型的APP导入白名单,通过白名单进行测试;不忽略异常原因与单个APP稳定性测试的第一个场景类似。

例如:

monkey –pkg-whitelist-file /data/whitelist.txt -hprof –throttle 500 -s 10000 –pct-touch 40 –pct-motion 25 –pct-appswitch 10 –pct-rotation 10 –pct-majornav 10 -v -v -v 15000 > $pathmonkey_test.txt

说明: 参数-hprof在出现内存问题时,存储一份内存“快照”。

(2) 忽略异常

把同类型的APP导入白名单,通过白名单进行测试;忽略异常原因与单个APP稳定性测试的第二个场景类似。

例如:

monkey –pkg-whitelist-file /data/whitelist.txt–throttle 1000 -hprof –throttle 500 -s 100 –pct-touch 40 –pct-motion 25 –pct-appswitch 10 –pct-rotation 10 –pct-majornav 10 –ignore-crashes –ignore-timeouts–ignore-security-exceptions –ignore-native-carshes –monitor-native-crashes-v -v -v 15000 > $pathmonkey_test.txt

3)针对单个目标APP(压力测试)

根据项目需求,缩短monkey测试中事件与事件之间的延迟时间,验证在快速的事件响应的过程中,APP是否能正常运行。

例如:

monkey -p $package_name -hprof –throttle 200 -s 10000 –pct-touch 40 –pct-motion 25 –pct-appswitch 10 –pct-rotation 10 –pct-majornav 10 –ignore-crashes –ignore-timeouts –ignore-security-exceptions –ignore-native-carshes –monitor-native-crashes -v -v -v 15000 > $pathmonkey_test.txt

说明:

参数–throttle设置固定延时,其值为200毫秒。可以根据手机性能的高低端调整。

小 结

上面介绍了几种常见的Monkey测试方法,但在实际项目中,选择哪种Monkey测试策略,则需要根据实际项目的情况来做判断。主要是看测试目的及被测应用自身的特点。

假如我们想验证横竖屏切换功能是否正常,那就需要选择–pct-rotation参数,调大横竖屏切换事件的占比进行Monkey测试;

假如我们想验证重复某种特定操作时,应用是否会存在异常,那可以选择-f参数,自定义Monkey脚本进行验证;

假如我们想验证长时间操作时应用是否会存在内存泄漏,那就需要结合-hprof参数和dumpsys meminfo $package_name or $pid进行Monkey性能测试。

Testin云测送大家一波超级福利!
①价值5000元的Testin专属测试大礼包(包含120分钟自动化测试、120分钟远程真机调试、每日免费使用1次标准兼容测试、每日免费使用1次安全测试);
②原51testing产品总监陈霁老师16年测试工作总结精华 -《软件测试入门必读》课程。
如何获取福利?
登陆或者注册您的Testin账号进行企业认证,完成认证自动获得福利大礼包,认证请戳——> http://www.testin.cn

更多精彩内容:

面试官常用的40个问题,中英文的…

产品团队,开发团队和测试团队的关系

为什么你无法说服你的同事使用TDD?

这样做,让你的渗透测试更有效!

AutoMonkey框架原理与应用(二)

 

X