Cantata怎么执行回归测试?关键是用当前代码重新构建并运行已有测试脚本,再把本次结果与之前的结果对照。如果执行中途停下,先确认停在构建、运行还是结果回收阶段。Cantata的测试脚本可以配合生成的Makefile批量执行,也可以通过IDE运行。
一、Cantata怎么执行回归测试
开始前,确认要测试的代码版本和用例范围。代码已经更新、测试程序却仍是上次构建的版本,结果就无法反映这次改动。
1、检查本次要运行的测试
①在项目树中展开【Cantata】目录,找到已有测试脚本及对应的Makefile。
②打开测试脚本,在【Test Case Editor】中检查用例是否启用,核对输入值和预期结果。
③确认本次构建使用的源文件、编译选项和目标环境,保存对测试脚本的修改。
2、构建、运行并查看结果
①在Eclipse中点击【Project】→【Build Project】,查看【Console】是否显示构建完成。
②运行本次选定的测试;批量回归时,使用项目中已配置的Cantata Makefile执行测试集合。
③打开【Test Results Explorer】,核对每个测试脚本的执行状态,记录失败用例,并查看本次结果的生成时间。
二、Cantata回归测试执行中断如何检查
“执行中断”需要按停下的位置排查。先看最后一条正常记录,再处理对应阶段的问题,能避免把编译失败误当成测试用例失败。
1、先定位中断位置
①打开【Console】,找到最后一个开始执行的测试脚本,以及紧随其后的错误信息。
②查看【Problems】中是否有编译错误;再检查【Test Results Explorer】里最后一个生成结果的测试。
③记下中断发生时的脚本名称和时间,确认后续脚本是尚未执行,还是执行后没有取回结果。
2、构建阶段中断时检查依赖
①在【Console】中定位第一条编译或链接错误,记录对应文件和行号。
②检查报错涉及的头文件路径、宏定义、编译器配置及被测源文件。
③修正配置后重新构建出错脚本;确认单个脚本构建成功,再重新运行测试集合。
3、运行阶段中断时检查测试程序
①查看【Console】中最后一个运行的用例,确认是否出现程序崩溃、持续运行或提前退出。
②单独运行该测试脚本,缩小到出错用例;核对输入数据、全局状态及桩函数返回值。
③若使用目标设备,检查设备连接和部署配置,确认测试程序已传入目标设备并开始执行。Cantata在目标设备上的流程还包括执行后的结果回收。
4、测试已运行但结果不全时检查回收
①核对【Cantata】目录中结果文件的修改时间,确认它是否来自本次运行。
②检查【Console】中的结果传回或文件写入报错,并确认结果保存位置可用。
③修正后单独运行缺失结果的脚本;待结果生成,再核对整个测试集合中是否还有未执行项。
三、回归测试完成后怎样核对变化
排除中断后,还要分清测试失败与测试未执行。两者在结果汇总中都值得关注,处理方式却不同。
1、逐项核对失败用例
①在【Test Results Explorer】中展开失败的测试脚本,定位具体用例和检查项。
②对照上一次结果,查看实际值、预期值及调用顺序发生了什么变化。
③修正代码或测试数据后,重新构建并运行相关脚本,确认新结果覆盖原来的失败项。
2、检查测试范围是否完整
①把本次执行的脚本清单与计划中的回归范围逐一核对。
②对因中断而遗漏的脚本补跑,确认每个脚本都有本次生成的结果。
③如果使用变更影响分析选择部分测试,核对代码及构建选项的改动是否都纳入分析范围;需要完整验收时,再运行完整测试集合。Cantata支持依据代码或构建选项的变化识别受影响测试。
3、保存可追溯的测试记录
①记录本次代码版本、构建配置、执行时间及测试范围。
②保存完整的构建与执行记录,并归档本次结果。
③将未通过、未执行和已补跑的脚本分别标记清楚,方便下次回归时核对。
总结
回归测试的价值,建立在每次都能说清“测了哪个版本、运行了哪些用例、得到了什么结果”之上。执行中断后,沿着构建、测试程序运行、结果回收的顺序检查,再补跑遗漏脚本,测试记录才算完整。希望这篇关于Cantata回归测试的介绍对大家有帮助;如有Cantata相关需求,欢迎联系我们咨询。