如何修复Azure Pipelines自托管环境下并行运行Simulink测试的仿真构件缺失问题
Azure Pipelines自托管环境Simulink/Matlab并行测试随机构件缺失问题排查与修复
问题场景
- 测试构成:共29个Simulink/Matlab测试用例,依赖大量可跨用例共享的参考模型
- 常规运行逻辑:每个用例启动20秒仿真前,需加载所有关联参考模型,在工作文件夹生成大量仿真构建构件
- 运行表现差异:
- 单进程串行依次运行时无异常,所有仿真构件正常生成并用于仿真,全量测试通过
- 并行批量运行时出现随机故障:部分仿真构件未构建完成或文件缺失,仿真尚未启动即失败;失败规模随机,曾出现17个、22个用例失败的情况,也偶发全通过的记录
- 故障仅在Azure Pipelines自托管构建机上触发,本地开发环境复现概率极低
典型报错信息
NMAKE构建文件缺失类报错
2020-11-03T03:16:27.1083996Z Making simulation target "Foo_src_sfun", ... 2020-11-03T03:16:27.1084227Z 2020-11-03T03:16:27.1084361Z 2020-11-03T03:16:27.1084502Z 2020-11-03T03:16:27.1084789Z Microsoft (R) Program Maintenance Utility Version 14.00.24210.0 2020-11-03T03:16:27.1085188Z Copyright (C) Microsoft Corporation. All rights reserved. 2020-11-03T03:16:27.1085441Z 2020-11-03T03:16:27.1085815Z NMAKE : fatal error U1052: file 'Foo_src_sfun.mak' not found 2020-11-03T03:16:27.1086175Z Stop.
对应的上层仿真失败堆栈:
2020-11-03T03:16:27.1089399Z ================================================================================ 2020-11-03T03:16:27.1089936Z Error occurred in TestSim/testSim(File=test_FooTest1_slx) and it did not run to completion. 2020-11-03T03:16:27.1090308Z 2020-11-03T03:16:27.1090497Z --------- 2020-11-03T03:16:27.1090720Z Error ID: 2020-11-03T03:16:27.1090946Z --------- 2020-11-03T03:16:27.1091254Z 'Slvnv:simcoverage:SimulationFailed' 2020-11-03T03:16:27.1091481Z 2020-11-03T03:16:27.1091669Z -------------- 2020-11-03T03:16:27.1091919Z Error Details: 2020-11-03T03:16:27.1092186Z -------------- 2020-11-03T03:16:27.1092419Z Error using cvsim 2020-11-03T03:16:27.1092659Z Simulation failed 2020-11-03T03:16:27.1092864Z 2020-11-03T03:16:27.1093112Z Error in testRunner (line 145) 2020-11-03T03:16:27.1093477Z [cvdo, simOutRes] = cvsim(testObj,paramStruct) ; 2020-11-03T03:16:27.1093765Z 2020-11-03T03:16:27.1094034Z Error in TestSim/testSim (line 30) 2020-11-03T03:16:27.1094373Z [cvdo, simOutRes, ErrLog] = testRunner(File,20); 2020-11-03T03:16:27.1094638Z 2020-11-03T03:16:27.1094830Z Caused by: 2020-11-03T03:16:27.1095168Z Error using autobuild_kernel>autobuild_local (line 219) 2020-11-03T03:16:27.1095612Z Unable to create mex function 'Foo_src_sfun.mexw64' 2020-11-03T03:16:27.1096006Z required for simulation. 2020-11-03T03:16:27.1096427Z ================================================================================
批处理文件识别失败类报错(最终触发相同的构件缺失故障)
2020-11-03T03:18:36.1668328Z Making simulation target "Foo2_src_sfun", ... 2020-11-03T03:18:36.1668601Z 2020-11-03T03:18:36.1668735Z 2020-11-03T03:18:36.1669087Z 'Foo2_src_sfun.bat' is not recognized as an internal or external command, 2020-11-03T03:18:36.1669483Z operable program or batch file. 2020-11-03T03:18:36.1669685Z 2020-11-03T03:18:36.1669892Z >>Removing MiL paths... 2020-11-03T03:18:36.1670104Z >>Done
故障核心原因
该问题本质是多Matlab并行进程共享同一工作目录下的仿真构建文件时产生的读写竞争:由于参考模型被多个测试用例复用,并行运行时多个Matlab进程会在同一个公共工作目录下同时生成、写入同名的.mak、.bat、.mexw64仿真构件,Simulink本身没有针对这类跨进程的文件写入做锁保护,就会触发随机故障:
- 某进程刚触发构件生成流程,文件还未完全落盘,另一个进程就开始读取同一路径的构件启动NMAKE编译,直接报文件未找到
- 某进程完成测试执行后的清理流程,误删除公共目录下的共享构件,导致后续其他并行进程加载时报缺失
- 多进程同时写入同名文件时出现句柄冲突,导致生成的
.mak/.bat文件内容损坏,无法被系统识别执行
之前串行运行时不存在多进程读写冲突,所以表现一直稳定;只有在CI场景下多进程共用同一路径生成构件时,才会随机触发这类问题。
可落地的修复方案
- 拆分并行进程的独立工作目录:每个并行执行的Matlab测试进程启动后,第一时间切换到与其他进程完全隔离的临时工作目录(路径可拼接进程PID保证唯一性),不在共享的CI根目录下生成构建构件;只读的参考模型源码可通过Matlab搜索路径引入,不参与文件写入操作
- 前置完成共享参考模型预构建:在启动并行测试流程之前,先在单进程环境下把所有共享参考模型的仿真构件一次性构建完成,将生成的
.mexw64、模型缓存文件放到只读的公共缓存路径下;后续所有并行测试进程直接读取预构建好的构件,跳过并行阶段的实时构建流程,从根源消除构建环节的竞争 - 关闭Simulink自动增量构建逻辑:给所有测试用例的仿真配置加上构建参数,强制仿真前不做本地构件的增量检查与实时生成,直接调用预构建完成的目标文件执行仿真,避免自动构建流程在并行阶段触发随机的文件写入
- 限定文件清理逻辑的作用范围:原来测试结束后清理MiL路径的流程,要将清理动作的作用域严格限制在每个测试进程自己的独立工作目录内,绝对不删除公共共享路径下的预构建构件,避免其他仍在运行的并行进程读到被误删的文件
- 构建环节增加重试保护:如果流程必须在并行阶段做构件构建,在NMAKE编译、Simulink自动生成构件的步骤外层加最多3次的重试逻辑,遇到文件未找到的报错时等待1-2秒,待其他进程完成文件写入后重新触发构建
内容的提问来源于stack exchange,提问作者Weltgeist
相关产品推荐
相关产品推荐

