pytest测试在Jenkins任务中被跳过，手动执行正常

问题背景 #

用pytest测试函数时出现异常：仅在Jenkins任务执行时测试被跳过，但在Jenkins机器上手动执行相同命令、本地执行均正常，复制Jenkins任务的命令手动运行也能正常执行。单独测试get_asset()函数返回结果正确，无法定位问题。

相关代码 #

辅助函数 #

from pathlib import PathLike

def get_asset() -> list[PathLike]:
    """Return list of asset(s)"""
    asset_list = []
    for asset in get_file_list(CURRENT_MODULE_PATH / 'asset'):
        # get_file_list return generator
        if 'need_to_skip_asset' in str(asset):
            continue
        asset_list.append(asset)

    return asset_list

测试函数 #

import pytest

@pytest.mark.parametrize('asset', get_asset())
def test_app_launch_asset(app_binary, asset):
    """Test Application Function"""

    print(f'Application: {app_binary}')
    print(f'Asset: {asset}')

    # Run `cmd`
    applib.execute(
        cmd=[str(app_binary), str(asset)],
        timeout=15,
    )

可能的原因及排查步骤 #

1. pytest测试用例收集阶段的环境差异 #

@pytest.mark.parametrize中的get_asset()是在测试用例收集阶段执行的，而非测试运行阶段。Jenkins任务的环境（工作目录、环境变量）可能和手动执行时不同，导致收集阶段get_asset()返回空列表，直接跳过测试。

• 排查操作：在get_asset()开头添加打印语句，输出CURRENT_MODULE_PATH / 'asset'的绝对路径、get_file_list返回的所有文件、最终的asset_list内容，对比Jenkins任务和手动执行的日志输出。

2. Jenkins运行用户的权限问题 #

Jenkins服务通常以特定系统用户运行，该用户可能没有asset目录的读取权限，导致get_file_list无法获取文件；而手动执行时使用的是登录用户，权限正常。

• 排查操作：在Jenkins任务中执行ls -l <asset目录绝对路径>（Linux）或dir <asset目录绝对路径>（Windows），确认目录及文件的权限和所有者。

3. 环境变量差异导致路径计算错误 #

Jenkins任务的环境变量（如PYTHONPATH、当前工作目录）可能与手动执行不同，导致CURRENT_MODULE_PATH计算错误，指向了不存在asset子目录的路径。

• 排查操作：在Jenkins任务中打印CURRENT_MODULE_PATH的具体值，以及os.getcwd()的结果，和手动执行时的结果对比。

4. pytest配置或缓存影响 #

Jenkins环境可能加载了不同的pytest配置文件（如pytest.ini、conftest.py），其中包含跳过测试的规则；或者pytest缓存导致测试用例未重新收集。

• 排查操作：
  • 在Jenkins的pytest命令中添加-v参数，查看详细的测试收集日志，确认是否真的没有收集到测试用例。
  • 在命令中添加--no-cache-dir参数禁用pytest缓存，重新执行测试。

5. get_file_list函数的环境依赖 #

get_file_list作为生成器函数，可能依赖某些Jenkins环境中未配置的系统变量或工具，导致返回空结果。

• 排查操作：单独在Jenkins任务中调用get_file_list(CURRENT_MODULE_PATH / 'asset')并打印结果，验证是否能正常获取文件。

内容的提问来源于stack exchange，提问作者YTKme