Python单元测试中patch模拟S3 head_object失效问题求助

你的单元测试第二次调用返回True的原因主要有两个：

1. 异常捕获不匹配 #

check_s3_uri_exists函数中捕获的是s3_client.exceptions.ClientError，但测试代码中抛出的是直接导入的botocore.exceptions.ClientError——这两个并不是同一个类（boto3客户端实例的exceptions.ClientError是动态生成的子类），导致异常无法被函数的捕获逻辑匹配，最终函数要么直接抛出异常，要么因未触发异常分支而返回True。

2. Mock方法状态未重置 #

第一次测试设置了head_object.return_value，第二次设置side_effect时，若未重置mock方法的状态，可能因旧配置残留导致新的副作用未生效（尽管unittest.mock中side_effect优先级高于return_value，但重置状态能彻底避免潜在的缓存问题）。

解决方案一：修改函数的异常捕获逻辑 #

直接捕获全局的botocore.exceptions.ClientError，而非客户端实例的异常类，这是更通用、易测试的写法：

from botocore.exceptions import ClientError
import boto3

def check_s3_uri_exists(bucket_name, key):
    """Check if the S3 URI exists."""
    s3_client = boto3.client('s3')
    try:
        print(f"Checking bucket: {bucket_name}, key: {key}")
        s3_client.head_object(Bucket=bucket_name, Key=key)
        return True
    except ClientError as e:
        print(f"Exception caught: {e}")
        if e.response['Error']['Code'] == '404':
            return False
        raise

解决方案二：修改测试代码，抛出mock客户端的异常类 #

如果不想修改原函数逻辑，可在测试中使用mock S3客户端的exceptions.ClientError，确保能被函数的捕获逻辑匹配：

@patch('scripts.s3_objects.boto3.client')  
def test_check_s3_uri_exists(self, mock_boto_client): 
    mock_s3 = MagicMock() 
    mock_boto_client.return_value = mock_s3  

    # 测试对象存在的情况
    mock_s3.head_object.return_value = {}
    result = check_s3_uri_exists('bucket-name', 'prefix/file')
    self.assertTrue(result, "Expected True when S3 object exists")
    
    # 重置head_object的mock状态，避免旧配置干扰
    mock_s3.head_object.reset_mock()
    
    # 测试对象不存在的情况（404错误）
    mock_s3.head_object.side_effect = mock_s3.exceptions.ClientError(
        {'Error': {'Code': '404', 'Message': 'Not Found'}},
        'HeadObject'
    )
    result = check_s3_uri_exists('bucket-name', 'prefix/file')
    self.assertFalse(result, "Expected False when S3 object does not exist")

补充说明 #

• 优先推荐解决方案一，能从根源上避免boto3动态生成异常类带来的测试问题。
• 无论采用哪种方案，在两次测试用例之间重置mock方法状态（reset_mock()）都是良好的测试习惯，可避免不同用例间的状态污染。

内容的提问来源于stack exchange，提问作者Mohammed Luqman