使用pytest如何正确mock ibis框架中impala相关外部函数？

问题根因 #

你遇到的报错是两个原因叠加导致的：

1. 版本差异：ibis 0.12.x版本的hdfs_connect属于顶级模块属性，在1.4.0版本中该方法已经被迁移到后端子模块，ibis.__init__.py中不再导出该属性，所以直接patchibis.hdfs_connect会提示属性不存在。
2. mock路径错误：单元测试mock的原则是哪里调用就mock哪里，直接mock原库路径不如mock业务代码中实际引用的路径稳定，不易受原库结构调整影响。

具体解决步骤 #

1. 先解决本地高版本ibis属性不存在的问题 #

如果本地仅用于跑测试，不需要实际运行Impala连接逻辑，可以在测试代码开头给ibis模块动态添加占位属性：

import ibis
# 给高版本ibis补全缺失的属性占位，避免patch时报错
ibis.hdfs_connect = None

如果需要同时兼容0.12和1.4版本的实际运行，可以在Impala类的导入部分做版本适配：

import ibis
from packaging.version import parse

if parse(ibis.__version__) >= parse("1.0.0"):
    from ibis.backends.impala import hdfs_connect
else:
    from ibis import hdfs_connect

后续__init__方法中直接调用hdfs_connect()即可，不需要再写ibis.hdfs_connect。

2. 调整mock路径，按调用位置mock #

假设你的Impala类定义在项目下的impala.py文件中，文件内使用import ibis导入了ibis库，测试时需要mock这个文件内引用的ibis对象的属性，而不是全局ibis库的属性。

3. 修正后的测试代码示例 #

import pytest
import ibis

# 补全属性占位，适配本地1.4.0版本
ibis.hdfs_connect = None
from impala import Impala # 替换为你实际的Impala类导入路径

@pytest.mark.hadoopimpala
class TestImpala:
    def test_impala_type(self, mocker):
        # mock业务代码中调用的ibis方法
        mock_hdfs_connect = mocker.patch("impala.ibis.hdfs_connect")
        mock_hdfs_connect.return_value = object() # 模拟返回hdfs客户端对象
        mock_impala_connect = mocker.patch("impala.ibis.impala.connect")
        mock_impala_connect.return_value = object() # 模拟返回impala连接对象

        # 传入测试用账号避免环境变量不存在的报错
        instance = Impala(user="test", password="test123")
        assert instance.impala is not None
        # 可选：验证方法调用参数符合预期
        mock_hdfs_connect.assert_called_once()
        mock_impala_connect.assert_called_once()

额外注意事项 #

你提供的测试代码中调用了Impala().get()，但给出的Impala类代码中没有定义get方法，需要自行确认补充该方法，避免测试时出现属性不存在的报错。

内容的提问来源于stack exchange，提问作者Itération 122442