CircleCI环境下导入google-cloud-bigquery失败排查求助

问题背景 #

我开发了一个对接多数据库的应用CI测试，用DbImporter包处理数据库交互逻辑。这个包在Docker实例里运行完全正常，但放到CircleCI执行测试就失败——两者环境配置完全一致：Python 3.10.7，所有依赖包版本也相同。CircleCI返回的回溯信息显示，错误根源是KeyError: PosixPath('/home/circleci/project/tests/unit')，且这个错误和google-cloud-bigquery强相关：只要移除google-cloud-bigquery的相关代码或依赖，CI测试就能正常跑通。

已经试过的排查手段：

• 从requirements.txt里删掉google-cloud-bigquery，CI测试立刻恢复正常
• 把Python版本降级到和Docker实例完全一致，问题依然存在

可能的修复方案 #

1. 手动指定bigquery的临时路径 #

google-cloud-bigquery的部分组件可能会自动检测项目内的路径并尝试访问，CircleCI环境下该路径的权限或存在逻辑和Docker不同。可以手动指定临时目录，避开测试路径：

from google.cloud import bigquery
import tempfile

# 初始化客户端时指定临时目录
client = bigquery.Client()
client._temp_directory = tempfile.mkdtemp()

或者在CircleCI的job配置里直接设置环境变量：

# .circleci/config.yml
jobs:
  test:
    steps:
      - checkout
      - run:
          name: Set BigQuery temp dir
          command: export GOOGLE_CLOUD_BIGQUERY_TEMP_DIR=/tmp/bigquery_temp
      - run: python -m pytest tests/unit

2. 调整CircleCI的工作目录或权限 #

CircleCI运行用户（circleci）对测试目录的权限可能和Docker内不一致，或者bigquery客户端扫描目录时触发了异常。可以先修改测试目录权限，或者切换到临时工作目录执行测试：

# .circleci/config.yml示例
steps:
  - checkout
  - run: chmod -R 755 tests/unit
  - run: python -m pytest tests/unit

或者：

steps:
  - checkout
  - run:
      name: Use temp workdir
      command: |
        mkdir -p /tmp/test_run
        cp -r tests/unit /tmp/test_run/
        cd /tmp/test_run
        python -m pytest unit

3. 锁定google-cloud-bigquery的稳定版本 #

当前使用的bigquery版本可能和CircleCI的环境存在兼容性bug，尝试降级到一个已知稳定的版本：

# requirements.txt中指定版本
google-cloud-bigquery==3.11.4

4. 排除测试路径被bigquery客户端扫描 #

某些bigquery初始化逻辑会扫描项目目录下的文件，可在代码中限制扫描范围，或者在CircleCI配置中排除测试目录：

# 在DbImporter初始化bigquery客户端前，修改当前工作目录
import os
os.chdir("/tmp")
from google.cloud import bigquery
client = bigquery.Client()

内容的提问来源于stack exchange，提问作者tmassag