如何在兼容pymongo的Apache Beam管道中导入bson包的ObjectId

PyPI存在与pymongo内置bson模块完全同名的第三方独立bson包，二者API不兼容。Dataflow运行时安装依赖过程中，只要有任意传递依赖拉取了独立bson包，就会覆盖pymongo自带的内置bson，触发模块找不到、方法签名不匹配等报错；手动在依赖中声明独立bson包则必然触发兼容问题。

• 清理依赖声明：setup.py、requirements.txt中禁止单独添加bson依赖项，仅保留pymongo依赖即可，建议锁定大版本避免跨版本异常，参考配置：

# setup.py 中install_requires片段
install_requires=[
    'apache-beam[gcp]==与本地运行环境一致的版本',
    'pymongo[srv]>=4.0,<6.0',
    # 其余业务依赖
]

• 阻断独立bson安装：为避免传递依赖拉入冲突包，可在依赖声明中添加永久排除规则，强制阻止独立bson包被安装：

install_requires=[
    # 上述原有依赖保持不变
    'bson==0.0.0; python_version < "0"', # 该规则会让所有版本的独立bson包都不满足安装条件
]

• 调整代码导入顺序：所有用到bson模块的代码文件中，必须先导入pymongo，再导入bson相关对象，确保Python模块加载时优先命中pymongo内置的bson路径，参考写法：

# 先导入pymongo，完成内置bson模块的路径注册
import pymongo
# 再导入需要的bson组件
from bson import ObjectId

• 自定义容器场景预处理：如果使用Dataflow自定义容器镜像跑任务，在镜像构建的pip安装步骤前，增加独立bson包的强制卸载逻辑，避免基础镜像自带冲突包：

# 容器构建Dockerfile片段
RUN pip uninstall -y bson && \
    pip install --no-cache-dir -r requirements.txt

提交任务前先在干净虚拟环境做验证：

1. 新建空虚拟环境，仅安装setup.py中声明的所有依赖
2. 执行校验代码无报错：

import pymongo
from bson import ObjectId
# 打印bson模块路径，确认路径包含pymongo目录即为正常
import bson
print(bson.__file__)
# 测试ObjectId转换逻辑
test_id = ObjectId("60d21b4667d0d8992e610c85")
print(test_id)

校验通过后再提交Dataflow任务，就不会出现bson包缺失或兼容问题。

内容的提问来源于stack exchange，提问作者LeoPret