Cloud Composer 2.1.x中PythonVirtualenvOperator报cannot pickle 'module'错误

• 核心根因：Airflow 2.x 版本中PythonVirtualenvOperator默认开启provide_context=True配置，你在update_files函数中使用**kwargs接收参数时，会自动注入完整的Airflow运行上下文，上下文中包含大量不可序列化的模块对象、运行时实例，即便开启use_dill=True也无法完成这类对象的序列化，最终触发cannot pickle 'module' object报错。
• 次要诱因：如果update_files函数的闭包引用了顶层作用域导入的模块对象（比如在DAG文件顶层导入了google.cloud.firestore、datetime等模块，在函数内直接使用而没有在函数内部重新导入），也会把模块对象带入序列化范围触发报错。

按以下步骤调整代码即可解决：

1. 修改update_files函数定义，不要用**kwargs接收全量上下文，仅显式声明需要的业务参数，同时确保所有依赖模块都在函数内部导入，避免闭包引用顶层模块：

def update_files(inputPaths):
    # 所有依赖的模块必须在函数内部导入
    from google.cloud import firestore
    import datetime
    paths = inputPaths
    # 剩余业务逻辑代码

2. 调整PythonVirtualenvOperator配置，显式关闭自动上下文注入，保留use_dill=True配置：

t1 = PythonVirtualenvOperator(
    task_id='download',
    python_callable=update_files,
    requirements=['google-cloud-firestore==2.2.0'],
    python_version='3.8',
    op_kwargs={
        "inputPaths": '{{ dag_run.conf["inputPaths"] }}'
    },
    use_dill=True,
    # 关闭自动上下文注入，避免传入不可序列化的运行时对象
    provide_context=False
)

3. 如果你确实需要使用Airflow上下文的变量（比如执行时间execution_date等），仅显式传递你需要的字段即可，不要传入完整上下文：

# 需要使用上下文变量的参数配置示例
t1 = PythonVirtualenvOperator(
    task_id='download',
    python_callable=update_files,
    requirements=['google-cloud-firestore==2.2.0'],
    python_version='3.8',
    op_kwargs={
        "inputPaths": '{{ dag_run.conf["inputPaths"] }}',
        "execution_date": '{{ execution_date }}'
    },
    use_dill=True,
    provide_context=False
)

# 对应函数直接接收参数即可
def update_files(inputPaths, execution_date):
    from google.cloud import firestore
    import datetime
    # 业务逻辑代码

注意：所有通过op_kwargs传递的参数必须是字符串、数字、列表、字典这类基础可序列化类型，不要传入DAG定义中的自定义对象、模块引用。

内容的提问来源于stack exchange，提问作者Will