如何在Airflow DAG任务中使用Pywikibot？报错排查与解决

我刚遇到过几乎一模一样的问题，核心原因是Pywikibot在全局初始化阶段的操作和Airflow的DAG解析逻辑冲突，触发了那个encode() argument 1 must be str, not bool的错误。下面是我验证有效的解决方案：

1. 延迟Pywikibot的导入到任务函数内部 #

Airflow在加载DAG文件时会执行所有全局代码，而Pywikibot的导入会触发它的初始化流程（读取配置、设置日志等），这个流程中的某些操作和Airflow的环境不兼容。解决办法是把Pywikibot的导入移到PythonOperator的可调用函数内部，这样只有当任务实际运行时才会初始化Pywikibot，不会干扰DAG的解析。

修改后的DAG代码示例：

from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from datetime import timedelta, datetime

def run_pywikibot_task():
    # 仅在任务执行时设置环境变量和导入Pywikibot
    import os
    # 确保环境变量值是字符串类型，Pywikibot对这个参数的解析很严格
    os.environ['PYWIKIBOT_NO_USER_CONFIG'] = '1'
    
    import pywikibot
    # 可选：隔离Pywikibot的日志，避免和Airflow日志系统冲突
    import logging
    pywikibot.log.setLevel(logging.WARNING)
    
    # 在这里编写你的Pywikibot业务逻辑
    site = pywikibot.Site('en', 'wikipedia')
    print(f"Successfully connected to {site.name}")

# 定义DAG
dag = DAG(
    'working_pywikibot_dag',
    schedule_interval=timedelta(days=1),
    start_date=datetime(2019, 1, 1),
    catchup=False
)

# 创建任务
pywikibot_task = PythonOperator(
    task_id='run_pywikibot_operation',
    python_callable=run_pywikibot_task,
    dag=dag
)

2. 确保配置的类型正确性 #

如果你选择使用user-config.py而不是PYWIKIBOT_NO_USER_CONFIG，要注意配置文件中的所有值必须是字符串类型（即使是数字），因为Airflow的DAG解析器在处理全局代码时，可能会把非字符串类型的配置值误判为布尔值，导致编码错误。比如：

# 正确的配置写法（值用字符串包裹）
family = 'wikipedia'
mylang = 'en'
verbose_output = '0'  # 这里用字符串'0'而不是整数0

3. 验证Airflow Worker环境 #

确保Airflow Worker节点也安装了Pywikibot依赖，并且环境变量配置一致。虽然这不会导致DAG损坏，但会导致任务运行失败。可以在Worker上执行pip list | grep pywikibot确认依赖存在。

为什么这个方案有效？ #

• 延迟导入避免了Pywikibot在DAG解析阶段初始化，彻底隔离了两者的环境冲突；
• 任务内部的初始化只会影响单个任务的运行环境，不会干扰Airflow的Webserver或Scheduler进程。

我用这个方法解决了DAG损坏的问题，任务可以正常进入队列并执行Pywikibot操作。

内容的提问来源于stack exchange，提问作者Chrisjan