Airflow 2.1.3运行报错ValueError: unsupported pickle protocol: 5如何解决

• 报错核心是 ValueError: unsupported pickle protocol: 5，该问题源于pickle序列化协议第5版是Python 3.8及以上版本才原生支持的特性，你当前使用的Python 3.6.8原生不支持该协议。
• Airflow 2.1.3及配套Celery组件在序列化任务上下文、传递任务参数时默认使用pickle 5协议，低版本Python无法解析就会抛出该错误，进一步导致Celery命令执行失败、任务日志无法正常拉取的衍生问题。

• 方案1：安装pickle5兼容包（改造成本最低，优先选择）
  在Airflow运行的Python环境中安装pickle5依赖，即可让Python 3.6支持pickle 5协议：

  pip install pickle5
  

  安装完成后重启Airflow所有服务（scheduler、worker、webserver）即可生效。
• 方案2：修改序列化配置为JSON
  若不想额外安装依赖，可将Airflow的Celery序列化方式调整为兼容性更好的JSON格式，操作如下：
  1. 打开Airflow配置文件airflow.cfg，修改以下配置项：

  celery_task_serializer = json
  celery_result_serializer = json
  accept_content = json
  

  2. 保存配置后重启所有Airflow服务即可。注意：如果你的任务存在无法被JSON序列化的参数（如Python自定义类对象、特殊函数等），该方案不适用。
• 方案3：升级Python版本至3.8+
  若可以调整运行环境，直接将Python版本升级到3.8及以上版本，从底层原生支持pickle 5协议，同时也匹配Airflow 2.x系列的推荐运行环境要求，可避免后续出现其他版本兼容问题。升级完成后需要重新安装对应版本的Airflow及相关依赖，再启动服务。

内容的提问来源于stack exchange，提问作者Ravi