Airflow Kubernetes Executor日志无法上传至Azure Blob存储求助

看起来你已经完成了大部分基础配置，但还是碰到了日志上传失败+Worker节点DNS解析错误的双重问题，我来帮你一步步排查解决：

1. 确保任务Pod加载了完整的远程日志配置 #

Kubernetes Executor会为每个任务创建独立的Pod，这些Pod必须拿到远程日志的相关配置，才能把日志主动上传到Azure Blob：

• 先检查任务Pod的环境变量是否包含三个关键配置项：

  kubectl exec <你的任务Pod名称> -- env | grep AIRFLOW__CORE__REMOTE
  

  如果没有输出，说明这些变量没被注入到任务Pod中。你需要在Helm Chart的values.yaml里全局配置这些环境变量，确保所有Airflow组件（包括动态生成的任务Pod）都能获取到：

  env:
    - name: AIRFLOW__CORE__REMOTE_LOGGING
      value: "True"
    - name: AIRFLOW__CORE__REMOTE_BASE_LOG_FOLDER
      value: "wasb://wasb-airflow/"  # 注意补全wasb://前缀，容器名是wasb-airflow的话格式要这样
    - name: AIRFLOW__CORE__REMOTE_LOG_CONN_ID
      value: "wasb_default"
    - name: AIRFLOW__WEBSERVER__ENABLE_WORKER_LOG_FETCHING
      value: "False"  # 直接关闭从Worker拉取日志的逻辑
  

• 另外，确认你的自定义镜像里安装了Azure Blob的Airflow提供者依赖：

  kubectl exec <任务Pod名称> -- pip list | grep apache-airflow-providers-microsoft-azure
  

  如果没有结果，需要在Dockerfile中添加安装命令：

  RUN pip install apache-airflow-providers-microsoft-azure
  

2. 修复Worker DNS解析失败的问题 #

错误日志里的Name or service not known，是因为Kubernetes Executor的任务Pod执行完成后会被销毁，或者集群DNS无法解析Worker Pod的临时主机名。既然已经配置了远程日志，直接关闭Webserver从Worker拉取日志的功能即可——上面配置的ENABLE_WORKER_LOG_FETCHING=False就是干这个的，之后Webserver会直接去Azure Blob读取日志，不再尝试连接已销毁的Worker Pod。

3. 验证Azure Blob的路径和权限配置 #

• 检查REMOTE_BASE_LOG_FOLDER的格式：正确格式应该是wasb://<容器名>/或者完整的wasb://<容器名>@<存储账户名>.blob.core.windows.net/，你之前写的wasb-airflow缺少协议前缀，会导致Airflow无法识别存储类型。
• 确认存储账户的容器权限：确保wasb_default连接使用的账户拥有该容器的写入和读取权限（比如Blob数据Contributor角色），虽然你用WasbHook测试了删除文件，但还是要确认写入权限是否正常生效。
• 可以手动在Blob容器中创建一个测试日志路径（比如example_python_operator/print_the_context/2019-11-29T15:42:25+00:00/1.log）并写入内容，然后看Airflow WebUI能否读取到这个文件，验证路径配置是否正确。

4. 检查任务Pod的日志上传错误 #

查看任务Pod本身的日志，寻找日志上传相关的错误信息：

kubectl logs <你的任务Pod名称>

搜索Failed to upload log之类的关键词，这能帮你快速定位是依赖缺失、连接配置错误还是存储权限问题。

按照这些步骤排查后，应该就能解决日志无法上传和读取的问题了。

内容的提问来源于stack exchange，提问作者Wouter Goossens