Apache Airflow 3.0.2日志无法推送到Azure Blob问题求助

1. 确认Azure Provider依赖已安装 #

Airflow推送日志到Azure Blob需要apache-airflow-providers-microsoft-azure包，且版本需与Airflow 3.0.2兼容（推荐>=8.0.0）。

• 检查requirements.txt中是否包含该依赖：

  apache-airflow-providers-microsoft-azure>=8.0.0
  

• 进入任意Airflow容器（如webserver/worker），执行以下命令验证安装：

  pip list | grep apache-airflow-providers-microsoft-azure
  

2. 验证Azure Blob连接配置 #

连接格式正确性 #

• 将连接协议从wasb://改为wasbs://（Azure Blob默认强制HTTPS），修正后的环境变量：

  AIRFLOW_CONN_AZURE_BLOB_CONN: 'wasbs://ccmytest:<account-key>@ccmytest.blob.core.windows.net'
  

• 若账户密钥包含特殊字符（如+、/、=），需在环境变量中用引号包裹，或对特殊字符进行URL转义（例如+转义为%2B）。

容器存在性检查 #

• 确认Azure Blob存储中已手动创建airflow-logs容器（Airflow不会自动创建容器）。

3. 检查Azure存储账户权限 #

• 确认存储账户的防火墙/网络规则允许Airflow容器的IP访问（若开启了防火墙限制）。
• 验证所用账户密钥拥有Blob数据参与者或更高权限：
  1. 登录Azure Portal，进入目标存储账户
  2. 查看「访问密钥」页面，确认使用的密钥有效
  3. 用该密钥通过Azure CLI测试上传文件：

     az storage blob upload --account-name ccmytest --account-key <account-key> --container-name airflow-logs --name test-log.txt --file ./test-log.txt
     

4. 确认Airflow配置生效 #

• 进入Airflow容器，执行以下命令检查配置是否正确加载：

  airflow config get-value logging remote_logging
  airflow config get-value logging remote_log_conn_id
  airflow config get-value logging remote_base_log_folder
  

• 确保输出分别为True、azure_blob_conn、wasbs://airflow-logs@ccmytest.blob.core.windows.net/airflow/logs。
• 若使用自定义airflow.cfg（通过AIRFLOW_CONFIG指定），检查该文件中是否存在覆盖环境变量的配置（例如remote_logging = False），环境变量优先级高于配置文件，但需避免冲突。

5. 开启调试日志排查错误 #

• 将日志级别改为DEBUG，修改环境变量：

  AIRFLOW__LOGGING__LOGGING_LEVEL: 'DEBUG'
  

• 重启所有Airflow服务后，执行一个测试DAG，查看worker和webserver容器的日志，搜索关键词azure、remote_log、wasbs，定位具体错误（如认证失败、容器不存在、路径无效等）。

6. CeleryExecutor特殊检查 #

• 确认worker容器继承了与webserver/scheduler相同的环境变量（你的docker-compose.yml中x-airflow-common已共享配置，此步骤可略，但需验证worker容器内的依赖和配置是否正确）。

内容的提问来源于stack exchange，提问作者chirag patil