Apache Airflow 2.8.4部署K8s，Azure Blob远程日志配置失败求助

针对你遇到的连接测试成功但Web UI无法获取日志、报错requests.exceptions.InvalidURL: Invalid URL 'http://:8793/...': No host supplied的问题，按以下步骤排查：

1. 核对核心日志配置参数 #

确保Airflow的核心配置中以下参数正确设置：

• remote_logging: 必须设为True
• remote_log_conn_id: 与测试成功的Azure Blob连接ID完全一致
• azure_blob_log_container: 填写目标Blob容器的准确名称
• azure_blob_log_storage_account: 填写存储账户的名称
• remote_base_log_folder: 格式必须正确，示例：wasbs://airflow-logs@your-storage-account.blob.core.windows.net/airflow-logs（若使用Azure中国区，替换端点为blob.core.chinacloudapi.cn）

2. 验证Helm Values配置的注入有效性 #

检查你的Helm values.yaml中日志配置是否正确，示例配置：

config:
  airflow:
    remote_logging: "True"
    remote_log_conn_id: "azure_blob_log_conn"
    azure_blob_log_container: "airflow-logs"
    azure_blob_log_storage_account: "your-storage-account"
    remote_base_log_folder: "wasbs://airflow-logs@your-storage-account.blob.core.windows.net/"

执行命令验证Webserver Pod的环境变量是否加载了这些配置：

kubectl exec -it <your-webserver-pod-name> -- env | grep AIRFLOW__AIRFLOW__

确认输出的参数值与配置一致。

3. 检查连接ID的实际配置细节 #

即使连接测试通过，也要确认连接的参数是否符合要求：

• 共享密钥认证：
  • 若使用连接字符串：连接的Extra字段需填写{"connection_string": "DefaultEndpointsProtocol=https;AccountName=xxx;AccountKey=xxx;EndpointSuffix=core.windows.net"}
  • 若使用账户名/密钥：连接类型选Azure Blob Storage，Host填存储账户名，Login填account_name，Password填账户密钥，Extra可留空
• 确保连接类型为Azure Blob Storage（部分旧版本显示为Wasb）

4. 手动测试日志读取 #

在Webserver Pod中执行Airflow CLI命令手动获取日志，查看更详细的错误信息：

airflow logs -d <your-dag-id> -t <your-task-id> -e <execution-date>

若命令也报错，可根据输出定位具体配置缺失项（比如未指定存储账户名导致生成的URL无主机）。

5. 同步Worker与Webserver的配置 #

确认Worker Pod的配置与Webserver完全一致——Helm部署时可能出现Worker配置未同步的情况，导致Worker能写入日志，但Webserver读取时使用了错误的配置。

6. 检查Azure Provider版本兼容性 #

在Pod中查看Azure Provider版本，确保与Airflow 2.8.4兼容：

kubectl exec -it <your-webserver-pod-name> -- pip list | grep apache-airflow-providers-microsoft-azure

Airflow 2.8.x需搭配>=8.0.0版本的Azure Provider，旧版本可能存在配置参数差异。

内容的提问来源于stack exchange，提问作者AmythD