Airflow容器中Spark任务读取MinIO S3存储桶时无限挂起求助

以下是针对该异常的具体排查方向：

1. 端点配置与容器网络可达性问题 #

• 虽然boto3能正常连接，但Spark可能使用了错误的MinIO端点：比如配置成localhost:9000，在容器内localhost指向自身，无法访问MinIO容器；而boto3可能正确使用了Docker Compose的服务名（如minio:9000）。
• 验证方式：在Airflow-Spark容器内执行curl minio:9000，确认能连通MinIO服务；同时检查SparkSession的spark.hadoop.fs.s3a.endpoint配置是否为MinIO的服务名+端口。

2. S3A客户端认证与路径访问配置缺失 #

• Spark的S3A客户端依赖完整的认证配置，boto3可能通过环境变量或本地配置文件读取凭证，但Spark未加载对应配置：
  • 必须配置的参数：
    • spark.hadoop.fs.s3a.access.key：MinIO访问密钥
    • spark.hadoop.fs.s3a.secret.key：MinIO秘密密钥
    • spark.hadoop.fs.s3a.path.style.access：设为true（MinIO采用路径风格存储访问）
  • 示例配置代码：

    spark = SparkSession.builder \
        .appName("MinIORead") \
        .config("spark.hadoop.fs.s3a.endpoint", "minio:9000") \
        .config("spark.hadoop.fs.s3a.access.key", "YOUR_MINIO_ACCESS_KEY") \
        .config("spark.hadoop.fs.s3a.secret.key", "YOUR_MINIO_SECRET_KEY") \
        .config("spark.hadoop.fs.s3a.path.style.access", "true") \
        .config("spark.hadoop.fs.s3a.connection.ssl.enabled", "false") # 未开启HTTPS时需设置
        .getOrCreate()
    

3. Spark缺失S3A依赖包 #

• apache/airflow镜像集成Spark时，可能未包含S3A客户端的完整依赖，导致Spark无法与MinIO正常通信（表现为挂起而非明确报错）：
  • 需要确保Spark的jars目录包含与Spark内置Hadoop版本匹配的hadoop-aws和aws-java-sdk-bundle包；
  • 解决方式：构建Airflow-Spark镜像时添加这些依赖，或启动SparkSession时通过--jars参数指定依赖路径。

4. 网络超时配置不合理 #

• 默认的S3A客户端超时设置可能无法适配容器网络的延迟，导致请求挂起：
  • 添加以下配置调整超时参数：

    spark.conf.set("spark.hadoop.fs.s3a.connection.timeout", "10000") # 10秒连接超时
    spark.conf.set("spark.hadoop.fs.s3a.socket.timeout", "30000") # 30秒套接字超时
    spark.conf.set("spark.hadoop.fs.s3a.connection.maximum", "100") # 最大连接数
    

5. Docker网络模式冲突 #

• 若Airflow-Spark容器与MinIO容器不在同一Docker网络中，会导致网络不通：
  • 检查Docker Compose配置，确保两个服务都加入同一个自定义网络（而非默认bridge或host网络混用）。

内容的提问来源于stack exchange，提问作者John Phillips