如何将Spark DataFrame写入MinIO存储桶中的CSV文件？

1. 配置依赖 #

Spark 读写 MinIO 依赖 Hadoop 的 s3a 文件系统客户端，确保项目中包含对应版本的依赖：

Maven 依赖 #

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-aws</artifactId>
    <version>对应你的Hadoop版本</version>
</dependency>
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-bundle</artifactId>
    <version>1.12.592</version> <!-- 适配Hadoop版本的SDK，避免冲突 -->
</dependency>

SBT 依赖 #

libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "对应你的Hadoop版本"
libraryDependencies += "com.amazonaws" % "aws-java-sdk-bundle" % "1.12.592"

2. 初始化 SparkSession 并配置 MinIO 参数 #

创建 SparkSession 时必须指定 MinIO 连接参数，核心配置如下：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("WriteDataFrameToMinIO")
  .config("spark.hadoop.fs.s3a.endpoint", "http://你的MinIO地址:端口") // 示例：http://localhost:9000
  .config("spark.hadoop.fs.s3a.access.key", "你的MinIO访问密钥")
  .config("spark.hadoop.fs.s3a.secret.key", "你的MinIO秘密密钥")
  .config("spark.hadoop.fs.s3a.path.style.access", "true") // MinIO默认启用路径样式访问
  .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
  .config("spark.hadoop.fs.s3a.connection.ssl.enabled", "false") // 未配置SSL时设为false
  .getOrCreate()

3. 写入 DataFrame 到 MinIO 的 CSV 文件 #

假设已有 df 类型的 DataFrame，直接调用 write.csv 方法，路径使用 s3a://存储桶名称/文件路径 格式：

// 示例DataFrame（可替换为你的业务数据）
val df = spark.read.json("examples/src/main/resources/people.json")

// 写入CSV到MinIO
df.write
  .format("csv")
  .option("header", "true") // 输出表头
  .option("sep", ",") // 设置分隔符
  .mode("overwrite") // 覆盖已有文件，可选append/ignore/errorifexists
  .save("s3a://my-bucket/output-data/people.csv")

常见问题排查 #

• 依赖冲突：确保 hadoop-aws 和 aws-java-sdk-bundle 版本与你的 Spark/Hadoop 版本兼容，避免类加载异常
• 权限错误：检查 MinIO 的密钥是否正确，目标存储桶是否有写入权限
• 路径错误：必须使用 s3a:// 前缀，存储桶名称和路径不要包含特殊字符
• SSL 问题：若 MinIO 开启了 SSL，将 spark.hadoop.fs.s3a.connection.ssl.enabled 设为 true，并确保证书信任

内容的提问来源于stack exchange，提问作者amit vishwakarma