Spark写入Parquet到MinIO遇XMinioParentIsObject错误，求解决方案

我看到你遇到了一个典型的Spark+MinIO兼容性问题：用stocator连接MinIO写入Parquet时，因为Spark/stocator会先创建一个空的test.parquet对象模拟目录，但MinIO是基于文件系统实现的，这个空对象会挡住后续创建同名目录的操作，导致抛出XMinioParentIsObject错误。下面给你几个可行的解决办法：

方案1：明确指定目录路径（最简单的快速修复） #

MinIO会把结尾带/的路径识别为目录，而不是普通对象。你只需要调整写入路径，确保它以斜杠结尾，同时避免目录名和后续生成的Parquet分片文件名冲突：

// 把路径改成带结尾斜杠的目录名，比如用test_parquet_dir替代test.parquet
String itemName = "cos://mybucket.service/test_parquet_dir/";
jsonDF.coalesce(1).write().mode("append").parquet(itemName);

这样stocator会直接把它当作目录处理，不会创建空的test_parquet_dir对象，而是直接在这个目录下生成Parquet分片文件。

方案2：改用原生S3A客户端替代stocator #

MinIO是完全兼容S3协议的，你可以直接用Spark/Hadoop原生的S3A文件系统客户端，避开stocator特有的空目录对象创建逻辑：
修改你的SparkSession配置如下：

SparkSession spark = SparkSession.builder()
    .appName("parquetWriter")
    .master("local[*]")
    .config("spark.ui.enabled", false)
    // 使用Hadoop原生的S3A文件系统
    .config("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
    .config("fs.s3a.endpoint", ENDPOINT)
    .config("fs.s3a.access.key", ACCESS_KEY)
    .config("fs.s3a.secret.key", SECRET_KEY)
    // 如果你的MinIO用的是HTTP（非HTTPS），必须加上这个配置
    .config("fs.s3a.connection.ssl.enabled", "false")
    .getOrCreate();

// 路径换成s3a协议格式
String itemName = "s3a://mybucket/test.parquet/";
Dataset<String> jDataset = spark.createDataset(json, Encoders.STRING());
Dataset<?> jsonDF = spark.read().json(jDataset);
jsonDF.coalesce(1).write().mode("append").parquet(itemName);

S3A客户端对S3兼容存储的目录处理更贴合MinIO的文件系统逻辑，不会生成多余的空对象。

方案3：配置stocator禁用空目录对象创建 #

如果你因为业务原因必须使用stocator，可以尝试添加stocator的专属配置，让它跳过空目录对象的创建：

SparkSession spark = SparkSession.builder()
    .appName("parquetWriter")
    .master("local[*]")
    .config("spark.ui.enabled", false)
    .config("fs.cos.impl", "com.ibm.stocator.fs.ObjectStoreFileSystem")
    .config("fs.stocator.scheme.list", "cos")
    .config("fs.stocator.cos.impl", "com.ibm.stocator.fs.cos.COSAPIClient")
    .config("fs.stocator.cos.scheme", "cos")
    .config("fs.cos.service.endpoint", ENDPOINT)
    .config("fs.cos.service.access.key", ACCESS_KEY)
    .config("fs.cos.service.secret.key", SECRET_KEY)
    // 关键配置：禁止创建空目录对象
    .config("fs.stocator.cos.create.empty.directory", "false")
    .getOrCreate();

这个配置会告诉stocator直接写入文件，MinIO会自动创建对应的目录路径，不需要提前生成空对象。

额外验证小贴士 #

• 可以先在MinIO控制台手动创建目标目录，避免自动创建时的冲突；
• 如果使用append模式，确保之前没有残留的同名空对象，或者改用overwrite模式清理旧数据后再写入；
• 检查MinIO的权限配置，确保Spark有足够的读写权限。

内容的提问来源于stack exchange，提问作者lmsurprenant