无法将Delta表写入Minio的Spark-K8s环境问题求助

问题场景 #

Kubernetes环境中以Pod部署Spark Master/Worker节点，Jupyter Notebook作为驱动端，Minio为存储介质。Parquet格式可正常写入Minio，但执行Delta表写入代码时失败：

df1.write.partitionBy(['asset_id']).format("delta").mode("append").option("mergeSchema", "true").save("s3a://test/asset-table")

环境版本：Python 3.7、PySpark 3.2.2、Java JDK 8
核心报错：

23/01/04 07:37:12 WARN TaskSetManager: Lost task 0.0 in stage 5.0 (TID 12) (10.244.28.3 executor 0): java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.rdd.MapPartitionsRDD.f of type scala.Function3 in instance of org.apache.spark.rdd.MapPartitionsRDD

伴随Py4JJavaError提示任务中止。

解决方案 #

• 匹配Delta Lake与Spark版本：PySpark 3.2.2需对应Delta Lake 2.1.0版本（Scala 2.12），确保驱动和Executor都加载正确依赖。启动SparkSession时指定依赖包：

  spark = SparkSession.builder \
      .appName("Delta-Writer") \
      .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
      .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
      .config("spark.jars.packages", "io.delta:delta-core_2.12:2.1.0") \
      .getOrCreate()
  

  若为Kubernetes集群部署，需在Spark提交配置（如spark-submit参数或K8s部署yaml）中添加该依赖，保证Executor节点能拉取到对应jar包。

• 启用Kryo序列化：Delta Lake对Kryo序列化支持更优，可避免Lambda序列化冲突。在Spark配置中添加：

  spark.conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  

• 校验Minio访问配置一致性：Delta写操作涉及元数据读写，需确保Executor端与驱动端的Minio配置完全一致。添加以下配置：

  spark.conf.set("fs.s3a.endpoint", "http://你的minio服务地址:9000")
  spark.conf.set("fs.s3a.access.key", "你的minio access key")
  spark.conf.set("fs.s3a.secret.key", "你的minio secret key")
  spark.conf.set("fs.s3a.path.style.access", "true")
  spark.conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
  

• 排查自定义UDF/Lambda序列化问题：若DataFrame中使用了自定义UDF或Lambda函数，改用Kryo序列化或重构UDF为类形式，避免SerializedLambda导致的类型转换错误。

内容的提问来源于stack exchange，提问作者Gali Sai Surendra