如何配置Spark SQL对接Delta Lake与Glue元存储？查询报错求解决

你生成的_symlink_format_manifest是给Athena/Presto这类非Delta原生引擎适配用的，Spark作为Delta Lake的原生支持引擎，不需要依赖这些manifest文件——当前报错是因为Spark被错误引导去读取manifest，而非直接访问Delta Lake的底层事务日志和数据文件。

1. 确保Spark环境加载Delta Lake依赖 #

不管是通过Spark Submit、集群配置还是EMR等托管服务，必须让Spark加载Delta Core依赖包，版本要和你的Spark版本匹配：

spark-submit --packages io.delta:delta-core_2.12:2.4.0 ...

如果是EMR集群，直接启用Delta Lake应用即可自动配置依赖。

2. 配置Spark对接Glue元存储+Delta Lake #

在Spark配置中添加以下参数，让Spark用Delta Catalog来关联Glue元数据：

spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
spark.sql.catalog.glue_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
spark.sql.catalog.glue_catalog.warehouse=s3://your-bucket/warehouse-path
spark.sql.catalog.glue_catalog.region=your-aws-region

3. 修正Glue中的表元数据 #

之前为Athena创建的表元数据是适配symlink格式的，需要重新注册为Delta Lake格式的表：

// 初始化Spark后执行
spark.sql("CREATE DATABASE IF NOT EXISTS glue_catalog.database_test")
val deltaTable = DeltaTable.forPath("s3://my-bucket/users/deltalake-test")
deltaTable.toDF.write.format("delta").mode("overwrite").saveAsTable("glue_catalog.database_test.my_table")

执行后Glue元存储中的表会正确关联Delta Lake的事务日志，Spark可以直接识别。

4. 正常查询Delta表 #

无需依赖manifest文件，直接用Spark SQL查询即可：

USE glue_catalog.database_test;
SELECT * FROM my_table WHERE date='200904';

额外排查点 #

如果仍有权限类报错，确认Spark executor的EC2实例角色拥有S3存储桶的s3:GetObject、s3:ListBucket权限。

内容的提问来源于stack exchange，提问作者Jacek Laskowski