如何通过Spark读取S3上的Iceberg表？元文件缺失报错排查

问题原因 #

你用Athena创建的Iceberg表元数据托管在Glue，而当前Spark配置的是hadoop类型的catalog，这种catalog会直接从S3路径下读取Iceberg的元数据文件（如metadata.json）。但Athena创建的Iceberg表核心元数据存储在Glue中，S3路径下可能没有完整的对应版本元数据文件，导致读取时触发Metadata file for version 24 is missing错误。

解决方案 #

方案1：配置Spark使用Glue Catalog读取（推荐） #

修改SparkSession配置，让Spark连接Glue Catalog，直接通过表的catalog/db/table名称读取，或用Iceberg格式指定Glue Catalog的表引用：

spark = SparkSession.builder \
    .appName("Iceberg Time Travel") \
    .config("spark.sql.extensions", "org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config("spark.sql.catalog.glue_catalog", "org.apache.iceberg.spark.SparkCatalog") \
    .config("spark.sql.catalog.glue_catalog.type", "glue") \
    .config("spark.sql.catalog.glue_catalog.warehouse", "s3://aia-us-east-1/") \
    .config("spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem") \
    .config("spark.hadoop.fs.s3a.aws.credentials.provider", "com.amazonaws.auth.DefaultAWSCredentialsProviderChain") \
    .getOrCreate()

# 方式1：通过catalog名称读取表
df = spark.read.table("glue_catalog.database_name.tablename")

# 方式2：用iceberg格式指定表路径
df = spark.read.format("iceberg").load("glue_catalog.database_name.tablename")

方案2：确保S3路径下有完整的Iceberg元数据（不推荐） #

如果一定要直接读取S3路径，需要手动同步Glue中的元数据到S3表路径下：

• 通过Athena或Glue控制台导出Iceberg表的对应版本元数据
• 将版本24的metadata.json文件上传到S3表路径的metadata/目录下
• 注意后续表的变更都需要同步元数据，否则会再次出现版本不匹配问题

关键说明 #

• 当元数据托管在Glue时，优先使用Glue Catalog配置，这是AWS环境下Iceberg表的标准使用方式
• 直接读取S3路径的方式仅适用于元数据存储在文件系统（如S3）的Iceberg表，不适合Glue托管元数据的场景

内容的提问来源于stack exchange，提问作者user3858193