S3表维护失败及Athena查询PERMISSION_DENIED错误排查

问题现象 #

• S3表维护失败：通过Glue ETL作业创建Iceberg表后，表已出现在S3表存储桶，但进入维护页面时提示：

  Encountered Iceberg validation exception when trying to read table. Ensure that your table is readable, adheres to the Iceberg specification, and contains only S3 paths that begin with your S3 Table alias.

• Athena查询报错：表已在Athena中可见，但查询时返回PERMISSION_DENIED: null (Service: S3, Status Code: 403)

现有Glue ETL配置与写表逻辑 #

%%configure{"--datalake-formats": "delta,iceberg",
"--conf":"""spark.hadoop.fs.defaultFS=s3://s3_bucket_name
--conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
--conf spark.sql.defaultCatalog=s3tablescatalog
--conf spark.sql.catalog.s3tablescatalog=org.apache.iceberg.spark.SparkCatalog--conf spark.sql.catalog.s3tablescatalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
--conf spark.sql.catalog.s3tablescatalog.client.region=Region
--conf spark.sql.catalog.s3tablescatalog.glue.account-id=Account_ID
--conf spark.sql.catalog.s3tablescatalog.glue.id=Account_ID:s3tablescatalog/s3_tables_bucket_name
--conf spark.sql.catalog.s3tablescatalog.warehouse=s3://s3_bucket_name/gold/s3_tables_bucket_name/"""}
df = spark.read.format("delta").load("s3://s3_bucket_name/path/to/delta/file/")
# ... 表结构处理代码 ...
df.writeTo(f"{catalog_name}.{namespace}.{table}").using("iceberg").create()

配置错误排查 #

1. Iceberg目录核心参数错误

   • spark.sql.catalog.s3tablescatalog.glue.id格式有误：正确格式应为Account_ID:catalog_name，而非Account_ID:s3tablescatalog/s3_tables_bucket_name，该错误会导致S3 Tables无法关联Glue Catalog与表存储路径，触发Iceberg校验异常。
   • 缺失AWS环境必备IO实现：未配置spark.sql.catalog.s3tablescatalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO，这是Iceberg读写S3元数据和数据文件的关键依赖，缺失会导致表读写权限校验失败。

2. S3路径与S3 Table别名不匹配
   错误提示明确要求表路径必须以S3 Table别名开头，需确认：

   • S3 Table创建时指定的别名前缀，是否完全覆盖warehouse配置的路径s3://s3_bucket_name/gold/s3_tables_bucket_name/，路径不匹配会直接触发维护页面的校验失败。

Athena权限问题根源 #

1. Lake Formation表级权限遗漏

   • 即使角色拥有Lake Formation完全访问权限，仍需在控制台给Athena执行角色和Glue ETL角色显式授予目标数据库和表的SELECT、DESCRIBE权限，数据湖管理员权限不会自动继承表级查询权限。
   • 需确保角色拥有lakeformation:GetTable、lakeformation:GetDatabase权限，这是Athena通过Lake Formation访问表的基础权限，避免自定义策略意外限制这些操作。

2. S3对象权限与桶策略冲突

   • 检查S3桶策略是否允许Athena服务角色（格式为arn:aws:sts::Account_ID:assumed-role/AthenaExecutionRole/AthenaSession）访问表存储路径下的所有对象，包括Iceberg元数据文件（.metadata.json、快照文件等）。
   • 确认Glue ETL角色写入S3时是否设置了bucket-owner-full-control的对象ACL，确保Athena角色能读取生成的文件。

修复步骤 #

1. 修正Glue ETL配置
   更新%%configure参数如下：

   %%configure{"--datalake-formats": "delta,iceberg",
   "--conf":"""spark.hadoop.fs.defaultFS=s3://s3_bucket_name
   --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
   --conf spark.sql.defaultCatalog=s3tablescatalog
   --conf spark.sql.catalog.s3tablescatalog=org.apache.iceberg.spark.SparkCatalog
   --conf spark.sql.catalog.s3tablescatalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
   --conf spark.sql.catalog.s3tablescatalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO
   --conf spark.sql.catalog.s3tablescatalog.client.region=Region
   --conf spark.sql.catalog.s3tablescatalog.glue.account-id=Account_ID
   --conf spark.sql.catalog.s3tablescatalog.glue.id=Account_ID:s3tablescatalog
   --conf spark.sql.catalog.s3tablescatalog.warehouse=s3://s3_bucket_name/gold/s3_tables_bucket_name/"""}
   

   关键修改：

   • 修正glue.id为Account_ID:s3tablescatalog
   • 添加io-impl配置项

2. 同步S3 Table别名与存储路径
   在S3 Tables控制台检查表的别名前缀，确保其完全覆盖warehouse配置的S3路径，若不一致则重新创建表或修改别名设置。

3. 完善权限配置

   • 在Lake Formation控制台，给Athena执行角色和Glue ETL角色授予目标数据库和表的SELECT、DESCRIBE权限；
   • 更新S3桶策略，添加允许Athena服务角色访问的规则：

     {
       "Effect": "Allow",
       "Principal": {
         "AWS": "arn:aws:iam::Account_ID:role/AthenaExecutionRole"
       },
       "Action": ["s3:GetObject", "s3:ListBucket"],
       "Resource": [
         "arn:aws:s3:::s3_bucket_name/gold/s3_tables_bucket_name/*",
         "arn:aws:s3:::s3_bucket_name"
       ]
     }
     

   • 确保Glue ETL角色拥有s3:PutObjectAcl权限，写入对象时指定ACL为bucket-owner-full-control。

内容的提问来源于stack exchange，提问作者Joshua Osborne