为什么我创建的AWS Glue表路径带有-__PLACEHOLDER__后缀？

你遇到的-__PLACEHOLDER__路径后缀是Spark对接AWS Glue元数据目录的已知场景问题，触发原因是：当你用CREATE TABLE IF NOT EXISTS显式指定LOCATION建表时，若这张表之前有过失败的写操作残留了Glue元数据缓存、或者Spark运行时Schema推断出现延迟绑定，就会触发Spark的临时路径占位逻辑，即使你显式传了正确路径，也会被自动替换为带占位符的路径写入Glue元数据。

Athena查询仅返回col (array<string>)的原因是表绑定的路径下没有数据，Athena默认返回空结构，和数据本身无关。

• 第一步：彻底清理残留信息
  先在Glue控制台删除该问题表，同时删除S3对应正确路径下的_SUCCESS、.crc等隐藏临时文件，如果你配置了独立的Spark临时写目录，也要清理对应表名的残留文件。
• 第二步：拆分建表逻辑，放弃依赖Spark自动推断Schema建表
  把原来的单步建表写数据拆成两步：
  1. 先把处理好的DataFrame写入正确的S3路径：

  df.write.mode("overwrite").parquet("s3://bucket_name/databases/my_db/my_problematic_table")
  

  2. 再显式指定完整字段Schema执行建表语句：

  CREATE EXTERNAL TABLE IF NOT EXISTS $database.$table (
    -- 替换为你的表实际字段定义，例：user_id string, create_time bigint, info struct<name:string,age:int>
  )
  STORED AS PARQUET
  LOCATION 's3://bucket_name/databases/my_db/my_problematic_table'
  

• 第三步：增加Spark配置避免触发路径自动替换逻辑
  在Airflow的Spark作业配置中添加以下参数：
  • spark.sql.catalogImplementation = hive 强制使用Hive元数据协议对接Glue，避免Spark内置catalog的兼容问题
  • spark.sql.hive.manageFilesourcePartitions = false 关闭Spark自动管理文件源分区的逻辑，禁止自动修改LOCATION路径

所有操作完成后，可以在Athena执行MSCK REPAIR TABLE $database.$table同步分区，即可正常查询数据。

内容的提问来源于stack exchange，提问作者lealvcon