使用Glue Catalog从Athena视图创建动态帧遇分区谓词报错求助

问题根源 #

Athena视图在Glue数据目录里不会自动继承底层表的分区元数据，所以glueContext.create_dynamic_frame.from_catalog方法识别不到视图的分区列，导致你写的push_down_predicate无法解析。

推荐解决方案：用Athena直接查询并过滤 #

放弃from_catalog，改用from_options连接Athena，把过滤条件写在SQL里，这样过滤逻辑会推送到Athena执行，自动利用底层表的分区裁剪，效率也不会受影响。

代码示例：

from awsglue.context import GlueContext
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()
glueContext = GlueContext(spark)

# 构造带过滤条件的视图查询SQL
query = f"""
SELECT * FROM "{db_name}"."{view_name}" 
WHERE year='2023' AND month='1' AND date='12'
"""

# 通过Athena数据源读取结果
dynamic_frame = glueContext.create_dynamic_frame.from_options(
    connection_type="athena",
    connection_options={
        "database": db_name,
        "query": query,
        "workgroup": "your-workgroup"  # 替换成你的Athena工作组名称
    }
)

备选方案（不推荐，维护成本高） #

如果一定要用from_catalog，需要手动同步分区元数据：

• 重新创建Athena视图，确保SELECT语句中明确列出year、month、date列
• 登录Glue控制台，找到该视图的表定义，手动添加year、month、date作为分区列
• 之后再尝试用from_catalog加载，但注意视图本身没有实际的分区存储，push_down_predicate的效率可能不如直接查底层表

内容的提问来源于stack exchange，提问作者python_enthusiast