AWS Glue push_down_predicate 对DynamoDB排序键过滤失效排查

问题原因 #

1. 未触发DynamoDB Query操作：若你的表为复合主键（分区键+排序键），但push_down_predicate仅指定排序键sk的条件，未包含分区键的等值过滤，Glue无法使用高效的Query操作，只能执行全表Scan并通过FilterExpression过滤。这种情况下，要么是Scan后过滤的逻辑出现偏差，要么是大量数据导致客户端过滤失效。
2. Glue Catalog字段类型不匹配：如果Glue数据目录中sk字段被错误识别为日期/时间类型而非字符串，Glue会尝试将ISO格式的字符串时间戳转换为内部日期类型，过程中可能丢失时区信息或解析错误，导致过滤条件完全失效。
3. 谓词语法解析偏差：Glue的类SQL谓词在转换为DynamoDB表达式时，对带时区的ISO字符串的比较逻辑可能存在解析误差，导致范围判断错误。

解决方法 #

1. 添加分区键条件，触发Query操作 #

如果表是复合主键，必须在push_down_predicate中同时指定分区键的等值条件和排序键的范围条件，这样Glue会自动将谓词转换为DynamoDB的KeyConditionExpression，和你直接使用Query的逻辑完全一致，结果准确且高效。
示例代码：

dynamic_frame = glueContext.create_dynamic_frame.from_catalog(
    database="my_database",  
    table_name="my_dynamodb_table",  
    push_down_predicate=f"pk = 'your_partition_key_value' AND sk >= '{start_timestamp}' AND sk < '{end_timestamp}'"
)

2. 改用from_options直接构造原生查询参数 #

绕过Glue Catalog的解析环节，直接指定DynamoDB连接参数，手动构造KeyConditionExpression和参数值，确保查询逻辑和你直接调用DynamoDB Query时完全一致。
示例代码：

dynamic_frame = glueContext.create_dynamic_frame.from_options(
    connection_type="dynamodb",
    connection_options={
        "dynamodb.tableName": "my_dynamodb_table",
        "dynamodb.throughput.read.percent": "0.5",  # 根据需求调整读取吞吐量占比
        "dynamodb.splits": "1",  # 单分片读取，适用于小表
        "dynamodb.keyConditionExpression": "pk = :pk AND sk >= :start AND sk < :end",
        "dynamodb.expressionAttributeValues": {
            ":pk": {"S": "your_partition_key_value"},
            ":start": {"S": start_timestamp},
            ":end": {"S": end_timestamp}
        }
    }
)

3. 修正Glue Catalog的字段类型 #

• 登录AWS Glue控制台，找到目标数据库和表。
• 进入表的Schema编辑页面，确认sk字段类型为string（而非date或timestamp）。
• 若类型错误，修改后保存，重新运行Glue Job。

4. 严格匹配时间戳格式 #

确保start_timestamp和end_timestamp的格式与DynamoDB中sk的格式完全一致，包括时区偏移量（例如+00:00），避免因格式差异导致字典序比较错误。示例：

start_timestamp = "2024-04-10T00:00:00.000000+00:00"
end_timestamp = "2024-04-11T00:00:00.000000+00:00"

内容的提问来源于stack exchange，提问作者Parag Jadhav