无需Athena连接器与全表爬取，构建Glue映射DynamoDB元数据层

一、可行性确认 #

可以实现，无需全表爬取、导出数据到S3或直接使用Athena DynamoDB连接器。核心是通过boto3正确配置Glue表的元数据参数，适配DynamoDB单表设计的item_type区分需求。

二、核心配置方案 #

1. 构建两张Glue表的元数据结构 #

（1）item_type元数据表（存储类型定义映射）

这张表用于维护item_type与对应属性结构、主键规则的映射，存储在S3（仅存元数据，无需涉及DDB全表）：

import boto3

glue_client = boto3.client('glue')

def create_item_type_metadata_table(database_name, s3_metadata_bucket):
    response = glue_client.create_table(
        DatabaseName=database_name,
        TableInput={
            "Name": "item_type_metadata",
            "StorageDescriptor": {
                "Columns": [
                    {"Name": "item_type", "Type": "string"},
                    {"Name": "attribute_schema", "Type": "string"},  # JSON格式存储属性结构
                    {"Name": "pk_pattern", "Type": "string"},
                    {"Name": "sk_pattern", "Type": "string"}
                ],
                "Location": f"s3://{s3_metadata_bucket}/item-type-metadata/",
                "InputFormat": "org.apache.hadoop.mapred.TextInputFormat",
                "OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat",
                "SerdeInfo": {
                    "SerializationLibrary": "org.openx.data.jsonserde.JsonSerDe"
                }
            },
            "TableType": "EXTERNAL_TABLE",
            "Parameters": {"classification": "json"}
        }
    )
    return response

（2）item_type_item实际数据表（映射DDB单表）

通过指定DDB专属的输入输出格式、SerDe，同时添加item_type过滤参数，避免全表扫描：

def create_ddb_item_table(database_name, ddb_table_name, region, account_id, item_type, columns):
    table_name = f"{item_type}_item"
    response = glue_client.create_table(
        DatabaseName=database_name,
        TableInput={
            "Name": table_name,
            "StorageDescriptor": {
                "Columns": columns,
                "Location": f"arn:aws:dynamodb:{region}:{account_id}:table/{ddb_table_name}",
                "InputFormat": "com.amazonaws.glue.dynamodb.hive.DynamoDBInputFormat",
                "OutputFormat": "com.amazonaws.glue.dynamodb.hive.DynamoDBOutputFormat",
                "SerdeInfo": {
                    "SerializationLibrary": "com.amazonaws.glue.dynamodb.hive.DynamoDBSerDe"
                }
            },
            "TableType": "EXTERNAL_TABLE",
            "Parameters": {
                "classification": "dynamodb",
                "hashKey": "pk",
                "rangeKey": "sk",
                # 配置过滤规则，仅扫描对应item_type的条目
                "dynamodb.expression": f"contains(pk, '{item_type}_')"
            }
        }
    )
    return response

三、Athena查询适配 #

1. 查询元数据获取类型结构 #

SELECT attribute_schema FROM item_type_metadata WHERE item_type = 'user';

2. 查询实际数据表（自动应用过滤） #

SELECT pk, sk, user_id FROM user_item WHERE user_id = '123';

配置的dynamodb.expression会自动限制DDB扫描范围，仅读取目标item_type的条目。

四、关键注意事项 #

• 元数据自动维护：可通过Lambda监听DDB中新增的item_type定义条目，自动更新item_type_metadata或创建对应item_type_item表。
• 属性动态更新：若item_type属性变更，调用glue_client.update_table接口修改对应item_type_item表的列定义，同步更新元数据表的attribute_schema。
• 权限配置：确保Glue、Athena角色拥有DynamoDB的Scan/Query权限，以及S3元数据存储桶的读写权限。

内容的提问来源于stack exchange，提问作者Lez