如何在Athena中无需重建表A，同步表B新增的数据？

1. 确认表结构与存储格式兼容性 #

确保表A和表B的列结构完全一致（列名、数据类型、顺序匹配），且表A使用支持追加写入的存储格式（如Parquet、ORC，Athena默认推荐这类列式存储）。如果表A是通过CREATE TABLE AS SELECT（CTAS）创建的，通常已满足条件，可通过以下语句验证：

DESCRIBE FORMATTED table_a;
DESCRIBE FORMATTED table_b;

对比结果中Storage Information板块的InputFormat、OutputFormat，以及列定义部分。

2. 确定增量数据筛选逻辑 #

由于表B每小时新增数据，优先基于时间戳字段（如create_time、update_time）或分区字段筛选新增行，这是最高效的方式：

• 基于时间戳字段筛选：

  SELECT * FROM table_b 
  WHERE create_time > (SELECT MAX(create_time) FROM table_a)
  

• 基于分区字段筛选（假设表B按event_hour分区）：

  SELECT * FROM table_b 
  WHERE event_hour > (SELECT MAX(event_hour) FROM table_a)
  

如果无时间戳/分区字段，只能通过唯一键（如id）对比筛选（性能略差）：

SELECT b.* FROM table_b b
LEFT JOIN table_a a ON b.id = a.id
WHERE a.id IS NULL

3. 执行增量插入 #

使用INSERT INTO语句将筛选出的新增数据写入表A：

INSERT INTO table_a
SELECT * FROM table_b 
WHERE create_time > (SELECT MAX(create_time) FROM table_a)

关键注意事项： #

• 若表A是分区表，需确保目标分区存在，可通过MSCK REPAIR TABLE table_a同步分区，或在表属性中配置自动分区创建。
• 始终通过过滤条件限制表B的扫描范围，避免全表扫描导致性能损耗和费用增加。
• 首次执行时，若表A为空，语句会自动插入表B的全部数据；后续执行仅插入新增部分。

4. 自动化增量同步（可选） #

若需每小时自动完成同步，可通过以下方式实现：

• 用AWS Lambda编写脚本，执行上述INSERT INTO语句。
• 配置CloudWatch Events（EventBridge）设置小时级定时规则，触发Lambda函数。

避坑提示： #

• 禁止反复用CREATE TABLE AS SELECT重建表，该操作会全量扫描表B并生成新的S3文件，既影响性能，又会额外消耗存储和查询成本。
• 若表B的新增数据可能存在重复，插入前可添加去重逻辑，比如用DISTINCT或基于唯一键去重。

内容的提问来源于stack exchange，提问作者Pratik Patil