AWS Athena新增S3数据无法查询，无需手动执行MSCK REPAIR TABLE的解决办法

以下是几种无需手动操作的解决方案，按推荐优先级排序：

1. 使用分区投影（Partition Projection） #

这是AWS官方推荐的方案，适合分区键有固定规律的场景（比如按日期dt=yyyy-mm-dd、小时hour=HH等）。通过在表定义中配置分区投影规则，Athena会自动计算并识别所有符合规则的分区，无需依赖元数据存储的分区信息，也就不用执行MSCK REPAIR TABLE。

操作示例（建表时配置） #

CREATE EXTERNAL TABLE my_table (
  id INT,
  data STRING
)
PARTITIONED BY (dt STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION 's3://my-bucket/path/'
TBLPROPERTIES (
  'projection.enabled' = 'true',
  'projection.dt.type' = 'date',
  'projection.dt.range' = '2020-01-01,NOW',
  'projection.dt.format' = 'yyyy-MM-dd',
  'projection.dt.interval' = '1',
  'projection.dt.interval.unit' = 'DAYS',
  'storage.location.template' = 's3://my-bucket/path/dt=${dt}'
);

• 核心是TBLPROPERTIES里的投影配置，根据你的分区规则调整类型、范围、格式参数。
• 一旦配置完成，后续新增符合规则的分区路径数据，Athena会直接识别，无需任何额外操作。

2. 通过Athena自身写入数据 #

如果你的新数据是通过Athena的INSERT INTO或CREATE TABLE AS SELECT (CTAS)语句写入S3的，Athena会自动同步更新表的元数据，包括分区信息，无需手动执行修复命令。

示例： #

-- 插入数据到指定分区
INSERT INTO my_table PARTITION (dt='2024-05-20')
SELECT id, data FROM source_table WHERE dt='2024-05-20';

-- CTAS创建带分区的表
CREATE TABLE my_new_table
WITH (
  external_location = 's3://my-bucket/new-path/',
  partitioned_by = ARRAY['dt'],
  format = 'PARQUET'
) AS
SELECT id, data, dt FROM source_table;

• 这种方式适用于数据流转完全在Athena生态内的场景，元数据维护由Athena自动处理。

3. 用Lambda自动化执行MSCK REPAIR TABLE #

如果分区没有固定规律，或者无法通过上述两种方式处理，可以通过S3事件触发Lambda，自动执行修复命令。

步骤： #

• 创建Lambda函数（推荐Python运行时），使用boto3调用Athena的start_query_execution接口执行MSCK REPAIR TABLE：

import boto3
import time

def lambda_handler(event, context):
    athena_client = boto3.client('athena')
    database_name = 'my_database'
    table_name = 'my_table'
    query = f"MSCK REPAIR TABLE {database_name}.{table_name};"
    
    # 执行查询
    response = athena_client.start_query_execution(
        QueryString=query,
        QueryExecutionContext={'Database': database_name},
        ResultConfiguration={'OutputLocation': 's3://my-bucket/athena-results/'}
    )
    
    # 可选：等待查询完成（根据需求调整）
    query_execution_id = response['QueryExecutionId']
    while True:
        status = athena_client.get_query_execution(QueryExecutionId=query_execution_id)['QueryExecution']['Status']['State']
        if status in ['SUCCEEDED', 'FAILED', 'CANCELLED']:
            break
        time.sleep(2)
    
    return {'statusCode': 200, 'body': f"MSCK repair executed with status: {status}"}

• 给Lambda配置权限：需要Athena:StartQueryExecution、Athena:GetQueryExecution权限，以及S3读写权限（包括结果存储桶和数据桶）。
• 配置S3触发器：在你的数据存储桶上添加事件通知，触发条件选择“所有对象创建事件”，目标指向这个Lambda函数。

4. 使用Glue Crawler自动同步元数据 #

AWS Glue爬虫可以定期或基于S3事件触发，扫描指定的S3路径，自动发现新分区并更新Athena表的元数据。

操作要点： #

• 在Glue控制台创建爬虫，选择数据源为你的S3数据路径，目标数据库为Athena使用的数据库。
• 配置爬虫的触发方式：可以选择“按需”、“定时”（比如每天一次），或者基于S3事件触发（当S3有新对象时自动运行）。
• 运行爬虫后，它会自动识别S3中的新分区，并同步到Glue数据目录（Athena依赖的元数据存储），之后Athena就能直接查询到新数据。

内容的提问来源于stack exchange，提问作者Marcus