求助：如何识别S3中格式错误的Parquet文件？Athena查询异常

• 分区定位法（适用于分区表）
  如果你的Athena表按时间、地域等维度分区，可以逐个查询分区缩小错误范围。执行类似SQL：

  SELECT * FROM your_table WHERE partition_column = '目标分区值' LIMIT 10;
  

  哪个分区执行报错，就把排查范围锁定在该分区下的文件。

• AWS CLI + jq批量校验
  用命令行工具批量遍历并校验文件格式：

  1. 先导出目标路径下的所有文件列表：

     aws s3 ls s3://your-bucket-eu-west-1/tables/ --recursive | awk '{print $4}' > file_list.txt
     

  2. 遍历列表，用jq检查每个文件的JSON有效性：

     while read file; do
       echo "正在检查 $file..."
       aws s3 cp s3://your-bucket-eu-west-1/tables/$file - | jq . > /dev/null
       if [ $? -ne 0 ]; then
         echo "无效JSON文件: s3://your-bucket-eu-west-1/tables/$file" >> invalid_files.txt
       fi
     done < file_list.txt
     

  提示：文件量极大时，可搭配xargs做并行处理，提升效率。

• Lambda实时校验（适合长期监控）
  创建Lambda函数绑定S3对象创建事件，自动校验新上传文件：
  示例Python代码片段：

  import boto3
  import json
  import io
  
  s3 = boto3.client('s3')
  
  def lambda_handler(event, context):
      for record in event['Records']:
          bucket = record['s3']['bucket']['name']
          key = record['s3']['object']['key']
          try:
              response = s3.get_object(Bucket=bucket, Key=key)
              content = response['Body'].read().decode('utf-8')
              json.loads(content)
          except json.JSONDecodeError as e:
              print(f"无效JSON文件: s3://{bucket}/{key}, 错误信息: {str(e)}")
          except Exception as e:
              print(f"处理文件出错 s3://{bucket}/{key}: {str(e)}")
  

  错误信息会输出到CloudWatch Logs，方便后续查看。

• Athena日志排查
  执行MSCK REPAIR TABLE your_table;（如果是分区表），然后查看该查询的Athena日志，日志中会明确标出导致错误的文件路径，直接定位问题文件。

内容的提问来源于stack exchange，提问作者osanger