如何排查Athena查询50GB文件时的HIVE_BAD_DATA报错问题

可能的原因 #

• 文件行格式异常：报错的文件中存在未正确换行的超大行，比如某条记录未使用约定的换行符（如\n）分隔，导致大段内容被识别为单行，超出Athena默认的行长度限制。
• 数据写入故障：生成该文件的程序在写入时出错，比如缓冲区溢出、换行逻辑失效，将大量数据拼接成了一行。
• 特殊字符干扰：文件内存在破坏换行规则的特殊控制字符，导致Athena的解析器无法正确识别行边界。

排查方法 #

用SQL在Athena内排查 #

1. 临时放宽行长度限制，尝试读取文件定位问题行：

ALTER TABLE your_table_name SET SERDEPROPERTIES (
  'serialization.max.length' = '1073741824' -- 临时设置为1GB，覆盖默认限制
);

修改后重新查询，若能成功读取，用length()函数找出最长的行：

SELECT length(your_column_name) AS line_length, *
FROM your_table_name
WHERE "$path" = 's3://my-bucket/my-file.txt'
ORDER BY line_length DESC
LIMIT 10;

这样可以直接定位到超长行的内容和长度。

2. 如果修改SerDe后仍无法读取，创建临时表并开启跳过错误行的属性，对比异常文件与正常文件的差异：

CREATE EXTERNAL TABLE temp_table (
  -- 复制原表的列定义
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.last.column.takes.rest' = 'true',
  'serialization.max.length' = '1073741824'
)
LOCATION 's3://my-bucket/';

然后统计各文件的行数、行长度数据：

SELECT 
  "$path" AS file_path,
  COUNT(*) AS total_rows,
  AVG(length(your_column_name)) AS avg_line_length,
  MAX(length(your_column_name)) AS max_line_length
FROM temp_table
GROUP BY "$path";

通过对比异常文件和正常文件的max_line_length与total_rows，可快速定位差异点。

用Python直接排查S3文件 #

1. 分段读取文件内容，检查行长度：

import boto3

s3 = boto3.client('s3')
bucket = 'my-bucket'
file_key = 'my-file.txt'

# 先读取前10MB内容测试
resp = s3.get_object(Bucket=bucket, Key=file_key, Range='bytes=0-10485759')
content = resp['Body'].read().decode('utf-8')

for idx, line in enumerate(content.split('\n')):
    line_len = len(line)
    if line_len > 1000000: # 超过1MB的行标记为异常
        print(f"异常行位置: 第{idx+1}行，长度: {line_len}")
        print(f"内容片段: {line[:500]}...")

2. 流式读取整个文件，定位第一个超长行：

from smart_open import open

max_len = 0
problem_info = None
line_num = 0

with open(f's3://{bucket}/{file_key}', 'r') as f:
    for line in f:
        line_num += 1
        current_len = len(line)
        if current_len > max_len:
            max_len = current_len
            if current_len > 10485760: # 超过10MB直接标记
                problem_info = (line_num, current_len, line[:1000])
                print(f"找到超长行: 第{line_num}行，长度{current_len}")
                print(f"内容片段: {problem_info[2]}...")
                break

print(f"文件最大行长度: {max_len}")

内容的提问来源于stack exchange，提问作者Nithya Anand