通过Airflow将GCS内CSV导入BigQuery时遇ASCII 0错误如何处理

报错信息：'message': 'Error while reading data, error message: Error detected while parsing row starting at position: 21. Error: Bad character (ASCII 0) encountered.'

报错提示的position: 21是指文件的字节偏移量，不是行内的字符位置。你之前的代码仅做了UTF-8编码校验打印内容，不可见的Null字符不会被显式输出，因此无法定位问题。可以使用如下代码快速确认问题：

# 查看偏移量21位置的字节，确认是否为ASCII 0
with open(file_new, 'rb') as fp:
    fp.seek(21)
    target_byte = fp.read(1)
    print(f"位置21的字节：{target_byte}，是否为ASCII 0：{target_byte == b'\x00'}")

# 扫描全文件所有Null字符的位置
with open(file_new, 'rb') as fp:
    content = fp.read()
    null_positions = [idx for idx, byte in enumerate(content) if byte == 0]
    print(f"全文件Null字符位置列表：{null_positions}")

方案1：预处理清理Null字符（推荐） #

直接替换文件中所有Null字符，用清理后的文件执行导入，不会丢失正常数据：

with open(file_new, 'rb') as in_fp:
    raw_content = in_fp.read()
# 替换所有ASCII 0字符为空
cleaned_content = raw_content.replace(b'\x00', b'')
with open(f'cleaned_{file_new}', 'wb') as out_fp:
    out_fp.write(cleaned_content)

将清理后的文件上传到GCS，再执行Airflow导入任务即可。

方案2：调整Airflow任务参数兼容问题 #

如果不希望修改源文件，可以在Airflow的GCSToBigQueryOperator加载配置中添加以下参数：

ignore_unknown_values=True,
encoding='UTF-8',
# 可选：允许跳过最多N条问题行，适合可接受少量数据丢失的场景
max_bad_records=5

内容的提问来源于stack exchange，提问作者mj8701