将CSV加载至BigQuery表时遇到问题

我来帮你梳理几个针对性的排查方向，毕竟你已经确认过文件本身没问题，那大概率是BigQuery的加载配置或者Schema细节没匹配上：

• 严格核对表结构与CSV字段的匹配度
  哪怕你对数据熟得不能再熟，也可能出现字段顺序错配、数据类型不兼容的情况。比如CSV里某字段是带引号的数字（比如"123"），但你手动定义的是INT64类型，就会触发解析错误。建议先试试让BigQuery自动检测Schema（创建表时勾选这个选项），对比生成的结构和你手动设置的有没有差异，说不定能发现被忽略的细节。

• 确认CSV格式的配置参数
  你提到了连续分隔符，但还有几个容易踩坑的配置：

  • 如果CSV里用双引号包裹字段内容（比如包含逗号的字符串"New York, NY"），一定要在加载时开启「允许带引号的字段值」；
  • 分隔符不一定是默认的逗号，要是你的文件用的是制表符、分号，得手动指定；
  • 如果字段里包含换行符（比如带引号的多行文本），必须开启--allow_quoted_newlines参数，否则BigQuery会把它当成新行处理，直接导致字段数量不匹配。
    可以试试用CLI命令加载时明确指定这些参数：

  bq load \
    --source_format=CSV \
    --field_delimiter="," \
    --quote="\"" \
    --allow_quoted_newlines \
    your-project.your-dataset.your-table \
    gs://your-bucket/your-file.csv
  

• 检查文件编码和行尾格式
  有时候CSV是UTF-16编码（比如Windows下生成的文件），但BigQuery默认用UTF-8解析，这会导致乱码或解析失败。可以通过GCS文件的元数据或者本地file命令确认编码，加载时加上--encoding=UTF-16参数适配。另外，Windows的CRLF（\r\n）行尾格式偶尔也会引发问题，转换为LF（\n）后再上传试试。

• 空值处理的细节验证
  你说给空字段加了NULL值，但要注意：如果是手动添加了字符串"NULL"，而对应的字段是数值/日期类型，BigQuery会把它当成无效值报错。这时候需要在加载时设置--null_marker="NULL"，告诉BigQuery把这个字符串识别为NULL；如果是空内容（没有任何字符），那数值类型字段会自动解析为NULL，字符串类型则是空字符串，不需要额外配置。

• 用小样本定位问题行
  既然能把整个文件导入单个字段，说明文件本身可读取。可以把CSV的前10行存成一个小文件，用它来测试创建表。如果小文件能成功加载，说明原文件里某一行存在特殊字符或格式异常，这时候可以用--max_bad_records=1参数跳过错误行，同时查看BigQuery的加载日志，定位具体的问题行进行修复。

内容的提问来源于stack exchange，提问作者Shruti