如何获取BigQuery加载Mongo导出JSON时泛型解析错误的详细信息？

遇到这种泛型解析错误确实头疼，不过有几个实用的方法能帮你定位到具体的问题记录，我来一步步说：

1. 从BigQuery作业详情里挖取具体错误信息 #

不管你用UI还是命令行提交加载作业，失败后都能找到更详细的错误细节：

• UI方式：进入BigQuery控制台，找到“作业”页面，点击失败的加载作业，在“错误”标签页里，往下翻通常能看到具体的出错行号、甚至部分JSON片段。如果是从GCS加载，还会提示对应的文件路径和偏移量。
• 命令行方式：用bq show --format=prettyjson <你的作业ID>命令，返回的JSON里会有errorResult和errors数组，里面包含具体的错误描述和定位信息，比如哪条记录解析失败。

另外，如果你之前尝试过--max_bad_records参数（允许跳过一定数量的坏记录），可以把这个值设为1，然后成功加载后，用查询语句对比原数据的记录数，找到缺失的那条记录——就是导致错误的元凶。

2. 拆分大文件缩小排查范围 #

既然20条的子集能成功，说明问题出在个别记录上。你可以把大文件拆分成多个小批量文件，逐个加载来定位：

• 如果你的JSON是每行一条记录（JSON Lines格式），用split工具就能快速拆分：

  # 每1000条拆分成一个文件
  split -l 1000 your-large-file.json split-part-
  

• 如果是JSON数组格式，可以用jq工具把数组拆成每行一条：

  jq -c '.[]' your-large-array.json | split -l 1000 - split-part-
  

然后逐个加载这些拆分后的小文件，找到加载失败的那个文件，再进一步拆分成更小的批次，直到定位到具体的错误记录。

3. 用工具验证JSON的合法性 #

Mongo导出的JSON有时候会有BigQuery不兼容的细节问题，你可以用jq来逐个验证记录：

# 验证某个拆分后的小文件，有错误会直接提示位置
jq '.' split-part-00

常见的问题包括：

• 非UTF-8编码的特殊字符：BigQuery严格要求UTF-8，你可以用file -i your-file.json检查编码，必要时用iconv转码。
• 字段类型不一致：比如某条记录里的user_id是数字，其他都是字符串，BigQuery会因为类型冲突报错。
• 未正确转义的字符：比如Mongo里的换行符、引号没转义，导致JSON结构断裂。

4. 用BigQuery的预览功能提前排查 #

在BigQuery UI里，选择要加载的文件（本地或GCS）时，先点击预览按钮，而不是直接启动加载。预览功能会扫描文件的前几行（甚至更多），并直接指出具体的错误记录和问题原因，比如“第1234行的字段address类型为数组，与之前的字符串类型不匹配”，这比泛型错误提示有用多了。

内容的提问来源于stack exchange，提问作者user26270