用jq转换JSON为NDJSON上传BigQuery报解析错误求助

针对BigQuery上传时触发的报错：

读取数据时出错，错误信息：JSON解析失败：未找到有效字段；ParsedString返回false

核心问题定位 #

• 生成的NDJSON格式不符合BigQuery解析规范：BigQuery要求NDJSON文件的每一行必须是独立的合法JSON对象，不能存在空行、非对象类型的无效行（比如单独的字符串、null值）。原有的jq转换命令没有过滤原JSON数组中的非对象元素，极易输出无效行触发解析报错。
• Schema自动识别兼容性差：如果原JSON中存在全为空值的字段、或是嵌套层级过深的字段，BigQuery的自动Schema检测会因为找不到有效可识别的字段值，抛出“未找到有效字段”的错误。
• 文件编码异常：如果生成的NDJSON文件携带BOM头、不是标准UTF-8编码，BigQuery会把第一行的有效JSON识别成无效字符串，触发ParsedString返回false的解析报错。

具体修正操作步骤 #

1. 优化NDJSON转换命令，过滤无效内容
   将原转换命令替换为带无效元素过滤的版本，确保每一行输出都是合法JSON对象：

   cat healthrecord.json | jq -c 'map(objects) | .[]' > healthrecordNDJSON.json
   

   该命令会在遍历原JSON数组时，仅保留符合JSON对象类型的元素做逐行输出，直接过滤数组里的null、纯字符串、数字等非对象内容。
2. 清理生成文件的无效空行
   转换完成后执行清理命令，删除文件内的空行、文件末尾多余的换行符：

   sed -i -e :a -e '/^\n*$/{$d;N;ba' -e '}' healthrecordNDJSON.json
   

3. 逐行校验NDJSON合法性
   执行校验命令确认所有行都能被正常解析，无格式错误：

   jq . healthrecordNDJSON.json
   

   若命令执行无报错，说明文件格式符合NDJSON标准。
4. BigQuery上传参数调整
   • 源格式明确选择“换行分隔的JSON (NDJSON)”，不要选择普通JSON源格式
   • 不完全依赖自动Schema检测：如果自动检测失败，可先通过控制台的文本解析功能手动确认字段，自定义表结构后再执行上传
   • 勾选“允许添加无值字段”选项，兼容空值字段的识别
5. 编码格式校验
   确保最终上传的文件为UTF-8无BOM编码，不要用Windows系统自带记事本编辑修改NDJSON文件，避免软件自动添加BOM头触发解析错误。

内容的提问来源于stack exchange，提问作者cong wang