MongoDB Compass导入JSON出现多余null值及异常嵌套数组问题

问题表现 #

• 操作路径：通过MongoDB Compass工具导入大体积JSON文件到MongoDB实例
• 异常现象：导入完成后校验数据，发现部分字段下存在源文件中没有的null值；原始数组字段被额外叠加一层嵌套，新生成的嵌套数组内固定包含10个null值
• 待导入原始数据片段：
  
• 导入后MongoDB中实际存储效果：
  

核心触发原因 #

这类问题均为解析逻辑和文件格式/程序版本不匹配导致，对应10个null的典型特征，触发原因按优先级从高到低排列：

1. Compass旧版本大文件导入已知bug
   1.30到1.40早期版本的Compass，在导入单文件体积超过100MB、外层用[]包裹的数组型JSON文件时，内置的分批插入阈值计算逻辑存在缺陷，每解析10个数组元素就会错误判定一次数组边界，既会把当前截断位置的缺失元素补为null占位，还会把后续读取到的数组内容识别为当前字段的嵌套子数组，和描述的异常特征完全吻合。
2. 源JSON文件存在隐式格式错误
   大体积JSON文件很容易隐藏肉眼无法识别的格式问题：比如数组最后一个元素后多了冗余尾逗号、文件头带UTF-8 BOM标记、字符串字段值里存在未转义的双引号、换行符混用\r和\n。Compass内置的JSON解析器容错性较低，遇到解析失败的位置不会直接终止导入抛错，而是默认用null填充解析失败的位置，同时错误调整后续内容的解析层级，生成多余的嵌套数组。
3. 导入参数配置错误
   如果在导入弹窗里选错了JSON文件类型——比如把每行存一条独立文档的JSON Lines格式文件，误选为普通JSON数组类型导入，解析器会强行按数组结构拆分内容，也会生成大量null值和错误嵌套结构。

解决方法 #

• 先做文件合法性校验：不要靠肉眼翻大文件排查错误，直接用jq命令行工具做全文件扫描，执行jq . 你的导入文件路径.json，如果文件存在格式错误会直接抛出具体错误行号，修复后再执行导入
• 如果校验确认文件格式完全合规，直接将MongoDB Compass升级到最新稳定版，上述大文件分批导入的bug已经在后续迭代中修复
• 大体积数据导入优先使用JSON Lines格式（每行存储一条独立JSON文档，没有外层数组包裹，文档之间不需要加逗号分隔），这种格式下Compass会按行逐行解析，不会出现数组边界识别错误，导入稳定性和速度都远高于整数组包裹的JSON格式
• 临时不想升级、也不想调整文件格式的话，可以在导入设置里把默认的批量插入大小从1000调低到50~100区间，绕开分批解析的边界判定bug

内容的提问来源于stack exchange，提问作者Sam Al Shami