为什么导入MongoDB的JSON文件总大小远大于数据库内集合存储占用？

你观察到的存储下降是BSON二进制存储格式和WiredTiger存储引擎压缩共同作用的结果，二者的贡献占比会根据你的JSON内容结构有所差异：

• BSON二进制格式的冗余消除
  原生JSON是纯文本格式，天生存在大量冗余：每个键值对的双引号、分隔用的逗号、换行缩进等空白符都会额外占用空间，数值、布尔值、日期等类型以字符串形式存储，也会产生不必要的空间浪费。
  举个简单例子：JSON文本{"age": 25}连符号一共占11字节，存储为BSON格式仅需要7字节。如果你的JSON文件做了格式化缩进，这部分空白符在导入后会被完全剔除，进一步降低占用。如果文档存在大量重复字段名、数值类型字段，BSON的精简收益会更明显。
• WiredTiger存储引擎的压缩机制
  MongoDB默认使用的WiredTiger存储引擎默认开启了两层压缩：
  • 集合数据默认使用Snappy轻量压缩算法，针对存在大量重复字符串（比如重复字段名、枚举值）的结构化数据，压缩率通常可以达到3:1~5:1，你这次存储从5G降到0.9G的大部分收益都来自这部分。如果调整压缩算法为zstd或zlib，压缩率还能进一步提升，仅会增加少量CPU开销。
  • 索引默认使用前缀压缩，对相同前缀的索引键合并存储，也能降低索引的磁盘占用。

如果需要量化两类优化的贡献，可以在测试环境关闭WiredTiger压缩后重新导入数据，此时的存储占用和原JSON总大小的差值就是BSON格式带来的优化空间，剩余差值则为压缩算法的贡献。

内容的提问来源于stack exchange，提问作者simo