Polars连接LazyFrame致Python内核崩溃：空值填充引发数据膨胀

问题场景 #

• 操作对象：两个Polars DataFrame，bos_df_3（约3万行）、taxon_ranked_only（约600万行）
• 执行操作：基于genericName、specificEpithet、infraspecificEpithet三个字段执行右连接，调用collect()时Marimo Notebook内核崩溃
• 无效的优化尝试：
  • 开启gpu=True加速
  • 启用streaming=True流式处理
  • 将taxon_ranked_only切割为100万行的小批量分批连接

根因定位 #

通过.sink_csv()导出连接结果时发现，此前将连接键中的空值填充为空字符串的操作，导致连接后的数据量异常膨胀至91GB，内存过载直接引发内核崩溃。

空字符串作为连接键会产生大量无意义的跨表匹配，尤其是当两个DataFrame都存在大量空值填充的行时，会触发数据爆炸式增长。

修复建议 #

• 取消连接键的空值转空字符串操作，保留Polars原生的null值处理逻辑：null在连接时不会与任何值（包括其他null）匹配，避免无效关联
• 连接前预处理：过滤掉连接键全为null的行，减少不必要的计算量
• 若业务上需要空值匹配，可指定自定义的空值占位符（而非空字符串），并确保仅在必要场景下使用

内容的提问来源于stack exchange，提问作者m2h9