Polars LazyFrame左连接结合~is_in过滤未达预期效果排查

问题原因 #

这个问题源于Polars Lazy模式的谓词下推优化：

• Lazy模式下Polars会自动将过滤逻辑尽可能提前执行以提升性能。你过滤的group列来自右表，Polars会把~pl.col("group").is_in(["D","E","F"])的过滤逻辑提前到右表的join操作之前。
• 右表被提前过滤后仅保留group为A/B/C的行，左表中values为4/5/6的行无法匹配到右表数据，对应group列变为Null。
• ~pl.col("group").is_in(["D","E","F"])对Null值的计算结果是Null，Polars的filter默认不会排除Null对应的行，最终所有行被保留，行数与未过滤时一致。

解决办法 #

方法1：阻止谓词下推

在join后添加.cache()强制缓存中间结果，避免过滤逻辑被提前执行：

pl_df3 = (
    pl_df2.select(pl.exclude("group"))
    .join(pl_df.lazy(), left_on="values", right_on="values2", how="left")
    .cache()  # 强制缓存连接结果，阻断谓词下推
)
b = pl_df3.filter(~pl.col("group").is_in(["D","E","F"])).collect().shape

方法2：显式处理Null值

结合.is_not_null()明确排除group为Null的行：

b = pl_df3.filter(
    pl.col("group").is_not_null() & ~pl.col("group").is_in(["D","E","F"])
).collect().shape

方法3：先收集结果再过滤（牺牲Lazy性能）

如果不介意失去Lazy模式的性能优势，可以先collect连接结果，再执行过滤：

pl_df3_collected = pl_df3.collect()
b = pl_df3_collected.filter(~pl.col("group").is_in(["D","E","F"])).shape

验证 #

使用上述方法后，b的行数会变为3，符合预期（a的行数为6）。

内容的提问来源于stack exchange，提问作者user21703458