Polars中is_in与join的None处理差异及对齐pandas方案

核心问题 #

对比Polars DataFrame时，is_in与join对None值的匹配行为存在明显差异：

• is_in默认将None视为可匹配值（遵循None == None的Python值语义）；
• join默认遵循SQL标准，None不与任何值匹配（包括自身）。
  需要实现与pandas默认一致的行为：None值不参与匹配。

疑问解答 #

1. 行为差异是否合理？能否控制？ #

差异是合理的，Polars针对不同场景设计了两种语义：

• is_in面向值匹配场景，遵循Python原生的None相等逻辑；
• join默认对齐SQL标准，这是数据库类工具的通用设计。

行为可灵活调整：

• join可通过null_equal=True参数，强制让None参与匹配；
• is_in无直接参数调整，但可通过自定义逻辑实现None不匹配。

2. 能否让Polars的is_in对齐pandas的isin？ #

可以，通过自定义逻辑处理None值，完全模拟pandas中「None与None不匹配」的默认行为。

实现方案 #

方案1：用Join模拟匹配（推荐） #

直接利用join的默认行为，通过左连接标记匹配行，代码简洁且Polars对Join有成熟的性能优化：

# 给sub_pl添加匹配标记，左连接后填充空值为False
result = main_pl.join(
    sub_pl.select(target_cols).with_columns(matched=True),
    on=target_cols,
    how="left"
).with_columns(
    matched=pl.col("matched").fill_null(False)
)

执行后，main_pl中含None的行（如示例中的r3、r5、r6）会被标记为False，和pandas默认结果完全一致。

方案2：自定义is_in逻辑 #

通过将None替换为业务中不会出现的特殊占位值，让None无法互相匹配：

# 定义一个全局唯一的占位值，避免和业务数据冲突
null_placeholder = "__POLARS_UNIQUE_NULL_MARKER__"

# 替换DataFrame中的None后执行is_in
result = main_pl.with_columns(
    matched=pl.struct(
        [pl.col(c).fill_null(null_placeholder) for c in target_cols]
    ).is_in(
        sub_pl.select(
            [pl.col(c).fill_null(null_placeholder) for c in target_cols]
        ).implode()
    )
)

方案3：分情况显式匹配 #

标记含None的行，单独处理匹配逻辑：

# 先标记sub_pl中是否存在None值
sub_pl_with_flag = sub_pl.with_columns(
    has_null=pl.any(pl.all().is_null())
)

# 对main_pl分情况判断：含None的行直接标记为False，否则用is_in匹配
result = main_pl.with_columns(
    has_null=pl.any(pl.all().is_null()),
    matched_non_null=pl.struct(target_cols).is_in(
        sub_pl_with_flag.filter(~pl.col("has_null")).select(target_cols).implode()
    ),
    matched=pl.when(pl.col("has_null")).then(False).otherwise(pl.col("matched_non_null"))
).drop("has_null", "matched_non_null")

内容的提问来源于stack exchange，提问作者dewser_the_board