Python中`x in List`与`Set`/`Dict`的判断差异及Polars dtype适配疑问

一、Python中in操作的核心差异 #

1. 列表（list）的in判断逻辑 #

列表的in操作会遍历所有元素，依次用**相等运算符（==）**比较目标值与列表元素，只要存在任意一个元素满足x == element，就返回True。这种判断仅依赖对象的__eq__方法实现。

2. 集合（set）或字典键的in判断逻辑 #

集合和字典基于哈希表实现，in操作分为两步：

• 第一步：计算目标值的哈希值（hash(x)），在哈希表中定位对应的哈希桶；
• 第二步：在哈希桶内，用**相等运算符（==）**比较目标值与桶内元素（但前提是哈希值必须匹配，否则直接跳过该桶）。

关键规则：如果两个对象的__eq__返回True，但哈希值（__hash__返回值）不相等，集合/字典的in操作会判定为不匹配——因为哈希值不匹配时，不会进入后续的相等性检查。

二、Polars场景的具体问题分析 #

在你的代码中：

import polars as pl
s = pl.Series(["a", "b"], dtype=pl.Categorical)

s.dtype in [pl.Categorical, pl.Enum]  # True
s.dtype in {pl.Categorical, pl.Enum}  # False
s.dtype in {pl.Categorical: 1, pl.Enum: 2} # False

问题根源在于Polars的DataType子类实现：

• s.dtype是pl.Categorical类的实例，但Polars重写了该类的__eq__方法，使得实例与类本身比较时返回True（即s.dtype == pl.Categorical为True）；
• 但Polars未重写对应的__hash__方法，导致s.dtype的哈希值（基于实例身份）和pl.Categorical类的哈希值（基于类身份）完全不同。

因此：

• 列表的in操作只校验==，返回True；
• 集合/字典的in操作先校验哈希值，因哈希不匹配直接返回False。

三、Polars的调整方向 #

要让集合判断生效，Polars可从以下方面调整：

• 重写DataType子类的__hash__方法，确保当a == b时，hash(a) == hash(b)。例如让pl.Categorical实例的哈希值与类本身的哈希值一致：

  class Categorical(DataType):
      def __eq__(self, other):
          return other is Categorical
      def __hash__(self):
          return hash(Categorical)
  

• 调整dtype的返回形式：让s.dtype直接返回类对象而非实例（但这涉及内部架构调整，需权衡兼容性）。

用户侧也可通过显式转换规避陷阱：比如用type(s.dtype)代替s.dtype，或在集合中存储对应类型的实例而非类对象（若Polars允许创建无参数实例）。

内容的提问来源于stack exchange，提问作者johnhopfensperger