Spark 3.3布尔过滤异常：原Spark3.1正常代码现返回空DataFrame

1. isin(*widget_ids)参数的类型/空值问题 #

Spark 3.3对isin的参数校验比3.1严格得多：

• 如果widget_ids是空列表，解包后isin()会直接过滤掉所有行；
• 如果widget_ids里的元素类型和_id列类型不匹配（比如_id是字符串，widget_ids里混了数字），匹配会完全失效，返回空DF。
  修复： 先统一类型，比如_id是字符串的话，把widget_ids转成字符串列表：widget_ids = [str(id) for id in widget_ids]；同时先判断widget_ids非空再执行过滤。

2. 布尔列过滤的隐式转换坑 #

你看到IdMatch有true值，但用== True过滤为空，大概率是这两个原因：

• IdMatch实际是字符串类型（比如存的是"true"/"false"），不是Spark的BooleanType，此时== True自然匹配不到；
• Spark 3.x中Python布尔值和Spark BooleanType的隐式转换有变化，直接用== True可能失效。
  修复：

1. 先跑widgets_df.printSchema()确认IdMatch类型：如果是StringType，改成F.col("IdMatch") == "true"；
2. 如果是BooleanType，改用Spark原生的布尔判断：

   widgets_df.filter(F.col("IdMatch"))
   # 或者更严谨的写法
   widgets_df.filter(F.col("IdMatch").isTrue())
   

3. Spark优化器的行为变更 #

Spark 3.3的Catalyst优化器对过滤逻辑的处理和3.1不同，比如_id列存在null值，或者widget_ids包含null时，isin的匹配逻辑会变化（3.x中isin(null)只会匹配null，3.1可能有宽松处理）。
排查： 先过滤掉_id为null的行再执行匹配：

widgets_df = widgets_df.filter(F.col("_id").isNotNull()).filter(F.col("_id").isin(*widget_ids))

内容的提问来源于stack exchange，提问作者rouble