You need to enable JavaScript to run this app. PySpark字符串numpy数组列如何过滤?array_contains报类型错误求助
优惠活动
大模型
产品
解决方案
定价
更多

PySpark字符串numpy数组列如何过滤?array_contains报类型错误求助

报错产生原因

你遇到的TypeError: 'Column' object is not callable,核心是对PySpark的语法规则使用偏差:

  • 你在代码中将array_contains作为Column列对象的链式方法调用,写成了f.col("col").array_contains("bad")的形式
  • 由于PySpark的Column类本身没有内置array_contains实例方法,上述写法会被Spark解析为“尝试从col列的数组元素中取出key为array_contains的字段值”,最终返回一个Column类型的对象;紧随其后的("bad")会被Python识别为对这个Column对象的函数调用,而Column类型本身不可被调用,因此触发类型错误。
正确实现方案

适配你原有思路的实现(先打标记列再筛选)

array_contains是pyspark.sql.functions模块下的独立顶层函数,调用时需要传入两个位置参数:待检测的数组列、需要匹配的目标值,修正后的代码如下:

from pyspark.sql import functions as f

foo = foo.withColumn(
    'at_least_one_bad',
    f.when(
        # 修正函数调用方式:作为独立函数传入两个参数
        f.array_contains(f.col("col"), "bad"),
        f.lit(1)
    ).otherwise(f.lit(0))
)

# 基于标记列过滤掉所有col列包含'bad'的行
filtered_result = foo.filter(f.col("at_least_one_bad") == 0)

更精简的无标记列实现

实际场景中不需要额外新增临时标记列,直接在筛选逻辑中调用判断函数即可,代码更简洁高效:

# ~ 符号表示对判断结果取反,保留所有col列中不包含"bad"的行
filtered_result = foo.filter(~f.array_contains(f.col("col"), "bad"))

内容的提问来源于stack exchange,提问作者quant

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 08:45:03