PySpark字符串numpy数组列如何过滤?array_contains报类型错误求助
报错产生原因
你遇到的TypeError: 'Column' object is not callable,核心是对PySpark的语法规则使用偏差:
- 你在代码中将
array_contains作为Column列对象的链式方法调用,写成了f.col("col").array_contains("bad")的形式 - 由于PySpark的Column类本身没有内置
array_contains实例方法,上述写法会被Spark解析为“尝试从col列的数组元素中取出key为array_contains的字段值”,最终返回一个Column类型的对象;紧随其后的("bad")会被Python识别为对这个Column对象的函数调用,而Column类型本身不可被调用,因此触发类型错误。
正确实现方案
适配你原有思路的实现(先打标记列再筛选)
array_contains是pyspark.sql.functions模块下的独立顶层函数,调用时需要传入两个位置参数:待检测的数组列、需要匹配的目标值,修正后的代码如下:
from pyspark.sql import functions as f foo = foo.withColumn( 'at_least_one_bad', f.when( # 修正函数调用方式:作为独立函数传入两个参数 f.array_contains(f.col("col"), "bad"), f.lit(1) ).otherwise(f.lit(0)) ) # 基于标记列过滤掉所有col列包含'bad'的行 filtered_result = foo.filter(f.col("at_least_one_bad") == 0)
更精简的无标记列实现
实际场景中不需要额外新增临时标记列,直接在筛选逻辑中调用判断函数即可,代码更简洁高效:
# ~ 符号表示对判断结果取反,保留所有col列中不包含"bad"的行 filtered_result = foo.filter(~f.array_contains(f.col("col"), "bad"))
内容的提问来源于stack exchange,提问作者quant
相关产品推荐
相关产品推荐

