Databricks Connect下PySpark filter报[NOT_COLUMN_OR_STR]错误的解决咨询

错误详情 #

错误信息：

[NOT_COLUMN_OR_STR] Argument Condition should be a Column or str, got Column.

触发错误的代码：

from pyspark.sql.functions import col

df = df.filter(col('foo_column').isNotNull())

该代码在Databricks笔记本中运行正常，但通过Databricks Connect调用外部.py文件时触发错误。经排查发现类型差异：

• 笔记本中col返回类型：pyspark.sql.column.Column
• .py文件中col返回类型：pyspark.sql.connect.column.Column

而使用df['foo_column'].isNotNull()的写法可正常运行。

原因分析 #

Databricks Connect采用客户端-集群分离架构：

• 笔记本运行在集群端，直接使用集群原生PySpark库，col返回集群标准的Column类型。
• 本地.py文件通过Connect客户端连接集群，此时导入的pyspark.sql.functions.col返回客户端侧的pyspark.sql.connect.column.Column对象，DataFrame的filter方法无法识别该类型，导致类型校验失败。

解决方案 #

方案1：使用DataFrame列引用替代col函数 #

直接通过DataFrame对象引用列，这种写法在集群端和客户端环境下均兼容：

df = df.filter(df['foo_column'].isNotNull())
# 也可使用属性访问方式
df = df.filter(df.foo_column.isNotNull())

方案2：使用SQL字符串作为过滤条件 #

将过滤逻辑写成SQL字符串，绕过Column对象的类型差异问题：

df = df.filter("foo_column IS NOT NULL")

方案3：导入适配Connect的col函数 #

在本地.py文件中，从Connect专属模块导入col，确保返回的Column对象与客户端API兼容：

from pyspark.sql.connect.functions import col

df = df.filter(col('foo_column').isNotNull())

注意：该写法仅适用于Databricks Connect环境，若代码需同时在笔记本运行，建议优先选择方案1或2保证兼容性。

内容的提问来源于stack exchange，提问作者user25321164