PySpark中执行left anti join后出现'Column'对象不可调用错误的排查

错误原因 #

• 你错误地在col("col1")这个Column对象上调用了count()方法，Column类型并没有count()方法，这直接触发了TypeError: 'Column' object is not callable错误。
• 逻辑层面有误：你需要判断的是左反连接后的结果集fi的总行数是否大于0，而非某一列的计数。

正确代码实现 #

方式一：先统计行数（推荐，数据量大时更高效） #

# 统计左反连接结果的总行数
row_count = fi.count()
if row_count > 0:
    # 若仅需显示col1、col2、col3三列的不匹配记录
    fi.select("col1", "col2", "col3").show()
    # 若需要显示所有列，直接使用：
    # fi.show()

方式二：直接收集结果判断（小数据量适用） #

# 将结果集数据拉取到Driver端（数据量大时不推荐）
mismatched_records = fi.collect()
if mismatched_records:
    fi.select("col1", "col2", "col3").show()
    # 或 fi.show()

补充说明 #

• 左反连接(left_anti)返回的是左表tst_DF中不存在于右表refDF的记录，完全符合你查找不匹配行的需求。
• 若只需关注连接条件的三列，用select("col1", "col2", "col3")过滤列即可；如果需要保留所有列，直接调用show()即可。

内容的提问来源于stack exchange，提问作者user3521180