遍历DataFrame的columns/dtypes为何会导致后续join操作报错?
报错根因:循环变量覆盖了导入的
col函数 问题本质
该类报错与遍历df.columns、df.dtypes的操作无关,遍历过程也不会修改DataFrame的底层结构,核心原因是循环变量命名与导入的col函数重名,覆盖了原有函数的引用:
- 代码开头必然导入了PySpark内置函数:
from pyspark.sql.functions import col,此时命名空间中的col指向可调用的函数对象。 - 遍历
df.columns的循环写法为for col in df.columns::df.columns的元素是字符串类型的列名,循环过程中变量col会被依次赋值为列名字符串,直接覆盖了原来指向col函数的引用。循环结束后,后续代码中的col("filepath")实际调用的是循环最后一次赋值的字符串变量,字符串不可调用,触发'str' object is not callable报错。 - 改用
for col in df.dtypes:遍历的时候:df.dtypes的元素是(列名, 数据类型)格式的元组,循环过程中col变量被覆盖为元组类型,后续调用col(...)时触发'tuple' object is not callable报错,与报错信息完全匹配。 - 测试列表推导式代码时的报错,是因为执行该段代码前,之前的遍历循环已经将
col变量覆盖为字符串/元组,并非列表推导式本身存在问题。
修复方案
修改循环变量的命名,避免与导入的col函数重名即可,例如将循环变量改为column、col_name这类无冲突的名称:
# 错误写法(会覆盖col函数引用) for col in df.columns: print("hello") # 正确写法(无命名冲突) for column in df.columns: print("hello") # 遍历dtypes同理,可直接拆包使用 for col_name, dtype in df.dtypes: print(col_name, dtype)
修改后,后续代码中的col("filepath")调用将正常指向原始导入的函数,不会再出现类型不可调用的报错。
内容的提问来源于stack exchange,提问作者ronald mcdolittle
相关产品推荐
相关产品推荐

