调用导入的PySpark Notebook函数出现Column is not iterable错误

你使用的withColumnRenamed方法入参要求为两个字符串，分别对应旧列名、新列名。你的代码中将current_timestamp()返回的Column类型对象作为第二个参数传入，PySpark解析时尝试将Column对象当做字符串处理，因此抛出Column is not iterable错误。
另外从你的函数命名add_ingest_date来看，你的需求是新增数据入库时间列，并非重命名已有列，属于方法调用错误。

场景1：需要新增入库时间列（匹配你的函数设计目标） #

将withColumnRenamed替换为withColumn方法，该方法用于新增/修改列，第一个参数为新列名（字符串），第二个为列计算逻辑：

from pyspark.sql.functions import current_timestamp
def add_ingest_date(input_df):
    output_df = input_df.withColumn("ingest_date", current_timestamp())
    return output_df

修改后重新调用函数即可正常执行。

场景2：确实需要重命名指定列 #

将第二个入参替换为你要设置的新列名字符串即可：

def add_ingest_date(input_df):
    output_df = input_df.withColumnRenamed("somecolumn", "new_column_name")
    return output_df

内容的提问来源于stack exchange，提问作者Mrinal Das