Spark中使用余弦函数生成新列时出现报错的技术咨询

• 报错原因：np.cos是numpy的本地计算函数，只能处理普通数值或numpy数组，没法识别PySpark的Column类型对象，自然会抛出不支持该类型的错误。

• 正确解法：用PySpark SQL函数库自带的F.cos()，它是专门为分布式列对象设计的，直接传入F.col('Column A')就行：

import pyspark.sql.functions as F

df = df.withColumn('new', F.cos(F.col('Column A')))

• 额外提醒：如果你的Column A不是数值类型（比如字符串），得先转成数值型再计算，比如转成double类型：

df = df.withColumn('new', F.cos(F.col('Column A').cast('double')))

内容的提问来源于stack exchange，提问作者alex4994