PySpark2.x应用UDF处理列计算周期特征时触发Py4JJavaError报错

运行环境与场景 #

• Spark版本：2.x，使用PySpark
• 业务场景：为DNN训练做日期类字段预处理，需要对日、月字段计算正弦、余弦值，捕捉日期的周期特性
• 测试DataFrame样例数据：

day    month    ...
 1       1
 2       3 
 3       1      ...

报错现象 #

之前使用UDF处理列均正常运行，本次代码执行时抛出英文错误Py4JJavaError: An error occurred while calling 0.24702.showString.，原失败代码如下：

def to_cos(x, _max):
    return np.sin(2*np.pi*x / _max)

to_cos_udf = udf(to_cos, DecimalType())

df = df.withColumn("month", to_cos_udf("month", 12))

已尝试的无效操作：

• 将UDF返回类型修改为IntegerType
• 将函数改写为仅接收单个参数的形式

问题根因 #

1. 返回值类型不匹配：numpy的正弦/余弦计算结果是双精度浮点数，声明返回DecimalType/IntegerType会触发类型转换失败；且三角函数返回值在[-1,1]区间，转整数会全部变为0，完全不符合编码要求。
2. UDF传参不符合规范：Spark 2.x的UDF入参必须为Column类型，直接传入字面量常量12没有通过lit()包装为列对象，执行阶段无法解析参数。
3. 逻辑笔误：函数命名为to_cos，内部实际调用的是np.sin，即使代码跑通计算结果也是错误的。

解决代码 #

方案1：修正UDF写法（适配自定义Python逻辑场景） #

import numpy as np
from pyspark.sql.types import DoubleType
from pyspark.sql.functions import udf, lit

# 余弦计算用np.cos，正弦用np.sin，不要写错
def to_cos(x, _max):
    return np.cos(2*np.pi*x / _max)

# 返回值类型匹配浮点数，用DoubleType
to_cos_udf = udf(to_cos, DoubleType())

# 常量参数必须用lit()包装为Column类型
df = df.withColumn("month_cos", to_cos_udf("month", lit(12)))
df = df.withColumn("month_sin", to_cos_udf("month", lit(12)))

方案2：使用Spark内置函数（推荐，性能最优） #

这类简单数学计算不需要写Python UDF，Python UDF需要跨进程序列化数据，性能比内置函数低数倍，直接调用原生三角函数即可：

from pyspark.sql.functions import cos, sin, col, lit, pi

df = df.withColumn("month_cos", cos(2*pi()*col("month")/lit(12))) \
       .withColumn("month_sin", sin(2*pi()*col("month")/lit(12)))
# 处理day列时把除数换成对应周期最大值即可，比如每月最大天数31

提示：不要直接覆盖原month/day列，新生成的编码列建议加后缀区分，避免原始字段丢失。

内容的提问来源于stack exchange，提问作者haneulkim