Python与SQL间传递Timestamp时Spark.conf.set报错的解决求助

spark.conf.set只支持存储字符串类型的配置值，直接传入datetime/date对象会因为类型不匹配报错，解决核心是先将日期时间类型转成标准字符串格式存储，后续在SQL中再解析回日期时间类型。

方案1：Python中手动转换日期时间为字符串 #

将datetime/date对象转成ISO标准格式或自定义格式的字符串，再存入配置：

import datetime as dt

# 处理Timestamp类型
c_time = dt.datetime.now()
# 转成ISO格式字符串（推荐，兼容性好）
c_time_str = c_time.isoformat()
spark.conf.set("myapp.ages", c_time_str)

# 处理Date类型
c_date = dt.date.today()
c_date_str = c_date.isoformat()
spark.conf.set("myapp.today", c_date_str)

在Spark SQL中使用时，通过to_timestamp或to_date函数解析字符串：

-- 使用Timestamp配置
SELECT to_timestamp('${myapp.ages}') AS current_timestamp

-- 使用Date配置
SELECT to_date('${myapp.today}') AS current_date

方案2：从Spark SQL查询结果中转换日期时间 #

如果是从Spark表中查询出的Timestamp/Date类型数据，先转成字符串再存储：

# 查询获取Timestamp类型数据
df = spark.sql("SELECT max(create_time) AS latest_time FROM sample.table_c")
latest_time = df.first()[0]

# 转成指定格式的字符串
latest_time_str = latest_time.strftime("%Y-%m-%d %H:%M:%S")
spark.conf.set("myapp.latest_time", latest_time_str)

SQL中同样解析使用：

SELECT to_timestamp('${myapp.latest_time}', 'yyyy-MM-dd HH:mm:ss') AS latest_time

报错原因说明 #

spark.conf.set的底层实现只接受(String, String)类型的参数，当传入Python datetime对象时，会被自动转换成Java的java.sql.Timestamp类型，而Spark没有提供对应参数类型的set方法，因此抛出Py4JException。

内容的提问来源于stack exchange，提问作者nikhil