如何实现Spark JDBC与DataFrame通用的PostgreSQL语法查询？

问题原因 #

你遇到的错误是因为Spark SQL的EXTRACT函数不支持提取EPOCH类型，而JDBC连接的后端数据库（如PostgreSQL、MySQL等）通常支持EXTRACT(EPOCH FROM timestamp)语法来获取时间戳的秒数，导致同一句子在两种场景下兼容性冲突。

通用兼容方案 #

可以使用unix_timestamp函数替代原有的EXTRACT(EPOCH FROM ...)写法，该函数在Spark SQL和多数关系型数据库中均受支持，能保证两边结果一致：

1. JDBC查询调整后的写法

spark.read 
.format("jdbc")
.option("dbtable", "(select * from table where unix_timestamp(current_timestamp) - unix_timestamp(event_recorded_timestamp, 'YYYY-MM-DDTHH:MI:SS.USZ') / 3600 <= 4) as subQuery")
// 补充你的JDBC连接配置（url、user、password等）

2. Spark DataFrame过滤调整后的写法

df1.where("unix_timestamp(current_timestamp) - unix_timestamp(event_recorded_timestamp, 'YYYY-MM-DDTHH:MI:SS.USZ') / 3600 <= 4")

补充说明 #

• unix_timestamp函数的作用：将时间字符串或时间戳转换为从1970-01-01 00:00:00 UTC开始计算的秒数，和EXTRACT(EPOCH FROM ...)的结果完全一致。
• 如果后端数据库对unix_timestamp的格式参数支持有差异，可以保留原有的to_timestamp转换逻辑再嵌套unix_timestamp，确保跨场景兼容：
  例如JDBC端（以PostgreSQL为例）：

  unix_timestamp(current_timestamp) - unix_timestamp(to_timestamp(event_recorded_timestamp, 'YYYY-MM-DDTHH:MI:SS.USZ')) / 3600 <=4
  

  此写法与Spark端完全一致，不会出现兼容性问题。

内容的提问来源于stack exchange，提问作者John Doe