在Databricks中用Spark读取Azure SQL表时时间戳WHERE条件失效问题

问题背景 #

通过Spark JDBC查询Azure SQL表时，时间戳字段的WHERE条件始终返回空结果，但相同语句在SQL环境中能正常返回14816行数据。数值类型字段的过滤条件可正常生效，仅时间戳类型存在问题。

相关Spark代码：

query = "(select * FROM [Source].[TimeSeriesValues] WHERE timeofday > '2024-04-02 20:59:00.0000000') as t"
df = spark.read.format('jdbc').option('url', url).option('dbtable',query).load()

SQL环境中可正常执行的语句：

SELECT * 
FROM [Source].[TimeSeriesValues] 
WHERE  timeofday > '2024-04-02 20:59:00.0000000'

可行解决方法 #

1. 调整时间字符串格式 #

Spark JDBC驱动对时间字符串的解析逻辑可能与Azure SQL原生存在差异，尝试使用标准ISO 8601格式或简化小数位的时间字符串：

query = "(select * FROM [Source].[TimeSeriesValues] WHERE timeofday > '2024-04-02T20:59:00.000') as t"

2. 显式转换时间戳类型 #

在查询中通过Azure SQL的CONVERT函数将字符串转为对应时间类型，避免驱动自动解析出错：

query = "(select * FROM [Source].[TimeSeriesValues] WHERE timeofday > CONVERT(datetime2, '2024-04-02 20:59:00.0000000', 121)) as t"

注：121是Azure SQL对应yyyy-mm-dd hh:mi:ss.mmmmmm格式的转换代码。

3. 使用predicates参数下推过滤逻辑 #

避免在dbtable中嵌套带条件的子查询，改用Spark JDBC的predicates参数传递时间条件，确保过滤逻辑正确下推到数据库端：

df = spark.read.format('jdbc')\
    .option('url', url)\
    .option('dbtable', '[Source].[TimeSeriesValues]')\
    .option('predicates', "timeofday > '2024-04-02 20:59:00.0000000'")\
    .load()

4. 升级JDBC驱动版本 #

旧版本的Azure SQL JDBC驱动可能存在时间类型解析bug，确保使用最新版本（如Microsoft JDBC Driver 12.4 for SQL Server），并在代码中指定驱动类：

df = spark.read.format('jdbc')\
    .option('url', url)\
    .option('dbtable', query)\
    .option('driver', 'com.microsoft.sqlserver.jdbc.SQLServerDriver')\
    .load()

5. 对齐时区设置 #

检查Spark会话时区与Azure SQL数据库时区是否一致，时区不匹配会导致时间条件过滤异常：

# 查看当前Spark时区
print(spark.conf.get("spark.sql.session.timeZone"))
# 设置为与Azure SQL一致的时区（例如UTC）
spark.conf.set("spark.sql.session.timeZone", "UTC")

内容的提问来源于stack exchange，提问作者Simon Jespersen