Spark读取Azure SQL时，如何传入RowVersion类型的二进制参数？

Spark JDBC的query选项不支持直接使用带?的参数化查询，针对RowVersion这类二进制参数，有两种可行的实现方式：

方式一：直接拼接十六进制格式的RowVersion值到查询语句 #

RowVersion在SQL Server中以二进制类型存储，可将其转换为带0x前缀的十六进制字符串，直接拼入SQL语句中：

# 示例RowVersion的十六进制表示，实际替换为你的目标值
target_rowversion = "0x0000000000001234"

df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://serverName.database.windows.net;databaseName=databaseName") \
    .option("query", f"SELECT * FROM dbo.tableName WHERE RowVersion > {target_rowversion}") \
    .option("accesstoken", access_token) \
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
    .load()

注意：如果RowVersion值来自外部输入，需确保来源可信，避免SQL注入风险。

方式二：使用predicates选项实现分区过滤（适合并行读取） #

若需要并行读取数据，可通过predicates指定过滤条件，每个条件对应一个数据分区：

# 定义过滤条件，替换为你的目标RowVersion值
predicates = ["RowVersion > 0x0000000000001234"]

df = spark.read.format("jdbc") \
    .option("url", "jdbc:sqlserver://serverName.database.windows.net;databaseName=databaseName") \
    .option("dbtable", "dbo.tableName") \
    .option("predicates", ",".join(predicates)) \
    .option("accesstoken", access_token) \
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver") \
    .load()

补充说明 #

RowVersion在SQL Server中是自动生成的二进制值，默认用带0x前缀的十六进制字符串表示，直接拼入SQL语句会被数据库正确解析为二进制类型。如果你的RowVersion是字节数组格式，需先将其转换为十六进制字符串再添加0x前缀。

内容的提问来源于stack exchange，提问作者TheDuck