通过添加查询参数优化Spark JDBC读取SQL Server性能

完全可行，用自定义查询替代全表读取是降低数据传输量、提升性能的直接有效方式，微软的SQL Server Spark连接器支持这种用法。

具体实现方法 #

只需要把原代码中的dbtable参数值，替换成带括号的SQL查询语句并指定临时别名即可。Spark会将这个查询当作临时表处理，直接在SQL Server端执行查询，只拉取符合条件的结果集。

修改后的代码示例：

DF = spark.read \
        .format("com.microsoft.sqlserver.jdbc.spark") \
        .option("url", jdbcUrl) \
        .option("dbtable", "(select * from my_table where record_time > '2024-01-01 00:00:00') as temp_table") \
        .option("user", username) \
        .option("password", password).load()

注意要点 #

• 必须给子查询加一个临时别名（比如示例里的temp_table），否则SQL Server会返回语法错误。
• 时间戳格式要符合SQL Server的要求，建议用单引号包裹标准格式的时间字符串（如'YYYY-MM-DD HH:MM:SS'）。
• 如果查询包含复杂逻辑（多表关联、聚合等），先在SQL Server客户端验证查询能正常执行，确保数据库端能正确处理。
• 若结果集仍较大，可以搭配partitionColumn、numPartitions等参数实现并行读取，进一步提升性能：

  DF = spark.read \
          .format("com.microsoft.sqlserver.jdbc.spark") \
          .option("url", jdbcUrl) \
          .option("dbtable", "(select * from my_table where record_time > '2024-01-01 00:00:00') as temp_table") \
          .option("user", username) \
          .option("password", password) \
          .option("partitionColumn", "record_time") \
          .option("lowerBound", "2024-01-01 00:00:00") \
          .option("upperBound", "2024-06-01 00:00:00") \
          .option("numPartitions", 4).load()
  

内容的提问来源于stack exchange，提问作者Ross