PySpark查询Azure SQL：如何禁用JDBC的inferSchema避免临时表重复创建

核心问题原因 #

Spark的JDBC数据源在Schema推断和实际数据读取阶段会建立两个独立的JDBC会话：

1. 第一次会话执行prepareQuery+带WHERE 1=0的查询用于推断Schema
2. 第二次会话再次执行prepareQuery+实际数据查询
   由于SQL Server的会话临时表（#TempTable）仅在当前会话可见，第二次会话必须重新创建临时表，导致昂贵的全表扫描重复执行。

有效解决方案 #

方案1：强制关闭Schema推断，使用StructType指定Schema #

通过直接传入Spark StructType而非字符串格式的customSchema，配合全局配置禁用Schema推断，彻底跳过元数据查询步骤：

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, IntegerType, StringType

# 初始化SparkSession时禁用全局Schema推断
spark = SparkSession.builder \
    .appName("Azure SQL Temp Table Query") \
    .config("spark.sql.sources.schemaInference", "false") \
    .getOrCreate()

# 定义精确的Schema（需与目标表字段完全匹配）
target_schema = StructType([
    StructField("Id", IntegerType(), nullable=True),
    StructField("FirstName", StringType(), nullable=True),
    StructField("LastName", StringType(), nullable=True)
])

# 读取数据，指定schema并关闭推断
df = spark.read.format("jdbc") \
    .option("url", jdbcUrl) \
    .option("prepareQuery", "(SELECT * INTO #TempTable FROM tbl)") \
    .option("query", "SELECT * FROM #TempTable") \
    .schema(target_schema) \
    .option("inferSchema", "false") \
    .load()

方案2：用CTE替代会话临时表，避免重复创建 #

将临时表逻辑合并到查询语句中，使用CTE（公共表表达式）代替会话临时表，即使Spark执行两次查询，也无需重复创建临时表：

custom_schema = "Id INT, FirstName STRING, LastName STRING"

df = spark.read.format("jdbc") \
    .option("url", jdbcUrl) \
    .option("query", """
        WITH TempCTE AS (
            SELECT * FROM tbl
        )
        SELECT * FROM TempCTE
    """) \
    .option("customSchema", custom_schema) \
    .option("inferSchema", "false") \
    .load()

方案3：使用全局临时表（需注意并发问题） #

将会话临时表改为全局临时表（##TempTable），不同会话可复用已创建的临时表，但需注意并发场景下的表冲突：

df = spark.read.format("jdbc") \
    .option("url", jdbcUrl) \
    .option("prepareQuery", """
        IF NOT EXISTS (SELECT * FROM tempdb.sys.tables WHERE name LIKE '##TempTable%')
        SELECT * INTO ##TempTable FROM tbl;
    """) \
    .option("query", "SELECT * FROM ##TempTable") \
    .option("customSchema", "Id INT, FirstName STRING, LastName STRING") \
    .option("inferSchema", "false") \
    .load()

注意事项 #

• 自定义Schema必须与目标表字段的名称、类型完全匹配，否则会导致数据读取错误
• 全局临时表方案需在查询结束后手动删除（DROP TABLE ##TempTable），避免占用资源
• CTE方案在大表场景下仍会执行两次全表扫描，仅适合无法禁用Schema推断的场景

内容的提问来源于stack exchange，提问作者ralpar