如何在PySpark SQL的Hive查询中传入变量替代硬编码值

首先修正原初始化代码的语法错误：原代码中master("local[1]")缺少右侧闭合括号，正确初始化逻辑如下：

spark = SparkSession.builder.master("local[1]").enableHiveSupport().appName("test").getOrCreate()

方案1：Python字符串格式化（兼容所有Spark版本） #

适合参数为内部可控变量的场景，配合time.strftime传入当前日期的实现逻辑如下：

import time
from pyspark.sql import SparkSession

spark = SparkSession.builder.master("local[1]").enableHiveSupport().appName("test").getOrCreate()

# 自定义传入参数
name = "xxxx"
# 生成yyyy-MM-dd格式的当前日期
current_date = time.strftime("%Y-%m-%d")

# 用f-string拼接SQL，字符串参数需外层包裹单引号
df = spark.sql(f"SELECT * FROM table_name WHERE date = '{current_date}' AND name = '{name}'")

注意事项：

• 字符串类型参数的占位符外侧需要补充单引号
• 该方案存在SQL注入风险，若参数来自外部用户输入不建议使用

方案2：Spark原生参数化查询（推荐，Spark 3.3.0+支持） #

Spark官方提供的安全传参方案，无需手动处理引号，无SQL注入风险：

import time
from pyspark.sql import SparkSession

spark = SparkSession.builder.master("local[1]").enableHiveSupport().appName("test").getOrCreate()

name = "xxxx"
current_date = time.strftime("%Y-%m-%d")

# 使用:参数名作为占位符，通过args字典传值
df = spark.sql(
    "SELECT * FROM table_name WHERE date = :query_date AND name = :query_name",
    args = {"query_date": current_date, "query_name": name}
)

直接使用current_date内置函数方案 #

无需通过Python生成当前日期，直接调用Spark SQL内置的current_date()函数即可实现动态取当前日期：

from pyspark.sql import SparkSession

spark = SparkSession.builder.master("local[1]").enableHiveSupport().appName("test").getOrCreate()

name = "xxxx"

# 直接在SQL中调用current_date()，无需额外传递日期参数
df = spark.sql(
    "SELECT * FROM table_name WHERE date = current_date() AND name = :query_name",
    args = {"query_name": name}
)

注：若使用低版本Spark不支持args参数，可将上述SQL替换为f-string写法：f"SELECT * FROM table_name WHERE date = current_date() AND name = '{name}'"

内容的提问来源于stack exchange，提问作者Padfoot123