PySpark函数中spark.sql参数传递失效，如何正确传参？

先看你代码里的几个问题： #

• 函数定义缺少冒号 :
• 参数名拼写错误（函数定义里是dapature_time，格式化时用了departure_time）
• 字符串格式化的位置错误：format()应该放在整个SQL字符串的末尾，而非WHERE子句的括号内
• SELECT语句多了冗余逗号（SELECT id, 后面无后续列）
• 直接字符串格式化存在SQL注入风险，不是生产环境最优方案

正确的参数传递方式 #

方式1：修正字符串格式化（仅作语法纠正，不推荐生产用）

先把语法错误修正，确保参数正确替换：

def Get_Data(departure_time):
    data = spark.sql(
        """SELECT id 
           FROM datalake 
           WHERE departure_time >= '{}'""".format(departure_time)
    )
    return data

注意：如果参数来自用户输入，这种方式可能引发SQL注入，生产环境谨慎使用。

方式2：使用Spark参数化查询（推荐，安全可靠）

Spark支持通过命名参数或位置占位符传递变量，彻底避免SQL注入：

方法2.1：命名参数写法

def Get_Data(departure_time):
    sql_query = """SELECT id 
                   FROM datalake 
                   WHERE departure_time >= :depart_time"""
    data = spark.sql(sql_query, params={"depart_time": departure_time})
    return data

方法2.2：位置占位符写法

def Get_Data(departure_time):
    sql_query = """SELECT id 
                   FROM datalake 
                   WHERE departure_time >= ?"""
    data = spark.sql(sql_query, args=(departure_time,))
    return data

方式3：临时绑定配置变量（适用于Spark 2.3+）

通过spark.conf.set临时绑定变量，再在SQL中引用：

def Get_Data(departure_time):
    spark.conf.set("spark.sql.departure_time", departure_time)
    data = spark.sql("""SELECT id 
                        FROM datalake 
                        WHERE departure_time >= ${spark.sql.departure_time}""")
    return data

原错误原因解释 #

你原来的代码中，format(departure_time)被写在了SQL字符串的括号内，导致Spark解析的是未完成格式化的原始字符串——既没有正确替换参数，还包含非法SQL语法（.format(...)被当成SQL的一部分），因此触发tuple index out of range错误，同时查询逻辑无效返回空DataFrame。

内容的提问来源于stack exchange，提问作者MUNGUASAENG