如何在Jupyter Notebook的PySpark查询中传递日期参数？

你的代码核心问题是字符串插值未生效，{filedate}仅作为普通文本被传入SQL语句，没有被替换成实际的日期值。以下是几种可行的修复方案：

方案1：使用f-string直接插值 #

这是最直观的写法，给字符串前缀加f，让Python自动替换变量：

filedate = '2022-11-15'

# 加f前缀后，{filedate}会被替换为实际值
query = f"""(select * from db.xyz
        where name = 'Tom'
        and login = '{filedate}') as salary"""

df = spark.read.format("jdbc")\
    .option("url", jdbc_url)\
    .option("driver", jdbc_driver)\
    .option("dbtable", query).load()

方案2：使用str.format()方法 #

如果你的Python版本不支持f-string（3.6及以下），可以用format方法显式传递变量：

filedate = '2022-11-15'

query = """(select * from db.xyz
        where name = 'Tom'
        and login = '{filedate}') as salary""".format(filedate=filedate)

df = spark.read.format("jdbc")\
    .option("url", jdbc_url)\
    .option("driver", jdbc_driver)\
    .option("dbtable", query).load()

方案3：参数化查询（推荐，规避SQL注入风险） #

直接拼接字符串存在SQL注入隐患，更安全的方式是用Spark JDBC的参数化查询：

filedate = '2022-11-15'

# 用?作为占位符
query = """select * from db.xyz
        where name = 'Tom'
        and login = ?"""

df = spark.read.format("jdbc")\
    .option("url", jdbc_url)\
    .option("driver", jdbc_driver)\
    .option("query", query)\  # 注意此处用query而非dbtable
    .option("parameters", filedate)\  # 传递参数值
    .load()

注：部分JDBC驱动可能需要通过properties传递参数，格式如下：

df = spark.read.format("jdbc")\
    .option("url", jdbc_url)\
    .option("driver", jdbc_driver)\
    .option("query", query)\
    .option("properties", {"user": username, "password": password, "parameters": filedate})\
    .load()

额外注意事项 #

• 确认filedate的格式与数据库中login字段的格式匹配：如果是日期类型，插值时无需加单引号；如果是字符串类型，才需要用单引号包裹。
• 若filedate来自外部输入，必须使用参数化查询（方案3），避免SQL注入攻击。

内容的提问来源于stack exchange，提问作者Rahul