Databricks PySpark中如何基于输入参数动态替换Spark SQL中的目录/模式/表名

嗨，这个需求在Databricks日常开发里太常见了，其实用PySpark很容易实现动态替换这些标识符，我给你分享几个实用的方案，你可以根据自己的场景来选：

方法一：用Python f-string直接拼接（最直观） #

f-string是Python 3.6+的特性，Databricks的运行环境完全支持，它能帮你快速把变量嵌入到SQL语句里。步骤很简单：

1. 先定义好你的参数（这些参数可以来自Databricks作业参数、笔记本控件，或者其他外部配置）
2. 用f-string把参数拼接到SQL语句中
3. 执行拼接好的SQL

示例代码：

# 定义输入参数（可根据实际来源替换）
catalog_name = "my_catalog"
schema_name = "my_schema"
target_table = "my_target_table"

# 读取数据+转换（你的原有逻辑）
df = spark.read.option("header", "true").schema(csv_schema).csv(source_path)
# 这里放你的基础转换逻辑，比如df = df.withColumn(...)
df.createOrReplaceTempView("temp_table")

# 动态生成INSERT语句
insert_sql = f"""
INSERT INTO `{catalog_name}`.`{schema_name}`.`{target_table}`
SELECT * FROM temp_table
"""
# 执行SQL
spark.sql(insert_sql)

注意我给标识符加了反引号`，如果你的目录/模式/表名里包含空格、特殊字符或者SQL关键字，这样能避免语法错误，非常实用。

方法二：用str.format()方法（兼容性更强） #

如果你的环境是旧版本Python（不过Databricks基本都是新版本了），可以用str.format()来实现同样的效果，写法稍微不同：

insert_sql = """
INSERT INTO `{}`.`{}`.`{}`
SELECT * FROM temp_table
""".format(catalog_name, schema_name, target_table)
spark.sql(insert_sql)

从Databricks Widgets获取动态参数（笔记本场景） #

如果是在Databricks笔记本里使用，你可以通过Widgets让用户输入参数，然后动态获取：

# 创建输入控件
dbutils.widgets.text("catalog", "default_catalog", "请输入目录名")
dbutils.widgets.text("schema", "default_schema", "请输入模式名")
dbutils.widgets.text("table", "default_table", "请输入表名")

# 获取用户输入的参数
catalog_name = dbutils.widgets.get("catalog")
schema_name = dbutils.widgets.get("schema")
target_table = dbutils.widgets.get("table")

# 后续的读取、转换、生成SQL执行逻辑和上面一致

额外提醒：SQL注入风险 #

如果你的参数是内部可控的（比如作业配置的固定参数），那上面的方法完全没问题。但如果参数来自外部用户输入，一定要做合法性校验，比如检查是否包含特殊字符，避免SQL注入风险。

备注：内容来源于stack exchange，提问作者user16798185