如何在PySpark中使用存储数据库名的变量创建数据库

可以通过变量引用完成数据库创建操作，PySpark场景下常用实现方式有以下两种：

方式1：Python字符串格式化拼接SQL语句（最常用） #

这是最简单直观的实现方式，直接用Python的字符串格式化能力将变量值嵌入到DDL语句中再执行即可。
示例代码：

# 定义存储数据库名的变量
a = "databasename"
# 用f-string拼接SQL语句，也可以用format()方法实现
create_db_sql = f"CREATE DATABASE IF NOT EXISTS `{a}`"
# 执行SQL
spark.sql(create_db_sql)

注意：SQL语句中用反引号包裹变量插值的位置，可避免数据库名包含特殊字符、关键字时的语法报错。

方式2：使用Spark SQL原生变量替换功能 #

如果需要在SQL侧直接引用变量，可以开启Spark的SQL变量替换配置，通过配置传递变量后用${变量名}语法引用：
示例代码：

# 定义数据库名变量
a = "databasename"
# 开启SQL变量替换功能
spark.conf.set("spark.sql.variable.substitute", "true")
# 将变量注册到Spark配置中
spark.conf.set("var.dbname", a)
# 执行SQL时通过${}引用配置中的变量
spark.sql("CREATE DATABASE IF NOT EXISTS `${var.dbname}`")

注意事项 #

• 若数据库名变量来自用户可自定义的输入，使用第一种方式时建议增加非法字符校验规则，避免SQL注入风险
• 第二种方式的变量替换功能在Spark 2.3及以上版本默认支持，低版本需要额外确认兼容性

内容的提问来源于stack exchange，提问作者Venkatesh