如何在Databricks中使用PySpark将变量传入spark.table方法
解决Databricks PySpark中动态拼接表路径的问题
错误原因
你之前写的"samples".regName是错误语法,字符串对象本身没有regName属性,这才导致了AttributeError。要动态生成表路径,需要把变量嵌入到字符串中,而非用属性访问的方式。
解决步骤
1. 拆分regName为数据库名和表名
先将逗号分隔的regName拆分为单独的db_name和table_name,建议同时清理可能存在的空格:
# 假设regName示例值为 "cdcTest,cdcmergetest" regName = "cdcTest,cdcmergetest" # 拆分并去除前后空格 db_name, table_name = [item.strip() for item in regName.split(',')]
2. 动态拼接完整表路径
可以用以下几种方式组合出spark.table需要的完整三部分路径(catalog.schema.table):
- f-string格式化(推荐):
full_table_path = f"samples.{db_name}.{table_name}" df = spark.table(full_table_path)
- 字符串拼接:
full_table_path = "samples." + db_name + "." + table_name df = spark.table(full_table_path)
- format方法:
full_table_path = "samples.{}.{}".format(db_name, table_name) df = spark.table(full_table_path)
完整示例代码
# 定义regName变量 regName = "cdcTest,cdcmergetest" # 拆分变量 db_name, table_name = [item.strip() for item in regName.split(',')] # 生成完整表路径并读取 df = spark.table(f"samples.{db_name}.{table_name}")
内容的提问来源于stack exchange,提问作者Patterson
相关产品推荐
相关产品推荐

