如何用Python列表值通过单条INSERT语句批量插入Databricks Delta表

有两种实用的方法可以实现单条操作批量插入数据，避免循环执行多条INSERT：

方法1：构造批量VALUES子句的SQL语句 #

直接把列表中的元素拼接成批量的VALUES条目，通过单条INSERT语句插入：

values_list = ['a', 'b', 'c']
# 生成形如 "(1, 'a'), (1, 'b'), (1, 'c')" 的字符串
batch_values = ", ".join(f"(1, '{val}')" for val in values_list)
# 执行单条插入
spark.sql(f"INSERT INTO default.test VALUES {batch_values}")

注意：如果列表中的值包含单引号（比如"O'Neil"），这种直接拼接会导致SQL语法错误。此时建议用方法2，或者对单引号进行转义（比如把'替换为''）。

方法2：通过DataFrame API实现安全批量插入 #

这种方法更安全，能自动处理特殊字符，也符合Spark的分布式处理最佳实践：

from pyspark.sql import functions as F
from pyspark.sql.types import StringType

values_list = ['a', 'b', 'c']
# 构造DataFrame，指定第二列的值，再添加固定值的第一列
insert_df = spark.createDataFrame(values_list, StringType()) \
                 .withColumnRenamed("value", "col2") \
                 .withColumn("col1", F.lit(1)) \
                 .select("col1", "col2")  # 确保列顺序和目标Delta表一致

# 直接追加到目标表
insert_df.write.mode("append").saveAsTable("default.test")

# 或者用INSERT INTO ... SELECT的方式（适合需要用SQL语法的场景）
insert_df.createOrReplaceTempView("temp_insert_data")
spark.sql("INSERT INTO default.test SELECT col1, col2 FROM temp_insert_data")

两种方法都能实现单条操作完成批量插入，相比循环执行多条INSERT，能大幅提升性能，减少Spark的SQL解析开销。

内容的提问来源于stack exchange，提问作者mpr