如何在Spark SQL临时表中执行UPDATE查询？报错代码求助

你的代码报错核心原因是：Spark的临时表（或临时视图）基于不可变的DataFrame创建，不支持UPDATE这类修改数据的DML操作，另外registerTempTable是Spark 1.x的废弃API，现在推荐使用createOrReplaceTempView。

解决方法一：用DataFrame API修改（推荐） #

因为DataFrame是不可变数据集，我们需要生成新的DataFrame来实现数据修改：

from pyspark.sql.functions import lit

# 替换旧API创建临时视图（可选，仅兼容使用习惯，实际修改无需视图）
df.createOrReplaceTempView("Temp_table")

# 生成修改后的新DataFrame
updated_df = df.withColumn("column_a", lit("1"))

# 可将新DataFrame重新注册为临时视图，或直接使用
updated_df.createOrReplaceTempView("Updated_Temp_table")

解决方法二：使用支持ACID的持久化表执行UPDATE #

如果一定要用SQL的UPDATE语法，需要将数据写入支持ACID操作的持久化表（比如Hive内部表、Delta Lake表）：

# 将原DataFrame写入持久化Hive表
df.write.mode("overwrite").saveAsTable("permanent_table")

# 执行UPDATE操作
spark.sql("UPDATE permanent_table SET column_a='1'")

补充说明 #

Spark的临时视图/表仅存在于当前SparkSession生命周期内，且底层依赖的DataFrame是只读的分布式数据集，无法原地修改数据。所有对数据的修改都需要通过生成新的DataFrame，或者使用支持ACID的持久化存储来实现。

内容的提问来源于stack exchange，提问作者Rahul