通过Spark在Impala中按分区去重时遇报错问题排查

我尝试按分区（dt）删除Impala表中的重复值，但执行过程中出现报错：

An error was encountered:
u'Cannot overwrite a path that is also being read from.;'

使用的查询代码如下：

query = "SELECT DISTINCT * FROM {} WHERE dt = '{}'".format(table_name, partition_date)
df = spark.sql(query)
df.createOrReplaceTempView("temp_table")
overwrite_query = "INSERT OVERWRITE TABLE {} PARTITION (dt) SELECT * FROM temp_table".format(table_name, partition_date)

请问哪里操作出错了？

原因分析与解决方案 #

错误原因 #

你直接从目标分区读取数据，同时又尝试覆盖同一个分区。Spark和Impala都禁止这种"同一路径同时读写"的行为——因为读写操作会抢占同一数据资源，引发数据一致性冲突。临时视图（temp_view）本质还是指向原表的分区数据，所以即使中转了视图，依然绕不开读写冲突的问题。

解决方案 #

方案1：用物理临时表中转数据

把去重后的结果写入物理临时表（而非内存临时视图），通过物理表隔离读写路径：

# 读取原分区数据并去重
query = "SELECT DISTINCT * FROM {} WHERE dt = '{}'".format(table_name, partition_date)
df = spark.sql(query)

# 将去重数据写入物理临时表
df.write.mode("overwrite").saveAsTable("temp_physical_table")

# 从临时表读取，覆盖原分区
overwrite_query = "INSERT OVERWRITE TABLE {} PARTITION (dt='{}') SELECT * FROM temp_physical_table".format(table_name, partition_date)
spark.sql(overwrite_query)

# 可选：临时表用完后删除
spark.sql("DROP TABLE temp_physical_table")

方案2：直接使用Spark DataFrame写入API

跳过INSERT OVERWRITE语句，用Spark内置的写入方法自动处理读写隔离：

query = "SELECT DISTINCT * FROM {} WHERE dt = '{}'".format(table_name, partition_date)
df = spark.sql(query)

# 覆盖指定分区（需保证DataFrame字段顺序、类型与目标表完全匹配）
df.write.mode("overwrite").insertInto(table_name)

# 或者显式指定分区字段
# df.write.mode("overwrite").partitionBy("dt").saveAsTable(table_name)

注意事项 #

• 使用insertInto时，DataFrame的字段数量、顺序、类型必须和目标表严格对齐；
• 若操作的是外部表，需确保Spark拥有目标分区路径的读写权限；
• 执行前建议备份目标分区数据，避免误操作导致数据丢失。

内容的提问来源于stack exchange，提问作者DariusB