如何在SparkR的saveAsTable()中添加overwriteSchema参数重写同名表

问题场景 #

在Databricks中用R开发，之前通过以下代码将R数据框保存为数据库表：

data_x <- SparkR::createDataFrame(table_x)
SparkR::saveAsTable(data_x, tableName="table_x", mode = "overwrite")

修改数据框的列（新增列、修改列名）后，再次用同名保存时报schema不匹配；即使执行drop table删除数据库中的表，问题依旧存在。使用mode="error"时收到报错：

"The associated location (...) is not empty and also not a Delta table."

错误提示明确要求设置'.option("overwriteSchema", "true")'，接下来说明如何在SparkR中传递该参数。

具体实现代码 #

SparkR的saveAsTable函数支持通过options参数传入额外配置，直接添加overwriteSchema=true即可解决问题，完整代码如下：

data_x <- SparkR::createDataFrame(table_x)
SparkR::saveAsTable(
  data_x,
  tableName = "table_x",
  mode = "overwrite",
  options = list(overwriteSchema = "true")
)

关键原理 #

• 默认的overwrite模式仅覆盖表数据，不会修改表的schema结构，当schema变化时就会触发不匹配报错
• 执行drop table只会删除元数据，存储位置的旧数据文件仍会保留，导致Spark校验存储位置时判定非空且不符合新schema
• overwriteSchema=true会强制Spark使用新数据框的schema覆盖原有配置，同时配合overwrite模式清理存储位置的旧数据文件，彻底解决冲突

内容的提问来源于stack exchange，提问作者karara