Spark不移动ORC文件创建外部表时出现文件丢失报错问题

你当前用的saveAsTable默认创建管理表（内部表），当指定path参数时，Spark会先清空目标路径下的所有文件再写入数据——这就是你原ORC文件被删除的直接原因。后续报错是因为清空后写入过程可能触发了权限或存储限制，导致路径下无有效文件，进而弹出缓存警告。

方案1：Spark SQL直接创建（推荐） #

无需读取DataFrame，直接关联原文件路径，还能自动推导Schema：

-- 自动推导Schema创建外部表
CREATE EXTERNAL TABLE xyz.abc
USING ORC
LOCATION 'abc_file_path';

-- 如果需要手动指定Schema（更严谨）
CREATE EXTERNAL TABLE xyz.abc (
  id INT,
  username STRING,
  register_time TIMESTAMP
)
STORED AS ORC
LOCATION 'abc_file_path';

方案2：DataFrame API创建 #

如果已经读取了DataFrame，要避免覆盖原文件，必须标记为外部表：

val df = spark.read.option("inferSchema", true).orc("abc_file_path")

// 创建外部表，保留原文件
df.write
  .format("orc")
  .option("path", "abc_file_path")
  .option("external", "true") // 核心：告诉Spark这是外部表，不托管数据文件
  .mode("ignore") // 表已存在时跳过，避免报错
  .saveAsTable("xyz.abc")

要是需要更新表的元数据（比如Schema变了），可以把mode改成overwrite，但一定要保留option("external", "true")，否则还是会删原文件。

创建完表后，直接查询验证：

SELECT * FROM xyz.abc LIMIT 10;

如果遇到元数据不一致的警告，执行刷新命令：

REFRESH TABLE xyz.abc;

内容的提问来源于stack exchange，提问作者dreamer