Hive表文件不存在，执行REFRESH TABLE及Impala刷新均无效求助

错误信息 #

文件不存在：hdfs://warehouse/hive/my_db.db/my_table/26-01_29_data.0.parq
可能底层文件已更新。您可以通过在SQL中执行‘REFRESH TABLE tableName’命令，或重新创建相关的Dataset/DataFrame来显式清除Spark缓存。

问题背景 #

Hive表访问时报上述文件不存在错误，经确认该文件确实不存在，且Airflow任务每次失败后对应文件名会被重命名。已尝试在Spark脚本中添加REFRESH TABLE命令、在Impala中刷新表，但问题未解决。

具体解决步骤 #

1. 排查Airflow任务的文件操作逻辑

   • 检查Airflow任务中是否存在失败重试时自动重命名文件的逻辑，确保Spark读取的是最终稳定的文件路径，而非临时被替换的旧路径。
   • 避免在Spark任务中硬编码文件名，改为通过Hive表元数据读取，或动态获取最新生成的文件名。

2. 彻底清除Spark缓存

   • 仅执行REFRESH TABLE可能无法清除全局缓存，需在Spark脚本中先执行全局缓存清理：

     CLEAR CACHE;
     REFRESH TABLE my_db.my_table;
     

   • 使用DataFrame/Dataset时，不要复用之前缓存的实例，每次任务运行时重新读取表：

     // 每次任务执行都重新读取表，避免依赖旧元数据
     val df = spark.table("my_db.my_table")
     

3. 修复Hive与Impala元数据一致性

   • 执行Hive命令修复元数据，同步HDFS实际文件状态：

     MSCK REPAIR TABLE my_db.my_table;
     

   • 在Impala中执行更彻底的元数据刷新命令，适用于文件结构变化场景：

     INVALIDATE METADATA my_db.my_table;
     

4. 调整Airflow任务重试机制

   • 给Airflow任务添加幂等性校验，记录已处理的文件名，重试时跳过已重命名的旧文件。
   • 确保任务失败后清理临时文件或更新元数据，避免后续任务读取无效路径。

内容的提问来源于stack exchange，提问作者elademir