Databricks外部表未同步S3最新Parquet文件问题求助

1. 先检查表的路径是否正确 #

外部表指向的S3路径得覆盖新增文件所在的目录才行。比如表路径是s3://my-bucket/path/，但新文件存在s3://my-bucket/path/hourly/子目录，而表定义没包含这个层级，自然看不到新数据。用下面的命令查表的实际路径：

DESCRIBE EXTENDED my_table_name;

看Location字段，确认是不是包含了新文件的存放路径。

2. 换个方式强制刷新元数据 #

普通的REFRESH TABLE有时候因为缓存没清干净不管用，试试指定路径或者分区来刷新：

• 如果是分区表，针对当天的分区刷新：

REFRESH TABLE my_table_name PARTITION (dt = 'YYYY-MM-DD');

• 无分区表的话直接刷新整个S3路径：

REFRESH PATH 's3://your-bucket-full-path/';

3. 确认S3文件的访问权限 #

Databricks集群的IAM角色得能读取新增的S3文件。在集群上跑这个命令测试：

dbutils.fs.ls('s3://your-bucket-path/latest-file.parquet')

能返回文件信息就是权限没问题；要是报错，就得去调IAM角色的S3访问策略。

4. 分区表要手动修复分区 #

如果是Hive风格的分区表（分区目录是key=value格式），新增文件对应的分区可能没被注册到元数据里，跑这个命令自动发现新分区：

MSCK REPAIR TABLE my_table_name;

5. 临时关闭元数据缓存 #

Databricks默认会缓存元数据，要是缓存还没过期，REFRESH TABLE可能不生效。临时改一下会话的缓存设置，强制绕过缓存查询：

SET spark.sql.hive.metastorePartitionPruning=true;
SET spark.sql.metadataCacheTTLSeconds=0;

改完再查一遍表，看能不能拿到最新数据。

6. 检查新文件的Schema是否匹配 #

要是新增的Parquet文件Schema和外部表不一样，Databricks会直接忽略这些文件。用下面的代码查新文件的Schema：

df = spark.read.parquet('s3://your-bucket-path/latest-file.parquet')
df.printSchema()

和外部表的Schema（用DESCRIBE my_table_name查看）对比一下，确保字段名、类型完全一致。

内容的提问来源于stack exchange，提问作者Chris Hunt