Databricks中加载Delta表指定分区的最佳实践及写法疑问
Databricks Delta 表指定分区加载方案解答
疑问1解答:第二种写法是否会先加载全表再过滤
不会。Delta Lake 原生支持谓词下推优化,你写的filter条件会被直接下推到Delta日志解析层,读取阶段只会扫描ingestdate=20210703对应的分区文件,完全不会加载全表数据。
你可以通过执行df.explain()查看物理执行计划,能在扫描节点的PartitionFilters字段里看到分区过滤条件,确认没有全表扫描行为。
疑问2解答:第一种写法的basePath参数是否为必填
非必填,可根据使用场景选择:
- 如果你需要在返回的DataFrame中保留
ingestdate这个分区列,basePath就是必填项。只有指定了表的根目录作为basePath,Spark才会自动解析分区路径中的字段作为DataFrame的正式列返回。 - 如果你不需要保留分区列,只需要分区内的业务字段,就可以省略
basePath参数。
最佳实现推荐
两种写法的读取性能完全一致,没有优劣之分,根据使用场景选择即可:
- 如果你需要读取多个零散的分区路径,且需要保留分区列信息,选择第一种写法,统一指定
basePath即可。 - 如果你的过滤逻辑更灵活(比如多分区条件组合、和业务字段过滤混合),选择第二种写法更简洁易读,不需要手动拼接分区路径。
内容的提问来源于stack exchange,提问作者OrganicMustard
相关产品推荐
相关产品推荐

