如何通过Spark/Databricks调整存储容器内Delta表的文件大小

1. 执行配置和OPTIMIZE后，存储文件是否应该被合并为512MB？ #

默认不会直接实现全路径文件都是512MB的效果，原因有两点：

• delta.targetFileSize仅约束当前版本有效文件的目标大小，你看到的大量大小异常的文件，大部分是Delta表历史版本对应的旧文件、已经被标记为删除的墓碑文件（0B文件基本都属于这类），这些文件不属于当前表正在使用的有效文件。
• 如果你的表是分区表，数据量小于512MB的分区，OPTIMIZE后生成的文件也会小于目标大小，不会强行凑到512MB。

2. targetFileSize参数的实际作用范围 #

该参数是Delta表的表级属性，作用于所有后续对该表执行的写入、修改操作生成的新文件，包括OPTIMIZE、MERGE、INSERT、UPDATE等，所有操作生成的有效数据文件都会尽量接近你设置的目标值，避免生成过小的碎文件。该参数不会自动修改已存在的旧文件。

3. 调整存储中文件大小的补充措施 #

需要额外执行相关操作才能实现存储层文件的规整：

• 执行VACUUM delta./mnt/tbl RETAIN <N> HOURS 清理过期的历史版本文件，保留时长根据你自身的历史版本回溯需求设置，最小可设为0小时（设置后将无法回退到历史版本）。执行后所有已标记删除的旧文件、墓碑文件都会被清理，剩下的就是符合目标大小的当前版本有效文件。
• 如果是分区表，执行OPTIMIZE时可指定分区过滤条件分批处理，避免单次任务资源不足导致部分分区未被优化。
• 针对高频MERGE场景，可以额外开启两个表属性：delta.autoOptimize.autoCompact = true和delta.autoOptimize.optimizeWrite = true，后续写入操作会自动合并小文件，无需每次手动执行OPTIMIZE。

4. Delta表数据存储的认知是否正确 #

该认知完全正确。Delta表的所有行列取值都以Parquet格式存储在Azure存储容器对应路径下的普通数据文件中，路径下的_delta_log目录仅存储事务日志，记录表的元数据、版本变更、文件增删标记等信息，不存储实际业务数据。

内容的提问来源于stack exchange，提问作者xyz