OPTIMIZE是否生成新Parquet文件且保留旧文件？Delta分区大小查询

1. 直接累加分区文件夹中Parquet文件大小是否准确？ #

不准确。Delta Lake基于ACID事务机制，优化或更新操作产生的旧文件不会立即被物理删除，只是在事务日志中标记为无效状态。这些无效文件仍留在文件夹中，但不会被Delta表读取，直接累加会把无效文件的大小计入，导致结果偏大失真。

2. OPTIMIZE是否会留下未使用的旧文件？ #

是的。OPTIMIZE操作的核心是合并小文件为大文件，过程中会生成新的合并文件，同时将原有的小文件标记为无效，但不会立即物理删除这些旧文件。这些旧文件属于Delta表的“历史无效文件”，仅在需要回滚到旧版本时才会被用到，当前表的查询不会访问它们。

3. VACUUM能否解决计算失真问题？ #

可以。VACUUM命令会物理清理Delta表中超过指定保留期限（默认7天）的无效文件。执行VACUUM后，分区文件夹中仅保留当前表的有效文件，此时累加文件夹内Parquet文件大小即可得到准确的分区大小。

注意：执行VACUUM前需确认无需回滚到旧版本，因为清理后旧版本的数据将无法恢复。可通过SET spark.databricks.delta.retentionDurationCheck.enabled = false;临时关闭保留期限检查（不建议长期关闭），清理近期的无效文件。

4. 更智能的分区大小查看方法 #

直接利用Delta Lake的元数据查询是最可靠、高效的方式，无需依赖文件系统操作或VACUUM清理：

方法1：Spark SQL查询Delta表元数据 #

通过delta.前缀的表函数直接读取Delta表的有效文件元数据，按分区聚合大小：

SELECT
  -- 替换为你的分区列名
  your_partition_column,
  SUM(size) AS partition_size_bytes,
  ROUND(SUM(size)/1024/1024, 2) AS partition_size_mb,
  ROUND(SUM(size)/1024/1024/1024, 2) AS partition_size_gb
FROM
  -- 替换为你的Delta表路径或表名
  delta.`/dbfs/path/to/your/delta/table`
GROUP BY
  your_partition_column
ORDER BY
  partition_size_gb DESC

该查询自动过滤无效文件，结果直接反映当前表各分区的真实数据大小。

方法2：使用DESCRIBE DETAIL结合分区过滤（表级扩展） #

如果需要先查看表的整体信息，再聚焦分区：

-- 查看表的基本元数据（含分区列）
DESCRIBE DETAIL your_table_name;

-- 基于分区列过滤查询指定分区的大小
SELECT
  SUM(size) AS partition_size_bytes
FROM
  delta.`/dbfs/path/to/your/delta/table`
WHERE
  your_partition_column = 'specific_partition_value';

内容的提问来源于stack exchange，提问作者Tamás Godányi