修改Databricks Liquid Clustering键后的相关疑问

历史数据布局问题 #

修改聚类键后，原有历史数据会保持旧的聚类布局，不会自动切换到新键的组织方式。Liquid Clustering默认的OPTIMIZE操作仅针对新增/更新的未聚类数据生效，不会主动改写已按旧键完成聚类的历史数据块。

重新组织历史数据的方法 #

如果需要让历史数据也遵循新的聚类键，可以使用带RECLUSTER选项的OPTIMIZE命令，强制全量（或指定范围）重写数据：

OPTIMIZE your_table_name RECLUSTER

• 若表数据量较大，建议结合过滤条件分批处理，避免单次消耗过多集群资源：

  OPTIMIZE your_table_name RECLUSTER WHERE partition_column >= '2023-01-01'
  

• 执行RECLUSTER后，表的聚类键元数据会更新为新配置，全量（或指定范围）数据都会按照新键重新组织布局，后续常规OPTIMIZE操作也会自动沿用新聚类键。

内容的提问来源于stack exchange，提问作者Matias Sesser