Databricks Liquid Clustering：禁用预测优化后需手动执行OPTIMIZE吗？

当通过表定义配置Liquid Clustering且禁用预测优化（Predictive Optimization）时，每次导入新数据或进行行的新增/删除操作后，不会自动执行OPTIMIZE命令，必须手动触发。

后续新增/删除行的具体处理方式： #

• 新增数据：新写入的数据会以独立的小文件形式存储，不会自动合并到已有的聚类文件结构中。若要让新数据融入预设的聚类规则，需要手动运行 OPTIMIZE <table_name> 命令，该命令会重新整理数据文件，将新数据按聚类键的规则合并到对应聚类组内，优化查询性能。
• 删除行：Databricks采用软删除机制，删除操作仅在元数据层面标记待删除的行，不会立即清理物理数据文件。只有手动执行 OPTIMIZE <table_name> 时，才会同步清理这些标记为删除的数据，完成物理层面的删除操作。
• 性能维护建议：若长期不执行OPTIMIZE，大量零散小文件和未清理的删除标记会逐步降低查询效率，建议根据数据写入频率（如每日一次）或数据量阈值，定期手动触发OPTIMIZE操作。

内容的提问来源于stack exchange，提问作者אופיר אוחיון