Delta Lake文件大小优化：流写入时delta.targetFileSize设1GB未生效

以下是可能导致文件实际大小仅约150MB的常见原因：

• 微批数据量不足：结构化流基于微批处理，若每个微批的输入数据量本身仅150MB左右，即便开启optimizeWrite，系统也不会为凑足目标文件大小等待额外数据，会直接写出当前批次数据。
• 细粒度分区导致数据分散：若表采用细粒度分区（如按分钟/秒级时间分区），单个分区内的数据量有限，即便全局设置1GB目标文件大小，单分区也只能生成对应数据量的文件。
• optimizeWrite生效条件未满足：流处理中optimizeWrite生效需满足特定条件，比如需使用append写入模式，且无自定义分区写入逻辑干扰。若流写入配置了自定义规则，可能会绕过自动优化逻辑。
• 数据压缩率超出预期：delta.targetFileSize指的是压缩后的文件大小。若数据压缩率远高于预期（比如未压缩的1GB数据压缩后仅150MB），会出现实际文件远小于目标值的情况，可检查使用的压缩格式（如Snappy、Gzip）。
• 表属性未正确生效：可通过执行DESCRIBE EXTENDED deltaTable查看当前表属性，确认delta.targetFileSize = '1073741824'是否已正确应用。若之前表有旧属性残留，可能会覆盖新配置。
• 流处理状态或Checkpoint限制：若流作业状态过大或Checkpoint配置不合理，可能导致微批被拆分得更小，间接影响生成的文件大小。

内容的提问来源于stack exchange，提问作者Nick Meng