修改Confluent S3 Sink的flush.size会使EOS失效吗？

核心结论：单纯修改flush.size不会让EOS失效 #

• EOS的核心逻辑和flush.size无关：Exactly-Once Semantics靠的是Kafka Connect的偏移量原子提交、连接器的事务处理机制，确保每条记录只被处理一次。flush.size只是控制S3文件生成的批量大小，不影响记录本身的处理流程。
• flush.size只影响文件粒度：调小该参数会生成更多小文件，调大则生成更少的大文件，但所有记录都会被完整写入S3，不会出现丢数或重复写入的情况。
• 重启后文件变化但内容一致：即使从头重启连接器，因为flush.size改变导致文件拆分方式不同，但最终写入S3的记录内容和之前完全一致，不会因为这个改动产生重复数据。

如果遇到重复数据，大概率是其他因素导致的：比如连接器重启时偏移量提交异常、上游Kafka主题存在重复消息、或者S3写入的幂等性配置有问题（Confluent S3 Sink本身默认带幂等处理，一般不会出问题）。

实操建议 #

• 可以放心修改flush.size，甚至无需重启连接器，用Kafka Connect的动态配置更新功能就能实时调整，适配历史数据追赶（大flush.size）和实时数据低延迟（小flush.size）的不同场景。
• 注意权衡成本和延迟：调小flush.size会增加S3 API调用次数，可能产生额外费用；调大则保持低API调用量但延迟升高，按需选择即可。

内容的提问来源于stack exchange，提问作者filpa