Kafka S3 Sink Connector写入S3前是否生成临时文件或分配堆外内存？

明确结论 #

使用Avro格式的Kafka Connect S3 Sink默认会在本地磁盘创建临时文件，同时DataFileWriter处理数据时会分配堆外内存。

具体拆解 #

• 临时文件的处理流程
  当连接器处理Avro格式数据时，AvroRecordWriter会通过DataFileWriter将记录写入本地临时文件，直到触发上传条件（如文件大小达标、时间窗口结束等）。满足条件后，连接器会把完整的临时文件上传至S3，上传完成后自动删除本地临时文件。

  临时文件的存储路径可通过配置项file.directory自定义，默认采用系统临时目录。

• 内存使用的细节

  • 你观察到的Queue<SinkRecord>是用于缓存待处理的Kafka记录，这部分属于堆内存的使用，目的是批量攒数后统一处理。
  • DataFileWriter在序列化Avro数据和写入文件的过程中，会使用堆外内存做缓冲，以此降低Java堆内存的GC压力，尤其是在高吞吐量或处理大体积数据的场景下。

• 无本地磁盘场景的替代方案
  如果运行环境没有本地磁盘（如Serverless容器），可以通过调整配置使用内存缓冲区替代临时文件，但这会增加堆内存的占用，需结合实际资源情况权衡配置。

内容的提问来源于stack exchange，提问作者Majid Azimi