Flume连续添加文件时未全部上传至S3，仅处理单个文件问题

你的问题核心在于Flume Sink的文件滚动配置与命名规则，导致多个本地文件的内容被合并写入同一个S3文件，而非预期的每个本地文件对应独立S3文件，具体原因如下：

1. 文件滚动触发条件限制
   你的S3 HDFS Sink配置中，禁用了按时间、大小、事件数的滚动触发，仅保留了15秒无数据写入才关闭文件的规则：

   agent.sinks.s3hdfs.hdfs.rollInterval = 0  # 禁用按时间滚动
   agent.sinks.s3hdfs.hdfs.rollSize = 0       # 禁用按文件大小滚动
   agent.sinks.s3hdfs.hdfs.rollCount = 0      # 禁用按事件数量滚动
   agent.sinks.s3hdfs.hdfs.idleTimeout = 15   # 仅15秒无数据时触发关闭
   

   当连续添加多个文件时，Flume会持续从Channel读取数据并写入S3临时文件，全程没有15秒的空闲窗口，因此不会触发文件关闭。直到所有文件处理完成、且等待15秒后，这个包含所有文件内容的临时文件才会被重命名为正式文件，最终你在S3只能看到这一个合并后的文件。

2. 文件命名规则无区分度
   你设置了固定的filePrefix = FilePrefix，且未配置引用原文件名的变量（如%{basename}），即使触发滚动，生成的文件名也仅基于时间戳后缀，无法对应到原本地文件，进一步导致你误以为其余文件未上传。

• 按原文件名拆分S3文件：结合spooldir的文件头功能，让每个本地文件对应独立S3文件：

  1. 修改Source配置，开启文件头记录：

     agent.sources.MySpooler.fileHeader = true
     

  2. 修改Sink的文件前缀，使用原文件名作为标识，并缩短空闲超时：

     agent.sinks.s3hdfs.hdfs.filePrefix = %{basename}
     agent.sinks.s3hdfs.hdfs.idleTimeout = 5  # 缩短空闲等待，加快文件关闭
     

• 强制按时间滚动：若不需要保留原文件名，可启用短时间间隔的滚动规则，确保文件及时关闭：

  agent.sinks.s3hdfs.hdfs.rollInterval = 1
  agent.sinks.s3hdfs.hdfs.idleTimeout = 5
  

内容的提问来源于stack exchange，提问作者Astora