当FileBeat与Elasticsearch/Kafka断开连接时，本地数据留存时长是多少？

• 当FileBeat与Elasticsearch或Kafka等输出端断开连接时，默认不会主动删除本地存储的未发送数据，只有当数据成功发送到输出端后，才会清理对应的本地缓存条目。
• 你可以通过配置参数调整本地存储的行为：
  • queue.max_events：设置内存队列可容纳的最大事件数量，超出后会将数据持久化到磁盘。
  • filebeat.registry.flush：控制注册表的刷新间隔，确保已处理数据的状态及时保存，避免重启后重复采集。
  • 若要限制磁盘存储的规模，可配置diskqueue.max_size（磁盘队列的最大容量）——当磁盘队列达到该上限时，FileBeat会暂停读取新的日志数据，直到队列中有空间释放（即部分数据成功发送），不会自动删除旧的未发送数据。
• 总结：默认状态下，只要本地磁盘有足够空间，FileBeat会一直留存未发送的数据；若配置了磁盘队列大小限制，达到上限后会暂停采集，而非删除旧数据。

内容的提问来源于stack exchange，提问作者iq tech