AWS Spot Instances实时日志采集解决方案咨询

架构核心思路 #

完全解耦日志采集流程和Spot实例的生命周期，实现新实例启动秒级接入、实例销毁日志零丢失，所有有状态组件全部部署在常驻节点，Spot节点仅部署轻量无状态采集代理。

具体落地步骤 #

1. 采集层部署 #

优先选用轻量低耗的开源采集器，比如Fluent Bit或Vector，资源占用控制在50MB内存以内，启动耗时<1s：

• 若使用云厂商虚拟机类Spot实例：将采集器预装到实例启动模板（Launch Template）的系统镜像中，配套的采集规则配置统一存在配置中心/对象存储，实例启动时通过User Data自动拉取最新配置并启动采集服务，整个过程和实例初始化并行，实例启动完成即接入采集体系。
• 若使用K8s托管的Spot节点：直接部署采集器的DaemonSet资源，新节点加入集群时K8s会自动调度采集器Pod运行，无需额外人工操作。

2. 传输层配置 #

采集端不做本地日志持久化，采集到的日志直接发送到独立部署在常驻节点的消息队列集群（如Kafka、Pulsar）：

• 采集端默认配置10~20MB的内存级缓存，网络闪断时临时缓存日志，网络恢复后自动补发。
• 配置采集器的优雅退出逻辑，收到Spot实例销毁的SIGTERM信号后，优先把缓存中的所有日志发送完成再退出，正常销毁场景下不会产生日志丢失。

3. 日志消费与存储 #

所有日志存储、分析组件全部部署在常驻节点，和Spot集群完全解耦：

• 需要实时检索的日志可以直接投递到Elasticsearch、OpenSearch等检索引擎；
• 需要做大数据分析的日志可以投递到ClickHouse、HDFS等存储组件；
• 需要实时计算的场景可以直接消费消息队列中的日志流。

关键优化项 #

• 日志自动注入元数据：采集器启动时自动拉取当前Spot实例的ID、可用区、所属业务组等元数据，注入到每一条日志的标签中，即便实例销毁后也可以通过标签追溯日志来源。
• 采集配置统一管理：所有采集规则统一在配置中心更新，不需要修改Spot实例的启动镜像，新启动的实例自动拉取最新规则，新增采集路径不需要做任何实例侧的变更。
• 异常兜底：针对云厂商强制回收Spot实例（不发送SIGTERM信号）的极端场景，可以给Spot实例挂载10GB大小的临时云盘，日志实时写入临时盘，实例销毁后云盘默认保留2小时，出现日志丢失时可以回溯捞取，单块云盘每小时成本不到0.01元，整体开销极低。

监控告警规则 #

配置采集心跳监控：每台Spot实例的采集器每30s上报一次心跳日志，若某实例ID超过2分钟没有心跳上报则触发告警，快速定位实例启动、采集器部署的异常问题。

内容的提问来源于stack exchange，提问作者me25