基于Agent的跨边界可靠数据推送模块设计及现有Agent复用咨询

需要设计一个供客户使用的模块，用于将客户热路径上不可重复获取的实体元数据（如Product、Car等POJO类数据）从客户边界推送至我方边界。核心约束包括：

• 尽可能降低对客户热路径的性能影响
• 客户边界内禁止部署Queue等外部资源

已拟定基于Agent的设计方案：

• Agent部署在客户的Service A进程内或同VM节点，负责将元数据推送到我方边界的Queue（或直接推送给我方专属消费服务）
• 我方边界可选择用Queue做流量缓冲，也可让消费服务直接接收Agent推送的消息
• Agent会在客户VM本地持久化存储待推送数据，支持分时段批量推送，推送失败时自动重试

1. 能否使用Azure Monitor Agent通过REST API推送元数据？ #

Azure Monitor Agent（AMA）的核心定位是标准化监控数据采集与传输，不适合直接用于推送自定义业务元数据：

• AMA没有原生支持调用任意自定义REST API推送业务数据的能力，仅能对接Azure生态内的监控数据源
• 它的持久化、重试机制都是针对监控场景设计的，无法灵活适配业务元数据的格式与推送需求，强行改造会引入不必要的复杂度，且违背低侵入设计原则

2. 是否存在可复用的现有Agent？ #

有多款成熟的开源轻量Agent可以完美匹配「本地文件持久化+REST API推送」的核心需求，推荐以下选项：

Fluent Bit #

• 极致轻量化，资源占用极低，对客户热路径的影响可以忽略
• 支持将待推送数据写入本地文件系统做持久化缓存，通过http输出插件直接调用自定义REST API推送
• 内置完善的重试策略，可配置重试间隔、最大重试次数，确保数据不丢失

Filebeat #

• Elastic生态下的轻量数据采集工具，支持本地文件分片存储待推送数据
• 通过http输出模块可直接对接我方REST API，支持配置批量推送阈值与重试逻辑
• 稳定性高，部署与配置成本低，无需额外开发即可快速适配需求

自定义极简Agent #

如果现有开源Agent无法完全匹配业务细节，可基于Go/Rust开发轻量Agent：

• 核心逻辑仅包含：接收Service A的元数据写入本地分片文件、后台异步读取文件调用REST API推送、失败则重新加入待推送队列
• 确保Agent逻辑极简，不引入任何业务处理逻辑，避免对客户热路径造成额外负担

• 配置批量推送策略：按数据量或时间间隔批量推送，减少REST API调用频次，降低网络开销
• 本地文件分片存储：按时间或文件大小拆分持久化文件，避免单个文件过大导致读写效率下降
• 我方边界保留Queue缓冲：应对Agent集中推送的流量峰值，保障消费服务的稳定性

内容的提问来源于stack exchange，提问作者SQLProfiler