寻求开源轮询系统：调用REST API并转发数据至文档数据库

针对你需要从数千个REST设备轮询数据、自行部署且低编码易管理的需求，以下几款开源工具完全适配：

N8N #

• 核心优势：零/低代码可视化编排，无需复杂编码就能完成流程搭建，对运维友好。
• 适配场景操作：
  1. 用Cron Trigger节点设置轮询周期；
  2. 添加HTTP Request节点，批量导入设备API端点列表，配置GET请求；
  3. 接入MongoDB/CouchDB等文档数据库节点，直接将完整JSON payload映射写入，无需额外转换。
• 额外亮点：自带重试机制、负载均衡配置，支持Docker一键部署，管理界面直观，适合快速落地数千设备的轮询任务。

Apache NiFi #

• 核心优势：专为大规模数据流转设计，稳定性和吞吐量拉满，适合高并发设备集群。
• 适配场景操作：
  1. 用InvokeHTTP节点批量发起GET请求，可配置请求超时、失败重试策略；
  2. 通过PutMongoRecord节点直接将JSON响应写入文档数据库，支持自定义数据映射；
  3. 用Timer Trigger设置轮询调度，配合流量控制节点避免设备API被压垮。
• 额外亮点：内置监控仪表盘，能实时查看设备请求状态、数据流转情况，部署方式灵活（Docker/本地二进制包均可）。

Prefect #

• 核心优势：轻量工作流框架，少量Python代码即可完成配置，兼顾灵活性和易管理性。
• 适配场景操作：
  1. 定义一个Flow，用Python的requests库批量发起GET请求（可通过配置文件管理设备端点列表）；
  2. 调用MongoDB/CouchDB的客户端库，将JSON响应直接写入数据库；
  3. 用Prefect的调度器设置轮询周期，自带任务失败告警、重试机制。
• 额外亮点：自带Web管理界面，能监控所有轮询任务的执行状态，部署无云依赖，适合有基础编程能力但不想写复杂服务的场景。

选型建议 #

• 完全不想写代码：优先选N8N，可视化拖拽就能搞定全流程；
• 处理超大规模设备集群（上万级）：选Apache NiFi，企业级稳定性更靠谱；
• 偏好轻量代码+灵活扩展：选Prefect，代码量少且可定制性强。

内容的提问来源于stack exchange，提问作者Ronnie Smith