SFTP入站适配器轮询元数据与同步配置咨询（含并发及删除需求）

轮询元数据配置 #

• 轮询间隔：设置为60000毫秒（1分钟），确保每分钟触发一次拉取任务
• 单次拉取文件上限：配置为25，控制每次轮询从SFTP目录获取的文件数量，匹配每分钟消费25个的需求
• 去重机制：启用文件元数据跟踪（基于文件名+修改时间或文件哈希），避免重复拉取已处理文件；可配置仅拉取未被标记的新文件

入站同步与并发处理设置 #

• 并发处理线程数：设置为2，限制同时处理的文件数量，合理控制资源占用
• 文件拉取策略：采用批量拉取+并发处理模式，每次轮询将25个文件拉取至本地临时目录后，启动2个并发线程分配处理任务
• 处理顺序（可选）：按文件修改时间升序拉取/处理，优先处理旧文件，避免积压

已处理文件删除配置 #

• 本地文件删除：在单个文件处理成功后，立即删除本地临时文件；若采用批量确认，可在所有25个文件处理完成后批量删除本地文件（需确保全部处理成功）
• SFTP服务器文件删除：仅在本地文件处理成功且删除完成后，调用SFTP删除指令移除服务器上的源文件；建议配置事务校验，避免本地处理失败却删除服务器文件的情况

额外注意事项 #

• 异常重试：配置文件处理失败后的重试次数（如3次），针对网络波动、文件损坏等临时异常进行重试，失败文件可转入异常目录单独处理
• 状态日志：记录每个文件的拉取时间、处理状态、删除结果，便于问题排查
• 资源预留：确保本地服务器有足够的CPU、内存及临时存储空间，支撑2个并发处理任务

内容的提问来源于stack exchange，提问作者Choff