如何通过Apache NiFi调用非REST URL实现服务器端文件自动下载

完全可以实现，Apache NiFi自带的标准处理器就能完成这个需求，不需要额外开发自定义组件。

浏览器访问URL自动触发txt下载，本质是目标服务返回响应时携带了Content-Disposition: attachment响应头，引导浏览器把响应体存为本地文件而不是直接在页面渲染。NiFi的HTTP请求组件不受这个响应头的逻辑影响，会完整接收响应体的文件流，完全支持把文件落地到NiFi所在服务器的本地存储。

• 拉取目标文件
  选用InvokeHTTP处理器作为流程入口，核心配置如下：
  • HTTP Method设置为GET
  • Remote URL填入需要访问的、触发txt下载的目标地址
  • 如果目标服务有访问校验规则（比如校验User-Agent、需要携带Cookie/Token鉴权），直接在处理器的对应属性项补全参数即可，例如可将User-Agent配置为普通浏览器的标识值，避免被目标服务的反爬/拦截规则挡掉
  • 处理器执行后会自动将HTTP响应的完整内容（也就是你要下载的txt文件内容）封装为FlowFile的内容载体，响应头里的文件名、文件大小等信息也会自动写入FlowFile属性，方便后续流程调用
• 异常路由（可选但建议配置）
  后续接RouteOnAttribute处理器，增加校验规则判断InvokeHTTP返回的http.status.code属性值是否为200，将状态码异常的FlowFile（比如403、404、500错误）路由到失败链路，做重试、告警处理，避免把错误页面的内容当成txt文件存到本地
• 落地文件到NiFi服务器本地
  接PutFile处理器完成本地存储，核心配置如下：
  • Directory填入NiFi服务器上用于存储txt文件的本地绝对路径，注意提前给NiFi进程的运行账号分配该路径的读写权限，否则会报权限错误
  • 文件名可以直接取响应头里返回的下载文件名，也可以通过NiFi表达式语言自定义命名规则
  • Conflict Resolution Strategy按需选择即可：同名文件需要覆盖就选replace，需要拦截重名就选fail

• 如果目标服务配置了IP白名单，需要提前把NiFi服务器的出口IP加到白名单列表中，否则会被拒绝访问
• 如果待下载的txt文件体积较大，适当调大InvokeHTTP的连接超时、Socket读取超时参数，避免连接中途断开导致下载不完整
• 如果NiFi服务器访问目标URL需要经过代理，直接在InvokeHTTP的代理配置项中填写代理地址、端口、鉴权信息即可，不需要额外做系统层面的代理配置

不建议使用GetHTTP处理器实现该需求，该处理器在新版本NiFi中已经被标记为废弃，配置灵活度、异常处理能力都弱于InvokeHTTP。

内容的提问来源于stack exchange，提问作者data-engines