NiFi写入中断后恢复：断点续传还是重写整个文件？

首先得明确NiFi的核心处理逻辑：每个FlowFile代表一个完整的数据单元，组件对FlowFile的处理是「要么完全成功，要么重试/失败」的模式，不会记录部分写入的进度。

针对PutFile组件的情况 #

• PutFile默认会先把FlowFile的内容写入目标目录下的临时文件（比如带.tmp后缀），只有当整个FlowFile的内容全部写完，才会原子性地将临时文件重命名为最终的目标文件名。
• 如果写到4个块后进程终止或宕机，此时的临时文件是不完整的。等NiFi恢复后，对应的FlowFile会被重新路由到PutFile组件重试：
  • 组件会重新创建临时文件，把整个FlowFile的内容从头写入，完成后再重命名为目标文件。
  • 之前的不完整临时文件通常会被NiFi自动清理（或者重试时直接覆盖），不会残留，所以最终只会得到一个完整的文件，不会产生重复的完整数据。

针对PutHDFS组件的情况 #

• PutHDFS的处理逻辑类似：它会把FlowFile的内容写入HDFS的临时文件（默认以._COPYING_为后缀），只有当整个FlowFile的内容全部写入完成，才会原子性地重命名为最终的目标文件。
• 虽然HDFS本身支持分块存储，但NiFi的PutHDFS客户端并不会记录已写入的块进度。写入中断后，HDFS上的不完整临时文件会处于未完成状态，NiFi恢复后，对应的FlowFile会被重试：
  • 组件会重新发起写入请求，创建新的临时文件，把整个FlowFile的内容从头写入HDFS。
  • HDFS会自动清理未完成的临时文件（或者重试时覆盖），最终只会保留一个完整的目标文件，不会出现重复的完整数据。

为什么不会从第5块开始续传？ #

NiFi的组件设计并没有内置「断点续传」机制，因为FlowFile是作为一个整体被处理的。组件无法追踪已经写入了多少块，只能基于FlowFile的整体状态判断是否处理完成——只要写入没完成，就会重新处理整个FlowFile，从头写入所有内容。

内容的提问来源于stack exchange，提问作者lucifer