如何在单向网络/数据二极管环境下跨Apache NiFi集群传输完整FlowFile？

针对单向网络仅支持客户端→服务器TCP数据包+ACK的限制，以下是几种简便可行的方案，实现FlowFile属性与内容的完整跨实例传输：

方案一：序列化打包+TCP传输+反序列化还原 #

这是最直接的原生处理器组合方案：

• 发送端流程：
  1. 使用EncodeContent处理器，选择JSON或Avro作为序列化格式，勾选「Include Attributes」选项，将FlowFile的所有属性和内容合并为一个序列化后的二进制流。
  2. 用PutTCP处理器将序列化后的完整数据包发送至接收端的ListenTCP监听端口。
• 接收端流程：
  1. 配置ListenTCP处理器，设置与发送端匹配的分隔规则（若用Avro，可依托其块结构自动识别完整数据包；若用JSON，可自定义唯一边界符），确保每个序列化数据包被识别为单个FlowFile。
  2. 用DecodeContent处理器选择对应序列化格式，将数据还原为原始FlowFile的属性与内容。

方案二：自定义脚本打包/解包 #

如果需要更灵活的格式控制，可通过脚本处理器实现自定义逻辑：

• 发送端：用InvokeScriptedProcessor编写Groovy或Python脚本，将FlowFile属性序列化为JSON字符串，按约定格式（例如：先写入属性长度，再写入属性JSON，最后写入文件内容）拼接成完整数据包，再通过PutTCP发送。
• 接收端：同样用InvokeScriptedProcessor编写对应解析脚本，按照约定格式拆分数据包，提取属性并还原内容，生成新的FlowFile。

方案三：基于Record处理器的结构化传输 #

适合对数据格式有结构化要求的场景：

• 发送端：
  1. 使用ConvertRecord处理器，将FlowFile的属性映射为Record字段，内容作为独立的二进制/字符串字段，转换为CSV、JSON或Avro格式的Record。
  2. 通过PutTCP发送每条Record对应的完整数据。
• 接收端：
  1. 用ListenTCP接收数据，配置为按Record边界拆分数据。
  2. 再次使用ConvertRecord将Record转换回原始FlowFile的属性与内容。

额外注意事项 #

• 为确保数据完整性，发送端可添加HashContent生成校验值（存入属性），接收端用ValidateHash验证，避免传输损坏。
• 针对大文件，可考虑分片传输，但需在属性中标记分片编号与总片数，接收端通过MergeContent重组，单向环境下需保证分片按顺序发送。

内容的提问来源于stack exchange，提问作者Endzeit