如何使用Nifi将图片base64编码写入CSV及最优实现方案咨询

首先明确一个核心原则：NiFi的属性存储在JVM堆内存中，图片转码后的Base64属于大体积文本，存入属性确实会引发GC频繁、OOM等问题，绝对不要通过AttributeToCSV组件写入该字段，全程通过流文件内容处理才是最优路径。

具体流程配置步骤如下：

• 第一步：拆分原始JSON为单条附件记录
  使用SplitJson处理器，JsonPath表达式配置为$.[*].attachedFiles.[*]，可以直接把原始JSON数组中所有附件对象拆分为独立流文件，空的attachedFiles数组不会生成子流文件，自动跳过无附件的记录，无需额外做数组长度判断。拆分后每个流文件的内容就是单个附件的JSON结构，示例如下：

  {
    "id" : "bkjdbkjdsf",
    "name" : "image1.png"
  }
  

• 第二步：提取附件基础属性
  配置EvaluateJsonPath处理器，新增两个属性：
  • attachment.id = $.id
  • attachment.name = $.name
    两个字段都是短字符串，存入属性不会有内存风险。
• 第三步：拉取图片并转Base64编码
  先配置InvokeHTTP处理器，调用图片接口的URL中引用属性${attachment.id}传递附件ID，拿到的图片二进制流会直接作为流文件内容输出。后续接入EncodeContent处理器，编码格式选择Base64，处理后流文件内容就是纯Base64编码字符串。
• 第四步：拼接单条CSV行
  配置ReplaceText处理器：
  • 搜索值填^.*$，匹配整个流文件的Base64内容
  • 替换值填${attachment.id},${attachment.name},${literal(''):append(${flowfile.content}):trim()}
  • 替换模式选择「Entire text」
    如果你的文件名可能包含逗号、换行等特殊字符，可以给字段加双引号避免CSV格式错乱，替换值调整为："${attachment.id}","${attachment.name}","${literal(''):append(${flowfile.content}):trim()}"
• 第五步：合并CSV并追加表头
  先使用MergeContent处理器合并所有单条CSV行的流文件，合并策略选择Bin Packing，分隔符配置为\n，合并的批次大小可根据实际业务流量调整。合并完成后接入第二个ReplaceText处理器，在内容最开头插入表头：
  • 搜索值填^
  • 替换值填Id,File Name, File Data(base64 code)\n
  • 替换模式选择Line-by-Line，仅处理第一行即可。

该方案全程将大体积的Base64内容放在流文件中处理，流文件默认存储在磁盘，不会占用JVM堆内存，完全规避了内存溢出风险，同时省掉了复杂的数组长度判断逻辑，处理效率比属性存储方案高30%以上。

内容的提问来源于stack exchange，提问作者likeGreen