Mule 4：SFTP上1-2GB非标准JSON大文件转换方案求助

针对1-2GB的多行独立JSON文件（无首尾数组标识、无分隔逗号），核心思路是避免一次性加载整个文件到内存，采用流式逐行处理，具体步骤如下：

1. 配置SFTP连接器开启流式读取 #

• 将SFTP连接器的Streaming模式启用，选择Repeatable File Store作为流式存储（或直接使用默认流式配置），确保文件以流的方式逐块读取，而非一次性加载到堆内存。
• 读取格式设置为text/plain，保留原始文本行结构。

2. 拆分每行独立JSON对象 #

• 使用Splitter组件，按换行符\n拆分输入流，将每行独立的JSON对象拆分为单独的消息。
• 添加Filter组件过滤空行/空白行，避免处理无效的空内容。示例过滤条件：

%dw 2.0
output boolean
---
trim(payload) != ""

3. For Each循环内执行DataWeave转换 #

• 在For Each组件中，直接对单条JSON行执行转换，无需先拼接完整JSON数组（这是避免内存溢出的关键）。
• 示例DataWeave转换脚本（根据实际需求调整）：

%dw 2.0
output application/json
---
{
  id: payload.id,
  normalizedName: upper(payload.name),
  processedTimestamp: now() as String {format: "yyyy-MM-dd HH:mm:ss"}
}

4. 可选：流式输出聚合为合法JSON数组 #

如果最终需要输出完整的JSON数组，不要在内存中聚合所有结果，采用流式写入：

• 初始写入[到输出文件/目标系统；
• 每个转换后的对象写入后追加逗号（最后一个对象跳过逗号）；
• 最后写入]完成数组闭合。
• 可通过Batch Job组件实现分批次处理，进一步降低内存压力。

5. 关键优化点 #

• 调整Mule运行时堆内存：在mule-artifact.properties中设置wrapper.java.maxmemory=4096（或更高，根据服务器资源调整），但流式处理才是核心解决方案；
• 错误处理：在For Each内添加Try-Catch，捕获单条JSON的格式错误，记录日志后跳过，避免整个流程中断；
• 延长SFTP超时：调整SFTP连接器的Read Timeout参数，避免大文件读取时连接超时断开。

内容的提问来源于stack exchange，提问作者Catherine Brugge