Apache NiFi中ExecuteScript引发FlowFile卡滞队列、连接锁定问题排查

该异常与ExecuteScript的单次运行限制无关，也并非原始业务脚本逻辑直接引发，核心是未捕获的脚本运行时异常导致NiFi会话资源无法正常回收。

触发逻辑 #

• 替换的最简测试脚本中errorOccurred为未定义全局变量，运行到条件判断时会直接抛出NameError。未被捕获的运行时异常会导致ExecuteScript的Jython适配器无法正常触发NiFi Session的commit()或rollback()操作。
• 被session.get()取走的FlowFile会一直挂载在当前活动任务的会话上下文里，既不会转移到success/failure关系队列，也不会释放回前置连接队列，因此会触发系统拦截提示：Cannot change destination of Connection because FlowFiles from this Connection are currently held by ExecuteScript。
• 这类被持有的FlowFile不在连接的持久化队列存储中，因此清空队列、禁用处理器操作都无法移除，只有对应活动任务正常结束或被强制回收后才会释放。

新建处理器复现的原因 #

• 测试脚本本身存在未定义变量缺陷，只要拉取到FlowFile就会触发异常挂起逻辑，和是否新建处理器无关。
• 调度间隔设置为0秒的连续调度模式会放大问题：只要有空闲任务就会立刻拉取FlowFile，一旦触发异常就会快速堆积被持有FlowFile，约1/3的留存占比刚好对应当前并发任务数可同时持有的最大FlowFile数量。

1. 清理当前挂起的FlowFile #

• 直接重启NiFi节点，所有活动任务的上下文会被强制回收，被持有的FlowFile会自动回滚回前置连接队列，此时执行清空队列操作即可全部移除。

2. 修正脚本逻辑，避免未捕获异常 #

使用可正常运行的脚本模板，移除未定义变量，增加异常捕获逻辑：

flowFile = session.get()
if flowFile is not None:
    try:
        # 实际处理逻辑放在该块内
        session.transfer(flowFile, REL_SUCCESS)
    except Exception as e:
        log.error(f"FlowFile处理失败: {str(e)}")
        session.transfer(flowFile, REL_FAILURE)

• 所有脚本运行逻辑必须放在try块内，避免未捕获错误导致会话无法正常提交。

3. 调整调度配置 #

• 取消调度间隔0秒的连续调度模式，调整为1~2秒的固定调度间隔，减少连续调度带来的任务堆积风险。
• 并发任务数不要设置过高，UnpackContent输出的压缩包体积较大时，建议并发数设置为1~5，过高的并发数会放大异常导致的持有FlowFile数量。

内容的提问来源于stack exchange，提问作者funnelCONN