参考Knime功能，如何在Apache NiFi管道定义阶段获取前置处理器信息？

在NiFi中是可以在管道定义阶段（而非执行阶段）实现类似Knime Joiner的功能，让自定义Processor的UI获取上游处理器的输出Schema，但需要结合NiFi的元数据机制和UI扩展能力来实现，具体方案如下：

• 核心思路：NiFi的Web UI依托REST API与Flow Controller的元数据访问能力，自定义Processor可通过扩展UI配置逻辑，在配置页加载时主动查询上游组件的元数据。

• 具体实现步骤：

  1. 扩展Processor的UI配置逻辑：实现ProcessorConfigurable接口，或是利用PropertyDescriptor的动态回调方法（比如addValidator），在UI加载处理器配置界面时触发元数据查询动作。
  2. 通过REST API获取上游连接信息：在UI端通过异步请求调用NiFi的REST接口（如/flow/processors/{processorId}/connections），获取当前处理器的上游连接对应的处理器ID，再进一步调用接口查询该上游处理器的输出Schema——这里需要注意，必须通过异步请求避免阻塞UI线程。
  3. 上游处理器提前暴露Schema：上游处理器需要将输出Schema预注册到NiFi的SchemaRegistry，或是通过处理器的自定义属性、StateManager存储Schema信息，确保下游处理器的UI可以读取到这些预定义的元数据。

• 关键限制与注意事项：

  • 上游处理器必须主动暴露Schema：如果上游处理器没有提前定义或注册输出Schema，下游处理器的UI在定义阶段无法获取到有效列信息。
  • 优化UI性能：频繁的元数据查询会拖慢UI响应，建议添加缓存逻辑，仅当上游连接关系发生变化时才重新查询。
  • 权限控制：调用NiFi REST API需要对应权限，要确保配置UI的访问者拥有读取上游处理器元数据的权限。

内容的提问来源于stack exchange，提问作者Morteza Nouri