NiFi流测试指导：UI测试方法与TestRunner类使用咨询

作为刚接触NiFi的新手，我完全理解你想验证自己搭建的GetFile→PostgreSQL流的需求，下面分两部分给你详细讲解：

一、NiFi UI 界面测试方法 #

这是最直观的测试方式，适合快速验证流程是否正常运行：

• 准备测试文件：创建一个包含测试数据的小文件（比如CSV或你实际使用的格式），放到GetFile处理器配置的输入目录下。
• 启动流程：在NiFi UI中选中整个流程（或逐个启动处理器），建议先启动下游的处理器（比如负责写入PostgreSQL的PutDatabaseRecord之类的组件），再启动GetFile，避免数据积压。
• 监控组件状态：
  • 查看GetFile的FlowFiles Out计数，确认它是否成功读取了测试文件；检查Queued数据，看有没有未处理的文件滞留。
  • 查看数据库写入处理器的FlowFiles Out和Success计数，确认数据是否成功写入。
• 验证数据库数据：直接连接PostgreSQL数据库，查询对应的目标表，看测试文件里的记录是否已经正确插入。
• 排查问题：如果出现失败，点击处理器的List Queue查看失败的FlowFile，右键选择View Details查看属性和错误日志，定位是文件格式不兼容、数据库连接配置错误还是权限不足等问题。

二、使用TestRunner类进行单元测试 #

TestRunner是NiFi提供的用于编写单元测试的工具，适合在开发阶段验证单个处理器或小型流程的逻辑，下面是针对你的流程的基本步骤：

1. 准备测试环境 #

你需要创建一个Maven或Gradle项目，引入NiFi的测试依赖，核心依赖示例（Maven）：

<dependency>
    <groupId>org.apache.nifi</groupId>
    <artifactId>nifi-mock</artifactId>
    <version>你的NiFi版本</version>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>org.apache.nifi</groupId>
    <artifactId>nifi-dbcp-service-api</artifactId>
    <version>你的NiFi版本</version>
    <scope>test</scope>
</dependency>

2. 编写测试代码示例 #

以测试PutDatabaseRecord处理器为例（结合GetFile的话，我们可以模拟输入FlowFile，不需要依赖真实文件系统）：

import org.apache.nifi.util.TestRunner;
import org.apache.nifi.util.TestRunners;
import org.junit.Before;
import org.junit.Test;

public class PostgresFlowTest {
    private TestRunner testRunner;

    @Before
    public void setUp() {
        // 初始化TestRunner，指定要测试的处理器类
        testRunner = TestRunners.newTestRunner(PutDatabaseRecord.class);
        
        // 配置数据库连接参数（推荐用内嵌的H2数据库模拟，避免依赖真实PostgreSQL）
        testRunner.setProperty(PutDatabaseRecord.DATABASE_CONNECTION_POOLING_SERVICE, "mock-dbcp");
        // 配置目标表名
        testRunner.setProperty(PutDatabaseRecord.TABLE_NAME, "your_target_table");
        // 模拟数据库连接服务
        testRunner.addControllerService("mock-dbcp", new MockDBCPService());
        testRunner.enableControllerService(testRunner.getControllerService("mock-dbcp"));
    }

    @Test
    public void testRecordInsert() {
        // 模拟输入的测试数据（比如CSV格式内容）
        String testData = "id,name\n1,test_user";
        // 向TestRunner添加模拟的FlowFile
        testRunner.enqueue(testData.getBytes());
        
        // 运行处理器
        testRunner.run();
        
        // 验证结果
        // 检查是否有1个FlowFile成功输出
        testRunner.assertTransferCount(PutDatabaseRecord.REL_SUCCESS, 1);
        // 检查是否没有失败的FlowFile
        testRunner.assertTransferCount(PutDatabaseRecord.REL_FAILURE, 0);
        
        // 如果使用真实数据库，可以在这里额外查询验证数据是否插入；用Mock服务的话，可以验证调用逻辑
    }
}

3. 关键注意事项 #

• 针对GetFile这类和文件系统交互的处理器，TestRunner可以通过testRunner.setProperty(GetFile.INPUT_DIRECTORY, "本地测试目录路径")指定测试目录，放入测试文件后即可模拟真实读取场景。
• 单元测试尽量用内嵌数据库（比如H2）代替真实PostgreSQL，避免测试依赖外部环境，保证测试的独立性。
• 可以通过testRunner.getFlowFilesForRelationship(REL_SUCCESS)获取成功的FlowFile，进一步检查其内容或属性是否符合预期。

希望这些步骤能帮你顺利完成测试，如果有具体的报错或配置疑问，随时补充细节提问哦！

备注：内容来源于stack exchange，提问作者abirami ramachandran