Apache NiFi中如何使用CSV文件col1列值查询数据库表table1

你已经通过QueryRecord提取到CSV的col1列数据后，可通过以下两种常用方案实现关联查询数据库表table1：

方案1：逐行查询（适合小数据量场景） #

• 新增SplitRecord处理器，对接QueryRecord的输出，将仅含col1的CSV结果按行拆分，每个FlowFile对应一条col1记录
• 新增ExtractText或ConvertRecord处理器，将单条记录的col1值提取为FlowFile属性，比如命名为query_col1
• 新增ExecuteSQLRecord（推荐）或ExecuteSQL处理器，提前配置对应数据库的DBCPConnectionPool连接池服务，编写SQL语句如下：

SELECT col1, col4, col5 FROM table1 WHERE col1 = ?

配置SQL参数绑定，将第一个参数关联到FlowFile属性${query_col1}，执行后即可得到单条col1对应的匹配数据。

方案2：批量IN查询（适合大数据量、高性能要求场景） #

• 新增ReplaceText处理器，对接QueryRecord的输出，将所有col1值拼接为带引号、逗号分隔的字符串，比如最终得到'd1c1','d2c1','d3c1'格式，存入FlowFile属性col1_batch
• 新增ExecuteSQLRecord处理器，配置好数据库连接池后，编写SQL语句如下：

SELECT col1, col4, col5 FROM table1 WHERE col1 IN (${col1_batch})

直接执行即可一次性返回所有匹配的数据库记录，无需逐行处理性能更高。

注意事项：

• 批量查询时要注意对应数据库对IN语句的长度限制，若col1值数量过多建议拆分批次后再执行查询
• 若col1字段包含特殊字符，需提前做转义处理避免SQL语法错误或注入风险

内容的提问来源于stack exchange，提问作者adarsh