NiFi PutSQL写入数据受限至20000条，求自动化批量写入方案

以下是核心排查点和对应的解决思路：

1. 数据库端的事务/参数限制 #

• 多数数据库默认存在事务大小、单连接数据包上限或事务超时限制。比如MySQL的max_allowed_packet过小会截断大批次写入请求；PostgreSQL的statement_timeout会终止长时间未完成的事务。
• 直接查看数据库的错误日志，确认是否存在事务超时、数据包过大、连接异常中断等相关报错。
• 针对性调整数据库参数：例如调大max_allowed_packet、延长事务超时时间等。

2. NiFi事务超时配置 #

• 当Support Fragmented Transactions设为true时，NiFi会尝试合并多个FlowFile为一个大事务提交。如果NiFi默认的事务超时时间（默认30秒）不足以完成10万条记录的写入，事务会被强制终止，数据无法提交。
• 修改nifi.properties中的nifi.transaction.timeout参数，设置为更大的值（例如300秒），重启NiFi后生效。

3. PutSQL的错误处理策略 #

• 若存在单条脏数据写入失败，且PutSQL的Failure Strategy设为Rollback on Failure，会导致整个批次回滚，且失败FlowFile会反复重试，阻塞后续数据处理。
• 将Failure Strategy改为Continue on Failure，并添加失败记录的路由分支（比如用RouteOnAttribute或PutFile暂存失败数据），排查是否存在格式错误、字段不匹配等脏数据问题。

4. 数据库连接池配置 #

• NiFi的DBCPConnectionPool连接池如果Max Total Connections过小，或Max Wait Time过短，会导致大批次写入时无法及时获取连接，或连接等待超时，中断写入流程。
• 调大连接池的Max Total Connections（根据数据库承载能力调整，比如设为20-50），同时延长Max Wait Time（比如设为30000毫秒）。

5. 批量插入优化 #

• 针对支持批量优化的数据库（如MySQL），在JDBC URL中添加rewriteBatchedStatements=true参数，让驱动将多条插入语句合并为批量请求，大幅提升写入效率，减少事务耗时。

内容的提问来源于stack exchange，提问作者Cedric Thibaud