NiFi处理器并发任务属性疑问：PutDataBaseRecord线程数不达预期咨询

实际成因 #

你观察到的总线程数恒定为10的核心原因是：NiFi默认的Timer驱动全局工作线程池最大容量为10。
NiFi中绝大多数处理器默认使用Timer Driven调度策略，所有该策略的处理器共享同一个全局工作线程池，单个处理器设置的并发任务数只是该处理器自身的线程占用上限，不能超过全局线程池的空闲可用线程数。当上游处理器占用部分线程后，下游的PutDataBaseRecord只能使用剩余的空闲线程，因此出现二者线程数总和固定为10的现象。

存在的配置问题 #

• 全局工作线程池配置未适配业务需求：默认的10线程上限完全限制了整个数据流的并发能力，和你设置的PutDataBaseRecord 50并发的预期不匹配。
• 单处理器并发设置冗余：PutDataBaseRecord的50并发远高于全局可用线程数，属于无效配置，过高的并发设置在后续线程池扩容后还可能引发数据库侧的写入冲突、连接竞争问题。
• 数据库连接池配置不合理：DBCPPoolingConnection服务设置为无限制最大连接数，会给PostgreSQL带来不可控的连接资源占用风险，实际运行中受限于线程数也不会用到这么多连接，属于冗余配置。

优化方案 #

1. 调整全局Timer驱动线程池大小：进入NiFi右上角Settings->General配置页，修改Maximum Timer Driven Thread Count参数，建议取值为服务器CPU核心数的2~4倍，不要盲目调大，避免过高的CPU上下文切换开销。
2. 修正PutDataBaseRecord并发数：结合PostgreSQL的写入性能、最大连接配置，将该处理器的并发数调整为合理值，一般建议不超过全局线程池大小的70%，同时不超过PostgreSQL max_connections参数的20%。
3. 规范化数据库连接池配置：将DBCPPoolingConnection服务的最大连接数设置为略高于PutDataBaseRecord的并发数即可，比如并发设为20时最大连接数设为25，既避免连接不够的问题，也减少无效的连接资源占用。
4. 开启批量写入优化：调整PutDataBaseRecord的Batch Size参数，设置为100~1000（根据单条数据大小调整），减少事务提交次数，提升单线程写入效率。

内容的提问来源于stack exchange，提问作者vigneshwar