多线程Python应用扩容线程时触发psycopg2.ProgrammingError错误求助

当增加线程数量后出现psycopg2.ProgrammingError: no results to fetch，但低线程数下运行正常，主要是高并发场景下的线程安全问题或数据竞争导致，具体原因如下：

• 连接/游标未做线程隔离
  psycopg2的数据库连接和游标并非线程安全，若多个线程共用同一连接或游标，当一个线程执行完查询并释放资源后，其他线程再尝试获取结果时，就会触发无结果可获取的错误。低线程数时线程间冲突概率低，问题不易暴露，高线程数下竞争加剧，错误频繁出现。

• 高并发下数据被提前修改/删除
  多线程同时处理数据时，某条记录可能已被其他线程修改或删除，导致当前线程的查询无匹配结果，但代码仍执行fetch操作，从而抛出错误。比如多线程批量处理数据时，先执行的线程已处理完目标记录，后续线程的查询自然返回空。

• 事务隔离不当
  线程间事务未独立管理，比如一个线程的事务回滚或提交影响了其他线程的查询上下文，导致数据状态不一致，查询无结果返回。

• 非原子查询逻辑的竞态条件
  若使用了"先查询再修改"这类非原子操作，高并发下两次操作的间隙中数据可能被其他线程改动，导致后续fetch时无结果。

• 为每个线程创建独立的连接和游标
  每个线程启动时初始化专属的数据库连接和游标，线程结束时关闭资源，彻底避免线程间的资源共享冲突。

• fetch前先判断结果是否存在
  执行查询后，通过cursor.rowcount检查是否有返回行，或者在调用fetch方法时捕获异常，避免无结果时强行触发错误。

• 使用数据库原子操作或行级锁
  对涉及数据修改的场景，使用SELECT ... FOR UPDATE这类行级锁语句，或直接用原子性的修改语句，避免多线程间的数据竞争。

• 规范线程内的事务管理
  每个线程的事务独立提交或回滚，必要时调整数据库事务隔离级别，确保线程间的事务互不干扰。

内容的提问来源于stack exchange，提问作者Dhruv Vadodariya