PostgreSQL连接意外关闭求助：解析器运行超10分钟报错

关键现象 #

• 项目包含10余个解析器，使用以下代码完成CSV数据入库：

cursor = conn.cursor()
my_file = open(r'csv\file.csv')

sql_statement = """
            CREATE TEMP TABLE temp
            (
                LIKE vhcl
            )
            ON COMMIT DROP;

            COPY temp FROM STDIN WITH
                CSV
                HEADER
                DELIMITER AS ',';

            INSERT INTO vhcl
            SELECT *
            FROM temp
            ON CONFLICT (id) DO UPDATE SET name= EXCLUDED.name"""

cursor.copy_expert(sql=sql_statement, file=my_file)
conn.commit()
cursor.close()

• 近两周频繁触发错误：

server closed the connection unexpectedly
    This probably means the server terminated abnormally
    before or while processing the request.

• 仅当解析器运行时长≥10分钟时出现错误；将入库逻辑抽为独立函数后问题仍存在
• 家用电脑运行解析器、手动调用入库函数均正常；已排除IP封禁问题

排查方向 #

1. 数据库连接超时配置 #

检查PostgreSQL服务器的核心参数：

• idle_in_transaction_session_timeout：若解析过程中连接长期处于打开但无操作状态，超过该阈值会被服务器强制断开。执行SHOW idle_in_transaction_session_timeout;查看当前值，若设置为10分钟左右（如600000ms），则大概率是触发了该限制。
• tcp_keepalives_idle/tcp_keepalives_interval：TCP层面的保活参数，若网络中间设备（如防火墙）会断开长时间空闲的连接，需确保这些参数配置合理，维持连接活跃。

同时检查Python客户端（如psycopg2）的连接参数，确认是否设置了connect_timeout或keepalives相关配置，避免客户端主动断开或未响应服务器保活请求。

2. 服务器资源耗尽 #

重点查看PostgreSQL日志截图中的以下信息：

• OOM（内存不足）相关记录：服务器内存耗尽导致PostgreSQL进程被系统杀死
• FATAL级别的崩溃日志：伴随进程终止的堆栈信息
• 磁盘空间告警：CSV入库时临时表、WAL日志占用过多磁盘，引发服务异常

3. 网络环境限制 #

因家用电脑运行正常，优先排查办公/服务器所在网络的限制：

• 防火墙/代理的空闲连接超时：多数企业防火墙会自动断开10分钟以上的空闲连接，若解析过程中连接长期处于空闲状态（仅最后执行入库操作），会触发超时断开。可尝试在解析阶段定期执行简单SQL（如SELECT 1;）维持连接活跃。
• 网络波动：长时间运行过程中出现的丢包、延迟，可能导致连接中断。

4. 事务时长限制 #

部分数据库环境会配置最长事务运行时间，若解析阶段已打开连接并开启事务（即使无操作），超过限制会被服务器终止。检查参数statement_timeout或lock_timeout，同时确认代码中是否在解析初期就建立了数据库连接，导致事务长时间处于开启状态。

5. 大文件COPY操作异常 #

运行超10分钟的解析器生成的CSV文件通常更大，可能触发服务器端边缘异常：

• 检查CSV文件是否存在特殊字符、格式错误（虽手动调用正常，但大文件可能触发偶发问题）
• 查看PostgreSQL日志中COPY操作相关的错误，比如ERROR: invalid input syntax for type ...这类可能导致进程崩溃的信息

内容的提问来源于stack exchange，提问作者Nero