Postgres容器化部署遇unexpected EOF连接错误求助

• 容器启动时序不匹配：Python容器可能在PostgreSQL容器完成初始化（包括表结构创建）前就发起连接，后续批量插入过程中连接因服务未完全就绪而中断。
• Docker网络/资源限制：默认Docker网络的缓冲区或超时配置无法承载13万条数据的批量插入流量，导致连接被强制断开；或PG容器资源不足，处理大插入请求时出现异常。
• PostgreSQL超时配置触发：PG默认的statement_timeout（语句超时）、idle_in_transaction_session_timeout（事务空闲超时）参数，可能在长时批量插入过程中触发，主动断开连接。

1. 确保PG完全就绪后再启动数据导入 #

在Docker Compose中为PG容器添加健康检查，让Python容器等待PG服务就绪后再启动：

services:
  postgres:
    image: postgres:latest
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U your_username -d your_dbname"]
      interval: 3s
      timeout: 3s
      retries: 10
    volumes:
      - ./init.db:/docker-entrypoint-initdb.d/init.db
  data-loader:
    build: ./your-python-script-dir
    depends_on:
      postgres:
        condition: service_healthy
    volumes:
      - ./large_data.csv:/app/large_data.csv

同时在Python脚本中添加连接重试逻辑，双重保障：

import psycopg2
from psycopg2 import OperationalError
import time

def get_db_connection():
    while True:
        try:
            conn = psycopg2.connect(
                dbname="your_dbname",
                user="your_username",
                password="your_pw",
                host="postgres"
            )
            return conn
        except OperationalError:
            print("PostgreSQL未就绪，2秒后重试...")
            time.sleep(2)

2. 优化批量插入方式，减少连接占用时间 #

放弃逐行插入，使用psycopg2.copy_from（PG原生批量导入接口），大幅提升效率并缩短连接时长：

import csv
import psycopg2

conn = get_db_connection()
cur = conn.cursor()

with open('large_data.csv', 'r', encoding='utf-8') as f:
    next(f)  # 跳过CSV表头
    # copy_from参数：文件对象、目标表名、分隔符、指定列（可选）
    cur.copy_from(f, 'your_target_table', sep=',', columns=('col1', 'col2', 'col3'))

conn.commit()
cur.close()
conn.close()

3. 调整PG超时配置与容器资源 #

• 修改PG超时参数，在init.db脚本末尾添加：

-- 禁用语句超时与事务空闲超时，避免大插入被中断
ALTER SYSTEM SET statement_timeout = 0;
ALTER SYSTEM SET idle_in_transaction_session_timeout = 0;
SELECT pg_reload_conf();

• 为PG容器分配足够资源，避免因内存/CPU不足导致服务异常：

postgres:
  image: postgres:latest
  resources:
    limits:
      cpus: '1.5'
      memory: 2G
    reservations:
      cpus: '0.8'
      memory: 1G

内容的提问来源于stack exchange，提问作者the_nandavar