AWS RDS PostgreSQL大表跨库复制遇Transaction ID未找到问题求助

我碰到过不少类似的大表迁移场景，你的问题核心在于长时间运行的单个事务被会话中断，导致事务ID失效。小表复制快，会话还没超时就完成了，但4TB的大表要跑一两天，很容易触发各种超时机制——不管是pgAdmin本身、PostgreSQL服务器还是AWS网络层的。下面给你几个针对性的解决方案：

1. 放弃单事务复制，改用分批提交 #

SELECT ... INTO是在单个事务里完成全表复制的，这么大的表跑一两天，不仅容易超时，还会占用大量锁资源和事务ID，风险很高。改用分批插入，每复制一小批就提交一次，能有效避免这个问题：

首先创建和源表结构一致的空目标表：

CREATE TABLE t22 AS 
SELECT "k","LP_FK","ASSET_PK","Distance" ,"Order",pk 
FROM d 
LIMIT 0;

然后用PL/pgSQL循环分批插入：

DO $$
DECLARE
  batch_size INT := 10000; -- 可根据服务器性能调整，比如50000
  max_source_pk BIGINT;
  last_inserted_pk BIGINT := 0;
BEGIN
  -- 获取源表最大主键，作为复制完成的判断依据
  SELECT MAX(pk) INTO max_source_pk FROM d;
  
  WHILE last_inserted_pk < max_source_pk LOOP
    INSERT INTO t22 ("k","LP_FK","ASSET_PK","Distance" ,"Order",pk)
    SELECT "k","LP_FK","ASSET_PK","Distance" ,"Order",pk
    FROM d
    WHERE pk > last_inserted_pk
    ORDER BY pk
    LIMIT batch_size;
    
    -- 更新最后插入的主键，作为下一批的起始点
    SELECT MAX(pk) INTO last_inserted_pk FROM t22;
    
    -- 提交当前批次，释放事务资源
    COMMIT;
    
    -- 可选：给数据库留缓冲时间，避免压力过大
    PERFORM pg_sleep(1);
  END LOOP;
END $$;

2. 调整PostgreSQL的超时参数 #

你已经设置了tcp_keepalives_idle，但还有几个关键参数需要检查：

• idle_in_transaction_session_timeout：这个参数会终止长时间空闲的事务，如果复制过程中偶尔有停顿（比如源表锁冲突）就可能触发。可以在会话级禁用它：

  SET idle_in_transaction_session_timeout = 0;
  

  也可以在AWS RDS参数组里修改全局设置，让所有会话生效。
• tcp_keepalives_interval和tcp_keepalives_count：只设置idle不够，这两个参数控制keepalive包的发送间隔和重试次数，确保连接不会被网络层断开：

  SET tcp_keepalives_interval = 30;
  SET tcp_keepalives_count = 10;
  

3. 调整pgAdmin的会话超时 #

pgAdmin 4 v3本身有会话超时限制，默认可能几个小时就会断开。你可以在pgAdmin的Preferences > Browser > Connection设置里，把会话超时时间调大（比如设为10080分钟，也就是一周），或者直接禁用超时（如果环境允许）。不过说实话，pgAdmin并不适合跑这种超长时间的任务，更推荐用命令行工具。

4. 改用psql命令行工具 #

psql比pgAdmin稳定得多，适合长时间运行的脚本。你可以把复制脚本保存成.sql文件，然后用nohup让它在后台运行，即使终端断开也不会影响：

nohup psql -h your-rds-endpoint -U your-username -d your-dbname -f copy_script.sql > copy_log.log 2>&1 &

复制过程的日志会写到copy_log.log里，你可以随时查看进度。

5. 检查AWS网络层的超时设置 #

AWS的VPC安全组、NAT网关或者负载均衡（如果使用的话）都可能有自己的超时机制，会主动断开长时间的连接。你可以登录AWS控制台检查这些组件的超时设置，或者联系AWS支持确认是否需要调整。

内容的提问来源于stack exchange，提问作者Mohsen Sichani