Redshift大表VACUUM REINDEX执行超时，如何通过Python/SQLWorkbenchJ正常运行？

我来帮你梳理下这个问题——你遇到的"connection reset by peer"绝对不是预期行为，主要是网络层或连接超时配置导致的，通过调整客户端和Redshift的相关设置，完全可以正常运行这类长时间查询。下面分两种工具给你具体的优化方案：

一、Python（SQLAlchemy+pg8000）的优化方向 #

你已经配置了keepalives参数，但可以进一步调整和补充：

• 延长keepalive探测的时间间隔，避免频繁的探测包被中间网络设备拦截，比如把keepalives_idle和keepalives_interval设为120秒，同时增加重试次数：

  conn = sqlalchemy.engine.create_engine(
      conn_string,
      execution_options={'autocommit': True},
      encoding='utf-8',
      connect_args={
          "keepalives": 1,
          "keepalives_idle": 120,
          "keepalives_interval": 120,
          "keepalives_count": 5  # 增加重试次数，提升容错性
      },
      isolation_level="AUTOCOMMIT",
      pool_recycle=3600  # 每小时主动回收连接，适配Redshift默认的闲置超时规则
  )
  

• 更稳妥的方式是用Redshift的异步执行，这样客户端不用一直保持连接，任务会在Redshift后台持续运行：
  把你的查询改成：

  EXECUTE ASYNC VACUUM REINDEX your_large_table;
  

  之后可以用这条SQL查看任务进度和状态：

  SELECT * FROM stv_async_executions;
  

  这种方式即使客户端断开，任务也不会中断，非常适合超长时间的操作。

二、SQLWorkbenchJ的设置调整 #

SQLWorkbenchJ本身有几个关键的超时设置需要修改：

• 打开连接配置窗口，在「Connection」标签页里，把「Socket timeout」设为0（表示无超时），或者设为一个足够大的值（比如7200秒，也就是2小时以上）
• 切换到「Driver Properties」标签，添加PostgreSQL的keepalive相关参数：
  • 添加tcpKeepAlive，值设为true
  • 添加tcpKeepAliveIdle，值设为120（单位：秒）
  • 添加tcpKeepAliveInterval，值设为120（单位：秒）
• 最后检查「Query」菜单，确保没有勾选「Cancel query after N seconds」这类自动取消超时查询的选项

三、Redshift集群端的注意事项 #

• 检查集群的idle_in_transaction_session_timeout参数，默认是0（无超时），如果被修改过，建议改回0或者设置一个远大于任务预计时长的值
• 对于超大型表，考虑分批次执行VACUUM，比如按分区操作：

  VACUUM REINDEX your_large_table PARTITION (partition_col='specific_value');
  

  拆分后每个任务的耗时会缩短，更不容易触发超时
• 确认你的Redshift集群所在的VPC网络没有中间防火墙或NAT设备设置了过短的连接超时（比如AWS NAT网关默认超时是350秒），这种情况下必须依靠客户端的keepalive设置来保持连接活跃

总的来说，只要调整好这些配置，或者改用异步执行的方式，完全可以正常运行这类长时间的VACUUM REINDEX操作，连接重置是完全可以避免的。

内容的提问来源于stack exchange，提问作者rodrigocf