pg_restore开启8个任务恢复时CREATE INDEX重复执行问题咨询

针对使用pg_restore -v --jobs=8 --dbname=DB_TEST_1804 -U postgres -c /mnt/pgbackup/BACKUP/PRODUCTION_23.dump并行恢复时，出现多个PID重复执行CREATE INDEX的问题，结合32核硬件资源，给出以下优化方案：

1. 确认备份格式与生成方式 #

并行恢复的前提是备份采用**目录格式（-Fd）**且通过pg_dump并行生成。如果是单线程生成的自定义格式（-Fc）备份，pg_restore的多任务调度会混乱，容易引发重复执行问题。

• 重新生成并行备份的命令示例：

  pg_dump -Fd -j 8 -U postgres -f /mnt/pgbackup/BACKUP/PRODUCTION_23.dump PRODUCTION_DB
  

  其中-Fd指定目录格式，-j 8对应8个并行备份任务。

2. 拆分恢复流程，分离数据加载与索引创建 #

拆分两步恢复，既能最大化利用多核加载数据，又能避免索引创建时的冲突：

1. 先恢复表结构与数据，跳过索引：用32个任务全速加载数据

   pg_restore -v --jobs=32 --dbname=DB_TEST_1804 -U postgres -c --exclude-index /mnt/pgbackup/BACKUP/PRODUCTION_23.dump
   

2. 单独创建索引，控制并行度：根据索引数量和机器性能，选择16-24个任务（避免任务冲突）

   pg_restore -v --jobs=16 --dbname=DB_TEST_1804 -U postgres --index-only /mnt/pgbackup/BACKUP/PRODUCTION_23.dump
   

3. 调整PostgreSQL并行相关配置 #

确保数据库参数能支撑高并行任务，32核机器建议调整：

# postgresql.conf
max_worker_processes = 32       # 等于CPU核心数
max_parallel_workers_per_gather = 16  # 单查询最大并行工作进程数

修改后重启PostgreSQL服务生效。

4. 排查备份中的重复索引定义 #

检查备份文件是否包含重复的CREATE INDEX语句：

• 目录格式备份：

  grep -r "CREATE INDEX" /mnt/pgbackup/BACKUP/PRODUCTION_23.dump
  

• 自定义格式备份：

  pg_restore -l /mnt/pgbackup/BACKUP/PRODUCTION_23.dump | grep INDEX
  

如果发现重复定义，先清理原数据库中的重复索引，再重新生成备份。

内容的提问来源于stack exchange，提问作者Pacheco