多Pod跨节点时ReadWriteMany模式失效问题排查

核心问题：PostgreSQL不支持多实例共享同一数据目录写入 #

你遇到的所有数据不一致问题，本质是PostgreSQL的设计不允许多个独立实例同时读写同一个数据目录。PostgreSQL依赖WAL（预写日志）机制保证数据一致性，同时会对数据目录加排他锁，多个实例争抢同一存储目录时，只有一个实例能获得锁正常写入，其他实例会处于异常状态，导致各Pod看到的数据彼此独立、甚至部分数据损坏。

正确解决方案：采用PostgreSQL主从复制架构 #

要实现跨Pod数据一致且新增副本能同步数据，必须放弃共享存储的思路，改用PostgreSQL原生的主从流复制机制，每个Pod拥有独立的存储卷，主节点负责写入，从节点通过复制同步主节点的数据，实现读写分离或高可用。

具体实施步骤 #

1. 调整存储配置：使用StatefulSet的volumeClaimTemplates，让每个PostgreSQL Pod拥有独立的PersistentVolumeClaim，避免共享存储冲突。

   volumeClaimTemplates:
   - metadata:
       name: pg-data
     spec:
       accessModes: ["ReadWriteOnce"]
       resources:
         requests:
           storage: 10Gi
       storageClassName: nfs-storageclass # 替换为你的NFS存储类名称
   

2. 配置主从角色与复制逻辑

   • 主节点：初始化数据库，开启复制权限，创建复制用户
     在主节点的启动脚本中添加以下逻辑：

     # 仅首次启动时初始化数据库
     if [ ! -d "/var/lib/postgresql/data/pgdata" ]; then
       initdb -D /var/lib/postgresql/data/pgdata
       # 配置复制相关参数
       echo "wal_level = replica" >> /var/lib/postgresql/data/pgdata/postgresql.conf
       echo "max_wal_senders = 10" >> /var/lib/postgresql/data/pgdata/postgresql.conf
       echo "wal_keep_size = 16MB" >> /var/lib/postgresql/data/pgdata/postgresql.conf
       # 允许复制用户从任意IP访问
       echo "host replication replicator 0.0.0.0/0 md5" >> /var/lib/postgresql/data/pgdata/pg_hba.conf
       # 创建复制用户
       pg_ctl -D /var/lib/postgresql/data/pgdata start -w
       psql -U postgres -c "CREATE USER replicator WITH REPLICATION PASSWORD 'your-repl-password';"
       pg_ctl -D /var/lib/postgresql/data/pgdata stop -w
     fi
     # 启动主节点服务
     postgres -D /var/lib/postgresql/data/pgdata
     

   • 从节点：基于主节点的基础备份初始化数据目录，启动复制
     在从节点的启动脚本中添加以下逻辑：

     # 检查数据目录是否已完成初始化
     if [ ! -d "/var/lib/postgresql/data/pgdata/base" ]; then
       # 从主节点拉取基础备份
       pg_basebackup -h postgres-master-service -U replicator -D /var/lib/postgresql/data/pgdata -P -X stream -C -S standby1
       # 创建恢复配置文件（PostgreSQL 12+可直接写入postgresql.conf）
       cat > /var/lib/postgresql/data/pgdata/recovery.conf << EOF
       standby_mode = 'on'
       primary_conninfo = 'host=postgres-master-service port=5432 user=replicator password=your-repl-password'
       trigger_file = '/tmp/promote-to-master'
       EOF
     fi
     # 启动从节点服务
     postgres -D /var/lib/postgresql/data/pgdata
     

3. 配置Service区分主从

   • 主节点Service：用于写入请求和复制连接

     apiVersion: v1
     kind: Service
     metadata:
       name: postgres-master-service
     spec:
       selector:
         app: postgres
         role: master
       ports:
       - port: 5432
         targetPort: 5432
     

   • 从节点Service：用于只读请求

     apiVersion: v1
     kind: Service
     metadata:
       name: postgres-slave-service
     spec:
       selector:
         app: postgres
         role: slave
       ports:
       - port: 5432
         targetPort: 5432
     

4. StatefulSet中设置角色标签
   通过initContainers为第一个Pod标记为主节点，其余Pod标记为从节点：

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: postgres
   spec:
     serviceName: postgres-headless
     replicas: 3
     selector:
       matchLabels:
         app: postgres
     template:
       metadata:
         labels:
           app: postgres
       spec:
         initContainers:
         - name: set-role
           image: postgres:15
           command:
           - sh
           - -c
           - |
             if [ $(hostname) = "postgres-0" ]; then
               echo "master" > /mnt/role/role
             else
               echo "slave" > /mnt/role/role
             fi
           volumeMounts:
           - name: role
             mountPath: /mnt/role
         containers:
         - name: postgres
           image: postgres:15
           env:
           - name: POSTGRES_PASSWORD
             value: your-db-password
           volumeMounts:
           - name: pg-data
             mountPath: /var/lib/postgresql/data
           - name: role
             mountPath: /mnt/role
           command:
           - sh
           - -c
           - |
             ROLE=$(cat /mnt/role/role)
             if [ "$ROLE" = "master" ]; then
               /path/to/master-start.sh
             else
               /path/to/slave-start.sh
             fi
         volumes:
         - name: role
           emptyDir: {}
     volumeClaimTemplates:
     - metadata:
         name: pg-data
       spec:
         accessModes: ["ReadWriteOnce"]
         resources:
           requests:
             storage: 10Gi
         storageClassName: nfs-storageclass
   

关键说明 #

• 每个Pod拥有独立存储，彻底避免了NFS共享带来的锁冲突和数据损坏风险
• 主从复制机制保证所有从节点的数据与主节点实时同步，新增副本会自动从主节点拉取全量备份并启动增量同步
• 可通过Patroni等工具实现主节点故障自动切换，进一步提升集群高可用性

内容的提问来源于stack exchange，提问作者Juan David