K8s单写多读Pod存储共享难题：寻求轻量SaaS替代方案

针对你遇到的GCP Persistent Disk无法同时支持WriteOnce和ReadMany的问题，这里有几个简便的托管式方案，不需要自己维护Ceph/Gluster/NFS这类复杂集群：

1. 首选：Google Cloud Filestore（托管NFS服务） #

这是GCP官方托管的NFS v3/v4服务，完美适配你的单写多读场景：

• 它支持ReadWriteMany的访问模式，意味着单台writer主机可以挂载为读写模式，所有reader Pod可以挂载为只读模式（通过Pod的volumeMounts里设置readOnly: true）。
• 性能接近本地存储，尤其适合大量小文件的读写场景，不会像GCS那样出现明显的性能下降。

配置示例 #

第一步：创建Filestore实例

通过GCP控制台或gcloud命令创建Filestore实例，获取实例的IP地址和默认挂载路径/vol1。

第二步：K8s中定义PV和PVC

# PV定义
apiVersion: v1
kind: PersistentVolume
metadata:
  name: filestore-pv
spec:
  capacity:
    storage: 1Ti # 匹配你的Filestore实例容量
  accessModes:
    - ReadWriteMany
  nfs:
    server: YOUR_FILESTORE_IP
    path: /vol1

# PVC定义
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: filestore-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Ti

第三步：Writer主机挂载Filestore

在你的writer主机上通过NFS挂载：

sudo mount YOUR_FILESTORE_IP:/vol1 /mnt/shared-storage

之后就可以直接向/mnt/shared-storage写入文件了。

第四步：Reader Pod挂载为只读

在Pod的Deployment中配置只读挂载：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: reader-pod-deployment
spec:
  replicas: 3
  selector:
    matchLabels:
      app: reader-pod
  template:
    metadata:
      labels:
        app: reader-pod
    spec:
      containers:
      - name: reader-container
        image: your-reader-image
        volumeMounts:
        - name: shared-storage
          mountPath: /data
          readOnly: true # 关键：设置为只读
      volumes:
      - name: shared-storage
        persistentVolumeClaim:
          claimName: filestore-pvc

2. 优化Google Cloud Storage的写入性能 #

如果你想继续使用GCS，针对大量文件写入性能下降的问题，可以通过GCS FUSE的参数调优来改善：
GCS FUSE默认配置对小文件批量写入不够友好，调整以下参数可以显著提升性能：

• --max-conns-per-host: 增加并行连接数，比如设置为100
• --cache-dir: 指定本地缓存目录，减少重复请求
• --stat-cache-ttl/--type-cache-ttl: 延长缓存有效期，降低元数据请求次数
• --implicit-dirs: 支持自动创建目录，避免手动创建的麻烦

挂载命令示例 #

gcsfuse --implicit-dirs \
  --cache-dir=/tmp/gcs-cache \
  --max-conns-per-host=100 \
  --stat-cache-ttl=30s \
  --type-cache-ttl=30s \
  YOUR_GCS_BUCKET_NAME /mnt/gcs-storage

另外，批量写入时推荐使用gsutil -m cp命令（-m表示并行上传），比直接通过FUSE写入效率更高。

方案对比 #

内容的提问来源于stack exchange，提问作者Alexey Boyko